マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

詳細

テキスト・ファイルの場合

Azure HDInsight

マウントされたストレージに直接アップロードしてソレを読む。

Azure Databricks

Databricks CLIを使用してアップロードしてソレを読む。

WASB or ABFS

下記に対するURLを使用することも出来る。

  • WASB[S]: Azure storage.
    wasb://<container_name>@<storage_account_name>.blob.core.windows.net
  • ABFS[S]: Azure Data Lake Storage Gen2.
    abfs://<file_system>@<account_name>.dfs.core.windows.net

Clientの場合

  • Serverアドレスを引数で渡せば良い。
  • SparkSession?のReadメソッドでDataFrame?を読み込む。
  • Sparkの仕様なので、Azure HDInsightAzure Databricksの差異はない。

Serverの場合

  • リスナーを起動する方式もあるが、
    マネージド・サービス上では、利用が出来ないので(?)、

参考

microsoft.com

Microsoft Docs > .NET for Apache Spark ガイド


Tags: :クラウド, :Azure, :.NET開発, :.NET Core, :.NET Standard


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2020-11-21 (土) 11:48:38 (2d)