.NET for Apache Sparkのデータ接続のバックアップ(No.5) - マイクロソフト系技術情報 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

バックアップ一覧
差分を表示
現在との差分を表示
ソースを表示
.NET for Apache Sparkのデータ接続へ行く。
- 1 (2020-11-20 (金) 15:33:04)
- 2 (2020-11-20 (金) 16:51:44)
- 3 (2020-11-20 (金) 23:32:50)
- 4 (2020-11-21 (土) 11:48:38)
- 5 (2021-07-19 (月) 11:46:53)
- 6 (2021-07-26 (月) 11:53:46)
- 7 (2021-07-30 (金) 14:19:28)
- 8 (2021-09-01 (水) 14:31:12)

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

目次
概要
詳細
参考
- microsoft.com
  - Microsoft Docs > .NET for Apache Spark ガイド

概要 †

詳細 †

Sparkの仕様なので、Azure HDInsight・Azure Databricksの差異はない。

ファイルの場合 †

Azure HDInsight †

マウントされたストレージに直接アップロードしてソレを読む。

Azure Databricks †

Databricks CLIを使用してアップロードしてソレを読む。

WASB or ABFS †

下記に対するURLを使用することも出来る。

WASB[S]: Azure storage.
wasb://<container_name>@<storage_account_name>.blob.core.windows.net

ABFS[S]: Azure Data Lake Storage Gen2.
abfs://<file_system>@<account_name>.dfs.core.windows.net

Clientの場合 †

SparkSession?のReadStream?メソッドでDataFrame?を読み込む。
LoopではなくStreamingQueryを使用して実装する。

TCP/IPソケット †

.Format("socket")

ホスト名
.Option("host", hostname)
ポート番号
.Option("port", port)

Azure Event Hubs（Apache Kafka） †

.format("kafka")

サーバ＆ポート
.Option("kafka.bootstrap.servers", "host1:port1,host2:port2")
トピック
.Option("subscribe", "topic1")

※ 参考：Azure Event Hubsチュートリアル

Serverの場合 †

サーバーにはならない

参考 †

microsoft.com †

Microsoft Docs > .NET for Apache Spark ガイド †

使い方ガイド > データーへの接続
- Azure Data Lake Storage Gen 2 または WASB アカウントに接続する
  https://docs.microsoft.com/ja-jp/dotnet/spark/how-to-guides/connect-to-azure-storage
- .NET for Apache Spark を Azure Event Hubs に接続する
  https://docs.microsoft.com/ja-jp/dotnet/spark/how-to-guides/connect-to-event-hub
- .NET for Apache Spark を MongoDB に接続する
  https://docs.microsoft.com/ja-jp/dotnet/spark/how-to-guides/connect-to-mongo-db
- .NET for Apache Spark を SQL Server に接続する
  https://docs.microsoft.com/ja-jp/dotnet/spark/how-to-guides/connect-to-sql-server

Tags: :クラウド, :Azure, :.NET開発, :.NET Core, :.NET Standard