.NET for Apache Sparkのデータ接続 のバックアップ(No.6)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• .NET for Apache Sparkのデータ接続 へ行く。
  • 1 (2020-11-20 (金) 15:33:04)
  • 2 (2020-11-20 (金) 16:51:44)
  • 3 (2020-11-20 (金) 23:32:50)
  • 4 (2020-11-21 (土) 11:48:38)
  • 5 (2021-07-19 (月) 11:46:53)
  • 6 (2021-07-26 (月) 11:53:46)
  • 7 (2021-07-30 (金) 14:19:28)
  • 8 (2021-09-01 (水) 14:31:12)

---

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る
  • .NET for Apache Sparkチュートリアル
  • .NET for Apache Sparkのデータ接続

目次 †

概要 †

.NET で Spark の実装ができる for Apache Spark。

詳細 †

Sparkの仕様なので、Azure HDInsight・Azure Databricksの差異はない。

ファイルの場合 †

Azure HDInsight †

マウントされたストレージに直接アップロードしてソレを読む。

Azure Databricks †

Databricks CLIを使用してアップロードしてソレを読む。

WASB or ABFS †

下記に対するURLを使用することも出来る。

• WASB[S]: Azure storage.
  wasb://<container_name>@<storage_account_name>.blob.core.windows.net

• ABFS[S]: Azure Data Lake Storage Gen2.
  abfs://<file_system>@<account_name>.dfs.core.windows.net

Clientの場合 †

• SparkSession?のReadStream?メソッドでDataFrame?を読み込む。
• LoopではなくStreamingQueryを使用して実装する。

TCP/IPソケット †

.Format("socket")

• ホスト名
  .Option("host", hostname)
• ポート番号
  .Option("port", port)

Azure Event Hubs（Apache Kafka） †

.format("kafka")

• サーバ＆ポート
  .Option("kafka.bootstrap.servers", "host1:port1,host2:port2")
• トピック
  .Option("subscribe", "topic1")

※ 参考：Azure Event Hubsチュートリアル

Serverの場合 †

サーバーにはならない

参考 †

microsoft.com †

Microsoft Docs > .NET for Apache Spark ガイド †

• 使い方ガイド > データーへの接続
  • Azure Data Lake Storage Gen 2 または WASB アカウントに接続する
    https://docs.microsoft.com/ja-jp/dotnet/spark/how-to-guides/connect-to-azure-storage
  • .NET for Apache Spark を Azure Event Hubs に接続する
    https://docs.microsoft.com/ja-jp/dotnet/spark/how-to-guides/connect-to-event-hub
  • .NET for Apache Spark を MongoDB に接続する
    https://docs.microsoft.com/ja-jp/dotnet/spark/how-to-guides/connect-to-mongo-db
  • .NET for Apache Spark を SQL Server に接続する
    https://docs.microsoft.com/ja-jp/dotnet/spark/how-to-guides/connect-to-sql-server

---

Tags: :クラウド, :Azure, :.NET開発, :.NET Core, :.NET Standard

     

Site admin: dotNetDevelopmentInfrastructure

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.015 sec.