マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

.NET で Spark の実装ができる for Apache Spark。

詳細

Sparkの仕様なので、Azure HDInsightAzure Databricksの差異はない。

ファイルの場合

Azure HDInsight

マウントされたストレージに直接アップロードしてソレを読む。

Azure Databricks

Databricks CLIを使用してアップロードしてソレを読む。

WASB or ABFS

下記に対するURLを使用することも出来る。

  • WASB[S]: Azure storage.
    wasb://<container_name>@<storage_account_name>.blob.core.windows.net
  • ABFS[S]: Azure Data Lake Storage Gen2.
    abfs://<file_system>@<account_name>.dfs.core.windows.net

Clientの場合

TCP/IPソケット

.Format("socket")

  • ホスト名
    .Option("host", hostname)
  • ポート番号
    .Option("port", port)

Azure Event Hubs(Apache Kafka)

.format("kafka")

  • サーバ&ポート
    .Option("kafka.bootstrap.servers", "host1:port1,host2:port2")
  • トピック
    .Option("subscribe", "topic1")

※ 参考:Azure Event Hubsチュートリアル

Serverの場合

サーバーにはならない

参考

microsoft.com

Microsoft Docs > .NET for Apache Spark ガイド


Tags: :クラウド, :Azure, :.NET開発, :.NET Core, :.NET Standard


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2021-07-30 (金) 14:19:28 (3d)