マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

ここでは、C#で、IoTデバイス → Azure Event Hubs → Azure Databricksと繋いでみる。

詳細

Event Hubsの構築

Kafkaエンドポイント

IaC化(Azure CLI

※ データ・パープライン系は「West US 2」辺りが良いかも。

純正 Kafkaクライアントで送受信

接続文字列の取得

コマンドで送受信

Kafka .NET クライアントで送受信

接続文字列の取得

ポータルの「共有アクセス ポリシー」から取得する。

Endpoint=sb://[EventHubsNamespace].servicebus.windows.net/;SharedAccessKeyName=RootManageSharedAccessKey;SharedAccessKey=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

※ 内部的には、SASトークンを使用する。

サンプルをクローンして実行

Apache Spark系

.NET for Apache Sparkで送受信

Scalaで送受信

https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-kafka-spark-tutorial

PySparkで送受信

サンプル探し中。

Azure Databricksから接続

上記の受信処理Azure Databricks上で実行する。

参考

Qiita

https://qiita.com/tags/eventhubs

GitHub

confluent-kafka-dotnet

Azure Event Hubs for Apache Kafka Ecosystems

https://github.com/Azure/azure-event-hubs-for-kafka

Microsoft Docs

クイック スタート

チュートリアル

操作方法ガイド

ナレコムAzureレシピ

https://azure-recipe.kc-cloud.jp/category/azure-event-hubs/

概要とパフォーマンス

触ってみた

内部リンク

Apache Kafka

Azure Databricks

.NET for Apache Spark


Tags: :クラウド, :ビッグデータ, :Azure


トップ   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS