Azure Event Hubsチュートリアルのバックアップ(No.6) - マイクロソフト系技術情報 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

概要 †

ここでは、C#で、IoTデバイス → Azure Event Hubs → Azure Databricksと繋いでみる。

詳細 †

認証・認可 †

※ Kafkaエンドポイントの場合は、KafkaのSecurityProtocol?で使用可能なもの。

Event Hubsの構築 †

取り敢えず、Kafkaエンドポイントを持つEvent Hubsを構築してみる。

Kafkaエンドポイント †

SKU
- Basic レベルではサポートされていない。
- Standard レベルを選択すれば利用可能である模様。

圧縮/メッセージフォーマットは現在サポートしていない。

認証機構としてSASL認証をサポートしている。
が、その場合（≒IoTデバイスから接続する場合）、
推奨は、標準の接続文字列（中のSASトークン）の利用らしい。

コンシューマ・グループは別モノ（完全に区別される）。

追加の制限事項
- group.id プロパティの最大長は 256 文字
- offset.metadata.max.bytes の最大サイズは 1024 バイト

IaC化（Azure CLI） †

リソース・グループがない場合、作成

az group create --name [ResourceGroupName] --location [Location]
例：az group create --name EventHubsRG --location "Japan East"

Event Hubs 名前空間を作成

az eventhubs namespace create --name [EventHubsNamespace] --resource-group [既存のRG名] -l [Location]
例：az eventhubs namespace create --name osscjpdevinfra --resource-group EventHubsRG -l "Japan East"

※ 省略してある--skuの既定値はStandardになっている。

イベントハブの作成

az eventhubs eventhub create --name [EventHubsName] --resource-group [既存のRG名] --namespace-name [EventHubs名前空間]
例：az eventhubs eventhub create --name OsscJpDevInfra --resource-group EventHubsRG --namespace-name osscjpdevinfra

Kafka .NET クライアントで送受信 †

先ずは、正しく構築できたことを確認するために送受信を行う。

接続文字列の取得 †

ポータルの「共有アクセスポリシー」から取得する。

Endpoint=sb://[EventHubsNamespace].servicebus.windows.net/;SharedAccessKeyName=RootManageSharedAccessKey;SharedAccessKey=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

サンプルをクローンして実行 †

https://github.com/Azure/azure-event-hubs-for-kafka/tree/master/quickstart/dotnet

設定値

環境に合わせて設定する。
- EH_FQDN
- EH_CONNECTION_STRING

必要に応じて設定する。
- EH_NAME：test（トピック明）
- CONSUMER_GROUP：$Default（既定のコンシューマ・グループ）

CA_CERT_LOCATION
- そのままでも動作する（？要確認）
- パラメタとしては、Confluent.KafkaのSslCaLocation?。
- 必要であれが、このパラメタで、認証局の証明書をポイントする。

.NET for Apache Sparkで受信 †

受信処理（DataFrame?のReadStream?）の結果をDataFrame?.Show()で出力する。
なお、送信処理（DataFrame?のWriteStream?）もサポートしている。

Azure Databricksにデプロイ †

上記の受信処理をAzure Databricksにデプロイ

参考 †

Qiita †

https://qiita.com/tags/eventhubs

dz_
Check! ESP-WROOM-02 から Azure Event Hubs にデータを送り、Power BI で可視化する
- （1）～構成編
  https://qiita.com/dz_/items/7093ec21802d1dc03464
- （2）～クラウド準備編
  https://qiita.com/dz_/items/a6fc28699e3b63c93c61
- （3）～データ送信編
  https://qiita.com/dz_/items/edf96e7f852b62600848

GitHub †

confluent-kafka-dotnet †

Azure Event Hubs for Apache Kafka Ecosystems †

https://github.com/Azure/azure-event-hubs-for-kafka

quickstart/dotnet
https://github.com/Azure/azure-event-hubs-for-kafka/tree/master/quickstart/dotnet

tutorials/spark
https://github.com/Azure/azure-event-hubs-for-kafka/tree/master/tutorials/spark

Microsoft Docs †

クイックスタート †

XXXXを使用したイベントハブの作成
- Azure portal
  https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-create
- Azure CLI
  https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-quickstart-cli

イベントの送受信

古い
- .NET Framework：
  https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-dotnet-framework-getstarted-send
- .NET Core：
  https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-dotnet-standard-get-started-send-legacy

新しい
.NET Core：
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-dotnet-standard-getstarted-send

Kafka プロトコルを使用した Azure Event Hubs によるデータストリーミング
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-quickstart-kafka-enabled-event-hubs

Azure portal を使用した Event Hubs 専用クラスターの作成
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-dedicated-cluster-create-portal

チュートリアル †

Event Hubs を使用してデータを Azure Databricks にストリーム配信する
https://docs.microsoft.com/ja-jp/azure/databricks/scenarios/databricks-stream-from-eventhubs

Azure Synapse Analytics にイベントデータを移行する
https://docs.microsoft.com/ja-jp/azure/event-hubs/store-captured-data-data-warehouse

Stream Analytics を使用して...Apache Kafka イベントを処理する
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-kafka-stream-analytics

操作方法ガイド †

開発
- 接続文字列を取得する
  https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-get-connection-string

Apache Kafkaとの統合
- Event Hubs 用 Apache Kafka
  - 開発者ガイド
    https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-kafka-developer-guide
  - 移行ガイド
    https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-kafka-migration-guide

Apache Spark アプリの接続
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-kafka-spark-tutorial
- .NET for Apache Spark を Azure Event Hubs に接続する
  https://docs.microsoft.com/ja-jp/dotnet/spark/how-to-guides/connect-to-event-hub

Apache Kafka 用 Azure Event Hubs に関する問題をトラブルシューティングする
https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-kafka-troubleshooting-guide

よく寄せられる質問 - Apache Kafka 用 Azure Event Hubs
https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-kafka-frequently-asked-questions

ナレコムAzureレシピ †

https://azure-recipe.kc-cloud.jp/category/azure-event-hubs/

Azure Event Hubsを触ってみた

Azure Event Hubs の概要とパフォーマンスについて
https://azure-recipe.kc-cloud.jp/2016/06/ebent-hubs/

内部リンク †

Apache Kafka †

Azure Databricks †

.NET for Apache Spark †

Tags: :クラウド, :ビッグデータ, :Azure