Azure Event Hubsチュートリアルのバックアップ(No.5) - マイクロソフト系技術情報 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

概要 †

ここでは、C#で、IoTデバイス → Azure Event Hubs → Azure Databricksと繋いでみる。

詳細 †

認証・認可 †

Event Hubsの構築 †

取り敢えず、Kafkaエンドポイントを持つEvent Hubsを構築してみる。

Kafkaエンドポイントのポイント
- SKU
  - Basic レベルではサポートされていない。
  - Standard レベルを選択すれば利用可能である模様。

圧縮/メッセージフォーマットは現在サポートしていない。

認証機構としてSASL認証をサポートしている。
が、その場合（≒IoTデバイスから接続する場合）、
推奨は、標準の接続文字列（中のSASトークン）の利用らしい。

コンシューマ・グループは別モノ（完全に区別される）。

追加の制限事項
- group.id プロパティの最大長は 256 文字
- offset.metadata.max.bytes の最大サイズは 1024 バイト

Kafka .NET クライアントで送受信 †

先ずは、正しく構築できたことを確認するために送受信を行う。

.NET for Apache Sparkで受信 †

受信処理（DataFrame?のReadStream?）の結果をDataFrame?.Show()で出力する。
なお、送信処理（DataFrame?のWriteStream?）もサポートしている。

Azure Databricksにデプロイ †

上記の受信処理をAzure Databricksにデプロイ

参考 †

Qiita †

https://qiita.com/tags/eventhubs

dz_
Check! ESP-WROOM-02 から Azure Event Hubs にデータを送り、Power BI で可視化する
- （1）～構成編
  https://qiita.com/dz_/items/7093ec21802d1dc03464
- （2）～クラウド準備編
  https://qiita.com/dz_/items/a6fc28699e3b63c93c61
- （3）～データ送信編
  https://qiita.com/dz_/items/edf96e7f852b62600848

GitHub †

Azure Event Hubs for Apache Kafka Ecosystems
https://github.com/Azure/azure-event-hubs-for-kafka

quickstart/dotnet †

https://github.com/Azure/azure-event-hubs-for-kafka/tree/master/quickstart/dotnet

tutorials/spark †

https://github.com/Azure/azure-event-hubs-for-kafka/tree/master/tutorials/spark

Microsoft Docs †

クイックスタート †

XXXXを使用したイベントハブの作成
- Azure portal
  https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-create
- Azure CLI
  https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-quickstart-cli

イベントの送受信

古い
- .NET Framework：
  https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-dotnet-framework-getstarted-send
- .NET Core：
  https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-dotnet-standard-get-started-send-legacy

新しい
.NET Core：
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-dotnet-standard-getstarted-send

Kafka プロトコルを使用した Azure Event Hubs によるデータストリーミング
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-quickstart-kafka-enabled-event-hubs

Azure portal を使用した Event Hubs 専用クラスターの作成
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-dedicated-cluster-create-portal

チュートリアル †

Event Hubs を使用してデータを Azure Databricks にストリーム配信する
https://docs.microsoft.com/ja-jp/azure/databricks/scenarios/databricks-stream-from-eventhubs

Azure Synapse Analytics にイベントデータを移行する
https://docs.microsoft.com/ja-jp/azure/event-hubs/store-captured-data-data-warehouse

Stream Analytics を使用して...Apache Kafka イベントを処理する
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-kafka-stream-analytics

Apache Kafkaとの統合 †

Event Hubs 用 Apache Kafka
- 開発者ガイド
  https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-kafka-developer-guide
- 移行ガイド
  https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-kafka-migration-guide

Apache Spark アプリの接続
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-kafka-spark-tutorial

Apache Kafka 用 Azure Event Hubs に関する問題をトラブルシューティングする
https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-kafka-troubleshooting-guide

よく寄せられる質問 - Apache Kafka 用 Azure Event Hubs
https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-kafka-frequently-asked-questions

ナレコムAzureレシピ †

https://azure-recipe.kc-cloud.jp/category/azure-event-hubs/

Azure Event Hubsを触ってみた

Azure Event Hubs の概要とパフォーマンスについて
https://azure-recipe.kc-cloud.jp/2016/06/ebent-hubs/

内部リンク †

Apache Kafka †

Azure Databricks †

.NET for Apache Spark †

Tags: :クラウド, :ビッグデータ, :Azure