Azure Event Hubsチュートリアル
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicros...
-[[戻る>Azure Event Hubs]]
* 目次 [#z9ee8325]
#contents
*概要 [#z6d99652]
ここでは、C#で、IoTデバイス → Azure Event Hubs → [[Azure ...
*詳細 [#x02d777e]
**契約 [#gaa4007d]
***[[Azureの契約>AzureのPoC環境を契約する]] [#f39bae70]
***Event Hubsの契約 [#jced0ea9]
Basic レベル、Standard レベルを選択できるらしい。
**構築 [#f1eb5620]
取り敢えず、[[Kafka>Azure Event Hubs#mb379986]]エンドポイ...
***Kafkaエンドポイント [#od841821]
-SKU
--Basic レベルではサポートされていない。
--Standard レベルを選択すれば利用可能である模様。
-マッピング
|Event Hubs|Kafka|h
|名前空間|クラスター|
|イベントハブ|トピック|
|Partition|Partition|
|コンシューマーグループ|コンシューマーグループ|
|Offset|Offset|
-圧縮/メッセージフォーマットは現在サポートしていない。
-[[認証>#v6c350bf]]機構としてSASL認証をサポートしている。~
が、その場合(≒IoTデバイスから接続する場合)、~
推奨は、標準の[[接続文字列(SASトークン)>#y03d6018]]の利...
-[[コンシューマ・グループ>Azure Event Hubs#z68588e4]]は別...
-追加の制限事項
--group.id プロパティの最大長は 256 文字
--offset.metadata.max.bytes の最大サイズは 1024 バイト
***Event Hubsの作成 [#d5ec211f]
-ポータルから
--リソース グループを作成~
データ・パープライン系は「West US 2」辺りが良いかも。
--Event Hubs 名前空間を作成
--Event Hubs を作成
-IaC化
--[[Azure CLI]]で
---リソース・グループがない場合、作成
az group create --name [ResourceGroupName] --location [L...
例:az group create --name EventHubsRG --location "Japan...
---Event Hubs 名前空間を作成
az eventhubs namespace create --name [EventHubsNamespace...
例:az eventhubs namespace create --name osscjpdevinfra ...
※ 省略してある--skuの既定値はStandardになっている。
---イベント ハブの作成
az eventhubs eventhub create --name [EventHubsName] --re...
例:az eventhubs eventhub create --name OsscJpDevInfra -...
---IPアドレス制限
az eventhubs namespace network-rule add --resource-group...
例:az eventhubs namespace network-rule add --resource-g...
---参考:~
・https://opentouryo.osscons.jp/index.php?%E9%83%A8%E4%BC...
・https://github.com/OpenTouryoProject/DataPipeline/tree/...
*送受信 [#t3ac11a3]
**[[純正 Kafkaクライアント>https://dotnetdevelopmentinfra...
-先ずは、正しく構築できたことを確認するために送受信を行う。
-参考:https://github.com/Azure/azure-event-hubs-for-kafk...
***環境構築 [#q706ba8e]
-[[純正 Kafkaクライアント>https://dotnetdevelopmentinfras...
-[[Event Hubs>#d5ec211f]]
***接続文字列の取得 [#jc1302cd]
-primaryConnectionStringを取得する。
-参考:
--https://github.com/Azure/azure-event-hubs-for-kafka/tre...
--https://github.com/OpenTouryoProject/DataPipeline/tree/...
***コマンドで送受信 [#s999fb00]
WSL2で実行する。
-準備
--取得
git clone https://github.com/Azure/azure-event-hubs-for-...
cd azure-event-hubs-for-kafka/quickstart/kafka-cli
--編集([[参考>https://dotnetdevelopmentinfrastructure.os...
password部分にprimaryConnectionString値を埋める。
$ dir
README.md client_common.properties jaas.conf
$ vi jaas.conf
-送受信
kafkaInstallHome=/usr/local/kafka
export KAFKA_OPTS="-Djava.security.auth.login.config=jaa...
echo $kafkaInstallHome
echo $KAFKA_OPTS
--受信
$kafkaInstallHome/bin/kafka-console-consumer.sh --topic ...
--送信
$kafkaInstallHome/bin/kafka-console-producer.sh --topic ...
> ※ $eventhubsNameSpaceは、[[コチラ>#q706ba8e]]で設定した...
**[[Kafka .NET クライアント]]で送受信 [#f1a3a29f]
-先ずは、正しく構築できたことを確認するために送受信を行う。
-参考:https://github.com/Azure/azure-event-hubs-for-kafk...
***接続文字列の取得 [#y03d6018]
ポータルの「共有アクセス ポリシー」から取得する。
Endpoint=sb://[EventHubsNamespace].servicebus.windows.ne...
※ 内部的には、[[SASトークン>トークン#w01b1c2d]]を使用する。
***サンプルをクローンして実行 [#m4346c39]
-設定値
--環境に合わせて設定する。
---EH_FQDN
---EH_CONNECTION_STRING
--必要に応じて設定する。
---EH_NAME:test(トピック名)
---CONSUMER_GROUP:$Default(既定の[[コンシューマ・グルー...
--CA_CERT_LOCATION
---そのままでも動作する(また、設定しなくても動作する)
---パラメタとしては、Confluent.KafkaのSslCaLocation。
---Azure Event Hubsの[[Kafkaエンドポイント>#od841821]]は...
---必要であれば、このパラメタで、認証局の証明書をポイント...
-実行結果の例
Initializing Producer
Sending 10 messages to topic: test, broker(s): osscjpdev...
Message 0 sent (value: 'Sample message #0 sent at 2021-0...
Message 1 sent (value: 'Sample message #1 sent at 2021-0...
Message 2 sent (value: 'Sample message #2 sent at 2021-0...
Message 3 sent (value: 'Sample message #3 sent at 2021-0...
Message 4 sent (value: 'Sample message #4 sent at 2021-0...
Message 5 sent (value: 'Sample message #5 sent at 2021-0...
Message 6 sent (value: 'Sample message #6 sent at 2021-0...
Message 7 sent (value: 'Sample message #7 sent at 2021-0...
Message 8 sent (value: 'Sample message #8 sent at 2021-0...
Message 9 sent (value: 'Sample message #9 sent at 2021-0...
Initializing Consumer
Consuming messages from topic: test, broker(s): osscjpde...
Received: 'Sample message #0 sent at 2021-07-23_18:19:22...
Received: 'Sample message #1 sent at 2021-07-23_18:19:23...
Received: 'Sample message #2 sent at 2021-07-23_18:19:23...
Received: 'Sample message #3 sent at 2021-07-23_18:19:23...
Received: 'Sample message #4 sent at 2021-07-23_18:19:23...
Received: 'Sample message #5 sent at 2021-07-23_18:19:23...
Received: 'Sample message #6 sent at 2021-07-23_18:19:23...
Received: 'Sample message #7 sent at 2021-07-23_18:19:23...
Received: 'Sample message #8 sent at 2021-07-23_18:19:23...
Received: 'Sample message #9 sent at 2021-07-23_18:19:23...
**Apache Spark系 [#g5224a9a]
***[[.NET for Apache Sparkで送受信>.NET for Apache Spark...
***[[Scalaで送受信>https://docs.microsoft.com/ja-jp/azure...
***[[PySparkで送受信>Azure Databricksチュートリアル#l13d0...
***[[Azure Databricks]]から接続 [#v1eb2538]
[[上記の受信処理>#g5224a9a]]を[[Azure Databricks>Azure Da...
*参考 [#l9f00083]
-Azure Event HubsをApache Kafkaのブローカーとして利用した...
https://tech.fusic.co.jp/posts/2020-12-22-azure-event-hub...
**Qiita [#za166413]
https://qiita.com/tags/eventhubs
-dz_~
Check! ESP-WROOM-02 から Azure Event Hubs にデータを送り...
--(1) ~ 構成編~
https://qiita.com/dz_/items/7093ec21802d1dc03464
--(2) ~ クラウド準備編~
https://qiita.com/dz_/items/a6fc28699e3b63c93c61
--(3) ~ データ送信編~
https://qiita.com/dz_/items/edf96e7f852b62600848
**GitHub [#cef117e9]
***confluent-kafka-dotnet [#af8ccc9e]
-https://github.com/confluentinc/confluent-kafka-dotnet
-https://github.com/mhowlett/confluent-kafka-dotnet/
***Azure Event Hubs for Apache Kafka Ecosystems [#n286999e]
https://github.com/Azure/azure-event-hubs-for-kafka
-quickstart/dotnet~
https://github.com/Azure/azure-event-hubs-for-kafka/tree/...
-tutorials/spark~
https://github.com/Azure/azure-event-hubs-for-kafka/tree/...
**Microsoft Docs [#f99281c8]
***クイック スタート [#wa52cbf3]
-XXXXを使用したイベント ハブの作成
--Azure portal~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
--Azure CLI~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
-イベントの送受信
--古い
---.NET Framework:~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
---.NET Core:~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
--新しい~
.NET Core:~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
-Kafka プロトコルを使用した Azure Event Hubs によるデータ...
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
-Azure portal を使用した Event Hubs 専用クラスターの作成~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
***チュートリアル [#s9768ca7]
-Event Hubs を使用してデータを Azure Databricks にストリ...
https://docs.microsoft.com/ja-jp/azure/databricks/scenari...
-Azure Synapse Analytics にイベント データを移行する~
https://docs.microsoft.com/ja-jp/azure/event-hubs/store-c...
-Stream Analytics を使用して...Apache Kafka イベントを処...
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
***操作方法ガイド [#u8673045]
-開発
--接続文字列を取得する~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
-Kafkaエンドポイント
--Apache Kafka アプリからイベント ハブを使用する~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
--Apache Kafkaとの統合 > Event Hubs 用 Kafka
---開発者ガイド~
https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-...
---移行ガイド~
https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-...
--Apache Kafka 用 Azure Event Hubs に関する問題をトラブル...
https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-...
--よく寄せられる質問 - Apache Kafka 用 Azure Event Hubs~
https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-...
**ナレコムAzureレシピ [#pc51e29f]
https://azure-recipe.kc-cloud.jp/category/azure-event-hubs/
***概要とパフォーマンス [#y282a117]
-Azure Event Hubs の概要とパフォーマンスについて~
https://azure-recipe.kc-cloud.jp/2016/06/ebent-hubs/
***触ってみた [#if38f391]
-Azure Event Hubsを触ってみた
--① 作成編~
https://azure-recipe.kc-cloud.jp/2015/09/eventhubs-1/
--② メッセージ送信編~
https://azure-recipe.kc-cloud.jp/2015/09/eventhubs-2/
--③ メッセージ送受信編~
https://azure-recipe.kc-cloud.jp/2015/09/eventhubs-3/
--③ メッセージ送受信編~
https://azure-recipe.kc-cloud.jp/2015/09/eventhubs-3/
--④ REST API送信編~
https://azure-recipe.kc-cloud.jp/2015/12/eventhubs-4/
**内部リンク [#d4f378da]
***[[Apache Kafka>Azure Event Hubs#mb379986]] [#v8bc4f84]
***[[Azure Databricks]] [#hd16e240]
***[[.NET for Apache Spark]] [#wf9a91c8]
----
Tags: [[:クラウド]], [[:ビッグデータ]], [[:Azure]]
終了行:
「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicros...
-[[戻る>Azure Event Hubs]]
* 目次 [#z9ee8325]
#contents
*概要 [#z6d99652]
ここでは、C#で、IoTデバイス → Azure Event Hubs → [[Azure ...
*詳細 [#x02d777e]
**契約 [#gaa4007d]
***[[Azureの契約>AzureのPoC環境を契約する]] [#f39bae70]
***Event Hubsの契約 [#jced0ea9]
Basic レベル、Standard レベルを選択できるらしい。
**構築 [#f1eb5620]
取り敢えず、[[Kafka>Azure Event Hubs#mb379986]]エンドポイ...
***Kafkaエンドポイント [#od841821]
-SKU
--Basic レベルではサポートされていない。
--Standard レベルを選択すれば利用可能である模様。
-マッピング
|Event Hubs|Kafka|h
|名前空間|クラスター|
|イベントハブ|トピック|
|Partition|Partition|
|コンシューマーグループ|コンシューマーグループ|
|Offset|Offset|
-圧縮/メッセージフォーマットは現在サポートしていない。
-[[認証>#v6c350bf]]機構としてSASL認証をサポートしている。~
が、その場合(≒IoTデバイスから接続する場合)、~
推奨は、標準の[[接続文字列(SASトークン)>#y03d6018]]の利...
-[[コンシューマ・グループ>Azure Event Hubs#z68588e4]]は別...
-追加の制限事項
--group.id プロパティの最大長は 256 文字
--offset.metadata.max.bytes の最大サイズは 1024 バイト
***Event Hubsの作成 [#d5ec211f]
-ポータルから
--リソース グループを作成~
データ・パープライン系は「West US 2」辺りが良いかも。
--Event Hubs 名前空間を作成
--Event Hubs を作成
-IaC化
--[[Azure CLI]]で
---リソース・グループがない場合、作成
az group create --name [ResourceGroupName] --location [L...
例:az group create --name EventHubsRG --location "Japan...
---Event Hubs 名前空間を作成
az eventhubs namespace create --name [EventHubsNamespace...
例:az eventhubs namespace create --name osscjpdevinfra ...
※ 省略してある--skuの既定値はStandardになっている。
---イベント ハブの作成
az eventhubs eventhub create --name [EventHubsName] --re...
例:az eventhubs eventhub create --name OsscJpDevInfra -...
---IPアドレス制限
az eventhubs namespace network-rule add --resource-group...
例:az eventhubs namespace network-rule add --resource-g...
---参考:~
・https://opentouryo.osscons.jp/index.php?%E9%83%A8%E4%BC...
・https://github.com/OpenTouryoProject/DataPipeline/tree/...
*送受信 [#t3ac11a3]
**[[純正 Kafkaクライアント>https://dotnetdevelopmentinfra...
-先ずは、正しく構築できたことを確認するために送受信を行う。
-参考:https://github.com/Azure/azure-event-hubs-for-kafk...
***環境構築 [#q706ba8e]
-[[純正 Kafkaクライアント>https://dotnetdevelopmentinfras...
-[[Event Hubs>#d5ec211f]]
***接続文字列の取得 [#jc1302cd]
-primaryConnectionStringを取得する。
-参考:
--https://github.com/Azure/azure-event-hubs-for-kafka/tre...
--https://github.com/OpenTouryoProject/DataPipeline/tree/...
***コマンドで送受信 [#s999fb00]
WSL2で実行する。
-準備
--取得
git clone https://github.com/Azure/azure-event-hubs-for-...
cd azure-event-hubs-for-kafka/quickstart/kafka-cli
--編集([[参考>https://dotnetdevelopmentinfrastructure.os...
password部分にprimaryConnectionString値を埋める。
$ dir
README.md client_common.properties jaas.conf
$ vi jaas.conf
-送受信
kafkaInstallHome=/usr/local/kafka
export KAFKA_OPTS="-Djava.security.auth.login.config=jaa...
echo $kafkaInstallHome
echo $KAFKA_OPTS
--受信
$kafkaInstallHome/bin/kafka-console-consumer.sh --topic ...
--送信
$kafkaInstallHome/bin/kafka-console-producer.sh --topic ...
> ※ $eventhubsNameSpaceは、[[コチラ>#q706ba8e]]で設定した...
**[[Kafka .NET クライアント]]で送受信 [#f1a3a29f]
-先ずは、正しく構築できたことを確認するために送受信を行う。
-参考:https://github.com/Azure/azure-event-hubs-for-kafk...
***接続文字列の取得 [#y03d6018]
ポータルの「共有アクセス ポリシー」から取得する。
Endpoint=sb://[EventHubsNamespace].servicebus.windows.ne...
※ 内部的には、[[SASトークン>トークン#w01b1c2d]]を使用する。
***サンプルをクローンして実行 [#m4346c39]
-設定値
--環境に合わせて設定する。
---EH_FQDN
---EH_CONNECTION_STRING
--必要に応じて設定する。
---EH_NAME:test(トピック名)
---CONSUMER_GROUP:$Default(既定の[[コンシューマ・グルー...
--CA_CERT_LOCATION
---そのままでも動作する(また、設定しなくても動作する)
---パラメタとしては、Confluent.KafkaのSslCaLocation。
---Azure Event Hubsの[[Kafkaエンドポイント>#od841821]]は...
---必要であれば、このパラメタで、認証局の証明書をポイント...
-実行結果の例
Initializing Producer
Sending 10 messages to topic: test, broker(s): osscjpdev...
Message 0 sent (value: 'Sample message #0 sent at 2021-0...
Message 1 sent (value: 'Sample message #1 sent at 2021-0...
Message 2 sent (value: 'Sample message #2 sent at 2021-0...
Message 3 sent (value: 'Sample message #3 sent at 2021-0...
Message 4 sent (value: 'Sample message #4 sent at 2021-0...
Message 5 sent (value: 'Sample message #5 sent at 2021-0...
Message 6 sent (value: 'Sample message #6 sent at 2021-0...
Message 7 sent (value: 'Sample message #7 sent at 2021-0...
Message 8 sent (value: 'Sample message #8 sent at 2021-0...
Message 9 sent (value: 'Sample message #9 sent at 2021-0...
Initializing Consumer
Consuming messages from topic: test, broker(s): osscjpde...
Received: 'Sample message #0 sent at 2021-07-23_18:19:22...
Received: 'Sample message #1 sent at 2021-07-23_18:19:23...
Received: 'Sample message #2 sent at 2021-07-23_18:19:23...
Received: 'Sample message #3 sent at 2021-07-23_18:19:23...
Received: 'Sample message #4 sent at 2021-07-23_18:19:23...
Received: 'Sample message #5 sent at 2021-07-23_18:19:23...
Received: 'Sample message #6 sent at 2021-07-23_18:19:23...
Received: 'Sample message #7 sent at 2021-07-23_18:19:23...
Received: 'Sample message #8 sent at 2021-07-23_18:19:23...
Received: 'Sample message #9 sent at 2021-07-23_18:19:23...
**Apache Spark系 [#g5224a9a]
***[[.NET for Apache Sparkで送受信>.NET for Apache Spark...
***[[Scalaで送受信>https://docs.microsoft.com/ja-jp/azure...
***[[PySparkで送受信>Azure Databricksチュートリアル#l13d0...
***[[Azure Databricks]]から接続 [#v1eb2538]
[[上記の受信処理>#g5224a9a]]を[[Azure Databricks>Azure Da...
*参考 [#l9f00083]
-Azure Event HubsをApache Kafkaのブローカーとして利用した...
https://tech.fusic.co.jp/posts/2020-12-22-azure-event-hub...
**Qiita [#za166413]
https://qiita.com/tags/eventhubs
-dz_~
Check! ESP-WROOM-02 から Azure Event Hubs にデータを送り...
--(1) ~ 構成編~
https://qiita.com/dz_/items/7093ec21802d1dc03464
--(2) ~ クラウド準備編~
https://qiita.com/dz_/items/a6fc28699e3b63c93c61
--(3) ~ データ送信編~
https://qiita.com/dz_/items/edf96e7f852b62600848
**GitHub [#cef117e9]
***confluent-kafka-dotnet [#af8ccc9e]
-https://github.com/confluentinc/confluent-kafka-dotnet
-https://github.com/mhowlett/confluent-kafka-dotnet/
***Azure Event Hubs for Apache Kafka Ecosystems [#n286999e]
https://github.com/Azure/azure-event-hubs-for-kafka
-quickstart/dotnet~
https://github.com/Azure/azure-event-hubs-for-kafka/tree/...
-tutorials/spark~
https://github.com/Azure/azure-event-hubs-for-kafka/tree/...
**Microsoft Docs [#f99281c8]
***クイック スタート [#wa52cbf3]
-XXXXを使用したイベント ハブの作成
--Azure portal~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
--Azure CLI~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
-イベントの送受信
--古い
---.NET Framework:~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
---.NET Core:~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
--新しい~
.NET Core:~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
-Kafka プロトコルを使用した Azure Event Hubs によるデータ...
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
-Azure portal を使用した Event Hubs 専用クラスターの作成~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
***チュートリアル [#s9768ca7]
-Event Hubs を使用してデータを Azure Databricks にストリ...
https://docs.microsoft.com/ja-jp/azure/databricks/scenari...
-Azure Synapse Analytics にイベント データを移行する~
https://docs.microsoft.com/ja-jp/azure/event-hubs/store-c...
-Stream Analytics を使用して...Apache Kafka イベントを処...
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
***操作方法ガイド [#u8673045]
-開発
--接続文字列を取得する~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
-Kafkaエンドポイント
--Apache Kafka アプリからイベント ハブを使用する~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
--Apache Kafkaとの統合 > Event Hubs 用 Kafka
---開発者ガイド~
https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-...
---移行ガイド~
https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-...
--Apache Kafka 用 Azure Event Hubs に関する問題をトラブル...
https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-...
--よく寄せられる質問 - Apache Kafka 用 Azure Event Hubs~
https://docs.microsoft.com/ja-jp/azure/event-hubs/apache-...
**ナレコムAzureレシピ [#pc51e29f]
https://azure-recipe.kc-cloud.jp/category/azure-event-hubs/
***概要とパフォーマンス [#y282a117]
-Azure Event Hubs の概要とパフォーマンスについて~
https://azure-recipe.kc-cloud.jp/2016/06/ebent-hubs/
***触ってみた [#if38f391]
-Azure Event Hubsを触ってみた
--① 作成編~
https://azure-recipe.kc-cloud.jp/2015/09/eventhubs-1/
--② メッセージ送信編~
https://azure-recipe.kc-cloud.jp/2015/09/eventhubs-2/
--③ メッセージ送受信編~
https://azure-recipe.kc-cloud.jp/2015/09/eventhubs-3/
--③ メッセージ送受信編~
https://azure-recipe.kc-cloud.jp/2015/09/eventhubs-3/
--④ REST API送信編~
https://azure-recipe.kc-cloud.jp/2015/12/eventhubs-4/
**内部リンク [#d4f378da]
***[[Apache Kafka>Azure Event Hubs#mb379986]] [#v8bc4f84]
***[[Azure Databricks]] [#hd16e240]
***[[.NET for Apache Spark]] [#wf9a91c8]
----
Tags: [[:クラウド]], [[:ビッグデータ]], [[:Azure]]
ページ名: