Azure Event Hubs のバックアップの現在との差分(No.1) - マイクロソフト系技術情報 Wiki

追加された行はこの色です。
削除された行はこの色です。
「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicrosofttech.osscons.jp/]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。

-[[戻る>Azure]]
-[[戻る>Azureのメッセージング・サービス]]

--Azure Event Hubs
--[[Azure HDInsight上の Kafka>Azureのメッセージング・サービス#td389d0c]]
--[[Azure IoT Hub]]
--[[Azure Event Grid]]
--[[Azure Service Bus]]

* 目次 [#wf9b8a26]
#contents

*概要 [#kaf4976a]
ビッグ データのパイプライン

>（テレメトリおよびイベント ストリーム データのキャプチャ、保持、再生）

の開発を容易にする。


-任意のソースから毎秒数百万のイベントをストリーミングする。

-[[AMQP>IoT関連の通信プロトコル#ne273685]] や [[HTTP]] といったプロトコルを使って、~
大量のメッセージを中継することができるハブ
--メッセージをイベントと記載している。
--OSS 製品だと RabbitMQ などが近い。
--[[MQTT>IoT関連の通信プロトコル#feb265c9]] はサポートしていない模様。

-[[Kafka>#mb379986]] プロトコルを使用

--バージョン1.0以降をサポート

--マネージド Kafka エクスペリエンスを実現

--既存の Kafkaクライアント（およびアプリが）~
Event Hubs と通信できるように設定できる。

*詳細 [#q9b6f00f]

**機能 [#h5f3595f]

***プロトコル [#xf77c410]
[[HTTP]]、[[AMQP>IoT関連の通信プロトコル#ne273685]] 1.0、または [[Kafka>#mb379986]]プロトコルを使用

***クライアント [#kcd61d9d]
-[[REST]] API ([[WebAPI]])

-各クライアント ライブラリ

--Event Hubs
---[[.NET>.NET言語]]
---Java
---JavaScript
---Python, Go

--その他、プロトコルに対応する著名ライブラリ
---[[Kafka>#mb379986]]クライアント
---...

***[[認証・認可>#f99281c8]] [#j1358d53]

***ストア [#bfa24d45]
-リアルタイムのイベント ストリーム エンジンであるため、~
永続的なストアの代わりとして使用されるように設計されていない。

-Capture を有効にすると、

--任意の BLOB ストレージ アカウント
--Azure Data Lake Service アカウント

>のいずれかに永続化できる。

**用語 [#ydef4da9]

***イベント・パブリッシャー [#n72339b8]
-Event Hubsにデータを送信するエンティティ
-[[パーティション>#ud34c87c]]分割モデルを認識しないで~
パーティション キー のみを指定することがベスト プラクティス。

***パブリッシャー・ポリシー [#gd5b2246]
多数の独立したイベント発行元を支援するために設計されたランタイム機能

***名前空間 [#q47043b3]
イベント ストリームのエンドポイント
-DNS 統合ネットワーク エンドポイント
-アクセス制御、ネットワーク統合管理機能

***パーティション [#ud34c87c]
名前空間に送られてきたイベント ストリームを~
パーティション キーにより、１つまたは複数のパーティションに整理する。

-送られてきたイベントのシーケンスを１つまたは複数のパーティションに整理
-パーティションとスループット ユニットの割り当てを使用してスケーリングされる。

***コンシューマ・グループ [#z68588e4]
-[[パーティション>#ud34c87c]]にはコンシューマー・グループを介してのみアクセス可能

-コンシューマ・グループは、
--[[パーティション>#ud34c87c]]毎にオフセットを持ち、~
イベント ストリームの個別のビューとして機能する。
--チェックポイントでオフセットを管理し以下の両方を実現できる。
---フェールオーバーの回復性
---イベント ストリームの再生

-仕様と推奨
--推奨
---コンシューマー・グループ毎、~
１つの[[パーティション>#ud34c87c]]には１つの[[イベント・コンシューマー>#s13f090e]]が接続。
---１つの[[イベント・コンシューマー>#s13f090e]]が複数の[[パーティション>#ud34c87c]]に接続するのはOK。

--仕様
---コンシューマー・グループ毎、~
１つの[[パーティション>#ud34c87c]]は、最大５つの[[イベント・コンシューマー>#s13f090e]]から接続可能。
---通常は、コンシューマー・グループを分割するが、一部のシナリオで有効な手法。

***イベント・コンシューマー [#s13f090e]
Event Hubsからイベント データを読み取るエンティティ

**[[チュートリアル>Azure Event Hubsチュートリアル]] [#r66d4a47]

*参考 [#yb93060f]
-Event Hub の作成~
https://www.cloudou.net/event-hub/eh001/

**Microsoft Azure [#ub3310c2]
-Azure Event Hubs をいい感じにわかりやすくしたい - mozblog - もずぶろぐ -~
https://moz.hatenablog.jp/entry/2018/04/06/012420

**microsoft.com [#cc28a141]

***Microsoft Azure [#ub3310c2]
-Event Hubs - リアルタイムのデータ インジェスト~
https://azure.microsoft.com/ja-jp/services/event-hubs/

**Microsoft Docs [#f99281c8]
***Microsoft Docs [#f99281c8]
-Azure Event Hubs のドキュメント~
https://docs.microsoft.com/ja-jp/azure/event-hubs/

-Azure Event Hubs とは~
ビッグ データ インジェスト サービス~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-about

-認証・認可

--[[Azure IoT系での認証・認可の考え方>Microsoft Azure IoT#d28b3f30]]

--SAS
---Shared Access Signature を使用して Azure Event Hubs へのアクセスを認証する~
https://docs.microsoft.com/ja-jp/azure/event-hubs/authenticate-shared-access-signature
---Azure Event Hubs で Shared Access Signature を使用してアクセスを承認する~
https://docs.microsoft.com/ja-jp/azure/event-hubs/authorize-access-shared-access-signature

--Azure Active Directory を使用したマネージド ID の認証~
https://docs.microsoft.com/ja-jp/azure/event-hubs/authenticate-managed-identity

--Azure Event Hubs リソースにアクセスするためのアプリケーションを認証する~
https://docs.microsoft.com/ja-jp/azure/event-hubs/authenticate-application

**開発基盤部会 Wiki [#v78335af]
***[[Apache Kafka>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?Apache%20Kafka]] [#mb379986]
***[[Kafkaチュートリアル>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?Kafka%E3%83%81%E3%83%A5%E3%83%BC%E3%83%88%E3%83%AA%E3%82%A2%E3%83%AB]] [#ocaf05c6]

----
Tags: [[:クラウド]], [[:Azure]]
Tags: [[:クラウド]], [[:IoT]], [[:ビッグデータ]], [[:Azure]]