マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

ビッグ データのパイプライン

(テレメトリおよびイベント ストリーム データのキャプチャ、保持、再生)

の開発を容易にする。

  • 任意のソースから毎秒数百万のイベントをストリーミングする。
  • AMQPHTTP といったプロトコルを使って、
    大量のメッセージを中継することができるハブ
    • メッセージをイベントと記載している。
    • OSS 製品だと RabbitMQ などが近い。
    • MQTT はサポートしていない模様。
  • Kafka プロトコルを使用
  • バージョン1.0以降をサポート
  • マネージド Kafka エクスペリエンスを実現
  • 既存の Kafkaクライアント(およびアプリが)
    Event Hubs と通信できるように設定できる。

詳細

機能

プロトコル

HTTPAMQP 1.0、または Kafkaプロトコルを使用

クライアント

  • 各クライアント ライブラリ
  • その他、プロトコルに対応する著名ライブラリ
    • Kafkaクライアント
    • ...

認証・認可

ストア

  • リアルタイムのイベント ストリーム エンジンであるため、
    永続的なストアの代わりとして使用されるように設計されていない。
  • Capture を有効にすると、
  • 任意の BLOB ストレージ アカウント
  • Azure Data Lake Service アカウント

のいずれかに永続化できる。

用語

イベント・パブリッシャー

  • Event Hubsにデータを送信するエンティティ
  • パーティション分割モデルを認識しないで
    パーティション キー のみを指定することがベスト プラクティス。

パブリッシャー・ポリシー

多数の独立したイベント発行元を支援するために設計されたランタイム機能

名前空間

イベント ストリームのエンドポイント

  • DNS 統合ネットワーク エンドポイント
  • アクセス制御、ネットワーク統合管理機能

パーティション

名前空間に送られてきたイベント ストリームを
パーティション キーにより、1つまたは複数のパーティションに整理する。

  • 送られてきたイベントのシーケンスを1つまたは複数のパーティションに整理
  • パーティションとスループット ユニットの割り当てを使用してスケーリングされる。

コンシューマ・グループ

  • コンシューマ・グループは、
    • パーティション毎にオフセットを持ち、
      イベント ストリームの個別のビューとして機能する。
    • チェックポイントでオフセットを管理し以下の両方を実現できる。
      • フェールオーバーの回復性
      • イベント ストリームの再生

イベント・コンシューマー

Event Hubsからイベント データを読み取るエンティティ

チュートリアル

参考

microsoft.com

Microsoft Azure

Microsoft Docs

  • 認証・認可

開発基盤部会 Wiki

Apache Kafka

Kafkaチュートリアル


Tags: :クラウド, :IoT, :ビッグデータ, :Azure


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2021-10-14 (木) 16:24:37 (13d)