![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicrosofttech.osscons.jp/]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。 -[[戻る>Azure]] --[[ビッグデータ処理テクノロジ>Azureのビッグデータ処理テクノロジ]] ---[[Azure HDInsight]] ---[[Azure Databricks]] ---[[Azure Data Factory]] ---[[Elastic on Azure]] --[[ストリーム処理テクノロジ>Azureのストリーム処理テクノロジ]] ---Azure Stream Analytics ---[[Azure HDInsight]]のHadoop、Spark、Storm ---[[Azure Databricks]]のApache Spark ---[[Azure Data Factory]] * 目次 [#b5ae4f5a] #contents *概要 [#s377516d] -デバイスやセンサーなどからのストリーミングデータを分析するサービス -[[Spark Structured Streaming>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?Spark%20Structured%20Streaming]]も少しづつ解ってきているケド、解らない事と言うか、~ ハマり所が多いので、Stream Analyticsでイイかな？などと思い始めたりした。 -ただし、独自のクエリ言語を覚えるのが、なんと言うか、チョット、アレ。 *詳細 [#oac66831] BLOBや[[Azure Event Hubs]]、[[Azure IoT Hub]]からデータを入力し、 **クエリ言語 [#y7abf8cd] -SQLライクなStream Analyticsの独自のクエリ言語でデータ処理 -入出力に関して、プログラムを一切書かなくてもイケる。 **データ出力 [#jfec5f37] 処理データを再度、BLOBやEvent Hubs、SQL Databaseに出力（保存）可能。 **関数 [#t0e0e691] 以下の関数が使用できる。 ***ユーザー定義関数 [#x3219c43] JavaScriptやC#で記述する。 ***ウィンドウ関数 [#ld7977c8] Group Byで使用する。 -TumbingWindow~ 指定時間間隔毎（例えば10秒間隔毎）にデータをまとめる。 -HoppingWindow --指定時間間隔＆指定インターバル毎（例えば5秒毎10秒間隔）にデータをまとめる。 --インターバルによって、ウィンドウを重ねたり、間を空けることができる。 -SlidingWindow --指定時間間隔毎（例えば10秒間隔毎）にデータをまとめる。 --インターバルではなく、データの到着毎に記録される。 -SessionWindow --類似した時刻に到着するイベントをグループ化する --Sessionの最大継続時間とタイムアウト時間を設定する。 -SnapshotWindow --同じタイムスタンプのデータをまとめる。 --System.Timestamp() を GROUP BY 句に追加する ***地理空間関数 [#y0b0a02b] 地図を使用したエンリッチメント ***[[Azure Machine Learning]] [#oadd89b4] AIの推論を使用したエンリッチメント ***その他 [#d8447dab] -集計関数 -数学関数 -文字列関数 **Edgeでの実行 [#p0f881a3] *チュートリアル [#i51acdba] **契約 [#q850b26e] ***[[Azureの契約>AzureのPoC環境を契約する]] [#u649149c] ***Stream Analyticsの契約 [#rb9f5dfa] -skuはストリーミング ユニット (SU)のcapacityで決まる。 -skuはストリーミング ユニット (SU) のcapacityで決まる。 -クラスタは専用クラスタで、36SU毎の増分で購入できる。 **ジョブの作成 [#td239b90] インスタンス的なものは作成不要で、いきなりジョブ的なものを作成できる。 ***ポータル [#o278e034] -Stream Analytics ジョブに移動して作成から以下を入力 --ジョブ名を入力 --サブスクリプションを選択 --リソース・グループを選択 --リージョンを選択 --ホスティング環境を選択（[クラウド] or Edge） --ストリーミング ユニット (1 から 396) --このジョブに必要なすべての~ プライベート・データ資産を自分のストレージ・アカウントに保管して~ セキュリティで保護する ✔ → ストレージ・アカウントを指定 -パラメタを設定したら[作成]ボタンを押下。 -デプロイが完了したら[リソースに移動]ボタンを押下。 -ジョブの入力、出力、クエリを設定する。 --入力は[Add input]を押下して設定 --出力は[Add output]を押下して設定 --クエリは[Write query]を押下して設定 ***IaC [#a5736add] [[コチラ>https://github.com/OpenTouryoProject/HubAndMsgSrv/tree/develop/MsgSrv/StreamAnalytics]] **クラスタの作成 [#v5d7c25f] 複雑で要求の厳しいユース ケースでシングル テナント デプロイも可能。 ***ポータル [#r2e7cb0a] ***IaC [#m3763e54] *参考 [#yeac6b44] **ナレコムAzureレシピ [#b819493f] ***について [#cdbdcc73] -基本編、特徴~ https://azure-recipe.kc-cloud.jp/2015/06/azure-stream-analytics01/ -できること、活用法編~ https://azure-recipe.kc-cloud.jp/2015/06/azure-stream-analytics02/ ***触ってみた [#q8963028] -① 基本操作編~ https://azure-recipe.kc-cloud.jp/2015/12/streamanalytics-1/ -② SQL databse編~ https://azure-recipe.kc-cloud.jp/2016/02/streamanalytics-2/ **microsoft.com [#r133e5d3] ***Microsoft Azure [#hbadcf7a] -Azure Stream Analytics~ https://azure.microsoft.com/ja-jp/services/stream-analytics/ ***Microsoft Docs [#z24790a4] -Azure Stream Analytics のドキュメント~ https://docs.microsoft.com/ja-jp/azure/stream-analytics/ -Azure Stream Analytics でのユーザー定義関数~ https://docs.microsoft.com/ja-jp/azure/stream-analytics/functions-overview -Azure Stream Analytics ウィンドウ関数の概要~ https://docs.microsoft.com/ja-jp/azure/stream-analytics/stream-analytics-window-functions -Stream Analytics クエリ言語リファレンス - Stream Analytics Query~ https://docs.microsoft.com/ja-jp/stream-analytics-query/stream-analytics-query-language-reference **クイック スタート [#r0e431f6] -Azure portal を使用して Stream Analytics ジョブを作成する~ https://docs.microsoft.com/ja-jp/azure/stream-analytics/stream-analytics-quick-create-portal -Azure CLI を使用して Azure Stream Analytics ジョブを作成する~ https://docs.microsoft.com/ja-jp/azure/stream-analytics/quick-create-azure-cli -Azure Stream Analytics クラスターの作成のクイックスタート~ https://docs.microsoft.com/ja-jp/azure/stream-analytics/create-cluster **チュートリアル [#la051da1] -Stream Analytics を使用して Event Hubs イベントの Apache Kafka を処理する~ https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-kafka-stream-analytics -Azure Stream Analytics を IoT Edge モジュールとしてデプロイする~ https://docs.microsoft.com/ja-jp/azure/iot-edge/tutorial-deploy-stream-analytics ---- Tags: [[:インフラストラクチャ]], [[:クラウド]], [[:ビッグデータ]], [[:Azure]]
