- 追加された行はこの色です。
- 削除された行はこの色です。
「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicrosofttech.osscons.jp/]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。
-[[戻る>Azureのストリーム処理テクノロジ]]
-[[戻る>Azure]]
--[[ビッグデータ処理テクノロジ>Azureのビッグデータ処理テクノロジ]]
---[[Azure HDInsight]]
---[[Azure Databricks]]
---[[Azure Data Factory]]
---[[Elastic on Azure]]
--[[ストリーム処理テクノロジ>Azureのストリーム処理テクノロジ]]
---Azure Stream Analytics
---[[Azure HDInsight]]のHadoop、Spark、Storm
---[[Azure Databricks]]のApache Spark
---[[Azure Data Factory]]
* 目次 [#b5ae4f5a]
#contents
*概要 [#s377516d]
デバイスやセンサーなどからのストリーミングデータを分析するサービス
-デバイスやセンサーなどからのストリーミングデータを分析するサービス
-[[Spark Structured Streaming>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?Spark%20Structured%20Streaming]]も少しづつ解ってきているケド、解らない事と言うか、~
ハマり所が多いので、Stream Analyticsでイイかな?などと思い始めたりした。
-ただし、独自のクエリ言語を覚えるのが、なんと言うか、チョット、アレ。
*詳細 [#oac66831]
BLOBや[[Azure Event Hubs]]、[[Azure IoT Hub]]からデータを入力し、
**クエリ言語 [#y7abf8cd]
-SQLライクなStream Analyticsの独自のクエリ言語でデータ処理
-入出力に関して、プログラムを一切書かなくてもイケる。
**データ出力 [#jfec5f37]
処理データを再度、BLOBやEvent Hubs、SQL Databaseに出力(保存)可能。
**関数 [#t0e0e691]
以下の関数が使用できる。
***ユーザー定義関数 [#x3219c43]
JavaScriptやC#で記述する。
***ウィンドウ関数 [#ld7977c8]
Group Byで使用する。
-TumbingWindow~
指定時間間隔毎(例えば10秒間隔毎)にデータをまとめる。
-HoppingWindow
--指定時間間隔&指定インターバル毎(例えば5秒毎10秒間隔)にデータをまとめる。
--インターバルによって、ウィンドウを重ねたり、間を空けることができる。
-SlidingWindow
--指定時間間隔毎(例えば10秒間隔毎)にデータをまとめる。
--インターバルではなく、データの到着毎に記録される。
-SessionWindow
--類似した時刻に到着するイベントをグループ化する
--Sessionの最大継続時間とタイムアウト時間を設定する。
-SnapshotWindow
--同じタイムスタンプのデータをまとめる。
--System.Timestamp() を GROUP BY 句に追加する
***地理空間関数 [#y0b0a02b]
地図を使用したエンリッチメント
***[[Azure Machine Learning]] [#oadd89b4]
AIの推論を使用したエンリッチメント
***その他 [#d8447dab]
-集計関数
-数学関数
-文字列関数
**Edgeでの実行 [#p0f881a3]
*チュートリアル [#i51acdba]
**契約 [#q850b26e]
***[[Azureの契約>AzureのPoC環境を契約する]] [#u649149c]
***Stream Analyticsの契約 [#rb9f5dfa]
-skuはストリーミング ユニット (SU) のcapacityで決まる。
-クラスタは専用クラスタで、36SU毎の増分で購入できる。
**ジョブの作成 [#td239b90]
インスタンス的なものは作成不要で、いきなりジョブ的なものを作成できる。
***ポータル [#o278e034]
-Stream Analytics ジョブに移動して作成から以下を入力
--ジョブ名を入力
--サブスクリプションを選択
--リソース・グループを選択
--リージョンを選択
--ホスティング環境を選択([クラウド] or Edge)
--ストリーミング ユニット (1 から 396)
--このジョブに必要なすべての~
プライベート・データ資産を自分のストレージ・アカウントに保管して~
セキュリティで保護する ✔ → ストレージ・アカウントを指定
-パラメタを設定したら[作成]ボタンを押下。
-デプロイが完了したら[リソースに移動]ボタンを押下。
-ジョブの入力、出力、クエリを設定する。
--入力は[Add input]を押下して設定
--出力は[Add output]を押下して設定
--クエリは[Write query]を押下して設定
***IaC [#a5736add]
[[コチラ>https://github.com/OpenTouryoProject/HubAndMsgSrv/tree/develop/MsgSrv/StreamAnalytics]]
**クラスタの作成 [#v5d7c25f]
複雑で要求の厳しいユース ケースでシングル テナント デプロイも可能。
***ポータル [#r2e7cb0a]
***IaC [#m3763e54]
*参考 [#yeac6b44]
**Microsoft Azure [#hbadcf7a]
**ナレコムAzureレシピ [#b819493f]
***について [#cdbdcc73]
-基本編、特徴~
https://azure-recipe.kc-cloud.jp/2015/06/azure-stream-analytics01/
-できること、活用法編~
https://azure-recipe.kc-cloud.jp/2015/06/azure-stream-analytics02/
***触ってみた [#q8963028]
-① 基本操作編~
https://azure-recipe.kc-cloud.jp/2015/12/streamanalytics-1/
-② SQL databse編~
https://azure-recipe.kc-cloud.jp/2016/02/streamanalytics-2/
**microsoft.com [#r133e5d3]
***Microsoft Azure [#hbadcf7a]
-Azure Stream Analytics~
https://azure.microsoft.com/ja-jp/services/stream-analytics/
**Microsoft Docs [#z24790a4]
***Microsoft Docs [#z24790a4]
-Azure Stream Analytics のドキュメント~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/
-Azure Stream Analytics でのユーザー定義関数~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/functions-overview
-Azure Stream Analytics ウィンドウ関数の概要~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/stream-analytics-window-functions
-Stream Analytics クエリ言語リファレンス - Stream Analytics Query~
https://docs.microsoft.com/ja-jp/stream-analytics-query/stream-analytics-query-language-reference
**クイック スタート [#r0e431f6]
-Azure portal を使用して Stream Analytics ジョブを作成する~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/stream-analytics-quick-create-portal
-Azure CLI を使用して Azure Stream Analytics ジョブを作成する~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/quick-create-azure-cli
-Azure Stream Analytics クラスターの作成のクイックスタート~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/create-cluster
**チュートリアル [#la051da1]
-Stream Analytics を使用して Event Hubs イベントの Apache Kafka を処理する~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-kafka-stream-analytics
-Azure Stream Analytics を IoT Edge モジュールとしてデプロイする~
https://docs.microsoft.com/ja-jp/azure/iot-edge/tutorial-deploy-stream-analytics
----
Tags: [[:クラウド]], [[:Azure]]
Tags: [[:インフラストラクチャ]], [[:クラウド]], [[:ビッグデータ]], [[:Azure]]