Azure Stream Analytics のバックアップの現在との差分(No.1)

追加された行はこの色です。
削除された行はこの色です。
「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicrosofttech.osscons.jp/]]」は、「[[Open棟梁Project>https://github.com/OpenTouryoProject/]]」,「[[OSSコンソーシアム .NET開発基盤部会>https://www.osscons.jp/dotNetDevelopmentInfrastructure/]]」によって運営されています。

-[[戻る>Azure#p21693dd]]
--[[Azure Cosmos DB]]
--[[Azure Data Lake]]
--[[Azure Synapse]]
--[[Azure Event Hubs]]
--Azure Stream Analytics
--[[Azure HDInsight]]
--[[Azure Databricks]]
--[[Elastic on Azure]]
--[[Azure Data Explorer]]
-[[戻る>Azure]]
--[[ビッグデータ処理テクノロジ>Azureのビッグデータ処理テクノロジ]]
---[[Azure HDInsight]]
---[[Azure Databricks]]
---[[Azure Data Factory]]
---[[Elastic on Azure]]

--[[ストリーム処理テクノロジ>Azureのストリーム処理テクノロジ]]
---Azure Stream Analytics
---[[Azure HDInsight]]のHadoop、Spark、Storm
---[[Azure Databricks]]のApache Spark
---[[Azure Data Factory]]

* 目次 [#b5ae4f5a]
#contents

*概要 [#s377516d]
デバイスやセンサーなどからのストリーミングデータを分析するサービス
-デバイスやセンサーなどからのストリーミングデータを分析するサービス

-[[Spark Structured Streaming>https://dotnetdevelopmentinfrastructure.osscons.jp/index.php?Spark%20Structured%20Streaming]]も少しづつ解ってきているケド、解らない事と言うか、~
ハマり所が多いので、Stream Analyticsでイイかな？などと思い始めたりした。

-ただし、独自のクエリ言語を覚えるのが、なんと言うか、チョット、アレ。

*詳細 [#oac66831]
BLOBや[[Azure Event Hubs]]、[[Azure IoT Hub]]からデータを入力し、

**クエリ言語 [#y7abf8cd]
-SQLライクなStream Analyticsの独自のクエリ言語でデータ処理
-入出力に関して、プログラムを一切書かなくてもイケる。

**データ出力 [#jfec5f37]
処理データを再度、BLOBやEvent Hubs、SQL Databaseに出力（保存）可能。

**関数 [#t0e0e691]
以下の関数が使用できる。

***ユーザー定義関数 [#x3219c43]
JavaScriptやC#で記述する。

***ウィンドウ関数 [#ld7977c8]
Group Byで使用する。

-TumbingWindow~
指定時間間隔毎（例えば10秒間隔毎）にデータをまとめる。

-HoppingWindow
--指定時間間隔＆指定インターバル毎（例えば5秒毎10秒間隔）にデータをまとめる。
--インターバルによって、ウィンドウを重ねたり、間を空けることができる。

-SlidingWindow
--指定時間間隔毎（例えば10秒間隔毎）にデータをまとめる。
--インターバルではなく、データの到着毎に記録される。

-SessionWindow
--類似した時刻に到着するイベントをグループ化する
--Sessionの最大継続時間とタイムアウト時間を設定する。

-SnapshotWindow
--同じタイムスタンプのデータをまとめる。
--System.Timestamp() を GROUP BY 句に追加する

***地理空間関数 [#y0b0a02b]
地図を使用したエンリッチメント

***[[Azure Machine Learning]] [#oadd89b4]
AIの推論を使用したエンリッチメント

***その他 [#d8447dab]
-集計関数
-数学関数
-文字列関数

**Edgeでの実行 [#p0f881a3]

*チュートリアル [#i51acdba]

**契約 [#q850b26e]

***[[Azureの契約>AzureのPoC環境を契約する]] [#u649149c]

***Stream Analyticsの契約 [#rb9f5dfa]
-skuはストリーミング ユニット (SU) のcapacityで決まる。
-クラスタは専用クラスタで、36SU毎の増分で購入できる。

**ジョブの作成 [#td239b90]
インスタンス的なものは作成不要で、いきなりジョブ的なものを作成できる。

***ポータル [#o278e034]
-Stream Analytics ジョブに移動して作成から以下を入力
--ジョブ名を入力
--サブスクリプションを選択
--リソース・グループを選択
--リージョンを選択
--ホスティング環境を選択（[クラウド] or Edge）
--ストリーミング ユニット (1 から 396)
--このジョブに必要なすべての~
プライベート・データ資産を自分のストレージ・アカウントに保管して~
セキュリティで保護する ✔ → ストレージ・アカウントを指定

-パラメタを設定したら[作成]ボタンを押下。

-デプロイが完了したら[リソースに移動]ボタンを押下。

-ジョブの入力、出力、クエリを設定する。
--入力は[Add input]を押下して設定
--出力は[Add output]を押下して設定
--クエリは[Write query]を押下して設定

***IaC [#a5736add]
[[コチラ>https://github.com/OpenTouryoProject/HubAndMsgSrv/tree/develop/MsgSrv/StreamAnalytics]]

**クラスタの作成 [#v5d7c25f]
複雑で要求の厳しいユース ケースでシングル テナント デプロイも可能。

***ポータル [#r2e7cb0a]

***IaC [#m3763e54]

*参考 [#yeac6b44]

**ナレコムAzureレシピ [#b819493f]

***について [#cdbdcc73]
-基本編、特徴~
https://azure-recipe.kc-cloud.jp/2015/06/azure-stream-analytics01/
-できること、活用法編~
https://azure-recipe.kc-cloud.jp/2015/06/azure-stream-analytics02/

***触ってみた [#q8963028]
-①　基本操作編~
https://azure-recipe.kc-cloud.jp/2015/12/streamanalytics-1/
-②　SQL databse編~
https://azure-recipe.kc-cloud.jp/2016/02/streamanalytics-2/

**microsoft.com [#r133e5d3]

***Microsoft Azure [#hbadcf7a]
-Azure Stream Analytics~
https://azure.microsoft.com/ja-jp/services/stream-analytics/

***Microsoft Docs [#z24790a4]
-Azure Stream Analytics のドキュメント~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/

-Azure Stream Analytics でのユーザー定義関数~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/functions-overview

-Azure Stream Analytics ウィンドウ関数の概要~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/stream-analytics-window-functions

-Stream Analytics クエリ言語リファレンス - Stream Analytics Query~
https://docs.microsoft.com/ja-jp/stream-analytics-query/stream-analytics-query-language-reference

**クイック スタート [#r0e431f6]
-Azure portal を使用して Stream Analytics ジョブを作成する~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/stream-analytics-quick-create-portal

-Azure CLI を使用して Azure Stream Analytics ジョブを作成する~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/quick-create-azure-cli

-Azure Stream Analytics クラスターの作成のクイックスタート~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/create-cluster

**チュートリアル [#la051da1]
-Stream Analytics を使用して Event Hubs イベントの Apache Kafka を処理する~
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-hubs-kafka-stream-analytics

-Azure Stream Analytics を IoT Edge モジュールとしてデプロイする~
https://docs.microsoft.com/ja-jp/azure/iot-edge/tutorial-deploy-stream-analytics

----
Tags: [[:クラウド]], [[:Azure]]
Tags: [[:インフラストラクチャ]], [[:クラウド]], [[:ビッグデータ]], [[:Azure]]