Azure Stream Analytics
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicros...
-[[戻る>Azure]]
--[[ビッグデータ処理テクノロジ>Azureのビッグデータ処理テ...
---[[Azure HDInsight]]
---[[Azure Databricks]]
---[[Azure Data Factory]]
---[[Elastic on Azure]]
--[[ストリーム処理テクノロジ>Azureのストリーム処理テクノ...
---Azure Stream Analytics
---[[Azure HDInsight]]のHadoop、Spark、Storm
---[[Azure Databricks]]のApache Spark
---[[Azure Data Factory]]
* 目次 [#b5ae4f5a]
#contents
*概要 [#s377516d]
-デバイスやセンサーなどからのストリーミングデータを分析す...
-[[Spark Structured Streaming>https://dotnetdevelopmentin...
ハマり所が多いので、Stream Analyticsでイイかな?などと思...
-ただし、独自のクエリ言語を覚えるのが、なんと言うか、チョ...
*詳細 [#oac66831]
BLOBや[[Azure Event Hubs]]、[[Azure IoT Hub]]からデータを...
**クエリ言語 [#y7abf8cd]
-SQLライクなStream Analyticsの独自のクエリ言語でデータ処理
-入出力に関して、プログラムを一切書かなくてもイケる。
**データ出力 [#jfec5f37]
処理データを再度、BLOBやEvent Hubs、SQL Databaseに出力(...
**関数 [#t0e0e691]
以下の関数が使用できる。
***ユーザー定義関数 [#x3219c43]
JavaScriptやC#で記述する。
***ウィンドウ関数 [#ld7977c8]
Group Byで使用する。
-TumbingWindow~
指定時間間隔毎(例えば10秒間隔毎)にデータをまとめる。
-HoppingWindow
--指定時間間隔&指定インターバル毎(例えば5秒毎10秒間隔)...
--インターバルによって、ウィンドウを重ねたり、間を空ける...
-SlidingWindow
--指定時間間隔毎(例えば10秒間隔毎)にデータをまとめる。
--インターバルではなく、データの到着毎に記録される。
-SessionWindow
--類似した時刻に到着するイベントをグループ化する
--Sessionの最大継続時間とタイムアウト時間を設定する。
-SnapshotWindow
--同じタイムスタンプのデータをまとめる。
--System.Timestamp() を GROUP BY 句に追加する
***地理空間関数 [#y0b0a02b]
地図を使用したエンリッチメント
***[[Azure Machine Learning]] [#oadd89b4]
AIの推論を使用したエンリッチメント
***その他 [#d8447dab]
-集計関数
-数学関数
-文字列関数
**Edgeでの実行 [#p0f881a3]
*チュートリアル [#i51acdba]
**契約 [#q850b26e]
***[[Azureの契約>AzureのPoC環境を契約する]] [#u649149c]
***Stream Analyticsの契約 [#rb9f5dfa]
-skuはストリーミング ユニット (SU) のcapacityで決まる。
-クラスタは専用クラスタで、36SU毎の増分で購入できる。
**ジョブの作成 [#td239b90]
インスタンス的なものは作成不要で、いきなりジョブ的なもの...
***ポータル [#o278e034]
-Stream Analytics ジョブに移動して作成から以下を入力
--ジョブ名を入力
--サブスクリプションを選択
--リソース・グループを選択
--リージョンを選択
--ホスティング環境を選択([クラウド] or Edge)
--ストリーミング ユニット (1 から 396)
--このジョブに必要なすべての~
プライベート・データ資産を自分のストレージ・アカウントに...
セキュリティで保護する ✔ → ストレージ・アカウントを指定
-パラメタを設定したら[作成]ボタンを押下。
-デプロイが完了したら[リソースに移動]ボタンを押下。
-ジョブの入力、出力、クエリを設定する。
--入力は[Add input]を押下して設定
--出力は[Add output]を押下して設定
--クエリは[Write query]を押下して設定
***IaC [#a5736add]
[[コチラ>https://github.com/OpenTouryoProject/HubAndMsgSr...
**クラスタの作成 [#v5d7c25f]
複雑で要求の厳しいユース ケースでシングル テナント デプロ...
***ポータル [#r2e7cb0a]
***IaC [#m3763e54]
*参考 [#yeac6b44]
**ナレコムAzureレシピ [#b819493f]
***について [#cdbdcc73]
-基本編、特徴~
https://azure-recipe.kc-cloud.jp/2015/06/azure-stream-ana...
-できること、活用法編~
https://azure-recipe.kc-cloud.jp/2015/06/azure-stream-ana...
***触ってみた [#q8963028]
-① 基本操作編~
https://azure-recipe.kc-cloud.jp/2015/12/streamanalytics-1/
-② SQL databse編~
https://azure-recipe.kc-cloud.jp/2016/02/streamanalytics-2/
**microsoft.com [#r133e5d3]
***Microsoft Azure [#hbadcf7a]
-Azure Stream Analytics~
https://azure.microsoft.com/ja-jp/services/stream-analyti...
***Microsoft Docs [#z24790a4]
-Azure Stream Analytics のドキュメント~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/
-Azure Stream Analytics でのユーザー定義関数~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/f...
-Azure Stream Analytics ウィンドウ関数の概要~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/s...
-Stream Analytics クエリ言語リファレンス - Stream Analyti...
https://docs.microsoft.com/ja-jp/stream-analytics-query/s...
**クイック スタート [#r0e431f6]
-Azure portal を使用して Stream Analytics ジョブを作成する~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/s...
-Azure CLI を使用して Azure Stream Analytics ジョブを作成...
https://docs.microsoft.com/ja-jp/azure/stream-analytics/q...
-Azure Stream Analytics クラスターの作成のクイックスタート~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/c...
**チュートリアル [#la051da1]
-Stream Analytics を使用して Event Hubs イベントの Apache...
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
-Azure Stream Analytics を IoT Edge モジュールとしてデプ...
https://docs.microsoft.com/ja-jp/azure/iot-edge/tutorial-...
----
Tags: [[:インフラストラクチャ]], [[:クラウド]], [[:ビッグ...
終了行:
「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicros...
-[[戻る>Azure]]
--[[ビッグデータ処理テクノロジ>Azureのビッグデータ処理テ...
---[[Azure HDInsight]]
---[[Azure Databricks]]
---[[Azure Data Factory]]
---[[Elastic on Azure]]
--[[ストリーム処理テクノロジ>Azureのストリーム処理テクノ...
---Azure Stream Analytics
---[[Azure HDInsight]]のHadoop、Spark、Storm
---[[Azure Databricks]]のApache Spark
---[[Azure Data Factory]]
* 目次 [#b5ae4f5a]
#contents
*概要 [#s377516d]
-デバイスやセンサーなどからのストリーミングデータを分析す...
-[[Spark Structured Streaming>https://dotnetdevelopmentin...
ハマり所が多いので、Stream Analyticsでイイかな?などと思...
-ただし、独自のクエリ言語を覚えるのが、なんと言うか、チョ...
*詳細 [#oac66831]
BLOBや[[Azure Event Hubs]]、[[Azure IoT Hub]]からデータを...
**クエリ言語 [#y7abf8cd]
-SQLライクなStream Analyticsの独自のクエリ言語でデータ処理
-入出力に関して、プログラムを一切書かなくてもイケる。
**データ出力 [#jfec5f37]
処理データを再度、BLOBやEvent Hubs、SQL Databaseに出力(...
**関数 [#t0e0e691]
以下の関数が使用できる。
***ユーザー定義関数 [#x3219c43]
JavaScriptやC#で記述する。
***ウィンドウ関数 [#ld7977c8]
Group Byで使用する。
-TumbingWindow~
指定時間間隔毎(例えば10秒間隔毎)にデータをまとめる。
-HoppingWindow
--指定時間間隔&指定インターバル毎(例えば5秒毎10秒間隔)...
--インターバルによって、ウィンドウを重ねたり、間を空ける...
-SlidingWindow
--指定時間間隔毎(例えば10秒間隔毎)にデータをまとめる。
--インターバルではなく、データの到着毎に記録される。
-SessionWindow
--類似した時刻に到着するイベントをグループ化する
--Sessionの最大継続時間とタイムアウト時間を設定する。
-SnapshotWindow
--同じタイムスタンプのデータをまとめる。
--System.Timestamp() を GROUP BY 句に追加する
***地理空間関数 [#y0b0a02b]
地図を使用したエンリッチメント
***[[Azure Machine Learning]] [#oadd89b4]
AIの推論を使用したエンリッチメント
***その他 [#d8447dab]
-集計関数
-数学関数
-文字列関数
**Edgeでの実行 [#p0f881a3]
*チュートリアル [#i51acdba]
**契約 [#q850b26e]
***[[Azureの契約>AzureのPoC環境を契約する]] [#u649149c]
***Stream Analyticsの契約 [#rb9f5dfa]
-skuはストリーミング ユニット (SU) のcapacityで決まる。
-クラスタは専用クラスタで、36SU毎の増分で購入できる。
**ジョブの作成 [#td239b90]
インスタンス的なものは作成不要で、いきなりジョブ的なもの...
***ポータル [#o278e034]
-Stream Analytics ジョブに移動して作成から以下を入力
--ジョブ名を入力
--サブスクリプションを選択
--リソース・グループを選択
--リージョンを選択
--ホスティング環境を選択([クラウド] or Edge)
--ストリーミング ユニット (1 から 396)
--このジョブに必要なすべての~
プライベート・データ資産を自分のストレージ・アカウントに...
セキュリティで保護する ✔ → ストレージ・アカウントを指定
-パラメタを設定したら[作成]ボタンを押下。
-デプロイが完了したら[リソースに移動]ボタンを押下。
-ジョブの入力、出力、クエリを設定する。
--入力は[Add input]を押下して設定
--出力は[Add output]を押下して設定
--クエリは[Write query]を押下して設定
***IaC [#a5736add]
[[コチラ>https://github.com/OpenTouryoProject/HubAndMsgSr...
**クラスタの作成 [#v5d7c25f]
複雑で要求の厳しいユース ケースでシングル テナント デプロ...
***ポータル [#r2e7cb0a]
***IaC [#m3763e54]
*参考 [#yeac6b44]
**ナレコムAzureレシピ [#b819493f]
***について [#cdbdcc73]
-基本編、特徴~
https://azure-recipe.kc-cloud.jp/2015/06/azure-stream-ana...
-できること、活用法編~
https://azure-recipe.kc-cloud.jp/2015/06/azure-stream-ana...
***触ってみた [#q8963028]
-① 基本操作編~
https://azure-recipe.kc-cloud.jp/2015/12/streamanalytics-1/
-② SQL databse編~
https://azure-recipe.kc-cloud.jp/2016/02/streamanalytics-2/
**microsoft.com [#r133e5d3]
***Microsoft Azure [#hbadcf7a]
-Azure Stream Analytics~
https://azure.microsoft.com/ja-jp/services/stream-analyti...
***Microsoft Docs [#z24790a4]
-Azure Stream Analytics のドキュメント~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/
-Azure Stream Analytics でのユーザー定義関数~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/f...
-Azure Stream Analytics ウィンドウ関数の概要~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/s...
-Stream Analytics クエリ言語リファレンス - Stream Analyti...
https://docs.microsoft.com/ja-jp/stream-analytics-query/s...
**クイック スタート [#r0e431f6]
-Azure portal を使用して Stream Analytics ジョブを作成する~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/s...
-Azure CLI を使用して Azure Stream Analytics ジョブを作成...
https://docs.microsoft.com/ja-jp/azure/stream-analytics/q...
-Azure Stream Analytics クラスターの作成のクイックスタート~
https://docs.microsoft.com/ja-jp/azure/stream-analytics/c...
**チュートリアル [#la051da1]
-Stream Analytics を使用して Event Hubs イベントの Apache...
https://docs.microsoft.com/ja-jp/azure/event-hubs/event-h...
-Azure Stream Analytics を IoT Edge モジュールとしてデプ...
https://docs.microsoft.com/ja-jp/azure/iot-edge/tutorial-...
----
Tags: [[:インフラストラクチャ]], [[:クラウド]], [[:ビッグ...
ページ名: