Azure HDInsight
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicros...
-[[戻る>Azure]]
--[[ビッグデータ処理テクノロジ>Azureのビッグデータ処理テ...
---Azure HDInsight
---[[Azure Databricks]]
---[[Azure Data Factory]]
---[[Elastic on Azure]]
--[[ストリーム処理テクノロジ>Azureのストリーム処理テクノ...
---[[Azure Stream Analytics]]
---Azure HDInsightのHadoop、Spark、Storm
---[[Azure Databricks]]のApache Spark
---[[Azure Data Factory]]
* 目次 [#b8b18407]
#contents
*概要 [#z091fb68]
-[[Hadoop>#v38c7e35]]テクノロジ スタックを使用した~
エンタープライズ向けデータ分析マネージド・サービス
-[[Hadoop>#v38c7e35]]テクノロジ スタック
--Hadoop
--Apache Spark
--Apache Hive
--LLAP
--Apache Kafka
--Apache Storm
--R
※ 今後、メイン・ストリームは、[[Azure Databricks]]に移っ...
*詳細 [#u6a22044]
*[[開発>#k7cea0d0]] → [[デプロイ>#g5c4a9f0]] → [[実行>#j8...
取り敢えず、[[.NET for Apache Spark ガイド>#w086a731]]の...
**[[開発>.NET for Apache Sparkチュートリアル#s680c185]] [...
（Get started in 10 minutes）
**[[デプロイ>.NET for Apache Sparkチュートリアル#b151a3cc...
※ 無料試用版サブスクリプションで利用可能との事。
***[[ストレージ・アカウント>Azureのストレージ#t36c3007]]...
-[[Azure Storage Explorer>Azureのストレージ#mfc2b935]]を...
-後述の「[[クラスタの作成>#ib9fc041]]」で必要になるため（...
***HDInsight クラスタの作成 [#y688e06c]
-[+ リソースの作成] を選択
-次に、 [分析] カテゴリから [HDInsight] を選択
-[基本] の値を指定
-[ストレージ] で値を指定してBLOBコンテナをマウント
***アプリの発行 [#qfeddf79]
-ターゲットはubuntu
>dotnet publish -c Release -f netcoreapp3.1 -r ubuntu.16...
-publishしたものをpublish.zipにまとめる。
***[[依存関係のダウンロード>Azure Databricks#n418b549]] [...
***ファイルのアップロード [#d25e1bdc]
次のファイルをアップロードする。
-発行したアプリ
--publish.zip
--input.txt
--microsoft-spark-2-4_2.11-1.0.0.jar（ローカル実行で使用...
-依存関係
--Microsoft.Spark.Worker（ローカル実行で使用したものに対...
--install-worker.sh
--%%db-init.sh%%
-ポイント
--詳細は[[コチラ（Azure Databricks）>Azure Databricks#uee...
--クラスタのストレージ用に選択した BLOBコンテナにアップロ...
---[[Azure Storage Explorer>#efe8ac11]]を開いて、
---左側のメニューからストレージ アカウントに移動、
---ストレージ アカウント内の [BLOB コンテナー] で、
---クラスターの BLOB コンテナーをドリルダウンする。
**実行 [#j84b5403]
***スクリプト アクションを実行 [#y790895b]
-クラスタで install-worker.sh スクリプトを実行（$1-3をパ...
-約 20 分で、Linux（ubuntu）ベースのHDInsight Spark クラ...
***アプリの実行 [#z4b8527c]
-SSHでターミナルにログインする。
-&color(red){マウントされたストレージにinput.txtをアップ...
--BLOB コンテナー内の user/sshuser ディレクトリ
--エラーログを確認して、/user/sshuser/input.txtにアップロ...
-spark-submit コマンドを使用して、~
HDInsight クラスタでアプリケーションを実行する。
$SPARK_HOME/bin/spark-submit \
--master yarn \
--class org.apache.spark.deploy.dotnet.DotnetRunner \
wasbs://<container_name>@<storage_account_name>.blob.cor...
wasbs://<container_name>@<storage_account_name>.blob.cor...
>※ wasbs://～は、
-WASB（Windows Azure Storage Blob）を参照するためのURI。
-実際の <container_name>@<storage_account_name>に置き換え...
>※ [[実行に必要となる引数>.NET for Apache Sparkチュートリ...
***リソースのクリーンアップ [#lbbc8829]
リソース グループを削除する。
***[[Azure Databricksとの比較>Azure Databricksチュートリ...
[[スクリプト アクション実行>#y790895b]]
>≒ Azure Databricksの[[クラスタの作成中のdb-init.sh 設定>...
**[[チュートリアル>Azure HDInsightチュートリアル]] [#cd34...
*参考 [#vf22db69]
-Microsoft Azure / Azure HDInsightとは~
https://www.ossnews.jp/oss_info/Azure_HDInsight
**gihyo.jp … 技術評論社 [#ta4ad084]
-HDInsightを知る～ビッグデータ×クラウド：連載~
https://gihyo.jp/dev/serial/01/hdinsight
--第1回 HDInsightとは何か？~
https://gihyo.jp/dev/serial/01/hdinsight/0001
--第2回 HDInsightを体験する~
https://gihyo.jp/dev/serial/01/hdinsight/0002
**クリエーションライン株式会社 [#tbe30f78]
-HadoopをMicrosoft Azure上で動かしてみる！
--（1/4）https://www.creationline.com/lab/12905
--（2/4）https://www.creationline.com/lab/12984
--（3/4）https://www.creationline.com/lab/13093
--（4/4）https://www.creationline.com/lab/13161
**Microsoft Azurez [#u2469fa4]
-Azure HDInsight - Hadoop、Spark、および Kafka サービス~
https://azure.microsoft.com/ja-jp/services/hdinsight/
-Azure でオープンソース分析を実行~
https://azure.microsoft.com/ja-jp/free/hdinsight/
**Microsoft Docs [#d9fcd3d4]
***Azure HDInsight [#u06c139d]
https://docs.microsoft.com/ja-jp/azure/hdinsight/
-概要~
https://docs.microsoft.com/ja-jp/azure/hdinsight/hdinsigh...
-チュートリアル
--HDInsight クラスターの作成
--HDInsight クラスターの管理
---ポータル
---CLI
---.NET SDK
---PowerShell
--その他
---Runbook を使用してクラスターを作成する
---Apache Ambari のメール通知
---ETL パイプラインの作成
-サンプル
--Azure CLI のサンプル
--[[.NET のサンプル>#b4841c1d]]
--Java のサンプル
--Python のサンプル
--Azure サンプル ブラウザ
***.NET、C# [#b4841c1d]
-Microsoft Docs
--Azure HDInsight SDK for .NET - Azure for .NET Developers~
https://docs.microsoft.com/ja-jp/dotnet/api/overview/azur...
-[[Microsoft Docs > Azure HDInsight>#u06c139d]]
--.NET サンプル~
https://docs.microsoft.com/ja-jp/azure/hdinsight/hdinsigh...
--非対話型認証 .NET アプリケーション~
https://docs.microsoft.com/ja-jp/azure/hdinsight/hdinsigh...
--Apache Hadoop
---HDInsight .NET SDK を使用して MapReduce ジョブを送信す...
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/a...
---HDInsight の Hadoop において MapReduce で C# を使用する~
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/a...
--Apache HBase
---HBase .NET SDK の使用~
https://docs.microsoft.com/ja-jp/azure/hdinsight/hbase/ap...
--Interactive Query
---Apache Hadoop 上での C#、Apache Hive、Apache Pig~
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/a...
---HDInsight .NET SDK を使用して Apache Hive クエリを実行...
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/a...
---Apache Hive と Data Lake Tools for Visual Studio~
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/a...
--Apache Storm
---Visual Studio と C# を使った Apache Storm トポロジ~
https://docs.microsoft.com/ja-jp/azure/hdinsight/storm/ap...
---Storm を使用して Event Hubs のイベントを処理する~
https://docs.microsoft.com/ja-jp/azure/hdinsight/storm/ap...
-Apache Spark
--[[.NET for Apache Spark>#w086a731]]
***[[.NET for Apache Spark ガイド>.NET for Apache Spark#w...
...
-使い方ガイド
--[[データーへの接続>.NET for Apache Sparkチュートリアル#...
--リモート ジョブを送信する
---HDInsight にジョブを送信する~
https://docs.microsoft.com/ja-jp/dotnet/spark/how-to-guid...
-[[チュートリアル>.NET for Apache Sparkチュートリアル#zd2...
--.NET for Apache Spark アプリケーションをデプロイする~
---Azure HDInsight~
https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/h...
-Channel 9 > .NET for Apache Spark 101~
Deploy .NET for Apache Spark App to
--Azure HDInsight [8 of 8]~
https://channel9.msdn.com/Series/NET-for-Apache-Spark-101...
**[[開発基盤部会 Wiki & Blog>.NET for Apache Spark#zf579f...
----
Tags: [[:インフラストラクチャ]], [[:クラウド]], [[:ビッグ...
終了行:
「[[マイクロソフト系技術情報 Wiki>http://techinfoofmicros...
-[[戻る>Azure]]
--[[ビッグデータ処理テクノロジ>Azureのビッグデータ処理テ...
---Azure HDInsight
---[[Azure Databricks]]
---[[Azure Data Factory]]
---[[Elastic on Azure]]
--[[ストリーム処理テクノロジ>Azureのストリーム処理テクノ...
---[[Azure Stream Analytics]]
---Azure HDInsightのHadoop、Spark、Storm
---[[Azure Databricks]]のApache Spark
---[[Azure Data Factory]]
* 目次 [#b8b18407]
#contents
*概要 [#z091fb68]
-[[Hadoop>#v38c7e35]]テクノロジ スタックを使用した~
エンタープライズ向けデータ分析マネージド・サービス
-[[Hadoop>#v38c7e35]]テクノロジ スタック
--Hadoop
--Apache Spark
--Apache Hive
--LLAP
--Apache Kafka
--Apache Storm
--R
※ 今後、メイン・ストリームは、[[Azure Databricks]]に移っ...
*詳細 [#u6a22044]
*[[開発>#k7cea0d0]] → [[デプロイ>#g5c4a9f0]] → [[実行>#j8...
取り敢えず、[[.NET for Apache Spark ガイド>#w086a731]]の...
**[[開発>.NET for Apache Sparkチュートリアル#s680c185]] [...
（Get started in 10 minutes）
**[[デプロイ>.NET for Apache Sparkチュートリアル#b151a3cc...
※ 無料試用版サブスクリプションで利用可能との事。
***[[ストレージ・アカウント>Azureのストレージ#t36c3007]]...
-[[Azure Storage Explorer>Azureのストレージ#mfc2b935]]を...
-後述の「[[クラスタの作成>#ib9fc041]]」で必要になるため（...
***HDInsight クラスタの作成 [#y688e06c]
-[+ リソースの作成] を選択
-次に、 [分析] カテゴリから [HDInsight] を選択
-[基本] の値を指定
-[ストレージ] で値を指定してBLOBコンテナをマウント
***アプリの発行 [#qfeddf79]
-ターゲットはubuntu
>dotnet publish -c Release -f netcoreapp3.1 -r ubuntu.16...
-publishしたものをpublish.zipにまとめる。
***[[依存関係のダウンロード>Azure Databricks#n418b549]] [...
***ファイルのアップロード [#d25e1bdc]
次のファイルをアップロードする。
-発行したアプリ
--publish.zip
--input.txt
--microsoft-spark-2-4_2.11-1.0.0.jar（ローカル実行で使用...
-依存関係
--Microsoft.Spark.Worker（ローカル実行で使用したものに対...
--install-worker.sh
--%%db-init.sh%%
-ポイント
--詳細は[[コチラ（Azure Databricks）>Azure Databricks#uee...
--クラスタのストレージ用に選択した BLOBコンテナにアップロ...
---[[Azure Storage Explorer>#efe8ac11]]を開いて、
---左側のメニューからストレージ アカウントに移動、
---ストレージ アカウント内の [BLOB コンテナー] で、
---クラスターの BLOB コンテナーをドリルダウンする。
**実行 [#j84b5403]
***スクリプト アクションを実行 [#y790895b]
-クラスタで install-worker.sh スクリプトを実行（$1-3をパ...
-約 20 分で、Linux（ubuntu）ベースのHDInsight Spark クラ...
***アプリの実行 [#z4b8527c]
-SSHでターミナルにログインする。
-&color(red){マウントされたストレージにinput.txtをアップ...
--BLOB コンテナー内の user/sshuser ディレクトリ
--エラーログを確認して、/user/sshuser/input.txtにアップロ...
-spark-submit コマンドを使用して、~
HDInsight クラスタでアプリケーションを実行する。
$SPARK_HOME/bin/spark-submit \
--master yarn \
--class org.apache.spark.deploy.dotnet.DotnetRunner \
wasbs://<container_name>@<storage_account_name>.blob.cor...
wasbs://<container_name>@<storage_account_name>.blob.cor...
>※ wasbs://～は、
-WASB（Windows Azure Storage Blob）を参照するためのURI。
-実際の <container_name>@<storage_account_name>に置き換え...
>※ [[実行に必要となる引数>.NET for Apache Sparkチュートリ...
***リソースのクリーンアップ [#lbbc8829]
リソース グループを削除する。
***[[Azure Databricksとの比較>Azure Databricksチュートリ...
[[スクリプト アクション実行>#y790895b]]
>≒ Azure Databricksの[[クラスタの作成中のdb-init.sh 設定>...
**[[チュートリアル>Azure HDInsightチュートリアル]] [#cd34...
*参考 [#vf22db69]
-Microsoft Azure / Azure HDInsightとは~
https://www.ossnews.jp/oss_info/Azure_HDInsight
**gihyo.jp … 技術評論社 [#ta4ad084]
-HDInsightを知る～ビッグデータ×クラウド：連載~
https://gihyo.jp/dev/serial/01/hdinsight
--第1回 HDInsightとは何か？~
https://gihyo.jp/dev/serial/01/hdinsight/0001
--第2回 HDInsightを体験する~
https://gihyo.jp/dev/serial/01/hdinsight/0002
**クリエーションライン株式会社 [#tbe30f78]
-HadoopをMicrosoft Azure上で動かしてみる！
--（1/4）https://www.creationline.com/lab/12905
--（2/4）https://www.creationline.com/lab/12984
--（3/4）https://www.creationline.com/lab/13093
--（4/4）https://www.creationline.com/lab/13161
**Microsoft Azurez [#u2469fa4]
-Azure HDInsight - Hadoop、Spark、および Kafka サービス~
https://azure.microsoft.com/ja-jp/services/hdinsight/
-Azure でオープンソース分析を実行~
https://azure.microsoft.com/ja-jp/free/hdinsight/
**Microsoft Docs [#d9fcd3d4]
***Azure HDInsight [#u06c139d]
https://docs.microsoft.com/ja-jp/azure/hdinsight/
-概要~
https://docs.microsoft.com/ja-jp/azure/hdinsight/hdinsigh...
-チュートリアル
--HDInsight クラスターの作成
--HDInsight クラスターの管理
---ポータル
---CLI
---.NET SDK
---PowerShell
--その他
---Runbook を使用してクラスターを作成する
---Apache Ambari のメール通知
---ETL パイプラインの作成
-サンプル
--Azure CLI のサンプル
--[[.NET のサンプル>#b4841c1d]]
--Java のサンプル
--Python のサンプル
--Azure サンプル ブラウザ
***.NET、C# [#b4841c1d]
-Microsoft Docs
--Azure HDInsight SDK for .NET - Azure for .NET Developers~
https://docs.microsoft.com/ja-jp/dotnet/api/overview/azur...
-[[Microsoft Docs > Azure HDInsight>#u06c139d]]
--.NET サンプル~
https://docs.microsoft.com/ja-jp/azure/hdinsight/hdinsigh...
--非対話型認証 .NET アプリケーション~
https://docs.microsoft.com/ja-jp/azure/hdinsight/hdinsigh...
--Apache Hadoop
---HDInsight .NET SDK を使用して MapReduce ジョブを送信す...
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/a...
---HDInsight の Hadoop において MapReduce で C# を使用する~
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/a...
--Apache HBase
---HBase .NET SDK の使用~
https://docs.microsoft.com/ja-jp/azure/hdinsight/hbase/ap...
--Interactive Query
---Apache Hadoop 上での C#、Apache Hive、Apache Pig~
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/a...
---HDInsight .NET SDK を使用して Apache Hive クエリを実行...
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/a...
---Apache Hive と Data Lake Tools for Visual Studio~
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/a...
--Apache Storm
---Visual Studio と C# を使った Apache Storm トポロジ~
https://docs.microsoft.com/ja-jp/azure/hdinsight/storm/ap...
---Storm を使用して Event Hubs のイベントを処理する~
https://docs.microsoft.com/ja-jp/azure/hdinsight/storm/ap...
-Apache Spark
--[[.NET for Apache Spark>#w086a731]]
***[[.NET for Apache Spark ガイド>.NET for Apache Spark#w...
...
-使い方ガイド
--[[データーへの接続>.NET for Apache Sparkチュートリアル#...
--リモート ジョブを送信する
---HDInsight にジョブを送信する~
https://docs.microsoft.com/ja-jp/dotnet/spark/how-to-guid...
-[[チュートリアル>.NET for Apache Sparkチュートリアル#zd2...
--.NET for Apache Spark アプリケーションをデプロイする~
---Azure HDInsight~
https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/h...
-Channel 9 > .NET for Apache Spark 101~
Deploy .NET for Apache Spark App to
--Azure HDInsight [8 of 8]~
https://channel9.msdn.com/Series/NET-for-Apache-Spark-101...
**[[開発基盤部会 Wiki & Blog>.NET for Apache Spark#zf579f...
----
Tags: [[:インフラストラクチャ]], [[:クラウド]], [[:ビッグ...
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
