Azure HDInsight のバックアップ(No.20)

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- Azure Event Hubs
- Azure IoT Hub
- Azure Stream Analytics
- Azure HDInsight
- Azure Databricks
- Elastic on Azure
- Azure Data Explorer
- Azure Cosmos DB
- Azure Data Lake
- Azure Synapse

目次 †

↑

概要 †

Hadoopテクノロジスタックを使用した
エンタープライズ向けデータ分析マネージド・サービス

Hadoopテクノロジスタック
- Hadoop
- Apache Spark
- Apache Hive
- LLAP
- Apache Kafka
- Apache Storm
- R

※ 今後、メイン・ストリームは、Azure Databricksに移って行く。

↑

詳細 †

↑

開発 → デプロイ †

取り敢えず、.NET for Apache Spark ガイドのコンテンツをやってみる。

↑

開発 †

（Get started in 10 minutes）

↑

デプロイ †

※ 無料試用版サブスクリプションで利用可能との事。

↑

ストレージ・アカウントにアクセスする †

Azure Storage Explorerを使用する。
後述の「クラスタの作成」で必要になるため（≒前提）。

↑

アプリの発行 †

ターゲットはubuntu

>dotnet publish -c Release -f netcoreapp3.1 -r ubuntu.16.04-x64

publishしたものをpublish.zipにまとめる。

↑

ワーカーの依存関係のダウンロード †

次のファイルをダウンロードする。

Microsoft.Spark.Worker（ローカル実行で使用したものに対応するLinux版の*.tar.gz）
install-worker.sh

※ *.shの行の終わりは Unix 形式 (LF) であることを確認
※ https://github.com/dotnet/spark/tree/master/deployment

↑

ファイルのアップロード †

次のファイルをアップロードする（Azure Storage Explorer）。

発行したアプリ
- publish.zip
- ~~input.txt~~
- microsoft-spark-2-4_2.11-1.0.0.jar（ローカル実行で使用したもの）

依存関係
- Microsoft.Spark.Worker（ローカル実行で使用したものに対応するLinux版の*.tar.gz）
- install-worker.sh

↑

クラスタの作成 †

HDInsight Spark クラスタを作成
Linux（ubuntu）ベース
クラスタの作成には約 20 分かかる。

↑

スクリプトアクションを実行 †

クラスタで install-worker.sh スクリプトを実行（$1-3をパラメタライズ）

※ install-worker.sh は、.NET for Apache Spark 依存ファイルをクラスタのノードにコピーする。

↑

アプリの実行 †

SSHでターミナルにログインする。

マウントされたストレージにinput.txtをアップロード
（エラーログを確認して、/user/sshuser/input.txtにアップロードとか...）

spark-submit コマンドを使用して、
HDInsight クラスタでアプリケーションを実行する。
```
$SPARK_HOME/bin/spark-submit \
--master yarn \
--class org.apache.spark.deploy.dotnet.DotnetRunner \
wasbs://<container_name>@<storage_account_name>.blob.core.windows.net/microsoft-spark-2-4_2.11-1.0.0.jar \
wasbs://<container_name>@<storage_account_name>.blob.core.windows.net/publish.zip mySparkApp
```
※ wasbs://～は、
　・WASB（Windows Azure Storage Blob）を参照するためのURI。
　・実際の <container_name>@<storage_account_name>に置き換える。
※ 多分、引数にinput.txtを足す必要があるのではないか？と。
　・チュートリアルに寄って、input.txtが、パラメタ化されていたりいなかったりする。
　・引数の足し方は、spark-submitの仕様を参照（ZIP利用は言語バインディングの拡張っポイ）

↑