Azure HDInsight のバックアップ(No.27)

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- Azure HDInsight
- Azure Databricks
- Azure Data Factory
- Elastic on Azure

目次 †

↑

概要 †

Hadoopテクノロジスタックを使用した
エンタープライズ向けデータ分析マネージド・サービス

Hadoopテクノロジスタック
- Hadoop
- Apache Spark
- Apache Hive
- LLAP
- Apache Kafka
- Apache Storm
- R

※ 今後、メイン・ストリームは、Azure Databricksに移って行く。

↑

詳細 †

↑

開発 → デプロイ → 実行 †

取り敢えず、.NET for Apache Spark ガイドのコンテンツをやってみる。

↑

開発 †

（Get started in 10 minutes）

↑

デプロイ †

※ 無料試用版サブスクリプションで利用可能との事。

↑

ストレージ・アカウントにアクセスする †

Azure Storage Explorerを使用しアクセス。
後述の「クラスタの作成」で必要になるため（≒前提）。

↑

HDInsight クラスタの作成 †

[+ リソースの作成] を選択
次に、 [分析] カテゴリから [HDInsight] を選択
[基本] の値を指定
[ストレージ] で値を指定してBLOBコンテナをマウント

↑

アプリの発行 †

ターゲットはubuntu

>dotnet publish -c Release -f netcoreapp3.1 -r ubuntu.16.04-x64

publishしたものをpublish.zipにまとめる。

↑

依存関係のダウンロード †

↑

ファイルのアップロード †

次のファイルをアップロードする。

発行したアプリ
- publish.zip
- input.txt
- microsoft-spark-2-4_2.11-1.0.0.jar（ローカル実行で使用したもの）

依存関係
- Microsoft.Spark.Worker（ローカル実行で使用したものに対応するLinux版の*.tar.gz）
- install-worker.sh
- ~~db-init.sh~~

ポイント
- 詳細はコチラ（Azure Databricks）
- クラスタのストレージ用に選択した BLOBコンテナにアップロード。
  - Azure Storage Explorerを開いて、
  - 左側のメニューからストレージアカウントに移動、
  - ストレージアカウント内の [BLOB コンテナー] で、
  - クラスターの BLOB コンテナーをドリルダウンする。

↑

実行 †

↑

スクリプトアクションを実行 †

クラスタで install-worker.sh スクリプトを実行（$1-3をパラメタライズ）
約 20 分で、Linux（ubuntu）ベースのHDInsight Spark クラスタが作成される。

↑

アプリの実行 †

SSHでターミナルにログインする。

マウントされたストレージにinput.txtをアップロード
- BLOB コンテナー内の user/sshuser ディレクトリ
- エラーログを確認して、/user/sshuser/input.txtにアップロードとか...

spark-submit コマンドを使用して、
HDInsight クラスタでアプリケーションを実行する。

$SPARK_HOME/bin/spark-submit \
--master yarn \
--class org.apache.spark.deploy.dotnet.DotnetRunner \
wasbs://<container_name>@<storage_account_name>.blob.core.windows.net/microsoft-spark-2-4_2.11-1.0.0.jar \
wasbs://<container_name>@<storage_account_name>.blob.core.windows.net/publish.zip mySparkApp