Azure HDInsight のバックアップ(No.13) - マイクロソフト系技術情報 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- Azure HDInsight
- Azure Databricks

目次 †

概要 †

Hadoop テクノロジスタックを使用した
エンタープライズ向けデータ分析マネージド・サービス

Hadoop テクノロジスタック
- Hadoop
- Apache Spark
- Apache Hive
- LLAP
- Apache Kafka
- Apache Storm
- R

詳細 †

取り敢えず、.NET for Apache Spark ガイドのコンテンツをやってみる。

開発 †

（Get started in 10 minutes）

デプロイ †

※ 無料試用版サブスクリプションで利用可能との事。

ストレージアカウントにアクセスする †

Azure Storage Explorerを使用する。
後述の「クラスタの作成」で必要になるため（≒前提）。

アプリの発行 †

ターゲットはubuntu
publishしたものをpublish.zipにまとめる。

ワーカーの依存関係のダウンロード †

次のファイルをダウンロードする。

Microsoft.Spark.Worker
install-worker.sh

※ *.shの行の終わりは Unix 形式 (LF) であることを確認
※ https://github.com/dotnet/spark/tree/master/deployment

ファイルのアップロード †

次のファイルをアップロードする。

発行したアプリ
- publish.zip
- ~~input.txt~~
- microsoft-spark-2-4_2.11-1.0.0.jar（ローカル実行で使用したもの）

依存関係
- Microsoft.Spark.Worker
- install-worker.sh

クラスタの作成 †

HDInsight Spark クラスタを作成
Linux（ubuntu）ベース
クラスタの作成には約 20 分かかる。

スクリプトアクションを実行 †

クラスタで install-worker.sh スクリプトを実行（$1-3をパラメタライズ）

※ install-worker.sh は、.NET for Apache Spark 依存ファイルをクラスタのノードにコピーする。

アプリの実行 †

SSHでターミナルにログインする。

マウントされたストレージにinput.txtをアップロード
（エラーログを確認して、/user/sshuser/input.txtにアップロードとか...）

spark-submit コマンドを使用して、
HDInsight クラスタでアプリケーションを実行する。
```
$SPARK_HOME/bin/spark-submit \
--master yarn \
--class org.apache.spark.deploy.dotnet.DotnetRunner \
wasbs://<container_name>@<storage_account_name>.blob.core.windows.net/microsoft-spark-2-4_2.11-1.0.0.jar \
wasbs://<container_name>@<storage_account_name>.blob.core.windows.net/publish.zip mySparkApp
```
※ wasbs://～は、
　・WASB（Windows Azure Storage Blob）を参照するためのURI。
　・実際の <container_name>@<storage_account_name>に置き換える。
※ 多分、引数にinput.txtを足す必要があるのではないか？と。
　・チュートリアルに寄って、input.txtが、パラメタ化されていたりいなかったりする。
　・引数の足し方は、spark-submitの仕様を参照（ZIP利用は言語バインディングの拡張っポイ）

リソースのクリーンアップ †

リソースグループを削除する。

Azure Databricksとの比較 †

スクリプトアクション実行

≒ クラスタの作成中のdb-init.sh 設定＋アプリの実行

参考 †

Microsoft Azure / Azure HDInsightとは
https://www.ossnews.jp/oss_info/Azure_HDInsight

gihyo.jp … 技術評論社 †

HDInsightを知る～ビッグデータ×クラウド：連載
https://gihyo.jp/dev/serial/01/hdinsight
- 第1回　HDInsightとは何か？
  https://gihyo.jp/dev/serial/01/hdinsight/0001
- 第2回　HDInsightを体験する
  https://gihyo.jp/dev/serial/01/hdinsight/0002

クリエーションライン株式会社 †

HadoopをMicrosoft Azure上で動かしてみる！
- （1/4）https://www.creationline.com/lab/12905
- （2/4）https://www.creationline.com/lab/12984
- （3/4）https://www.creationline.com/lab/13093
- （4/4）https://www.creationline.com/lab/13161

Microsoft Azurez †

Azure HDInsight - Hadoop、Spark、および Kafka サービス
https://azure.microsoft.com/ja-jp/services/hdinsight/

Azure でオープンソース分析を実行
https://azure.microsoft.com/ja-jp/free/hdinsight/

Microsoft Docs †

Azure HDInsight †

https://docs.microsoft.com/ja-jp/azure/hdinsight/

概要
https://docs.microsoft.com/ja-jp/azure/hdinsight/hdinsight-overview

チュートリアル

HDInsight クラスターの作成

HDInsight クラスターの管理
- ポータル
- CLI
- .NET SDK
- PowerShell

その他
- Runbook を使用してクラスターを作成する
- Apache Ambari のメール通知
- ETL パイプラインの作成

サンプル
- Azure CLI のサンプル
- .NET のサンプル
- Java のサンプル
- Python のサンプル
- Azure サンプルブラウザ

.NET、C# †

Microsoft Docs
- Azure HDInsight SDK for .NET - Azure for .NET Developers
  https://docs.microsoft.com/ja-jp/dotnet/api/overview/azure/hdinsight

Microsoft Docs > Azure HDInsight

.NET サンプル
https://docs.microsoft.com/ja-jp/azure/hdinsight/hdinsight-sdk-dotnet-samples
非対話型認証 .NET アプリケーション
https://docs.microsoft.com/ja-jp/azure/hdinsight/hdinsight-create-non-interactive-authentication-dotnet-applications

Apache Hadoop

HDInsight .NET SDK を使用して MapReduce? ジョブを送信する
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-use-mapreduce-dotnet-sdk
HDInsight の Hadoop において MapReduce? で C# を使用する
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-dotnet-csharp-mapreduce-streaming

Apache HBase
- HBase .NET SDK の使用
  https://docs.microsoft.com/ja-jp/azure/hdinsight/hbase/apache-hbase-rest-sdk

Interactive Query

Apache Hadoop 上での C#、Apache Hive、Apache Pig
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-hive-pig-udf-dotnet-csharp

HDInsight .NET SDK を使用して Apache Hive クエリを実行する
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-use-hive-dotnet-sdk

Apache Hive と Data Lake Tools for Visual Studio
https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-use-hive-visual-studio

Apache Storm

Visual Studio と C# を使った Apache Storm トポロジ
https://docs.microsoft.com/ja-jp/azure/hdinsight/storm/apache-storm-develop-csharp-visual-studio-topology

Storm を使用して Event Hubs のイベントを処理する
https://docs.microsoft.com/ja-jp/azure/hdinsight/storm/apache-storm-develop-csharp-event-hub-topology

Apache Spark
- .NET for Apache Spark

.NET for Apache Spark ガイド †

...

使い方ガイド
- リモートジョブを送信する
  - HDInsight にジョブを送信する
    https://docs.microsoft.com/ja-jp/dotnet/spark/how-to-guides/hdinsight-deploy-methods

チュートリアル
- .NET for Apache Spark アプリケーションをデプロイする
  - Azure HDInsight
    https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/hdinsight-deployment

Channel 9 > .NET for Apache Spark 101
Deploy .NET for Apache Spark App to
- Azure Databricks [7 of 8]
  https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Deploy-NET-for-Apache-Spark-App-to-Azure-Databricks
- Azure HDInsight [8 of 8]
  https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Deploy-NET-for-Apache-Spark-App-to-Azure-HDInsight

開発基盤部会 Wiki †

ビッグデータ †

分散処理 †

Hadoop †

Tags: :クラウド, :Azure