Azure HDInsight のバックアップ(No.12)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Azure HDInsight へ行く。
  • 1 (2020-09-09 (水) 13:06:48)
  • 2 (2020-09-09 (水) 13:45:53)
  • 3 (2020-10-01 (木) 21:13:58)
  • 4 (2020-10-27 (火) 16:33:32)
  • 5 (2020-10-28 (水) 11:52:43)
  • 6 (2020-11-13 (金) 17:16:12)
  • 7 (2020-11-16 (月) 12:10:05)
  • 8 (2020-11-16 (月) 23:57:16)
  • 9 (2020-11-17 (火) 09:06:33)
  • 10 (2020-11-18 (水) 09:25:23)
  • 11 (2020-11-18 (水) 16:29:29)
  • 12 (2020-11-19 (木) 16:41:58)
  • 13 (2020-11-19 (木) 21:58:23)
  • 14 (2020-11-20 (金) 01:31:02)
  • 15 (2020-11-20 (金) 12:33:21)
  • 16 (2020-11-20 (金) 15:05:54)
  • 17 (2020-11-27 (金) 13:49:44)
  • 18 (2020-11-29 (日) 16:27:42)
  • 19 (2021-03-03 (水) 15:36:14)
  • 20 (2021-05-07 (金) 13:18:55)
  • 21 (2021-05-07 (金) 14:57:31)
  • 22 (2021-06-22 (火) 15:34:52)
  • 23 (2021-06-24 (木) 12:36:25)
  • 24 (2021-06-24 (木) 20:26:18)
  • 25 (2021-07-12 (月) 17:16:03)
  • 26 (2021-07-14 (水) 17:18:30)
  • 27 (2021-07-26 (月) 12:00:07)
  • 28 (2021-08-04 (水) 15:11:47)
  • 29 (2021-09-21 (火) 17:19:58)
  • 30 (2021-10-18 (月) 18:40:16)
  • 31 (2021-10-19 (火) 13:47:45)

---

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る
  • Azure HDInsight
  • Azure Databricks

目次 †

概要 †

• Hadoop テクノロジ スタックを使用した
  エンタープライズ向けデータ分析マネージド・サービス

• Hadoop テクノロジ スタック
  • Hadoop
  • Apache Spark
  • Apache Hive
  • LLAP
  • Apache Kafka
  • Apache Storm
  • R

詳細 †

取り敢えず、.NET for Apache Spark ガイドのコンテンツをやってみる。

開発 †

（Get started in 10 minutes）

デプロイ †

※ 無料試用版サブスクリプションで利用可能との事。

ストレージ アカウントにアクセスする †

• Azure Storage Explorerを使用する。
• 後述の「クラスタの作成」で必要になるため（≒前提）。

アプリの発行 †

• ターゲットはubuntu
• publishしたものをpublish.zipにまとめる。

ワーカーの依存関係のダウンロード †

次のファイルをダウンロードする。

• Microsoft.Spark.Worker
• install-worker.sh

※ *.shの行の終わりは Unix 形式 (LF) であることを確認
※ https://github.com/dotnet/spark/tree/master/deployment

ファイルのアップロード †

次のファイルをアップロードする。

• 発行したアプリ
  • publish.zip
  • input.txt
  • microsoft-spark-2-4_2.11-1.0.0.jar（ローカル実行で使用したもの）

• 依存関係
  • Microsoft.Spark.Worker
  • install-worker.sh

クラスタの作成 †

• HDInsight Spark クラスタを作成
• Linux（ubuntu）ベース
• クラスタの作成には約 20 分かかる。

スクリプト アクションを実行 †

クラスタで install-worker.sh スクリプトを実行（$1-3をパラメタライズ）

※ install-worker.sh は、.NET for Apache Spark 依存ファイルをクラスタのノードにコピーする。

アプリの実行 †

• SSHでターミナルにログインする。

• マウントされたストレージにinput.txtをアップロード
  （エラーログを確認して、/user/sshuser/input.txtにアップロードとか...）

• spark-submit コマンドを使用して、
  HDInsight クラスタでアプリケーションを実行する。

  $SPARK_HOME/bin/spark-submit \
  --master yarn \
  --class org.apache.spark.deploy.dotnet.DotnetRunner \
  wasbs://コンテナ名@ストレージ・アカウント名.blob.core.windows.net/microsoft-spark-2.3.x-0.6.0.jar \
  wasbs://コンテナ名@ストレージ・アカウント名.blob.core.windows.net/publish.zip mySparkApp

  ※ 実際の BLOBコンテナ名とストレージ アカウントに置き換える。
  ※ 多分、引数にinput.txtを足す必要があるのではないか？と。
  　（チュートリアルに寄って、input.txtが、パラメタ化されていたりいなかったりする）

リソースのクリーンアップ †

リソース グループを削除する。

Azure Databricksとの比較 †

スクリプト アクション実行

≒ クラスタの作成中のdb-init.sh 設定＋アプリの実行

参考 †

• Microsoft Azure / Azure HDInsightとは
  https://www.ossnews.jp/oss_info/Azure_HDInsight

gihyo.jp … 技術評論社 †

• HDInsightを知る～ビッグデータ×クラウド：連載
  https://gihyo.jp/dev/serial/01/hdinsight
  • 第1回　HDInsightとは何か？
    https://gihyo.jp/dev/serial/01/hdinsight/0001
  • 第2回　HDInsightを体験する
    https://gihyo.jp/dev/serial/01/hdinsight/0002

クリエーションライン株式会社 †

• HadoopをMicrosoft Azure上で動かしてみる！
  • （1/4）https://www.creationline.com/lab/12905
  • （2/4）https://www.creationline.com/lab/12984
  • （3/4）https://www.creationline.com/lab/13093
  • （4/4）https://www.creationline.com/lab/13161

Microsoft Azurez †

• Azure HDInsight - Hadoop、Spark、および Kafka サービス
  https://azure.microsoft.com/ja-jp/services/hdinsight/

• Azure でオープンソース分析を実行
  https://azure.microsoft.com/ja-jp/free/hdinsight/

Microsoft Docs †

Azure HDInsight †

https://docs.microsoft.com/ja-jp/azure/hdinsight/

• 概要
  https://docs.microsoft.com/ja-jp/azure/hdinsight/hdinsight-overview

• チュートリアル

• HDInsight クラスターの作成

• HDInsight クラスターの管理
  • ポータル
  • CLI
  • .NET SDK
  • PowerShell

• その他
  • Runbook を使用してクラスターを作成する
  • Apache Ambari のメール通知
  • ETL パイプラインの作成

• サンプル
  • Azure CLI のサンプル
  • .NET のサンプル
  • Java のサンプル
  • Python のサンプル
  • Azure サンプル ブラウザ

.NET、C# †

• Microsoft Docs
  • Azure HDInsight SDK for .NET - Azure for .NET Developers
    https://docs.microsoft.com/ja-jp/dotnet/api/overview/azure/hdinsight

• Microsoft Docs > Azure HDInsight

• .NET サンプル
  https://docs.microsoft.com/ja-jp/azure/hdinsight/hdinsight-sdk-dotnet-samples
• 非対話型認証 .NET アプリケーション
  https://docs.microsoft.com/ja-jp/azure/hdinsight/hdinsight-create-non-interactive-authentication-dotnet-applications

• Apache Hadoop

• HDInsight .NET SDK を使用して MapReduce? ジョブを送信する
  https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-use-mapreduce-dotnet-sdk
• HDInsight の Hadoop において MapReduce? で C# を使用する
  https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-dotnet-csharp-mapreduce-streaming

• Apache HBase
  • HBase .NET SDK の使用
    https://docs.microsoft.com/ja-jp/azure/hdinsight/hbase/apache-hbase-rest-sdk

• Interactive Query

• Apache Hadoop 上での C#、Apache Hive、Apache Pig
  https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-hive-pig-udf-dotnet-csharp

• HDInsight .NET SDK を使用して Apache Hive クエリを実行する
  https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-use-hive-dotnet-sdk

• Apache Hive と Data Lake Tools for Visual Studio
  https://docs.microsoft.com/ja-jp/azure/hdinsight/hadoop/apache-hadoop-use-hive-visual-studio

• Apache Storm

• Visual Studio と C# を使った Apache Storm トポロジ
  https://docs.microsoft.com/ja-jp/azure/hdinsight/storm/apache-storm-develop-csharp-visual-studio-topology

• Storm を使用して Event Hubs のイベントを処理する
  https://docs.microsoft.com/ja-jp/azure/hdinsight/storm/apache-storm-develop-csharp-event-hub-topology

• Apache Spark
  • .NET for Apache Spark

.NET for Apache Spark ガイド †

...

• チュートリアル
  • .NET for Apache Spark アプリケーションをデプロイする
    
    • Azure HDInsight
      https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/hdinsight-deployment
    • Azure Databricks
      https://docs.microsoft.com/ja-jp/dotnet/spark/tutorials/databricks-deployment

• Channel 9 > .NET for Apache Spark 101
  Deploy .NET for Apache Spark App to
  • Azure Databricks [7 of 8]
    https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Deploy-NET-for-Apache-Spark-App-to-Azure-Databricks
  • Azure HDInsight [8 of 8]
    https://channel9.msdn.com/Series/NET-for-Apache-Spark-101/Deploy-NET-for-Apache-Spark-App-to-Azure-HDInsight

開発基盤部会 Wiki †

ビッグデータ †

分散処理 †

• Apache Spark
• Apache Storm
• Apache Kafka
• Apache Pig

Hadoop †

• Apache Spark
• Apache HBase > Apache Hive

---

Tags: :クラウド, :Azure

     

Site admin: dotNetDevelopmentInfrastructure

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.039 sec.