マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

詳細

取り敢えず、.NET for Apache Spark ガイドのコンテンツをやってみる。

開発

(Get started in 10 minutes)

デプロイ

※ 無料試用版サブスクリプションで利用可能との事。

ストレージ アカウントにアクセスする

アプリの発行

ワーカーの依存関係のダウンロード

次のファイルをダウンロードする。

※ *.shの行の終わりは Unix 形式 (LF) であることを確認
https://github.com/dotnet/spark/tree/master/deployment

ファイルのアップロード

次のファイルをアップロードする(Azure Storage Explorer)。

クラスタの作成

スクリプト アクションを実行

クラスタで install-worker.sh スクリプトを実行($1-3をパラメタライズ)

※ install-worker.sh は、.NET for Apache Spark 依存ファイルをクラスタのノードにコピーする。

アプリの実行

リソースのクリーンアップ

リソース グループを削除する。

Azure Databricksとの比較

スクリプト アクション実行

≒ Azure Databricksのクラスタの作成中のdb-init.sh 設定アプリの実行

参考

gihyo.jp … 技術評論社

クリエーションライン株式会社

Microsoft Azurez

Microsoft Docs

Azure HDInsight

https://docs.microsoft.com/ja-jp/azure/hdinsight/

.NET、C#

.NET for Apache Spark ガイド

...

開発基盤部会 Wiki

ビッグデータ

分散処理

Hadoop


Tags: :クラウド, :Azure


トップ   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS