![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
Apache Sparkベースのビッグデータ、統合データ分析プラットフォーム
ビッグデータ分析ワークロードで利用する。
「DataとAIの⺠主化」を実現する機能
データ領域とか、そう言う概念はあるらしい。
同時編集・コメント・ロギング機能にて、チームでの開発を加速
多⾔語対応にて、スキルの壁を跨いでコラボレーション
...
| クラウド・サービス | OSS |
| DELTA LAKE | DELTA LAKE |
| DELTA ENGINE | － |
さまざまなデータソースから集約された、
⾼品質なデータセットにアクセス可能であるため、
１つのプラットフォーム上で多様なユースケースを実現可能。
機械学習のツールの課題に対するソリューション
機械学習のデプロイの課題に対するソリューション
モデル学習→ モデル登録→ モデル⽐較→ 承認ワークフロー→ モデルデプロイ
.NET for Apache SparkガイドのGet started in 10 minutesをやる。
取り敢えず、.NET for Apache Spark ガイドのデプロイ・コンテンツをやってみる。
Azureの無料試用版サブスクリプションは利用不可との事。
>pip3 install databricks-cli
>databricks Usage: databricks [OPTIONS] COMMAND [ARGS]... Options: -v, --version 0.14.3 ...
>databricks configure --token
Databricks Host (should begin with https://): https://<Location>.azuredatabricks.net
#ref(): File not found: "無題.png" at page "Azure Databricks"
Token: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
>databricks configure --token Databricks Host (should begin with https://): https://.....azuredatabricks.net/ Token: >
>dotnet publish -c Release -f netcoreapp3.1 -r ubuntu.16.04-x64
次のファイルをダウンロードする。
※ *.shの行の終わりは Unix 形式 (LF) であることを確認
※ https://github.com/dotnet/spark/tree/master/deployment
次のファイルをアップロードする（Databricks CLI）
databricks fs cp input.txt dbfs:/input.txt databricks fs cp publish.zip dbfs:/spark-dotnet/publish.zip databricks fs cp microsoft-spark-2-4_2.11-1.0.0.jar dbfs:/spark-dotnet/microsoft-spark-2-4_2.11-1.0.0.jar
databricks fs cp Microsoft.Spark.Worker.netcoreapp3.1.linux-x64-1.0.0.tar.gz dbfs:/spark-dotnet/Microsoft.Spark.Worker.netcoreapp3.1.linux-x64-1.0.0.tar.gz databricks fs cp install-worker.sh dbfs:/spark-dotnet/install-worker.sh databricks fs cp db-init.sh dbfs:/spark-dotnet/db-init.sh
※ install-worker.sh は、.NET for Apache Spark 依存ファイルをクラスタのノードにコピーする。
WebのGUIを使用して、spark-submit を構成
["--class","org.apache.spark.deploy.dotnet.DotnetRunner","/dbfs/spark-dotnet/microsoft-spark-2-4_2.11-1.0.0.jar","/dbfs/spark-dotnet/publish.zip","mySparkApp"]
※ 同様に、多分、引数にinput.txtを足す必要があるのではないか？と。
リソース グループを削除する。
https://docs.microsoft.com/ja-jp/azure/databricks/
...
