Azure Databricksチュートリアルのバックアップ(No.10)

Operation could not be completed as it results in exceeding approved Total Regional Cores quota.
Additional details -
Deployment Model: Resource Manager,
Location: japaneast,
Current Limit: 10,
Current Usage: 4,
Additional Required: 28,
(Minimum) New Limit Required: 32.
Submit a request for Quota increase at
https://aka.ms/ProdportalCRP/?#create/Microsoft.Support/Parameters/%7B%22subId%22:%2232e43be6-1930-4982-a62c-a259327e5c77%22,%22pesId%22:%2206bfd9d3-516b-d5c6-5802-169c800dec89%22,%22supportTopicId%22:%22e12e3d1d-7fa0-af33-c6d0-3c50df9658a3%22%7D
by specifying parameters listed in the 'Details' section for deployment to succeed.
Pleas ... ***WARNING: message truncated. Skipped 964 bytes of output**

クォータ制限を解除する。

Total Regional vCPUsのクォータ
Standard_DS3_v2 → DSv2 シリーズ(Standard DSv2 Promo Family vCPUs)のクォータ

を32に設定する。

↑

エラー２ †

input.txtの扱いについて、

↑

上記と同様に行ってみる例 †

ワークスペースをクリーンナップするか新規作成する必要があるので、
１つのバッチにまとめて、コマンドライン引数で切り替えるのが良いかも。

↑

バッチ処理 †

アプリ

publish.zipの発行とアップロード

cd ...\DotNet4ApacheSpark\mySparkBatchApp\mySparkBatchApp
dotnet publish -c Release -f netcoreapp3.1 -r ubuntu.16.04-x64
cd ...\mySparkBatchApp\bin\Release\netcoreapp3.1\ubuntu.16.04-x64
powershell compress-archive publish ..\publish.zip
cd ..
databricks fs rm dbfs:/spark-dotnet/publish.zip
databricks fs cp publish.zip dbfs:/spark-dotnet/publish.zip

projects_smaller.csvのアップロード

databricks fs cp projects_smaller.csv dbfs:/projects_smaller.csv

spark-submitのパラメタ設定

["--class","org.apache.spark.deploy.dotnet.DotnetRunner","/dbfs/spark-dotnet/microsoft-spark-2-4_2.11-1.0.0.jar","/dbfs/spark-dotnet/publish.zip","mySparkBatchApp", "projects_smaller.csv"]

エラー
何故か、最後のDataFrame?.Showでエラーになって
4つ目の結果セットが表示されなかった（原因不明）。

↑

構造化ストリーミング †

パッシブ・オープンした通信先をAzure Databricksからアクティブ・オープンする。
ただ、Azure Databricksからアクティブ・オープンする通信先を用意できないので現時点ではパス。
- 他のサンプルは、kafkaをsubscribeするなどしている。
- IoT Hubなどで書き換えてみると良いかもしれない。

↑