Azure Databricksチュートリアルのバックアップ(No.8) - マイクロソフト系技術情報 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

目次
概要
詳細
- Get started in 10 minutes
  - 契約
  - 準備
  - アプリ
  - ジョブ
  - エラー１
  - エラー２
- 追加の例（簡単な構成例）
参考

概要 †

詳細 †

Get started in 10 minutes †

以前開発したサンプルの動作確認を行い、

実際にデプロイしてみる。

契約 †

準備 †

ワークスペース
ツール
- のイントール
- と設定

アプリ †

ジョブ †

作成する。
- spark-submitを構成する。
- クラスタ構成を設定する。
- Parametersを設定する。

実行する。

エラー１ †

以下のようなエラーが出るので、クォータ制限を解除する。

Cluster:
- Driver: Standard_DS3_v2,
- Workers: Standard_DS3_v2,
- 8 workers, 5.5 LTS (includes Apache Spark 2.4.3, Scala 2.11)

Message:
Unexpected failure while waiting for the cluster (...) to be ready.

Cause Unexpected state for cluster (...):

AZURE_QUOTA_EXCEEDED_EXCEPTION(CLIENT_ERROR):

azure_error_code:
QuotaExceeded?,

azure_error_message:

Operation could not be completed as it results in exceeding approved Total Regional Cores quota.
Additional details -
Deployment Model: Resource Manager,
Location: japaneast,
Current Limit: 10,
Current Usage: 4,
Additional Required: 28,
(Minimum) New Limit Required: 32.
Submit a request for Quota increase at
https://aka.ms/ProdportalCRP/?#create/Microsoft.Support/Parameters/%7B%22subId%22:%2232e43be6-1930-4982-a62c-a259327e5c77%22,%22pesId%22:%2206bfd9d3-516b-d5c6-5802-169c800dec89%22,%22supportTopicId%22:%22e12e3d1d-7fa0-af33-c6d0-3c50df9658a3%22%7D
by specifying parameters listed in the 'Details' section for deployment to succeed.
Pleas ... ***WARNING: message truncated. Skipped 964 bytes of output**

クォータ制限を解除する。

Total Regional vCPUsのクォータ
Standard_DS3_v2 → DSv2 シリーズ(Standard DSv2 Promo Family vCPUs)のクォータ

を32に設定する。

エラー２ †

input.txtの扱いについて、

追加の例（簡単な構成例） †

参考中の「Azure Databricksを使ってみた」をやってみる。

参考 †

Azure Databricksを使ってみた – ナレコムAzureレシピ | AIに強い情報サイト
https://azure-recipe.kc-cloud.jp/2018/08/azure-databricks/

Tags: :クラウド, :Azure