Azure Databricksチュートリアル のバックアップ(No.9)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Azure Databricksチュートリアル へ行く。
  • 1 (2021-06-22 (火) 11:46:11)
  • 2 (2021-06-22 (火) 13:18:44)
  • 3 (2021-06-22 (火) 15:40:57)
  • 4 (2021-06-22 (火) 20:20:32)
  • 5 (2021-06-23 (水) 00:49:15)
  • 6 (2021-06-23 (水) 11:56:27)
  • 7 (2021-06-23 (水) 13:41:04)
  • 8 (2021-06-24 (木) 20:41:15)
  • 9 (2021-06-25 (金) 14:44:29)
  • 10 (2021-06-25 (金) 16:53:56)
  • 11 (2021-07-14 (水) 17:22:37)
  • 12 (2021-07-26 (月) 12:22:30)
  • 13 (2021-08-03 (火) 15:47:27)
  • 14 (2021-08-04 (水) 17:05:58)
  • 15 (2021-08-04 (水) 20:31:22)
  • 16 (2021-08-16 (月) 17:49:45)
  • 17 (2021-08-23 (月) 11:51:34)
  • 18 (2021-08-23 (月) 19:06:10)
  • 19 (2021-08-26 (木) 21:02:03)
  • 20 (2021-08-27 (金) 14:38:44)
  • 21 (2021-09-01 (水) 17:38:09)
  • 22 (2021-09-01 (水) 20:04:48)
  • 23 (2021-09-30 (木) 10:50:21)
  • 24 (2021-09-30 (木) 15:38:51)
  • 25 (2021-10-13 (水) 12:05:49)
  • 26 (2021-10-14 (木) 11:43:45)
  • 27 (2021-10-14 (木) 16:14:09)
  • 28 (2021-10-18 (月) 17:37:43)
  • 29 (2021-10-19 (火) 13:52:22)
  • 30 (2021-10-19 (火) 17:44:52)
  • 31 (2021-10-20 (水) 11:08:14)
  • 32 (2021-10-20 (水) 18:00:41)
  • 33 (2021-10-21 (木) 12:45:14)
  • 34 (2021-11-01 (月) 11:50:11)
  • 35 (2021-11-01 (月) 20:30:25)
  • 36 (2022-01-24 (月) 18:53:25)
  • 37 (2022-01-24 (月) 21:23:48)
  • 38 (2022-01-25 (火) 10:43:00)
  • 39 (2022-01-25 (火) 15:36:06)
  • 40 (2022-01-25 (火) 22:05:24)
  • 41 (2022-01-25 (火) 23:38:25)
  • 42 (2022-02-25 (金) 11:30:58)
  • 43 (2022-02-25 (金) 14:23:21)
  • 44 (2022-02-28 (月) 13:02:52)

---

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る

目次 †

概要 †

詳細 †

準備 †

契約 †

• Azureの契約
• Databricksの契約

環境 †

• ワークスペース
• ツール
  • のイントール
  • と設定

Get started in 10 minutes †

• 以前開発したサンプルの動作確認を行い、

• 実際にデプロイしてみる。

アプリ †

• アプリを発行する。
• 依存関係をダウンロードする。
• ファイルをアップロードする。

ジョブ †

• 作成する。
  • spark-submitを構成する。
  • クラスタ構成を設定する。
  • パラメタを設定する。

• 実行する。

エラー１ †

クォータ制限を解除する。

• Cluster:
  
  • Driver: Standard_DS3_v2,
  • Workers: Standard_DS3_v2,
  • 8 workers, 5.5 LTS (includes Apache Spark 2.4.3, Scala 2.11)
• Message:
  Unexpected failure while waiting for the cluster (...) to be ready.
  • Cause Unexpected state for cluster (...):
  • AZURE_QUOTA_EXCEEDED_EXCEPTION(CLIENT_ERROR):
    
    • azure_error_code:
      QuotaExceeded?,
    • azure_error_message:
      

      Operation could not be completed as it results in exceeding approved Total Regional Cores quota.
      Additional details -
      Deployment Model: Resource Manager,
      Location: japaneast,
      Current Limit: 10,
      Current Usage: 4,
      Additional Required: 28,
      (Minimum) New Limit Required: 32.
      Submit a request for Quota increase at
      https://aka.ms/ProdportalCRP/?#create/Microsoft.Support/Parameters/%7B%22subId%22:%2232e43be6-1930-4982-a62c-a259327e5c77%22,%22pesId%22:%2206bfd9d3-516b-d5c6-5802-169c800dec89%22,%22supportTopicId%22:%22e12e3d1d-7fa0-af33-c6d0-3c50df9658a3%22%7D
      by specifying parameters listed in the 'Details' section for deployment to succeed.
      Pleas ... ***WARNING: message truncated. Skipped 964 bytes of output**

• クォータ制限を解除する。

• Total Regional vCPUsのクォータ
• Standard_DS3_v2 → DSv2 シリーズ(Standard DSv2 Promo Family vCPUs)のクォータ

を32に設定する。

エラー２ †

input.txtの扱いについて、

• ZIP同梱していても、別途アップロードが必要になる。
• また、コマンド引数でファイル名を渡している場合、spark-submitのパラメタで設定可能。

上記と同様に行ってみる例 †

ワークスペースをクリーンナップするか新規作成する必要があるので、
１つのバッチにまとめて、コマンドライン引数で切り替えるのが良いかも。

バッチ処理 †

• アプリ
  • publish.zipの発行とアップロード

    cd ...\DotNet4ApacheSpark\mySparkBatchApp\mySparkBatchApp
    dotnet publish -c Release -f netcoreapp3.1 -r ubuntu.16.04-x64
    cd ...\mySparkBatchApp\bin\Release\netcoreapp3.1\ubuntu.16.04-x64
    powershell compress-archive publish ..\publish.zip
    cd ..
    databricks fs rm dbfs:/spark-dotnet/publish.zip
    databricks fs cp publish.zip dbfs:/spark-dotnet/publish.zip

• projects_smaller.csvのアップロード

  databricks fs cp projects_smaller.csv dbfs:/projects_smaller.csv

• spark-submitのパラメタ設定

  ["--class","org.apache.spark.deploy.dotnet.DotnetRunner","/dbfs/spark-dotnet/microsoft-spark-2-4_2.11-1.0.0.jar","/dbfs/spark-dotnet/publish.zip","mySparkBatchApp", "projects_smaller.csv"]

構造化ストリーミング †

Socketを使用しているので無理っぽい。

• Azure Databricksにパッシブ・オープンされても送信先が不明。
• 他のサンプルは、kafkaをsubscribeするなどしている。
  （≒ Azure Databricks側からアクティブ・オープンする）

ML.NETでの感情分析 †

追加の例（簡単な構成例） †

参考中の「Azure Databricksを使ってみた」をやってみる。

参考 †

• Azure Databricksを使ってみた – ナレコムAzureレシピ | AIに強い情報サイト
  https://azure-recipe.kc-cloud.jp/2018/08/azure-databricks/

---

Tags: :クラウド, :Azure

     

Site admin: dotNetDevelopmentInfrastructure

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.047 sec.