マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

目次

概要

詳細

準備

契約

環境

Get started in 10 minutes

アプリ

ジョブ

エラー1

クォータ制限を解除する。

  • Cluster:
    • Driver: Standard_DS3_v2,
    • Workers: Standard_DS3_v2,
    • 8 workers, 5.5 LTS (includes Apache Spark 2.4.3, Scala 2.11)
  • Message:
    Unexpected failure while waiting for the cluster (...) to be ready.
    • Cause Unexpected state for cluster (...):
    • AZURE_QUOTA_EXCEEDED_EXCEPTION(CLIENT_ERROR):
      • azure_error_code:
        QuotaExceeded?,
      • azure_error_message:
        Operation could not be completed as it results in exceeding approved Total Regional Cores quota.
        Additional details -
        Deployment Model: Resource Manager,
        Location: japaneast,
        Current Limit: 10,
        Current Usage: 4,
        Additional Required: 28,
        (Minimum) New Limit Required: 32.
        Submit a request for Quota increase at
        https://aka.ms/ProdportalCRP/?#create/Microsoft.Support/Parameters/%7B%22subId%22:%2232e43be6-1930-4982-a62c-a259327e5c77%22,%22pesId%22:%2206bfd9d3-516b-d5c6-5802-169c800dec89%22,%22supportTopicId%22:%22e12e3d1d-7fa0-af33-c6d0-3c50df9658a3%22%7D
        by specifying parameters listed in the 'Details' section for deployment to succeed.
        Pleas ... ***WARNING: message truncated. Skipped 964 bytes of output**
  • クォータ制限を解除する。
  • Total Regional vCPUsのクォータ
  • Standard_DS3_v2 → DSv2 シリーズ(Standard DSv2 Promo Family vCPUs)のクォータ

を32に設定する。

エラー2

input.txtの扱いについて、

上記と同様に行ってみる例

ワークスペースをクリーンナップするか新規作成する必要があるので、
1つのバッチにまとめて、コマンドライン引数で切り替えるのが良いかも。

バッチ処理

  • アプリ
    • publish.zipの発行とアップロード
      cd ...\DotNet4ApacheSpark\mySparkBatchApp\mySparkBatchApp
      dotnet publish -c Release -f netcoreapp3.1 -r ubuntu.16.04-x64
      cd ...\mySparkBatchApp\bin\Release\netcoreapp3.1\ubuntu.16.04-x64
      powershell compress-archive publish ..\publish.zip
      cd ..
      databricks fs rm dbfs:/spark-dotnet/publish.zip
      databricks fs cp publish.zip dbfs:/spark-dotnet/publish.zip
  • projects_smaller.csvのアップロード
    databricks fs cp projects_smaller.csv dbfs:/projects_smaller.csv
  • spark-submitのパラメタ設定
    ["--class","org.apache.spark.deploy.dotnet.DotnetRunner","/dbfs/spark-dotnet/microsoft-spark-2-4_2.11-1.0.0.jar","/dbfs/spark-dotnet/publish.zip","mySparkBatchApp", "projects_smaller.csv"]
  • エラー
    何故か、最後のDataFrame?.Showでエラーになって
    4つ目の結果セットが表示されなかった(原因不明)。

構造化ストリーミング

  • パッシブ・オープンした通信先をAzure Databricksからアクティブ・オープンする。
  • ただ、Azure Databricksからアクティブ・オープンする通信先を用意できないので現時点ではパス。
    • 他のサンプルは、kafkaをsubscribeするなどしている。
    • IoT Hubなどで書き換えてみると良いかもしれない。

ML.NETでの感情分析

追加の例(簡単な構成例)

参考中の「Azure Databricksを使ってみた」をやってみる。

参考


Tags: :クラウド, :ビッグデータ, :Azure


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2021-07-14 (水) 17:22:37 (9d)