Azure Machine Learningのモデルのデプロイ のバックアップ(No.6)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Azure Machine Learningのモデルのデプロイ へ行く。
  • 1 (2022-03-11 (金) 10:36:33)
  • 2 (2022-03-11 (金) 13:41:51)
  • 3 (2022-03-11 (金) 17:00:16)
  • 4 (2022-03-11 (金) 20:45:03)
  • 5 (2022-03-14 (月) 16:34:18)
  • 6 (2022-03-14 (月) 18:30:43)

---

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る
  • Azure Machine Learningチュートリアル
  • Azure Machine Learningのアルゴリズム・モデル
  • Azure Machine Learningのモデルのデプロイ

目次 †

概要 †

Azure Machine Learning（AzML）のモデルのデプロイについて。
（特に、クロスプラットフォームのデプロイについて確認したい。

詳細 †

デプロイ先 †

のコンピューティング環境

ローカル †

Compute Instance の Jupyter Notebook から、同じ VM 上へモデルをデプロイ。

ACI †

AKS †

その他 †

• GPU
  リアルタイム画像処理に特化した演算装置
  • GPU対応マシンのコンピューティング環境を作成
  • PythonのSDKでWebAPIとしてデプロイする。

• FPGA
  製造後に購入者や設計者が構成を設定できる集積回路
  • TensorFlow? モデルを定義する
  • SavedModel?でモデルをシリアライズ（ZIP）
  • PythonのSDKで、
    • TensorFlow? グラフを ONNX 形式に変換
    • FPGA対応マシンのコンピューティング環境を作成
    • Dockerイメージ化してコンピューティング環境にデプロイ
    • Dockerコンテナは、gRPC と TensorFlow? Serving の "予測" API をサポート

• Cognitive Search?
  

• 参考
  • GPU
    https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-deploy-inferencing-gpus
  • FPGA
    https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-deploy-fpga-web-service
  • FPGA
    https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-deploy-fpga-web-service
  • Cognitive Search
    https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-deploy-model-cognitive-search

種類 †

WebAPI †

• 作成したモデルを ローカル / ACI / AKS のいずれかにデプロイ。

• デプロイは、GUIで行うことも出来るし、コードで行うことも出来る。

• コードで行う場合の方法も、CLIでやる場合と、Pythonでやる場合があり、ややこしい。

• CLI

• エントリ・スクリプトを定義する。
  Web サービスに送信されたデータをモデルに渡す（Python）スクリプト。

• 推論構成をJSONで定義する。
  （エントリ・スクリプトやDockerイメージ、Conda環境の情報を含む）

• デプロイ構成をJSONで定義する。
  （デプロイ先は、前述の選択肢から選択可能）

• 以下のCLIのコマンドでモデルをWebAPIとしてデプロイする。

  az ml model deploy -n myservice \
      -m モデル名:バージョン \
      --overwrite \
      --ic 推論構成.json \
      --dc デプロイ構成.json \
      -g <resource-group> \
      -w <workspace-name>

• Python

• エントリ・スクリプトを定義する。
  Web サービスに送信されたデータをモデルに渡す（Python）スクリプト。

• Conda 環境をYAMLで定義する。
  （conda env export、conda env createで使う）

• 推論構成をSDKで定義する。
  （エントリ・スクリプトやDockerイメージ、Conda環境の情報を含む）

• デプロイ構成をSDKで定義する。
  （デプロイ先は、前述の選択肢から選択可能）

• 以下のCLIのコマンドでモデルをWebAPIとしてデプロイする。

  from azureml.core.model import Model
  
  # Name of the web service that is deployed
  aks_service_name = 'aks-dnn-mnist'
  # Get the registerd model
  model = Model(ws, "tf-dnn-mnist")
  # Deploy the model
  aks_service = Model.deploy(ws,
                             models=[model],
                             inference_config=inference_config,
                             deployment_config=gpu_aks_config,
                             deployment_target=aks_target,
                             name=aks_service_name)
  
  aks_service.wait_for_deployment(show_output=True)
  print(aks_service.state)

• 参考
  • 機械学習モデルのデプロイ
    https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-deploy-and-where
  • Web サービスとしてデプロイされるモデル用のクライアントを作成する
    https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-consume-web-service
  • デプロイ先
    ・ローカル
    　・https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-deploy-local-container-notebook-vm
    　・https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/deployment/deploy-to-local/register-model-deploy-local-advanced.ipynb
    ・ACI
    　・https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-deploy-azure-container-instance
    　・https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/deployment/deploy-to-cloud/model-register-and-deploy.ipynb
    　・https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/deployment/deploy-multi-model/multi-model-register-and-deploy.ipynb
    ・AKS
    　・https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-deploy-azure-kubernetes-service?tabs=python
    　・https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/deployment/production-deploy-to-aks/production-deploy-to-aks.ipynb
    　・https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/deployment/production-deploy-to-aks/production-deploy-to-aks-ssl.ipynb
    　・https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/deployment/production-deploy-to-aks-gpu/production-deploy-to-aks-gpu.ipynb

バッチ †

• バッチ エンドポイントがプレビューで存在する。
• 分散処理の場合は、Azure Databricksに持って行くとか？

Docker †

• モデル同梱されたコンテナ
  モデルをデプロイせずに Docker イメージを作成する。
  • Dockerイメージをダウンロードして実行
  • Dockerビルドに使用するファイルをダウンロード
  • Dockerコンテナを実行するとWebAPIを公開する

• 事前構築済み推論用コンテナ
  モデル デプロイの
  • 待ち時間が短縮される。
  • 成功率が向上する。
  • 不要なイメージのビルドを回避できる。

• 参考 docker-image-inference

• モデルのパッケージ化
  https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-deploy-package-models

• 推論用の事前構築済み Docker イメージ
  https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-prebuilt-docker-images-inference
• 事前構築済み Docker イメージを拡張する
  https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-extend-prebuilt-

ダウンロード †

• ONNX
  ダウンロードしたモデルは、登録できる。

開発系の機能 †

Automated ML †

Designer †

• 参考
  • スタジオを使用して、デザイナーでトレーニングされたモデルをデプロイする
    https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-deploy-model-designer

Notebooks †

• 参考
  • azure-ml-python-handson/module3 deployment targets.ipynb at main · yomaki/azure-ml-python-handson
    https://github.com/yomaki/azure-ml-python-handson/blob/main/module3%20deployment%20targets.ipynb

参考 †

YouTube? †

• MLOps勉強会 第10回 Part1 MLflow + ONNX
  で実現するクラウドネイティブな MLOps
  https://www.youtube.com/watch?v=8wHcx8_459U

GitHub †

• Azure Machine Learning で作成した
  モデルの推論を実行する方法について
  Japan Machine Learning Support Blog
  https://jpmlblog.github.io/blog/2021/01/13/AML-model-inference/

Microsoft Docs †

• 概念 > モデルをデプロイする。
  • エンドポイント
    https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-endpoints
  • モデルの移植性（ONNX）
    https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-onnx
  • 事前構築済み Docker イメージ
    https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-prebuilt-docker-images-inference

• MLOps:ML モデル管理
  https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-model-management-and-deployment

• Azure Databricks ML 実験用の MLflow Tracking
  https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-use-mlflow-azure-databricks

---

Tags: :クラウド, :BI/AI, :Azure

     

Site admin: dotNetDevelopmentInfrastructure

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.030 sec.