Azure Machine Learning のバックアップ(No.11) - マイクロソフト系技術情報 Wiki

[ トップ ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る
- .NET開発 > DX系 > AI > ML.NET
- AzureのAI系サービス
  - Azure Machine Learning
  - Azure Cognitive Services
  - Azure OpenAI Service
  - Azure Applied AI Services
  - Azure AI インフラストラクチャ

目次 †

概要 †

機械学習モデルを構築、トレーニング、デプロイが可能なプラットフォーム

詳細 †

用語 †

ワークスペース †

機械学習のモデルのトレーニングやデプロイに用いるすべてのリソースを管理する場所。
様々なPaaSと連携して動いている。その他、様々なリソースやアセットを持つ。

実験、実行、実行構成、スナップショット †

実験
機械学習のモデル構築のためにトレーニングを行うことを指す。

実行
- 実験に関する実行は、スクリプトを1回行うこと。
- メタデータ、メトリック、出力ファイル、スナップショットなどが記録される。

実行構成
実行方法を定義した命令。

スナップショット
実行時にスクリプトに含まれているファイルが実行レコードに保存される。

モデル、モデルレジストリ †

TensorFlow?、PyTorch?、Scikit-learn、Chainerのような、
外部のフレームワークを使うことができる。

ワークスペース内の学習モデルは、モデルレジストリで追跡可能

エンドポイント †

クラウド上のWebサービス、IoTをエンドポイントとして指定
措定したエンドポイントにモジュールをデプロイする。

Machine Learning Studio †

Azure Machine Learning 開発者向け Web ポータル

UIとしては、言語（Python、R）とGUIがあり、StudioはGUIに相当する。

ただ、言語（Python、R）だけでは完結しないので、
言語を使用するときもStudioを併用する必要があるらしい。

ただし、言語を使用しないケースでは、Studioだけで完結できる。

(classic) †

2015年にリリースされたAzure Machine Learning Studioが先行してGUI環境を実現。

ドラッグアンドドロップ機械学習ビルダー
コード・ファーストが存在しなかった。
Azure Machine Learningと相互運用できない。

2024 年 8 月 31 日に終了
2021 年 12 月 1 日以降、新しいリソースは作成できない。

メニュー †

以下のような構成になっている。

Auther（作成者

Assets（資産
- Datasets（データの登録・管理
- Experiments（実験記録
- Pipelines（データパイプライン
- Models（モデル管理
- Endpoints（エンドポイント管理

Manage（環境・データの管理
- Compute（計算環境
- Datastores（データソース
- Data Labeling（ラベリング

機能 †

Automated ML †

（自動機械学習

所謂一つのAuto ML

データから最高のモデルを探索

自動実行前の、ユーザ入力
- データセットの選択
- 目的変数の選択
- 計算環境の設定（クラスタの選択
- タスク選択・構成
  - 種類（分類、回帰、時系列予測）
  - 精度指標、アルゴリズム制限、学習時間、検証方法

ユーザ入力後、
以下の学習と評価を自動実行する。

特徴量エンジニアリング
- 特徴量の手動選択も可能
- 欠損データ補完方法を選択可能

モデルとモデルを作成するアルゴリズムの選択
作成されたモデルの（ハイパーパラメタ）チューニング
モデルのリーダーボード（ランキング的な）と解釈

実行結果の確認
- 実行IDをクリック
- 以下のタブからチェック可能
  - 詳細
    実行IDの詳細情報
  - データガードレール
    データの品質をチェックできる。
  - モデル
    モデルをチェックできる。
    ・モデルのリーダーボード
    ・個別のモデルの概要、説明、メトリック
    ・, etc.

モデルをデプロイして推論（リアルタイム or バッチ）

Designer †

（GUI機械学習プロセス実行

Automated ML（自動機械学習より若干難しい。

マウス操作でパイプライン構築

テンプレートを選択
サンプル・テンプレートを活用可能

パイプラインの構成

データセットの選択

特徴量エンジニアリング
・特徴量の手動選択も可能
・欠損データ補完方法を選択可能

データ分割（学習：テスト＝７：３）

モデル作成アルゴリズムの選択
（回帰、分類、クラスタリング）

モデルの学習
モデルのスコア付け
モデルの評価

計算環境の設定（クラスタの選択

実験名を設定 or 選択し実験を開始。

実行結果の確認
- 実行IDをクリック
- 以下のタブからチェック可能
  - グラフ
  - 手順
  - , etc.

モデルをデプロイして推論（リアルタイム or バッチ）

Notebooks †

（コーディング環境

以下のファイルの管理
（ストレージにホストされる

Jupyter Notebook

Python、R、スクリプト

を保存できる。

ファイルを作成 or 選択してコーディング
- Jupyter Notebook風インターフェイス
- Visual Studio Code

サンプルも用意されていて、
これをファイル管理下にクローンできる。

また、GitHub上のコードを
ファイル管理下にクローンできる。
（Jupyter → Terminal で git cloneコマンド実行）

Compute †

（計算環境

Compute Instance
≒ ローカル環境（開発・学習・推論で利用可能）
- R Studio
- Jupyter/JupyterLab?（Webブラウザ上で開く
- Visual Studio Code（ローカルで開く

※ Notebooks（コーディング環境管理下のファイルを使う。
※ 各種のSKD、Azure Machine Learning Python SDKもインストール済み。

Compute Clusters
≒ 学習環境
- 様々なスペックのVM
- 自動スケールアップ・ダウン
- ジョブ、スケジュール管理
- ライブラリ・データの自動準備
- 低優先度オプション（スポット VM

推論クラスタ
≒ 推論環境
- 推論クラスタの実体はAKSらしい。
- 推論クラスタではないが、ローカル（Compute Instance）、ACIにもデプロイ可能っぽい。
- デプロイ後はWebAPIとして使用できる（ACIだと認証なし。AKSでは認証あり。）。

Azure Databricksと同じクォータ制限がある
（ただし、ワークスペース単位に設定可能）。

Datasets †

（データの登録・管理

データの選択
- アップロード
- ダウンロード
- ストレージから選択
- オープンデータから選択

スキーマの設定

Models †

（モデル管理

Notebooks（コーディング環境とPythonなどを使用して開発したモデルを登録できる。

チュートリアル †

タイタニック生存者予測 †

Automated ML（自動機械学習で、

https://aka.ms/titanic0611

をデータセットとして使用。

自動車価格の予測 †

Designer（GUI機械学習プロセス実行で、

Automobile price predictionサンプルを選択

参考 †

Microsoft Azure / Azure Machine Learningとは
https://www.ossnews.jp/oss_info/Azure_Machine_Learning

Azure Machine Learning Studioによる機械学習入門
｜コラム｜クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
https://business.ntt-east.co.jp/content/cloudsolution/column-75.html

Azure Machine Learningとは？用語やStudioとの違いなどを解説
https://www.cloud-for-all.com/blog/what-is-azure-machine-learning.html

Qiita †

Azure Machine Learningのいろは
https://qiita.com/gnbrganchan/items/43e6c44754cb83220db5

機械学習(AI)初学者のファーストステップ
https://qiita.com/tetsu831018/items/433a3b62d81a89580eaa

気象庁公開データを利用したAzure Machine Learning デザイナーによる来店者数予測のサンプル
https://qiita.com/zukakosan/items/baff8bc08d21d52109d6

Azure ML Python SDK を使う
- １：データセットをインプットとして使う - その１
  https://qiita.com/notanaha/items/89fd11fff8eb3fead176
- ２：データセットをインプットとして使う - その２
  https://qiita.com/notanaha/items/30d57590c92b03bc953c
- ３：アウトプットを Blob ストレージに書きだす - その１
  https://qiita.com/notanaha/items/d22ba02b9cc903d281b6
- ４：アウトプットを Blob ストレージに書きだす - その２
  https://qiita.com/notanaha/items/655290670a83f2a00fdc
- ５：パイプラインの基本
  https://qiita.com/notanaha/items/6d86631a5dd9956ed011

Amazon SageMaker?とAzure MLにおける機械学習モデルのサービング技術比較
- (前編)
  https://qiita.com/kyosuke_hashimoto/items/48a4e050d6d2504d1e5c
- (後編)
  https://qiita.com/kyosuke_hashimoto/items/2e321d9fe844078d81f2

YouTube? †

Azure Machine Learning ハンズオンシリーズ †

https://www.youtube.com/playlist?list=PLzmfTuDFwtKEH_W9--AtsD4kwNSPEChPO

基礎編
https://www.youtube.com/watch?v=phbcUrWNJy8
- Module#1 環境構築
- Module#2 studio での基本機能の確認
- https://speakerdeck.com/konabuta/azure-machine-learning-hanzuonsirizu-ji-chu-bian-zi-liao

Python による機械学習入門
https://www.youtube.com/watch?v=VVu7lnE057E
- Module#1 Visual Studio Code 入門
- Module#2 Python と scikit-learn でのモデル学習とチューニング
- Module#3 様々な環境へのデプロイ
- https://speakerdeck.com/yomaki/azure-machine-learning-hanzuon-python-niyoruji-jie-xue-xi-ru-men

テキスト分類
https://www.youtube.com/watch?v=aJhFJ3tRz5Y
- Module#1 テキスト分類に用いるデータの準備
- Module#2 テキスト分類の考え方とテキスト分類モデル
- Module#3 モデルトレーニングと推論
- スライドなし

画像分類
動画なし
- Module#1 画像分類の考え方
- Module#2 PyTorch?による画像の取扱い
- Module#3 Azure ML によるモデルトレーニングとデプロイ
- スライドなし

モデル解釈
https://www.youtube.com/watch?v=ljOxHenrOqg
- Module#1 環境準備
- Module#2 解釈性の高いモデルを構築する
- Module#3 BlackBox? モデルを説明する
- https://speakerdeck.com/konabuta/azure-machine-learning-hanzuon-moderujie-shi

microsoft.com †

Microsoft Azure †

Azure Machine Learning - サービスとしての ML
https://azure.microsoft.com/ja-jp/services/machine-learning/#product-overview

Microsoft Docs †

Azure Machine Learning のドキュメント
https://docs.microsoft.com/ja-jp/azure/machine-learning/

Azure Machine Learning とは
https://docs.microsoft.com/ja-jp/azure/machine-learning/overview-what-is-azure-machine-learning

Azure Machine Learning スタジオとは
https://docs.microsoft.com/ja-jp/azure/machine-learning/overview-what-is-machine-learning-studio

自動機械学習 (AutoML) とは
https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-automated-ml

Azure Machine Learning 内に Azure Databricks と AutoML を含む開発環境をセットアップする
https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-configure-databricks-automl-environment

Learn †

Introduction to Azure Machine Learning
https://docs.microsoft.com/en-us/learn/modules/intro-to-azure-ml/

機能 †

Azure Machine Learning デザイナーとは
https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-designer

GitHub †

ハンズオン †

https://github.com/yomaki/azure-ml-python-handson

mslearn-dp100 †

https://microsoftlearning.github.io/mslearn-dp100/

Machine Learning Best Practices †

https://azure.github.io/machine-learning-best-practices/#/

Machine-Learning-Collection †

https://github.com/aladdinpersson/Machine-Learning-Collection

Tags: :クラウド, :BI/AI, :Azure