Azure Machine Learningチュートリアル のバックアップ(No.11)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Azure Machine Learningチュートリアル へ行く。
  • 1 (2022-02-25 (金) 09:50:35)
  • 2 (2022-02-25 (金) 12:39:15)
  • 3 (2022-02-25 (金) 15:22:15)
  • 4 (2022-02-25 (金) 18:00:45)
  • 5 (2022-02-25 (金) 23:24:05)
  • 6 (2022-02-28 (月) 15:58:16)
  • 7 (2022-02-28 (月) 17:28:27)
  • 8 (2022-03-01 (火) 10:36:16)
  • 9 (2022-03-02 (水) 11:21:50)
  • 10 (2022-03-02 (水) 15:29:16)
  • 11 (2022-03-03 (木) 11:00:03)
  • 12 (2022-03-03 (木) 15:21:26)
  • 13 (2022-03-04 (金) 13:42:01)
  • 14 (2022-03-04 (金) 15:16:37)
  • 15 (2022-03-11 (金) 11:10:02)
  • 16 (2022-03-16 (水) 12:15:09)
  • 17 (2022-03-28 (月) 14:13:41)
  • 18 (2022-05-18 (水) 13:09:03)

---

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る
  • Azure Machine Learningチュートリアル
  • Azure Machine Learningのアルゴリズム・モデル

目次 †

概要 †

Azure Machine Learning（AzML）のチュートリアル。

準備 †

契約 †

Azureの契約 †

AzMLの契約 †

Azure Databricksと異なり、無料アカウントが利用できるらしい。

環境 †

ワークスペース †

• 作成開始の方法

• ポータルで [リソースの作成] > [AI + Machine Learning] > [Machine Learning] の順に選択

• 値を指定

• ワークスペース名
  myazmlwsとか

• サブスクリプション
  任意の値

• リソース グループ
  DplRGとか

• 場所（リージョン）
  • データ・パープライン系は「West US 2」辺りが良いかも。
  • リージョン別の Azure 製品 | Microsoft Azure
    https://azure.microsoft.com/ja-jp/global-infrastructure/services/?products=databricks

• その他、ストレージ系

• ストレージ・アカウント
  新規

• キー・コンテナー
  新規

• Application Insight
  新規

• コンテナ・レジストリ
  新規（なしのままでもOK
  ・osscjpdevinfraacr
  ・標準
  

• ネットワーク
  • ○：パブリック・エンドポイント
  • プライベート・エンドポイント

• 詳細
  既定値

• [作成]ボタンを押下
  ワークスペースの作成には数分かかる。
  • 「デプロイが完了しました」が表示されたら、
  • [リソースに移動]ボタンを押下する。
  • [スタジオの起動]ボタンを押下する。
  • Azure Machine Learning Studioに移動する。
  • スタジオ起動後、右上の「⚙」メニューから言語の設定が可能。

• 使用量 + クォータ
  • Azure Machine Learningのリソース画面で設定可能
  • インスタンス、クラスタ作成の時、適宜、増やす必要がある。

• エンドポイントの保護
  パブリック・エンドポイントの場合
  • IPアドレス制限
  • Azure ADの認証が必要

• IaC化

• PowerShellで
  

• 情報なし。

• Azure CLIで

• v1.0では以下のように作成可能。

  >az login
  >az account subscription list --output table
  >az account set --subscription xxxxx
  >az ml workspace create --workspace-name [名称] --resource-group [既存のRG名] --location [場所（リージョン）]

• v2.0ではYAMLを使用可能になり
  Azure Private Endpointを使用するような
  ケースでの対応が容易になる。

• 参考
  ・https://github.com/OpenTouryoProject/DataPipeline/blob/develop/AiBi/AI/AzML/README.md

• 参考

インスタンス †

＜Azure Machine Learning Studioから＞

• 作成開始の方法
  • 左メニューから[コンピューティング]に移動し、
  • [コンピューティング インスタンス]タブから[新規]を押下。

• 値を指定

• コンピューティング名
  myazmlcompとか

• 仮想マシンの種類
  (CPU)　or GPU

• 仮想マシンのサイズ
  既定値

• 詳細 > 設定の構成
  既定値

• [作成]ボタンを押下
  コンピューティング インスタンスの作成には数分かかる。

＜スクリプトから＞

• Azure CLI
  • 割愛
  • 参考
    https://github.com/OpenTouryoProject/DataPipeline/blob/develop/AiBi/AI/AzML/README.md

• Python

クラスタ †

＜Azure Machine Learning Studioから＞

• 作成開始の方法
  • 左メニューから[コンピューティング]に移動し、
  • [コンピューティング クラスタ]タブから[新規]を押下。

• 値を指定

• 場所
  ワークスペースの場所

• バーチャル マシン層
  (専用)　or 低優先度

• 仮想マシンの種類
  (CPU)　or GPU

• 仮想マシンのサイズ
  既定値

• 設定の構成

• コンピューティング名
  myazmlclstとか

• ノード数
  ・最小：0
  ・最大：1（クォータによって可変

• スケール ダウンする前のアイドル時間 (秒)
  既定値（120秒

• [作成]ボタンを押下
  コンピューティング クラスタの作成には数分かかる。

＜スクリプトから＞

• Azure CLI
  • 割愛
  • 参考
    https://github.com/OpenTouryoProject/DataPipeline/blob/develop/AiBi/AI/AzML/README.md

• Python

学習と推論 †

Automated ML（自動機械学習で、 †

タイタニック生存者予測 †

https://aka.ms/titanic0611

をデータセットとして使用。

• データセット

• 作成開始の方法
  • 左メニューから[データセット]に移動し[データセットの作成]を押下。
  • [ローカル ファイルから]を選択して、以下の手順でアップロード

• 値を指定

• 基本情報 ・名前：Titanic.csv
  ・データセットの種類：表形式
  ・説明：任意の文字列
  ・[次へ]ボタンを押下

• データストアとファイルの選択
  ・[参照] -> [ファイルの参照]でアップロード
  ・[次へ]ボタンを押下

• 設定とプレビュー
  ・設定とプレビューを確認
  ・必要に応じて設定を修正
  ・[次へ]ボタンを押下

• スキーマ
  ・スキーマを確認
  ・必要に応じてスキーマを修正
  　・スキーマの変更
  　・列の論理削除
  ・[次へ]ボタンを押下

• 詳細の確認
  ・詳細を確認
  ・[作成]ボタンを押下

• 学習と推論

• 作成開始の方法
  • 左メニューから[自動 ML]に移動し[新しい自動 MLの実行]を押下。
  • 以下の手順で[新しい自動 MLの実行]を作成。

• 値を指定

• データセットの選択
  ・データセットを選択
  ・[次へ]ボタンを押下

• 実行の構成
  ・実験名 -> 新規作成 -> 新しい実験名：Titanic-AutoML
  ・ターゲット列：Survived (Integer)
  ・コンピューティングの種類を選択：コンピューティング クラスタ
  ・Azure ML コンピューティング XXXを選択する：myazmlclst
  ・[次へ]ボタンを押下

• タスクと設定の選択
  ・タスクと設定の選択：(分類)、回帰、時系列の予測
  ・追加の構成設定を表示する -> 終了条件 -> トレーニング ジョブ時間 (時間単位)：0.5
  ・特徴量化設定の表示 -> 手動での特徴量の設定（除外、型指定、補完方法）

• [オプション] 検証とテスト
  ・変更なし
  ・[終了]ボタンを押下

• 実験の実行画面に飛ぶ。

• 評価とデプロイ
  • 左メニューから[実験]に移動し、
  • 実験名 - > 実験IDから実験を表示する。

• 評価
  • [詳細]タブ
  • [データ ガードレール]タブ
  • [モデル]タブ
  • [出力とロク]タブ
  • [子の実行]タブ
  • [スナップショット]タブ

• デプロイ
  • [モデル]タブを選択
  • モデル（アルゴリズム名）を選択
  • [デプロイ]ボタンを押下
  • [ダウンロード]ボタンでダウンロードも。

定期預金申込予測 †

https://automlsamplenotebookdata.blob.core.windows.net/automl-sample-notebook-data/bankmarketing_train.csv

をデータセットとして使用。

自転車シェアリング需要予測 †

https://github.com/Azure/azureml-examples/blob/main/python-sdk/tutorials/automl-with-azureml/forecasting-bike-share/bike-no.csv

をデータセットとして使用。

Designer（GUI機械学習で、 †

自動車価格の予測 †

Automobile price predictionサンプルを選択

• プロジェクト・テンプレートの選択

• 作成開始の方法
  左メニューから[デザイナー]に移動し[サンプルの表示数を増やす]を押下。

• Regression - Automobile Price Prediction (Basic)を選択
  （コレはAzure MLのプロジェクト・テンプレートのようなモノか？

  グラフ概要：https://github.com/Azure/MachineLearningDesigner/blob/master/articles/samples/regression-automobile-price-prediction-basic.md

• データセット

• パイプラインの編集
  • 学習データを[視覚化（データを表示する）]から確認
  • 必要なら、データセットの差し替えが可能。
    （登録済みDatasetsから追加＆差替）

• 学習と推論

• パイプラインの編集
  • パイプラインを確認（特徴量選択 -> 欠損値の補完 -> データ分割）
  • 学習のアルゴリズムを確認（線形回帰のアルゴリズム）

• コンピューティング環境の設定
  ・「⚙」メニューからコンピューティング環境の設定が可能。
  ・既定のコンピューティング先
  　・コンピューティングの種類を選択：コンピューティング クラスタ
  　・Azure ML コンピューティング XXXを選択する：myazmlclst

• [送信]ボタンを押下
  ・実験名 -> 新規作成 -> 新しい実験名：APP-Designer
  ・[送信]ボタンを押下
  ・グラフが順次実行されて行く。

• 評価とデプロイ
  • 左メニューから[実験]に移動し、
  • 実験名 - > 実験IDから実験を表示する。

• 評価
  • [グラフ]タブ
  • [手順]タブ
  • [出力とロク]タブ
  • [メトリック]タブ
  • [画像]タブ
  • [スナップショット]タブ
  • [説明]タブ
  • [公平性]タブ

• デプロイ
  • [公開]ボタンを押下

Notebooks（コーディング環境で、 †

• プロジェクト・テンプレートの準備

• 作成開始の方法 左メニューから[Notebooks]に移動、

• [ファイル]タブから[Samples]フォルダを作成
• [サンプル]タブからサンプルをクローン
  • Pythonのバージョン毎にフォルダが在る。
  • srcにルート（x.xx.x）フォルダを選択してクローンする。
  • dstに作成した[Samples]フォルダを選択する。

Hello world †

• [ファイル]タブのフォルダから[新しいファイルの作成]を選択
  • ファイル名：helloworld.ipynb
  • ファイルの種類：ノートブック (*.ipynb)
  • [作成]ボタンを押下

• 実装

• Jupyter NotebookライクなIDE I/Fが開く。

• メニューのエディターから他のIDE I/Fを選択可能。

• Jupyter Notebook

• JupyterLab

• VS Code

• 以下の実装を行う。

  print('Hello World')

• 実行
  • コンピューティング：myazmlcomp
  • セルの左の[実行]ボタンを押下して実行する。

VS Code †

• Python for Visual Studio Codeにあるように設定する。
• Azure MLからVS Codeを起動するとAzure MLと接続したVS Codeのウィンドウが起動
• クローンなどの操作は、ターミナルのウィンドウから行う事もできる。

Python、scikit-learn †

• プロジェクト・テンプレートの選択

• JupyterからTerminalを開き、以下をクローンし、

  https://github.com/yomaki/azure-ml-python-handson

• module2に移動して、順次、進めて行く。
  • データセット
  • 学習

• module3に移動して、順次、進めて行く。
  • デプロイ
  • 推論

構築系 †

権限 †

カスタム ロールを割り当てる。

... †

参考 †

• ワークスペースでロールを管理する
  https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-assign-roles

VNET †

• VNETテクノロジーでセキュリティ保護することができる。
• 複数のサービスが関連しているため、その構成は少し複雑。

... †

参考 †

• Azure Machine LearningのVNETデプロイと
  MLFlowによるDatabricksのトラッキング
  https://qiita.com/whata/items/f2483e4759e077848de4

• Azure Machine Learning の Private Link 対応
  https://zenn.dev/keonabut/articles/ad61e4d1da7ceb90862a

• 仮想ネットワーク (Vnet) 上で Azure Machine Learningを
  使用する方法について | Japan Machine Learning Support Blog
  https://jpmlblog.github.io/blog/2020/10/28/AML-use-behind-vnet/

参考 †

Qiita †

• 機械学習(AI)初学者のファーストステップ
  https://qiita.com/tetsu831018/items/433a3b62d81a89580eaa

• Azure Machine Learningのいろは
  https://qiita.com/gnbrganchan/items/43e6c44754cb83220db5

AutoML †

• Azure Machine Learning で AutoML 使って
  モデル構築→デプロイまでのハンズオン
  https://qiita.com/Catetin0310/items/e8e86997bd96e0144ced

Designer †

Notebooks †

• Azure ML Python SDK を使う
  • １：データセットをインプットとして使う - その１
    https://qiita.com/notanaha/items/89fd11fff8eb3fead176
  • ２：データセットをインプットとして使う - その２
    https://qiita.com/notanaha/items/30d57590c92b03bc953c
  • ３：アウトプットを Blob ストレージに書きだす - その１
    https://qiita.com/notanaha/items/d22ba02b9cc903d281b6
  • ４：アウトプットを Blob ストレージに書きだす - その２
    https://qiita.com/notanaha/items/655290670a83f2a00fdc
  • ５：パイプラインの基本
    https://qiita.com/notanaha/items/6d86631a5dd9956ed011

デプロイ †

• Azure Machine Learningからの機械学習モデルのデプロイ(Local/ACI/AKS)
  https://qiita.com/ryokita/items/a65063482cf6367071c4

• Azure Machine Learning で自作モデルをデプロイする
  https://qiita.com/ko10/items/2e702e6b1a1f1e60cc05

• AzureMLで機械学習/推論を実行する
  （データ登録、コンピューティングクラスタでの学習、AKSへのデプロイ）
  https://qiita.com/eisai-bs/items/b68526a8a9e0d05ad702

YouTube? †

Tech Briefing: Azure Machine Learning †

（AutoML & Designer 概要）

Azure Machine Learning ハンズオンシリーズ †

https://www.youtube.com/playlist?list=PLzmfTuDFwtKEH_W9--AtsD4kwNSPEChPO

• 基礎編
  https://www.youtube.com/watch?v=phbcUrWNJy8
  • Module#1 環境構築
  • Module#2 studio での基本機能の確認
  • https://speakerdeck.com/konabuta/azure-machine-learning-hanzuonsirizu-ji-chu-bian-zi-liao

• Python による機械学習入門
  https://www.youtube.com/watch?v=VVu7lnE057E

• Module
  • #1 Visual Studio Code 入門
  • #2 Python と scikit-learn でのモデル学習とチューニング
  • #3 様々な環境へのデプロイ

• Resources
  • DOC
    https://speakerdeck.com/yomaki/azure-machine-learning-hanzuon-python-niyoruji-jie-xue-xi-ru-men
  • Git
    https://github.com/yomaki/azure-ml-python-handson

• テキスト分類
  https://www.youtube.com/watch?v=aJhFJ3tRz5Y
  • Module#1 テキスト分類に用いるデータの準備
  • Module#2 テキスト分類の考え方とテキスト分類モデル
  • Module#3 モデルトレーニングと推論
  • スライドなし

• 画像分類
  動画なし
  • Module#1 画像分類の考え方
  • Module#2 PyTorch?による画像の取扱い
  • Module#3 Azure ML によるモデルトレーニングとデプロイ
  • スライドなし

• モデル解釈

Microsoft Docs †

• Azure Machine Learning CLI のインストールと使用
  https://docs.microsoft.com/ja-jp/azure/machine-learning/reference-azure-machine-learning-cli

• 仮想ネットワークの分離とプライバシーの概要
  https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-network-security-overview

• Azure Machine Learning 内に Azure Databricks
  と AutoML を含む開発環境をセットアップする
  https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-configure-databricks-automl-environment

クイックスタート †

• ワークスペース リソースを作成する
  https://docs.microsoft.com/ja-jp/azure/machine-learning/quickstart-create-resources

ワークスペースの作成と管理 †

• ポータルまたは Python SDK を
  使用してワークスペースを管理する
  https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-manage-workspace
• Azure CLI を使用したワークスペースの作成
  https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-manage-workspace-cli

チュートリアル †

• AutoML
  • 分類モデル
    https://docs.microsoft.com/ja-jp/azure/machine-learning/tutorial-first-experiment-automated-ml
  • 時系列予測モデル（需要予測）
    https://docs.microsoft.com/ja-jp/azure/machine-learning/tutorial-automated-ml-forecast

• デザイナー

• 回帰モデル
  https://docs.microsoft.com/ja-jp/azure/machine-learning/tutorial-designer-automobile-price-train-score

• 機械学習モデルをデプロイする
  https://docs.microsoft.com/ja-jp/azure/machine-learning/tutorial-designer-automobile-price-deploy

GitHub †

ハンズオン †

• https://github.com/yomaki/azure-ml-python-handson
  （以下のdp100の一部を翻訳したもの）

mslearn-dp100 †

• https://microsoftlearning.github.io/mslearn-dp100/

リポジトリ †

• https://github.com/Azure/MachineLearningDesigner
• https://github.com/Azure/MachineLearningNotebooks

---

Tags: :クラウド, :BI/AI, :Azure

     

Site admin: dotNetDevelopmentInfrastructure

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.074 sec.