Azure AI 資格（AI-900）のバックアップ(No.11)

統治（Govern）：AIシステムのリスク管理を組織全体で統括し、リスク管理の方針や手順を確立。法規制の遵守や倫理的なガイドラインの設定が含まれる。
マップ（Map）：AIシステムのリスクを特定し、評価するプロセス。リスクの特定には、AIシステムの設計、開発、運用の各段階でのリスク要因を洗い出すことが含まれる。
測定（Measure）：特定されたリスクを定量的または定性的に評価し、その影響を測定。リスクの重大性や発生可能性を評価し、優先順位を付けることができる。
管理（Manage）：評価されたリスクに対して適切な対策を講じ、リスクを軽減または回避するためのアクションを実行。リスクの監視や継続的な改善が含まれる。

※ 最初に「潜在的な損害を特定」する。

↑

各種、Azure AI Service †

Azure Machine Learning、Azure AI Vision、Azure AI Language、Azure OpenAI

Azure Machine Learning以外のAIサービスは、
- Azure 上で事前構築済みで、すぐに＆API（RESTful Web API）を通して使用できる。
- モデルの選択、トレーニング、評価などの「機械学習プロセス」が不要になる。

↑

Azure AI Service Resource †

単一サービスとマルチサービスの 2 種類がある（マルチは、資格情報やコスト管理に優れる）。

単一サービス：個別に資格情報やコスト管理を行う場合にはコチラを選択する。
マルチサービス：複数の種類のAzure AI X サービスのリソースをAzure AI サービスに追加した状態
1つのキーとエンドポイントだけで複数の種類のAzure AI X サービスにアクセスできるようにしる場合、Azureサブスクリプションで作成するリソース。

↑

Service Studio Interface †

Service Studio Interfaceを使用し、AI Service Resourceを「関連付け」る。
- CLIやSDKが提供され裏でWebAPIにアクセスする。
- 認証には、ポータルでの認証や、APIキーを使用する（その他、OAuthなどもある）。

演習目次
- Studioの操作
- ResourceをStudioに関連付ける
- Studioで機能を試してみる
- キーとエンドポイントを確認する

↑

機械学習：Azure Machine Learning †

Machine Learning を使用して回帰モデルをトレーニングするには、Machine Learning スタジオでジョブを作成する
モデルのトレーニングが完了したらAzure コンテナーインスタンスと AKS クラスター（推論クラスタ）を作成しデプロイできる。

参考
- https://learn.microsoft.com/ja-jp/azure/machine-learning/

↑

デザイナを使用して †

既に存在するトレーニング済みのモデルを作成するにはトレーニングモジュールを追加
新しくトレーニングされたモデルから予測サービスをデプロイするには、パイプラインを作成、データセットを追加

↑

変換モジュール †

見つからないデータのクリーンアップ：データ準備の一部。
データセット内の列の選択：データセットから目的の列のサブセットを選択
データの正規化：データセット内の数値列の値を共通のスケールに変更

↑

Computer Vision：Azure AI Vision †

Computer Vision機能を提供
- 画像分析：分類、イメージのタグ付け、画像キャプション、画像分析 API
- 光学式文字認識 (OCR)：OCR、Read API、OCR API
- ビデオ分析：
- Faceサービス：顔検出、顔認識、Face API
- Azure AI Vision Spatial Analysis → Video Indexer：空間分析

Microsoft の責任ある AI 標準をサポートするために、制限付きアクセスポリシーがある。

参考
- https://learn.microsoft.com/ja-jp/azure/ai-services/computer-vision/

↑

画像分析 †

機能：
- 分類
- 検出（イメージのタグ付け、画像キャプション）
- 画像分析 API

ドメイン固有モデル
- celebrities：著名人の認識（people_ カテゴリに分類された画像についてサポート
- landmarks：ランドマークの認識（outdoor_ または building_ カテゴリに分類された画像についてサポート

↑

OCR †

Read API を呼び出すと、次の階層に配置された結果が返される

ページ - ページサイズと向きに関する情報を含む、テキストの各ページ。
行 - ページ上のテキスト行。
単語 - 境界ボックスの座標とテキストそのものを含む、テキストの行内の単語。

↑

Faceサービス †

アプリケーション：
- SNS
- 広告
- 行方不明者
- ID 検証
- セキュリティ
- インテリジェントな監視

機能：顔検出、顔認識、Face API
- 顔認識
  Face ID：顔認証などで使用する画像内で検出された各顔に対する一意の識別子
- 顔検出
  - Face Rectangle：顔上のパーツ、アクセサリ、顔の向きの検出
  - Face Landmarks：顔パーツの位置

画像ファイル
- 形式 - JPEG、PNG、GIF、BMP
- サイズ - 6 MB、36 x 36 - 4096 x 4096 px

↑

Custom Vision †

独自の画像モデルを構築してデプロイ

↑

自然言語処理：Azure AI Language/Speech/Translator †

自然言語処理（NLP：Natural Language Processing）

ユースケース
- 音声テキスト
- テキスト読上
- 機械翻訳
- テキスト分類
- エンティティ抽出
- テキストの要約
- 質問の回答

トークン化（文・単語）のステップ
- 正規化（句読点を削除しすべての単語を小文字に変更）
- ストップワード（前置詞、冠詞など）の削除
- n-gram（単語を単語グループとして扱う）
- ステミングと見出し語化（基本形統一）
- ベクトル化（頻度：TF-IDF、埋込：Word2Vec）

参考

↑

Azure AI Language †

テキスト分析
- 名前付きエンティティ認識：タイプ、サブ・タイプ
- エンティティリンク：Wikipedia へのリンク
- 個人を特定できる情報 (PII) の検出
- 言語検出：en、jaなどの言語コードを返す。
- 感情分析とオピニオンマイニング：コンテキストを与える。
- テキスト要約：最も重要な情報を識別してテキストを要約。
- キー・フレーズ識別：非構造化テキストから主要な概念を一覧。

質問応答機能
- チャット、メール、SNS-PF
- Language Studioで質疑応答を使用
- FAQのインポートが可能
- QnA Maker：テキストの一節に対してクエリを実行して応答を取得
- カスタム質問応答：コンテンツソースから抽出された質問と回答のペアを抽出
- 近年はLLM + RAGが主流になってきているが、コチラの機能のエンジンは不明。

会話言語理解(CLU)
- 意図を使用することで、音声コマンドの実行、チャットボットなどに利用する。

人間が発した言葉を３つの主要な概念に整理、あらかじめ登録しておいたキー（意図）に紐づける。
- 発話：話した内容
- エンティティ：項目
- 意図：目的または目標

学習（Authoring）
予測
- カスタムの質問応答で会話言語理解を使用できる。

↑

Azure AI Speech †

音声認識と音声合成、リアルタイム翻訳、会話の文字起こし

音声認識
音声合成
リアルタイム翻訳
会話の文字起こし

↑

Azure AI Translator †

正確で完全な翻訳を生成する、ニューラル機械翻訳 (NMT)

機能
- テキスト翻訳
- ドキュメント翻訳：元のドキュメント構造を維持しながら翻訳
- カスタム翻訳：カスタマイズされたNMTシステムを構築

音声翻訳はAzure AI Speech（経由？）

↑

ドキュメント系：Azure AI Document Intelligence/Search †

ナレッジ化して活用するみたいな。

参考
- https://learn.microsoft.com/ja-jp/azure/ai-services/document-intelligence/
- https://learn.microsoft.com/ja-jp/azure/search/

↑

Azure AI Document Intelligence †

スキャンしたドキュメントからのデータ収集を管理および高速化するソリューションをビルド
アプリケーションとワークフローでのドキュメント処理の自動化、戦略強化、検索機能強化

機能
- ドキュメント分析：テキスト、レイアウト、キーと値のペアを抽出
- 事前構築済みモデル：一般的なドキュメント（≒ 公知のドキュメント（証書、請求書、領収書など））
- カスタムモデル：既存のモデルには含まれない特定のフィールドを識別するようにトレーニング
- Document Intelligence Studio やその他のプログラミング言語で使用およびテスト

↑

Azure AI Search †

インデックスを作成するためのツールを備えたプライベートなエンタープライズ検索ソリューション
インデックスは、内部のみならずインターネット公開アセットのコンテンツも検索可能

機能
- エンリッチメント（AIスキルセット）
  - フィールド名：場所、キーフレーズ、感情、画像タグ、画像キャプション
  - ストアに保存：画像、文書、ページ、キーフレーズ、エンティティ、画像の詳細、画像参照

インデクサーによるインデクシング：
- 入力はJSON
- AIスキルセットを指定しないとフルテキスト検索のみサポートされる。

ユーザによる検索：
- 単純なクエリ構文
- Lucene 検索構文

↑

Azure OpenAI †

生成 AI系
- 自然言語の生成
- コード生成
- 画像の生成

モデル
- 言語系はTransformer系LLMのGPT系
  - 安全システム層には、危害の軽減に役立つプラットフォームレベルの構成と機能（コンテンツフィルターなどの）が含まれる。
  - 生成 AI モデルの応答の制約とスタイルを識別するためにシステムメッセージ（システムプロンプト）が使用できる。

画像系はDiffusion系
- DALL-Eなど、画像系の生成AIの画像生成の3つの機能：新しい画像の作成、画像のバリエーションを作成、画像の編集

参考
- https://learn.microsoft.com/ja-jp/azure/ai-services/

↑

Copilot †

生成AIのフロントエンド・アプリケーションで主に言語系のプロンプト・エンジニアリングを行う。
様々なO365アプリにアドオンされ様々なO365アプリデータをプロンプト・エンジニアリングで活用できる。

↑

Studio †

２つある。

Copilot Studio：ローコード（プロンプト・エンジニアリング、LLMエージェント・システム、O365連携）

Azure AI Studio：...今後は、Azure AI Foundryと呼ばれるらしい。

Azure AI 関連サービスを 1 つの統合開発環境にまとめた Web ポータル
プロジェクトは、すべての AI プロジェクトに対して一元化されたハブを提供する。
- Azure Machine Learning service のモデルカタログとプロンプトフローの開発機能。
- Azure OpenAI サービスの生成 AI モデルデプロイ、テスト、カスタムデータ統合機能。
- 音声、視覚、言語、ドキュメントインテリジェンス、コンテンツの安全性のための Azure AI サービスとの統合。