Azure AI 資格（AI-900）のバックアップ(No.14)

アカウンタビリティ（説明責任）
- 透明性を確保し説明責任を果たすため、技術的な説明能力を高めるを事を目的とした原則。
- AIベースのソリューションの倫理的および法的基準を満たすガバナンスと組織の原則のフレームワークを定義
- AIベースのソリューションの設計 / 実装の情報開示から結果 / 決定の説明までを利害関係者に説明して納得してもらう責任

↑

NIST AI リスク管理フレームワーク †

統治（Govern）：AIシステムのリスク管理を組織全体で統括し、リスク管理の方針や手順を確立。法規制の遵守や倫理的なガイドラインの設定が含まれる。
マップ（Map）：AIシステムのリスクを特定し、評価するプロセス。リスクの特定には、AIシステムの設計、開発、運用の各段階でのリスク要因を洗い出すことが含まれる。
測定（Measure）：特定されたリスクを定量的または定性的に評価し、その影響を測定。リスクの重大性や発生可能性を評価し、優先順位を付けることができる。
管理（Manage）：評価されたリスクに対して適切な対策を講じ、リスクを軽減または回避するためのアクションを実行。リスクの監視や継続的な改善が含まれる。

※ 最初に「潜在的な損害を特定」する。

↑

各種、Azure AI Service †

Azure Machine Learning、Azure AI Vision、Azure AI Language、Azure OpenAI

Azure Machine Learning以外のAIサービスは、
- Azure 上で事前構築済みで、すぐに＆API（RESTful Web API）を通して使用できる。
- モデルの選択、トレーニング、評価などの「機械学習プロセス」が不要になる。

↑

Azure AI Service Resource †

単一サービスとマルチサービスの 2 種類がある（マルチは、資格情報やコスト管理に優れる）。

単一サービス：個別に資格情報やコスト管理を行う場合にはコチラを選択する。
マルチサービス：複数の種類のAzure AI X サービスのリソースをAzure AI サービスに追加した状態
1つのキーとエンドポイントだけで複数の種類のAzure AI X サービスにアクセスできるようにしる場合、Azureサブスクリプションで作成するリソース。

↑

Service Studio Interface †

Service Studio Interfaceを使用し、AI Service Resourceを「関連付け」る。
- CLIやSDKが提供され裏でWebAPIにアクセスする。
- 認証には、ポータルでの認証や、APIキーを使用する（その他、OAuthなどもある）。

演習目次
- Studioの操作
- ResourceをStudioに関連付ける
- Studioで機能を試してみる
- キーとエンドポイントを確認する

↑

機械学習：Azure Machine Learning †

モデルのトレーニング
モデルのデプロイ

参考
- https://learn.microsoft.com/ja-jp/azure/machine-learning/

↑

Machine Learning Studio †

Machine Learning Studioにアクセスするには、ワークスペースを作成する。

モデル準備
- 既に存在するトレーニング済みのモデルを選択
- 若しくは、新しくトレーニングされたモデルを作成

デザイナを使用して新しいモデルをトレーニングするには、
- 最初に、パイプラインを作成する。
- 次いで、データセットを作成する。
- 最後に、ジョブを作成する。

デプロイ
- 推論パイプラインを作成する。
- デプロイ先（コンテナーインスタンスや AKSクラスター）を作成する。

↑

変換モジュール †

見つからないデータのクリーンアップ：データ準備の一部。
データセット内の列の選択：データセットから目的の列のサブセットを選択
データの正規化：データセット内の数値列の値を共通のスケールに変更

↑

Computer Vision：Azure AI Vision †

Computer Vision機能を提供
- 画像分析：分類、イメージのタグ付け、画像キャプション、画像分析 API
- 光学式文字認識 (OCR)：OCR、Read API、OCR API
- ビデオ分析：
- Faceサービス：顔検出、顔認識、Face API
- 空間分析：Azure AI Vision Spatial Analysis → Video Indexer

Microsoft の責任ある AI 標準をサポートするために、制限付きアクセスポリシーがある。

参考
- https://learn.microsoft.com/ja-jp/azure/ai-services/computer-vision/

↑

画像分析 †

機能：

分類

検出
- 画像キャプション
- 画像記述タスクでタグ付け（タグ＋信頼度スコア）

画像分析 API

ドメイン固有モデル
- celebrities：著名人の認識（people_ カテゴリに分類された画像についてサポート
- landmarks：ランドマークの認識（outdoor_ または building_ カテゴリに分類された画像についてサポート

↑

OCR †

Read API を呼び出すと、次の階層に配置された結果が返される

ページ - ページサイズと向きに関する情報を含む、テキストの各ページ。
行 - ページ上のテキスト行。
単語 - 境界ボックスの座標とテキストそのものを含む、テキストの行内の単語。

↑

Faceサービス †

アプリケーション：
- SNS
- 広告
- 行方不明者
- ID 検証
- セキュリティ
- インテリジェントな監視

機能：顔認識（識別・検証）、顔検出、Face API

顔認識
- 識別：1対多照合
- 検証：1対1照合（Face ID）

顔検出
- Face Landmarks：顔パーツの位置
- Face Rectangle：顔の向きの検出、年齢、感情、顔上パーツ、アクセサリ（ヒゲ・眼鏡）属性を抽出

画像ファイル
- 形式 - JPEG、PNG、GIF、BMP
- サイズ - 6 MB、36 x 36 - 4096 x 4096 px

↑

Custom Vision †

独自の画像モデルを構築してデプロイ

↑

自然言語処理：Azure AI Language/Speech/Translator †

自然言語処理（NLP：Natural Language Processing）

ユースケース
- 音声テキスト
- テキスト読上
- 機械翻訳
- テキスト分類
- エンティティ抽出
- テキストの要約
- 質問の回答

トークン化（文・単語）のステップ
- 正規化（句読点を削除しすべての単語を小文字に変更）
- ストップワード（前置詞、冠詞など）の削除
- n-gram（単語を単語グループとして扱う）
- ステミングと見出し語化（基本形統一）
- ベクトル化（頻度：TF-IDF、埋込：Word2Vec）

参考

↑

Azure AI Language †

テキスト分析
- エンティティ認識
  - 固有表現認識、名前付きエンティティ認識：タイプ、サブ・タイプ
  - エンティティリンク：Wikipedia へのリンク

キー・フレーズ識別：非構造化テキストから主要な概念を一覧。
個人を特定できる情報 (PII) の検出
言語検出：en、jaなどの言語コードを返す。
感情分析とオピニオンマイニング：コンテキストを与える。
テキスト要約：最も重要な情報を識別してテキストを要約。

質問応答機能
- チャット、メール、SNS-PF
- Language Studioで質疑応答を使用
- FAQのインポートが可能
- QnA Maker：テキストの一節に対してクエリを実行して応答を取得
- カスタム質問応答：コンテンツソースから抽出された質問と回答のペアを抽出
- 近年はLLM + RAGが主流になってきているが、コチラの機能のエンジンは不明。

会話言語理解(CLU)
- 意図を使用することで、音声コマンドの実行、チャットボットなどに利用する。

人間が発した言葉を３つの主要な概念に整理、あらかじめ登録しておいたキー（意図）に紐づける。
- 発話：話した内容
- エンティティ：項目
- 意図：目的または目標

学習（Authoring）
予測
- カスタムの質問応答で会話言語理解を使用できる。

↑

Azure AI Speech †

音声認識
音声合成
リアルタイム翻訳
会話の文字起こし
テキスト読み上げ（音声アシスタント（音声アインターフェイス

言語識別
話者認識
発音評価

↑

Azure AI Translator †

正確で完全な翻訳を生成する、ニューラル機械翻訳 (NMT)

機能
- テキスト翻訳
- ドキュメント翻訳：元のドキュメント構造を維持しながら翻訳
- カスタム翻訳：カスタマイズされたNMTシステムを構築

音声翻訳はAzure AI Speech（経由？）

↑

ドキュメント系：Azure AI Document Intelligence/Search †

ナレッジ化して活用するみたいな。

参考
- https://learn.microsoft.com/ja-jp/azure/ai-services/document-intelligence/
- https://learn.microsoft.com/ja-jp/azure/search/

↑

Azure AI Document Intelligence †

スキャンしたドキュメントからのデータ収集を管理および高速化するソリューションをビルド
アプリケーションとワークフローでのドキュメント処理の自動化、戦略強化、検索機能強化

機能
- ドキュメント分析：テキスト、レイアウト、キーと値のペアを抽出

事前構築済みモデル：一般的なドキュメント（≒ 公知のドキュメント（名刺、証書、請求書、領収書など））
- 身分証明書モデル：パスポート、運転免許証、ID カード、居住許可証、
- 健康保険証モデル
- 結婚証明書モデル
- 米国ｘ税モデル
- 米国住宅ローンｘモデル
- 請求書モデル：請求書、発注書
- 領収書モデル：レシートや手書きの領収書
- クレカ・モデル、名刺モデルなど

カスタムモデル：既存のモデルには含まれない特定のフィールドを識別するようにトレーニング
Document Intelligence Studio や、その他のプログラミング言語で使用およびテスト

↑

Azure AI Search †

インデックスを作成するためのツールを備えたプライベートなエンタープライズ検索ソリューション
インデックスは、内部のみならずインターネット公開アセットのコンテンツも検索可能

機能
- エンリッチメント（AIスキルセット）
  - フィールド名：場所、キーフレーズ、感情、画像タグ、画像キャプション
  - ストアに保存：画像、文書、ページ、キーフレーズ、エンティティ、画像の詳細、画像参照

インデクサーによるインデクシング：
- 入力はJSON
- AIスキルセットを指定しないとフルテキスト検索のみサポートされる。

ユーザによる検索：
- 単純なクエリ構文
- Lucene 検索構文

↑

Azure OpenAI Service †

生成 AI系
- 自然言語の生成
- コード生成
- 画像の生成

モデル
- 言語系はTransformer系LLMのGPT系
  - 安全システム層には、危害の軽減に役立つプラットフォームレベルの構成と機能（コンテンツフィルターなどの）が含まれる。
  - 生成 AI モデルの応答の制約とスタイルを識別するためにシステムメッセージ（システムプロンプト）が使用できる。

画像系はDiffusion系

DALL-E

画像系の生成AIの画像生成の3つの機能
・新しい画像の作成
・画像のバリエーションを作成
・画像の編集

参考
- https://learn.microsoft.com/ja-jp/azure/ai-services/

↑

Copilot †

生成AIのフロントエンド・アプリケーションで主に言語系のプロンプト・エンジニアリングを行う。
様々なO365アプリにアドオンされ様々なO365アプリデータをプロンプト・エンジニアリングで活用できる。

↑

Studio †

２つある。

Copilot Studio：ローコード（プロンプト・エンジニアリング、プロンプトフロー、LLMエージェント・システム、O365連携）

Azure AI Studio：...今後は、Azure AI Foundryと呼ばれるらしい。

Azure AI 関連サービスを 1 つの統合開発環境にまとめた Web ポータル

プロジェクトは、すべての AI プロジェクトに対して一元化されたハブを提供する。
- モデルカタログとプロンプトフローの開発機能。
- Azure OpenAI サービスの生成 AI モデルデプロイ、テスト、カスタムデータ統合機能。
- 音声、視覚、言語、ドキュメントインテリジェンス、コンテンツの安全性のための Azure AI サービスとの統合。

詳細を制御（学習（追加学習、ファイン・チューニング）、プロンプト・エンジニアリング、プロンプトフロー）
- インタラクティブなGUIが用意されているが、コードを書く柔軟性はNotebookほど高くない。
- よりカスタマイズされた処理が必要な場合、Azure Machine LearningのNotebookインターフェイスを使用。

言語モデルのカタログ

概要
- 機能（タスク）
- 事前トレーニングデータ
- 制限と偏り
- 言語サポート

評価
モデルベンチマークとも言う。

一貫性（出力のみ）
流暢性（出力のみ）

精度（一致度合い）
GPTSimilarity（内積）
現実性（入出力の"合致"度合い）
関連性（入出力の"関連"度合い）

課金
デプロイ先のインフラとエンドポイントのトークンに対して課金。
- SaaS系：トークンのみ（Azure OpenAIなど）
- FaaS系：インフラとトークン
- IaaS系：インフラのみ

最適化

プロンプト・エンジニアリング

ユーザーメッセージ
・明確な指示
・書式の指定
・合図

システムメッセージ
・ワンショットまたはフューショット
・思考の連鎖
・コンテキスト

[[ファイン・チューニング>]]

RAG（グラウンディング）

組合？

Indexing and Searching
- Azure AI Searchを活用
- 一般的な話はコチラが参考になる。

サポートされているIndexの種類
- キーワード検索
- セマンティック検索
- ベクトル検索
- ハイブリッド検索（キーワード＋ベクトル）

ファイン・チューニング
- ユーザによるファイン・チューニングは口調程度のチューニングしかできないとされる（故に、グラウンディングでは、RAGが主流となっている）。
- ユースケースとしては、以下が考えられる
  - 業界タブーを学習させるなど（例：XBOXサポートによる「XBOXとプレステのどちらが優れているか？」と言う質問への回答）。
  - 業界ノウハウ、店舗の強みを学習させる（例：ソリューション営業による顧客ニーズに対するサービス提案）。