「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
サービス名と機能 †
Available Foundry Tools †
事前構築済みの拡張ツール群、複数機能を組合せてユーザ向け機能を提供するための建付け。
※ 例えばエージェント（Agent Service）でLLM（OpenAI）とRAG（AI Search）を使うとか。
画像 †
Computer Vision、AI Face、AI Custom Vision
言語 †
Language（Q&A、分類、NER、CLU）、Translator、Speech、LLM
情報抽出 †
Content Understanding、Document Intelligence、AI Search
OCR †
LLM †
- OpenAI、Agent Service
- マルチモーダル
生成モデル †
Content Safety †
- Microsoft Foundry Content Safety
言語 †
Azure AI Language - Language Service †
- Custom Question Answering：チャットのRAGなのでLLMやAI Searchも使う
- Custom text classification & extraction - テキスト分類：2 種類のプロジェクト（単一ラベル分類、複数ラベル分類）
- Custom Named Entity Recognition - カスタムの名前付きエンティティ認識 (NER)：テキスト分類というより、単語の分類という感じ。
- Conversational language understanding - 会話言語理解（CLU）：概要、固有表現認識、PII検出、キー フレーズ抽出、感情分析、言語検出など
Azure AI Translator - Translators †
翻訳
- 言語検出：detection
- 翻訳：translation
- 音訳：transliteration
Azure AI Speech - Speech service †
音声→（機能）→文字→（機能）→翻訳→（機能）→音声
- 音声認識（Speech-to-Text）
- 翻訳（Translators）
- 音声合成（Text-to-Speech）
音声LLM †
（Phi-4-multimodal-instruct）
Voice Live †
リアルタイム対話型音声ソリューション用
- 音声認識（Speech-to-Text）
- LLM 推論（GPT‑4o Realtime など）
- 音声合成（Text-to-Speech）
画像 †
Azure AI Vision - Computer Vision †
画像分析
- Computer Vision
- 読み取り可能なテキストを抽出
- 画像に関するタグを識別
- 自然言語で画像のキャプションを生成
- 検出オブジェクトの境界ボックスを返す
- 検出オブジェクトの詳細なキャプションを生成
- 検出された人物の境界ボックスを返す
- 対象領域での指定した縦横比の境界ボックスを返す
Azure AI Vision - Face †
顔検出と分析
Azure AI Custom Vision †
画像分類と物体検出
Video Indexer †
ビデオ
- Transcript（音声文字起こし）
- OCR（画面内テキスト）
- Speakers（話者識別）
- Insights ペイン
- 出演人物
- 話題（Topics）
- オブジェクトラベル
- ブランドや人物などのエンティティ
- キーシーン
- キーワード
- 感情分析（Sentiment）
画像LLM（gpt-4o） †
マルチモーダルのLLM
画像生成(dall-e-3） †
マルチモーダルの生成モデル（画像）
情報抽出 †
Azure Content Understanding †
- 請求書（PDF）/スライド画像（JPG）/音声（MP3）/ビデオ（MP4）の分析
- タスク作成、スキーマ定義、分析の実行
Azure Document Intelligence †
- 特定のフォーム：請求書、領収書、米国税、ID ドキュメント、...
- 特定ではないフォーム：読み取りモデル、一般ドキュメント モデル、レイアウト モデル
- カスタムモデル
Azure Document Intelligence Studio を使用してラベル付けとトレーニング（教師あり機械学習）
その他 †
Content Safety †
- カスタム・コンテンツ・フィルター
- Prompt Shield（不正使用検出アルゴリズム）
MSプラクティス評価 †
ちょば余裕 †
診断ログの 2 つの前提条件 †
- Log Analytics ワークスペース
- Azure Storage アカウント
ネットワーク †
- プロビジョニングしたAzure OpenAI をAzureからのみ使用できるようにする
- 無効、プライベート エンドポイント接続でアクセスの確立を許可
Content Safety †
雰囲気でOK？
間違えた †
OCRできる †
NERとCLUの違い †
Image Analysis API †
聞いたこと無いわ（笑）...廃止らしい。→ Azure Vision APIっぽい（read と description）
... †
ExamTopics? †
まぁ解る系 †
チャットボットを構築 †
以下の要件を満たすチャットボットを構築する必要があります。
- 雑談、ナレッジベース、多言語モデルをサポート
- ユーザーメッセージの感情分析を実行
- 最適な言語モデルを自動選択
チャットボットに何を統合すべきですか？
- QnA Maker、言語理解、ディスパッチ
- Translator、音声認識、ディスパッチ
- 言語理解、テキスト分析、QnA Maker（最多投票）
- テキスト分析、Translator、ディスパッチ
帳票読込 †
- あなたの会社は、従業員が経費精算書に領収書を記入する時間を短縮したいと考えています。
- 領収書はすべて英語で書かれています。
- 領収書から、ベンダーや取引合計額といったトップレベルの情報を抽出する必要があります。
- ソリューションは開発労力を最小限に抑える必要があります。
どのAzureサービスを使用すべきでしょうか？
- カスタムビジョン
- パーソナライザー
- フォーム認識機能（最多投票）
- コンピュータービジョン
※ 機能階層的なものをイメージしておく。
難易度高目 †
責任あるAI原則 †
- あなたは、一般向けウェブサイトからの動画とテキストを処理する新しい販売システムを開発しています。
- この販売システムを監視し、ユーザーの所在地や経歴に関わらず公平な結果が得られるようにする予定です。
- 監視要件を満たすための指針となる、責任あるAI原則を2つ挙げてください。正解はそれぞれ解決策の一部を示しています。
- 透明性
- 公平性（最多投票）
- 包括性（最多投票）
- 信頼性と安全性
- プライバシーとセキュリティ
※ 責任あるAI原則の暗記が必要。...ってか、やっぱ「公平性」と「包括性」って被ってるのね。
Anomaly Detector APIをコンテナでデプロイ †
- Anomaly Detector API のコンテナー化されたバージョンを、テスト用のローカルデバイスとオンプレミスのデータセンターで使用する予定です。
- コンテナー化されたデプロイメントが以下の要件を満たしていることを確認する必要があります。
- コンテナを実行するデバイスのコマンドライン履歴に課金情報と API 情報が保存されないようにします。
- Azure RBACを使用して、コンテナ・イメージへのアクセスを制御します。
- アクション
- カスタム Dockerfile を作成
- Anomaly Detector コンテナー イメージをプル
- イメージをビルド
- Azure コンテナ レジストリにイメージをプッシュ
※ そりゃそーだ（笑）
- テキスト分析に使用する Azure Cognitive Services サービスのコンテナ化されたバージョンをデプロイする予定。
- サービスのエンドポイント URI として https://contoso.cognitiveservices.azure.com を構成し、最新バージョンの Text Analytics Sentiment Analysis コンテナーをプルします。
Docker を使用して、Azure 仮想マシン上でコンテナーを実行する必要があります。
コマンドをどのように完了すればよいですか？回答するには、回答領域で適切なオプションを選択してください。
注: 正しい選択ごとに 1 ポイントが加算されます。
ホットエリア:
そんなン知るか系 †
要件XXXでリソース作成 †
- 感情分析と光学式文字認識（OCR）を実行するために使用する新しいリソースを作成する必要があります。
- ソリューションは以下の要件を満たす必要があります。
- 単一のキーとエンドポイントを使用して複数のサービスにアクセス
- 将来使用する可能性のあるサービスの課金を統合する。
- 将来的にComputer Visionの使用をサポート
- 新しいリソースを作成するためのHTTPリクエストをどのように完了すればよい？
PUT https://management.azure.com/subscriptions/XXXXXXXX-XXXX-XXXXXXXXXXxx/resourceGroups/RG1/providers/Microsoft.CognitiveServices/accounts/CS1?api-version=2017-04-18
{
"location": "West US",
"kind": "CognitiveServices",
"sku": {
"name":
"SO"
},
"properties":{},
"identity": {
"type": "SystemAssigned"
}
}
PUT、CognitiveServices?
LUISのフレーズ †
- それぞれに独自の言語理解モデルを持つチャットボットが100個あります。
- 各モデルに同じフレーズを頻繁に追加する必要があります。
- 新しいフレーズを追加するには、言語理解モデルをプログラムで更新する必要があります。
- コードはどのように完成させるべきでしょうか？
var phraselistId = await client.Features.AddPhraseListAsync
(
appId,
versionId,
new PhraselistCreateObject
{
EnabledForAllModels = false,
IsExchangeable = true,
Name = "PL1",
Phrases = "item1,item2,item3,item4,item5"
}
);
AddPhraseListAsync?、PhraselistCreateObject?
※ この文脈での「フレーズ」とは、チャットボットの言語理解モデル（例：LUIS）に対して「重要な語や言い回し」として教える文字列の集合
LUISアプリをコンテナにデプロイ †
- コンテナにデプロイされた app1 という Language Understanding アプリケーションを使用する予定。
- app1は、lu1 という Language Understanding オーサリングリソースを使用して開発された。
| Version | Trained date | Published date |
| V1.2 | None | None |
| V1.1 | 2020-10-01 | None |
| V1.0 | 2020-09-01 | 2020-09-15 |
- コンテナにデプロイできる Language Understanding (LUIS) アプリのバージョンは
「学習済み (Trained) である必要があるが、公開 (Published) されている必要はない」
- アクション
- app1 の vx.x を選択します（デプロイ可能な最新バージョン）。
- 「コンテナ用にエクスポート（GZIP）」オプションを使用してモデルをエクスポート
- コンテナを実行し、モデル・ファイルをマウントする。
参考 †
Tags: :.NET開発, :構成管理ツール, :CI, :BI/AI
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
