「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。
目次 †
概要 †
Azureのストレージ
ストレージの種類 †
Blob †
- エクサバイト単位の高いスケーラビリティを持つ
非構造化データ用オブジェクト ストレージ
- エンドポイント:https://<storage-account>.blob.core.windows.net
コンテナ †
BLOB のセットを整理する論理的な入れ物。
ブロック Blob †
- 大量のデータを効率的にアップロードするための最適化
- ブロックで構成され、それぞれがブロック ID で識別
- ブロック BLOB には、最大 50,000 個のブロックを含められる。
- 各ブロックは、許可される最大サイズまで、異なるサイズにできる。
追加 Blob †
- ブロックで構成され、追加操作用に最適化
- 変更は追加ブロック操作を介した末尾への追加のみ。
- ブロックの更新または削除はサポートされない。
- 追加 BLOB ではブロックの ID は公開されない。
ページ Blob †
- ランダムな読み書き操作用に最適化
- 512 バイトのページのコレクション
- 作成するには、初期化し、最大サイズを指定。
- VHDファイルをアップロードしてDiskとして使用する場合。
Table †
- 大規模な半構造化データセットを使用できる NoSQL KVS(キー/値ストア)
- エンドポイント:https://<storage-account>.table.core.windows.net
Queue †
- 大容量のクラウド サービス向けの永続Queue
- エンドポイント:https://<storage-account>.queue.core.windows.net
File †
- SMBプロトコルを介してアクセスできる、管理されたファイル共有
- エンドポイント:https://<storage-account>.file.core.windows.net
- Blobをベースに構築された、ビッグ データ分析専用の一連の機能
- エンドポイント:https://<storage-account>.dfs.core.windows.net
ストレージ・アカウント †
概要 †
- Azure Storage データ オブジェクトの
格納およびアクセスのための一意の名前空間を提供
オプション †
汎用ストレージ・アカウント †
- GPv1アカウント(汎用v1)
- アクセス層を選択する機能がなく、
すべてがホット・ストレージ層扱いになる。
- 冗長オプション:LRS、ZRS、GRS
- アクセス層
# | 層 | 説明 |
1 | ホット・アクセス層 | 頻繁にアクセスされるような普通のデータ向け |
2 | クール・アクセス層 | 30日以上更新されないデータ向け |
3 | アーカイブ・アクセス層 | 180日以上更新されないデータ向け(Blob単体にのみ適用)。 |
BlockStorage? アカウント †
BlockBlobStorage? アカウント †
- Premium パフォーマンス特性を持つストレージ・アカウント。
- サービス:Blob(ブロック BLOB と追加 BLOB のみ)
- 冗長オプション:LRS、ZRS
FileStorage? アカウント †
Azure File Storage / Azure Filesとも呼ばれる。
- Premium パフォーマンス特性を持つストレージ・アカウント。
- サービス:File
- 冗長オプション:LRS、ZRS
タイプ †
Standard / Premium †
- Standard
- 磁気媒体(HDD)を使ってデータが保存される。
- あらゆるタイプのデータに使用できる。
- ストレージのパフォーマンス変動の影響を受けにくい。
- 開発/テスト、アクセク頻度の少ないワークロード
- Premium
- ハイパフォーマンスのストレージ。
- SSD を使ってデータが保存される。
推奨の組合せ †
Standard GPv2 †
Premium ブロック BLOB †
Premium ファイル共有 †
Premium ページ BLOB †
その他のトピック †
各オプション環境下で、3多重化される。
LRS(ローカル冗長ストレージ) †
- 可用性セット(AS)、ラック分散
- 1つのデータセンター上で3多重化される。
ZRS(ゾーン冗長ストレージ) †
- 可用性ゾーン(AZ)、DC分散
- 複数のデータセンター上で3多重化される。
GRS(Geo冗長ストレージ) †
- ペアリージョン、地理分散
- プライマリリージョンでローカル3多重化され、
- セカンダリリージョンにレプリケーション。
GZRS(Geoゾーン冗長ストレージ) †
- ZRS+GRS
- プライマリリージョンで複数のデータセンター上で3多重化され、
- セカンダリリージョンにレプリケーション。
RA-GRS(読み取りアクセスの Geo冗長ストレージ) †
GRSで、複数のリージョンで同時にreadできるようにして速度あげる。
RA-GZRS †
GZRSで、複数のリージョンで同時にreadできるようにして速度あげる。
ツール †
Storage Explorer †
GUI ベースのストレージデータ管理ツール
azcopy †
コマンドラインベースのファイルコピーツール
認証・認可 †
- ログで追跡が出来るので本番用。
- Azure Active Directoryでの認証が必要。
- アプリケーションの場合は、Azure Managed IDを使用する。
- その際、権限を絞り、意図しない権限付与に注意。
- ストレージ・キー列挙のアクセス許可を持つ
ロールが問題になるので、スコープの設定に注意する。
- Storage Account Contributor
- Storage Account Key Operator Service Role
- DevTests? Labs User
- Log Analytics Contributor
- Virtual Machine Contributor
- その他
- Storage Blob Data Owner(SASトークン発行可能)
- ログで追跡が出来ないので開発用。
- One Driveの共有(URL)のような機能。
- 特定のBlogやTableの決められた範囲へ期限内のアクセス許可を与える。
- アクセス・ポリシー機能を併用しないと、Revokeできない。
ストレージ・キー †
- ログで追跡が出来ないので開発用。
- ストレージ アカウントの共有キーとも言う。
- ポータル上は「アクセス キー」と表示される。
- 開発では便利だが、本番ではキーの管理が面倒。
セキュア化とロックダウン †
作業内容の安全性の確認 †
- 攻撃の検知
- 診断設定からアクセス・ログの取得
- ATP(Advanced Threat Protection)の利用
- パブリック・アクセス機能
・認証・認可が不要のアクセスが可能になる
・Blobコンテナ単位で設定が可能
・経路解放の設定と併用可能。
- その他の機能
・静的 Web サイト機能 (既定値:無効)
・CORS(既定値:無効)
・CDN(既定値:無効)
・SASトークン(権限で制御)
・Search(既定値:設定なし)
・安全な転送が必要(既定値 : HTTPS を強制しない)
例外的に、既定値から変更した方がセキュア
- 高額請求抑止
Premium ストレージの利用抑止
- アンチマルウェア
3rd party ソリューション
- 透過的暗号化
- 既定で SSE (Storage Service Encryption)が有効
- 独自キーの持ち込みも可能だが、通常は不要
変更・保守、作業の一覧化 †
- ストレージの主なメンテナンス作業と、必要な権限付与
- Reader ロールは常時割り当てで OK。
- Storage XX Data Contributor ロールは積極的に使う。
サービス | 作業者 | 認証 | ツール | 作業 | 経路 リスク | 情報 リスク | コスト リスク | 権限付与 (組み込みロール) |
Storage | インフラ 運用担当者 | AzADユーザ アカウント | Azureポータル | ファイアウォールの設定を変更する | × 侵入経路 | | | Storage Account Contributor |
ジオ・フェイルオーバを行う | | | |
ストレージ・キーを再生成する | | × キー流出 | | Storage Account Key Operator Service Role |
アクセスログを確認する | | | | Storage Blob Data Reader |
ATP からの通知を確認する | | | | (メールなどで通知されるため不要) |
アプリ開発者 | AzADユーザ アカウント | Storage Explorer, azcopy | Blob コンテナを追加する(初期設定) | | × 情報漏洩 | | Storage Blob Data Contributor |
Blob ファイルを追加 / 変更 / 削除する | | |
アプリケーション | Azure Managed ID | - | Blob データを読み書きする | | × 情報漏洩 | | Storage Blob Data Contributor |
Queue データを読み書きする | | | Storage Queue Data Contrtibutor |
IaC化 †
...
ストレージ アカウント †
>az storage account create ^
--name <storageAccountsName> ^
--resource-group <既存のresourceGroupName> ^
--location <location> ^
--sku Standard_LRS
ストレージ コンテナ †
IPアドレス制限 †
- ポータル
ストレージ・アカウント → ネットワーク
→ 選択されたネットワーク → ファイアウォール欄
- 動作確認
Azure Storage ExplorerなどでIPアドレス制限を確認する。
※ データ・パープライン系は「West US 2」辺りが良いかも。
参考 †
参考 †
microsoft.com †
Microsoft Azure †
Microsoft Docs †
Tags: :インフラストラクチャ, :クラウド, :ビッグデータ, :Azure