Azureのストレージ のバックアップ(No.31)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Azureのストレージ へ行く。
  • 1 (2018-01-23 (火) 15:27:41)
  • 2 (2018-01-23 (火) 16:16:02)
  • 3 (2018-01-23 (火) 19:47:19)
  • 4 (2018-01-24 (水) 10:26:33)
  • 5 (2018-01-25 (木) 11:34:41)
  • 6 (2018-01-26 (金) 18:34:59)
  • 7 (2018-02-14 (水) 09:53:36)
  • 8 (2018-04-18 (水) 12:57:21)
  • 9 (2018-04-18 (水) 17:39:36)
  • 10 (2021-02-25 (木) 12:45:04)
  • 11 (2021-03-03 (水) 15:39:43)
  • 12 (2021-03-13 (土) 02:07:37)
  • 13 (2021-03-13 (土) 12:53:41)
  • 14 (2021-03-13 (土) 13:41:20)
  • 15 (2021-03-13 (土) 17:14:30)
  • 16 (2021-03-13 (土) 22:32:41)
  • 17 (2021-03-14 (日) 21:06:37)
  • 18 (2021-03-16 (火) 18:05:11)
  • 19 (2021-03-16 (火) 23:32:45)
  • 20 (2021-05-07 (金) 14:24:59)
  • 21 (2021-05-08 (土) 12:04:13)
  • 22 (2021-05-13 (木) 11:36:39)
  • 23 (2021-05-13 (木) 17:20:52)
  • 24 (2021-05-13 (木) 18:39:00)
  • 25 (2021-06-30 (水) 16:32:46)
  • 26 (2021-07-14 (水) 17:20:35)
  • 27 (2021-08-26 (木) 21:01:15)
  • 28 (2021-08-26 (木) 23:48:20)
  • 29 (2021-08-31 (火) 11:58:37)
  • 30 (2022-04-20 (水) 16:08:55)
  • 31 (2022-08-02 (火) 14:42:10)
  • 32 (2022-08-05 (金) 15:11:22)

---

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る

目次 †

概要 †

Azureのストレージ

ストレージの種類 †

Blob †

• エクサバイト単位の高いスケーラビリティを持つ
  非構造化データ用オブジェクト ストレージ

• エンドポイント：https://<storage-account>.blob.core.windows.net

• ブロック Blob と 追加 Blob、ページ Blobの3種類がある。

ブロック Blob †

• 大量のデータを効率的にアップロードするための最適化
• ブロックで構成され、それぞれがブロック ID で識別
• ブロック BLOB には、最大 50,000 個のブロックを含められる。
• 各ブロックは、許可される最大サイズまで、異なるサイズにできる。

追加 Blob †

• ブロックで構成され、追加操作用に最適化
• 変更は追加ブロック操作を介した末尾への追加のみ。
• ブロックの更新または削除はサポートされない。
• 追加 BLOB ではブロックの ID は公開されない。

ページ Blob †

• ランダムな読み書き操作用に最適化
• 512 バイトのページのコレクション
• 作成するには、初期化し、最大サイズを指定。
• VHDファイルをアップロードしてDiskとして使用する場合。

Table †

• 大規模な半構造化データセットを使用できる NoSQL KVS（キー/値ストア）
• エンドポイント：https://<storage-account>.table.core.windows.net

Queue †

• 大容量のクラウド サービス向けの永続Queue
• エンドポイント：https://<storage-account>.queue.core.windows.net

File †

• SMBプロトコルを介してアクセスできる、管理されたファイル共有
• エンドポイント：https://<storage-account>.file.core.windows.net

Disk †

Azure Data Lake †

• Blobをベースに構築された、ビッグ データ分析専用の一連の機能
• エンドポイント：https://<storage-account>.dfs.core.windows.net

ストレージ・アカウント †

概要 †

• Azure Storage データ オブジェクトの
  格納およびアクセスのための一意の名前空間を提供

• 以下のオプションとタイプを組合せて選択できる。

オプション †

汎用ストレージ・アカウント †

• サービス：Blob、Table、Queue、File、Data Lake Storage

• GPv1アカウント（汎用v1）
  • アクセス層を選択する機能がなく、
    すべてがホット・ストレージ層扱いになる。
  • 冗長オプション：LRS、ZRS、GRS

• GPv2アカウント（汎用v2）
  • GPv1にホット/クール/アーカイブのアクセス層とストレージ・イベントなどを追加
  • 冗長オプション：LRS、ZRS、GRS、GZRS、RA-GRS、RA-GZRS

• アクセス層

  #	層	説明
  1	ホット・アクセス層	頻繁にアクセスされるような普通のデータ向け
  2	クール・アクセス層	30日以上更新されないデータ向け
  3	アーカイブ・アクセス層	180日以上更新されないデータ向け（Blob単体にのみ適用）。

BlockStorage? アカウント †

• 従来の BLOB 専用ストレージ アカウント。
• サービス：Blob(ブロック BLOB と追加 BLOB のみ)
• 冗長オプション：LRS、ZRS、GRS

BlockBlobStorage? アカウント †

• Premium パフォーマンス特性を持つストレージ・アカウント。
• サービス：Blob(ブロック BLOB と追加 BLOB のみ)
• 冗長オプション：LRS、ZRS

FileStorage? アカウント †

Azure File Storage / Azure Filesとも呼ばれる。

• Premium パフォーマンス特性を持つストレージ・アカウント。
• サービス：File
• 冗長オプション：LRS、ZRS

タイプ †

Standard / Premium †

• Standard
  • 磁気媒体（HDD）を使ってデータが保存される。
  • あらゆるタイプのデータに使用できる。
    • ストレージのパフォーマンス変動の影響を受けにくい。
    • 開発/テスト、アクセク頻度の少ないワークロード

• Premium
  • ハイパフォーマンスのストレージ。
  • SSD を使ってデータが保存される。

ディスクの場合 †

推奨の組合せ †

Standard GPv2 †

• サービス：Blob、Table、Queue、File、Data Lake Storage
• 冗長オプション：LRS、ZRS、GRS、GZRS、RA-GRS、RA-GZRS

Premium ブロック BLOB †

• サービス：ブロック Blob のみ
• 冗長オプション：LRS、ZRS

Premium ファイル共有 †

• サービス：Fileのみ
• 冗長オプション：LRS、ZRS

Premium ページ BLOB †

• サービス：ページ Blob のみ
• 冗長オプション：LRS

その他のトピック †

データ冗長オプション †

各オプション環境下で、３多重化される。

LRS（ローカル冗長ストレージ） †

• 可用性セット（AS）、ラック分散
• 1つのデータセンター上で３多重化される。

ZRS（ゾーン冗長ストレージ） †

• 可用性ゾーン（AZ）、DC分散
• 複数のデータセンター上で３多重化される。

GRS（Geo冗長ストレージ） †

• ペアリージョン、地理分散
• プライマリリージョンでローカル３多重化され、
• セカンダリリージョンにレプリケーション。

GZRS（Geoゾーン冗長ストレージ） †

• ZRS＋GRS
• プライマリリージョンで複数のデータセンター上で３多重化され、
• セカンダリリージョンにレプリケーション。

RA-GRS（読み取りアクセスの Geo冗長ストレージ） †

GRSで、複数のリージョンで同時にreadできるようにして速度あげる。

RA-GZRS †

GZRSで、複数のリージョンで同時にreadできるようにして速度あげる。

ツール †

Storage Explorer †

GUI ベースのストレージデータ管理ツール

azcopy †

コマンドラインベースのファイルコピーツール

認証・認可 †

RBAC †

• ログで追跡が出来るので本番用。
• Azure Active Directoryでの認証が必要。
• アプリケーションの場合は、Azure Managed IDを使用する。
• その際、権限を絞り、意図しない権限付与に注意。
  • ストレージ・キー列挙のアクセス許可を持つ
    ロールが問題になるので、スコープの設定に注意する。
    • Storage Account Contributor
    • Storage Account Key Operator Service Role
    • DevTests? Labs User
    • Log Analytics Contributor
    • Virtual Machine Contributor

• その他
  • Storage Blob Data Owner（SASトークン発行可能）

• 参考
  • Managed Identity と RBAC を使って Azure Storage をアクセスキー無しで扱ってみる - しばやん雑記
    https://blog.shibayan.jp/entry/20190915/1568480037

SASトークン †

• ログで追跡が出来ないので開発用。
• One Driveの共有（URL）のような機能。
• 特定のBlogやTableの決められた範囲へ期限内のアクセス許可を与える。
• アクセス・ポリシー機能を併用しないと、Revokeできない。

ストレージ・キー †

• ログで追跡が出来ないので開発用。
• ストレージ アカウントの共有キーとも言う。
• ポータル上は「アクセス キー」と表示される。
• 開発では便利だが、本番ではキーの管理が面倒。

セキュア化とロックダウン †

作業内容の安全性の確認 †

• 入力制御（インバウンド）

• 経路解放
  以下の使い分け併用が可能。

• IPアドレス制限
  ・ファイアウォール規則で送信元のIPアドレスを絞れる。
  ・ただし、多く場合、入力元のFirewallなどの併用が必要。
  ・Firewallを使用すると、監視には有効だが高額になる。
  ・入力元がAzureサービスの場合、
  　・例えばAzure Firewallでは、送信元IPアドレスの問題が発生する。
  　・この場合、Azure Service Endpointを使用する必要がある。

• Azure Service Endpoint
  ・監視機能がない。
  ・通信の課金がない。
  ・入力元の仮想ネットワークを許可する。

• Azure Private Link / Endpoint
  ・監視機能がない。
  ・通信に課金がある（大量データは注意）。
  ・入力元の制限ではなく、入力元へ引き込む。

• 認証・認可

• 攻撃の検知
  • 診断設定からアクセス・ログの取得
  • ATP（Advanced Threat Protection）の利用

• ハードニング（サーバ）

• 機能無効化

• パブリック・アクセス機能
  ・認証・認可が不要のアクセスが可能になる
  ・Blobコンテナ単位で設定が可能
  ・経路解放の設定と併用可能。

• その他の機能
  ・静的 Web サイト機能 （既定値：無効）
  ・CORS（既定値：無効）
  ・CDN（既定値：無効）
  ・SASトークン（権限で制御）
  ・Search（既定値：設定なし）
  ・安全な転送が必要（既定値 : HTTPS を強制しない）
  例外的に、既定値から変更した方がセキュア

• 高額請求抑止
  Premium ストレージの利用抑止

• アンチマルウェア
  3rd party ソリューション

• 透過的暗号化
  • 既定で SSE （Storage Service Encryption）が有効
  • 独自キーの持ち込みも可能だが、通常は不要

• 出力制御（アウトバウンド）
  なし。

変更・保守、作業の一覧化 †

• ストレージの主なメンテナンス作業と、必要な権限付与
  • Reader ロールは常時割り当てで OK。
  • Storage XX Data Contributor ロールは積極的に使う。

• 意図しない権限付与に注意が必要

IaC化 †

Azure PowerShell †

下記を参照。

Azure CLI †

• ストレージ アカウント

  >az storage account create ^
     --name <storageAccountsName> ^
     --resource-group <既存のresourceGroupName> ^
     --location <location> ^
     --sku Standard_LRS

• ストレージ コンテナ

• ロールの割り当て
  ストレージ BLOB データ共同作成者ロールを自分に割り当て

  >az ad signed-in-user show --query objectId -o tsv | az role assignment create ^
   --role "Storage Blob Data Contributor" ^
   --assignee @- ^
   --scope "/subscriptions/<subscriptionId>/resourceGroups/<resourceGroupName>/providers/Microsoft.Storage/storageAccounts/<storageAccountsName>"

  ※ 標準入力を指定するには「@-」とする。

• コンテナの作成
  auth-modeは、作成操作を何をもって承認するか？的な意味。

  >az storage container create ^
  --account-name <storageAccountsName> ^
  --name <containerName> ^
  --auth-mode login

• IPアドレス制限

• ルールの追加

  >az storage account network-rule add ^
  --resource-group <resourceGroupName> ^
  --account-name <storageAccountsName> ^
  --ip-address xxx.xxx.xxx.xxx

• ルールの確認

• CLI

  az storage account network-rule list ^
  --account-name <storageAccountsName>

• ポータル
  ストレージ・アカウント → ネットワーク
  → 選択されたネットワーク → ファイアウォール欄

• 動作確認
  Azure Storage ExplorerなどでIPアドレス制限を確認する。

※ データ・パープライン系は「West US 2」辺りが良いかも。

参考 †

• Microsoft Docs

• Azure Storage

• クイックスタート
  ・PowerShell を使用して BLOB を作成する
  　https://docs.microsoft.com/ja-jp/azure/storage/blobs/storage-quickstart-blobs-powershell
  ・Azure CLI を使用して BLOB を作成する
  　https://docs.microsoft.com/ja-jp/azure/storage/blobs/storage-quickstart-blobs-cli

• Azure CLI で BLOB データへのアクセスの承認方法を選択する
  https://docs.microsoft.com/ja-jp/azure/storage/blobs/authorize-data-operations-cli

• PowerShell > ... > ...
  • https://docs.microsoft.com/en-us/powershell/module/az.storage/new-azstorageaccount
  • https://docs.microsoft.com/ja-jp/powershell/module/az.storage/new-azstoragecontainer

• Azure CLI > ... > ...
  • az storage account
    https://docs.microsoft.com/ja-jp/cli/azure/storage/account
  • az storage container
    https://docs.microsoft.com/ja-jp/cli/azure/storage/container

• SKU の種類 (Azure Storage)
  https://docs.microsoft.com/ja-jp/rest/api/storagerp/srp_sku_types

• Azure RBAC のスコープについて
  https://docs.microsoft.com/ja-jp/azure/role-based-access-control/scope-overview

参考 †

• 使ったことない人向けのAzure用語 - Qiita
  https://qiita.com/onokatio/items/1cba032329f81ed83f20

• SQL Server と Azure ストレージを組み合わせたデータベースの利用について (2018/2 版) at SE の雑記
  https://blog.engineer-memo.com/2018/02/12/sql-server-と-azure-ストレージを組み合わせたデータベースの/

microsoft.com †

Microsoft Azure †

• BLOB Storage
  https://azure.microsoft.com/ja-jp/services/storage/blobs/
• Table Storage
  https://azure.microsoft.com/ja-jp/services/storage/tables/
• Queue Storage
  https://azure.microsoft.com/ja-jp/services/storage/queues/
• File Storage
  https://azure.microsoft.com/ja-jp/services/storage/files/

• Azure Storage の価格
  
  • Azure Storage Blob の価格
    https://azure.microsoft.com/ja-jp/pricing/details/storage/blobs/
  • Azure ページ BLOB Storage の価格
    https://azure.microsoft.com/ja-jp/pricing/details/storage/page-blobs/
  • Azure Files の料金
    https://azure.microsoft.com/ja-jp/pricing/details/storage/files/
  • Azure Queue Storage の価格
    https://azure.microsoft.com/ja-jp/pricing/details/storage/queues/

Microsoft Docs †

• Azure Storage のドキュメント
  https://docs.microsoft.com/ja-jp/azure/storage/

• common
  • Azure Storage の概要
    https://docs.microsoft.com/ja-jp/azure/storage/common/storage-introduction
  • ストレージ アカウントの概要
    https://docs.microsoft.com/ja-jp/azure/storage/common/storage-account-overview
  • Azure Storage Analytics のログ
    https://docs.microsoft.com/ja-jp/azure/storage/common/storage-analytics-logging
  • Azure Defender for Storage を構成する
    https://docs.microsoft.com/ja-jp/azure/storage/common/storage-advanced-threat-protection

• blobs
  • Azure Blob Storage のドキュメント
    https://docs.microsoft.com/ja-jp/azure/storage/blobs/
  • Blob (オブジェクト) Storage について - Azure Storage
    https://docs.microsoft.com/ja-jp/azure/storage/blobs/storage-blobs-overview

• files
  • Azure Files のドキュメント
    https://docs.microsoft.com/ja-jp/azure/storage/files/
  • Azure Files の概要
    https://docs.microsoft.com/ja-jp/azure/storage/files/storage-files-introduction

• tables
  
  • Azure Table Storage のドキュメント
    https://docs.microsoft.com/ja-jp/azure/storage/tables/
  • Table Storage の概要 - Azure のオブジェクト ストレージ
    https://docs.microsoft.com/ja-jp/azure/storage/tables/table-storage-overview

• queues
  
  • Azure Queue storage のドキュメント
    https://docs.microsoft.com/ja-jp/azure/storage/queues/
  • Azure Queue Storage の概要 - Azure Storage
    https://docs.microsoft.com/ja-jp/azure/storage/queues/storage-queues-introduction

---

Tags: :インフラストラクチャ, :クラウド, :ビッグデータ, :Azure

     

Site admin: dotNetDevelopmentInfrastructure

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.086 sec.