AKSをセキュアに利用する構築デモのバックアップ(No.6)

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

戻る

目次 †

目次
環境
構成
手順
シェル
- テキスト・ファイル
- シェル（カスタマイズあり）
参考

↑

環境 †

↑

シェル †

Azure Cloud Shell (Bash) からの作業を想定

20分でタイムアウトしてしまうため、
- タイムアウトで、変数が失われてしまう。
- これを避けるため、パラメタ設定スクリプトを、
- テキスト・ファイルなどにコピーして残しておく。
- 再開の際は、テキスト・ファイルのスクリプトを再実行する。

↑

操作者の権限 †

以下の権限を持つユーザで作業

Ownerロール権限
AzADに対してSPNを作成する権限

↑

その他 †

↑

アカウント †

以下で固定になってるので、必要に応じて変更する。

admin-username
```
--admin-username azrefadmin
```

admin-password
```
--admin-password "p&ssw0rdp&ssw0rd"
```

↑

...見つけ次第、書く。 †

↑

構成 †

↑

全体構成図 †

AKS_TechnicalReference_v0.14(ppt).zipに同梱のPPTから引用

↑

ネットワーク構成 †

↑

構成概要 †

コチラの推奨設定と少々異なる（プライベートAKSクラスタにする）。

Azure CNI プラグインを利用した分離型 VNET 構成
ARM API はプライベート化しない。
Master API はプライベート化する。
（プライベートAKSクラスタ）
実行ノードも既存のVNETに配置する。

※ サマリすると

ARM API以外は、プライベート化し、
実行ノードの公開は、
- Azure Private Endpoint経由（イントラ公開）
- DMZ経由（インターネット公開）

　となる。

↑

入力経路 †

インバウンド（イングレス

アプリ
- イントラ公開
  Azure Private Endpoint → ILB(Internal Load Balancer)
- インターネット公開
  Azure Application Gateway (DMZ) → Azure Private Endpoint → ILB(Internal Load Balancer)

保守アクセス
- イントラ公開
  Azure Private Endpoint 方式
- インターネット公開
  Azure Bastion 方式

↑

出力経路 †

アウトバウンド（エグレス

以下の併用

Azure Firewall：インターネット・アクセス
Azure Private Endpoint：Azureの他のサービスへのアクセス

↑

↑

認証・認可 †

保守用端末を VNET 内に設置する想定。

↑

Azure Portal, Azure CLI (ARM API) †

プライベート化しない（既存のアクセス制限機能を想定）

↑

制御プレーンの実行アカウント (SPN) †

Managed ID 方式で作成する。

↑

ダッシュボード, Kubernetes CLI (Master API) †

クラスタ管理者のkube configを使って、
必要なら、追加でIPアドレス制限を想定

↑

AKSユーザ・アプリからのリソース・アクセス †

Secret機能を使用

↑

基盤保守 †

↑

日次パッチ †

ノード VM は日次パッチ適用（既定で自動）
Kured をインストールして自動再起動させる。

↑

オンデマンド †

必要に応じて

バージョンアップを手動で実施。

↑

開発～デプロイ †

VNET 内に本番用コンテナ・レジストリを配置するのみ
（ACR（コンテナ・レジストリ）をプライベート化する。）

↑

手順 †

https://github.com/tsubasaxZZZ/aks-hardway/blob/master/deploy-private-cluster.md

↑

準備作業 †

↑

サブスクリプションの選択 †

※ 必要に応じて、サブスクリプションの選択を行う。

※ 「SUBSCRIPTION_NAMEは各自で書き換え」とのこと。

※ 再開の際は、再実行（テキスト・ファイルへ）。

↑

パラメタの設定 †

※ 「NAME_PREFIXは各自で書き換え」とのこと。

※ 再開の際は、再実行（テキスト・ファイルへ）。

↑

Azure CLI拡張機能のインストール †

↑

AKS プレビュー機能のインストール †

※ 「時間かかるので注意（20 分ぐらい）」とのこと。

↑

共通準備 †

↑

パラメタの設定 †

以下のパートのスクリプトを実行して、パラメタを設定

# Parameters

※ 再開の際は、再実行（テキスト・ファイルへ）。

↑

リソース・グループの作成 †

以下のパートのスクリプトを実行

# Create Resouce Group

ログ用

az group create --name $RG_OPS --location $LOCATION

AKS環境用

az group create --name $RG_AKS --location $LOCATION

DMZ環境用

az group create --name $RG_DMZ --location $LOCATION

オンプレ模倣環境用

az group create --name $RG_ONP --location $LOCATION

↑

診断ログ・ストレージの作成 †

以下のパートのスクリプトを実行

# Create Diagnostics Storage

※ インターネット・アクセス禁止オプションあり。

↑

Log Analytics & AppInsights? の作成 †

以下のパートのスクリプトを実行

# Create Log Analytics & AppInsights

※ Log Analytics は 90日ログ保持オプションあり。

↑

サブスクリプションのアクティビティ・ログの有効化 †

以下のパートのスクリプトを実行

# Enable Subscription Activity Logging

※ だが、現時点では UI から実施とのこと（動画も参考になる）。

参考
- Azure Monitor での Azure アクティビティログの収集と分析 | Microsoft Docs
  https://docs.microsoft.com/ja-jp/azure/azure-monitor/platform/activity-log-collect

↑

オンプレ模倣環境の作成 †

VNETにVMを新設して、そこをオンプレに見立てるということらしい。

全体構成図には「OA環境サブスクリプション」と
あるが、別サブスクリプションでなくても良い。

多分、後述の、Bastionの作成手順で代替できる
（が、Private Link、Private Endpoint等を試したいのでコチラを優先したい）。

あと、Azure Private Endpoint 引き込みを行うので、
正確には、「オンプレ"展延"模倣環境」ではないだろうか？

↑

パラメタの設定 †

以下のパートのスクリプトを実行して、パラメタを設定

# Parameters

※ 再開の際は、再実行（テキスト・ファイルへ）。

↑

VNET・サブネットの作成 †

以下のパートのスクリプトを実行

# Create Onpremise VNET

VNET
```
ONP_VNET_NAME="${NAME_PREFIX}-onprem-vnet"
ONP_VNET_ADDRESS_PREFIXES=10.0.0.0/16
```
※ 全体構成図と突合して、サブネット構成を理解しておくと良い。

サブネット

デフォルトのサブネット（VM用）

ONP_VNET_SUBNET_DEF_NAME=Default
ONP_VNET_SUBNET_DEF_ADDRESS_PREFIX=10.0.0.0/24

Azure Private Endpoint用
外部のAzureサービスに接続するため。
```
ONP_VNET_SUBNET_IES_NAME=InternalEndpointSubnet
ONP_VNET_SUBNET_IES_ADDRESS_PREFIX=10.0.250.0/24
```
※ IESじゃなくて、PES（PrivateEndpointSubnet?）だね。

↑

VMの作成 †

以下のパートのスクリプトを実行

# Create uservm1 (Public IP + Open RDP Port)

※ VM生成のAzure CLIスクリプトとして参考になる。
　　パブリックIP作成、NIC作成を別で行っている（が特に意味はない模様）。

※ オンプレの模倣ということで、Windows 10 を選択している？

※ Visual Studio のアクティブ・サブスクライバでない場合は、
　　Windows 10 ではなく Windows Server 2019 を利用（ライセンスの関係らしい）
　　既定のスクリプトは、Windows 10になっているので、必要に応じて変更。

※ 最後に「az vm open-port」でRDPポートを開けるオマケが付いているので注意。

↑

AKS 配置環境の準備 †

↑

パラメタの設定 †

以下のパートのスクリプトを実行して、パラメタを設定

# Variables

※ 再開の際は、再実行（テキスト・ファイルへ）。

↑

VNET・サブネットの作成 †

以下のパートのスクリプトを実行

#Create VNET & Subnets

VNET
```
AKS_VNET_NAME="${NAME_PREFIX}-aks-vnet"
AKS_VNET_ADDRESS_PREFIXES=10.0.0.0/8
```
※ 全体構成図と突合して、サブネット構成を理解しておくと良い。

サブネット

保守端末用

AKS_VNET_SUBNET_MMS_NAME=ManagementSubnet
AKS_VNET_SUBNET_MMS_ADDRESS_PREFIX=10.16.0.0/16

ノードプール用

AKS_VNET_SUBNET_NPS_NAME=NodepoolSubnet
AKS_VNET_SUBNET_NPS_ADDRESS_PREFIX=10.1.0.0/16

内部インバウンド用
ノードプールの内部公開用
```
AKS_VNET_SUBNET_IES_NAME=InternalEndpointSubnet
AKS_VNET_SUBNET_IES_ADDRESS_PREFIX=10.11.0.0/16
```
※ シェルではなく*.yamlから利用

Azure Private Endpoint用
外部のAzureサービスに接続するため。

AKS_VNET_SUBNET_PES_NAME=PrivateEndpointSubnet
AKS_VNET_SUBNET_PES_ADDRESS_PREFIX=10.15.0.0/16

Azure Private Linkサービス用
オンプレ模倣環境から接続するため。

AKS_VNET_SUBNET_PLS_NAME=PrivateLinkServiceNatSubnet
AKS_VNET_SUBNET_PLS_ADDRESS_PREFIX=10.12.0.0/16

Azure Firewall用（インターネット・アクセス）

AKS_VNET_SUBNET_FWS_NAME=AzureFirewallSubnet
AKS_VNET_SUBNET_FWS_ADDRESS_PREFIX=10.31.0.0/16

※ 使っていない？

Azure Bastion用

AKS_VNET_SUBNET_BTS_NAME=AzureBastionSubnet
AKS_VNET_SUBNET_BTS_ADDRESS_PREFIX=10.30.0.0/16

※ 使っていない？

※ ノードプールのIP消費が多いので、
　/16でサブネッティングしているとの事。

※ しれっと、VNETの「az monitor diagnostic-settings create」をしている。

↑

周辺サービスの作成と引き込み †

ACR の作成と Azure Private Endpoint 引き込み

ACR の作成
以下のパートのスクリプトを実行
```
# Create ACR
```
※ Azure Private Endpoint 引き込みをサポートするPremiumのskuを使用。
※ インターネットアクセス禁止、Subscription Activity Loggingの出力先を指定

Azure Private Endpoint 引き込み
以下のパートのスクリプトを実行
```
# Create PrivateLink to ACR
...
# azrefarcacr... の A レコード作成
```
※ Previewなので変更の可能性アリとのこと → 特にDNS弄る所。
※ 実は、動画ではポータルから行っているｗ。とりま無難にポータルからやろう。

Azure SQL Database 作成と Azure Private Endpoint 引き込み
- Azure SQL Database 作成
```
...
```
  ※ よくよく見ると、DBを作ってない（コロナ"COVID-19"の影響だということ）。
  　最終的には、以下の接続文字列でアクセス可能なSQL Serverが必要になる。
  　jdbc:sqlserver://azrefarc.database.windows.net:1433;databaseName=pubs

Azure Private Endpoint 引き込み
以下のパートのスクリプトを実行
```
# Service Endpoint for SQL DB
```
※ マネージド・インスタンスは、Azure Private Endpoint が使えない
　らしいので Azure Service Endpoint を利用する（と言うエクスキューズがある）。
※ 本来、コチラの手順が参考になったハズ。

参考
- Azure SQL Databaseをプライベート化する。
- ACR（コンテナ・レジストリ）をプライベート化する。

↑

Azure Firewallの作成 †

Azure Firewallの作成
```
# Create Azure Firewall
```

UDRの設定
以下のパートのスクリプトを実行
```
# Create UDR and assign UDR
```
※ 既定のUDRとして、「AKS_UDR_NAME」を作成、
　インターネット（0.0.0.0/0）への通信をAzure Firewallにルーティング

ルールの作成
以下のパートのスクリプトを実行
```
# Create Firewall Rules
```

プライベートAKSクラスタの要件
以下のパートのスクリプトを実行
```
# Required for private AKS cluster
az network firewall application-rule create...
```
※ 前述の既定のUDR（AKS_UDR_NAME）をノードプールのサブネットに適用する。
※ その他、MCRへのアクセスとか、云々、コレはMSに聞いたほうがいい感じやね。

Azure での Linux VM の時刻同期
以下のパートのスクリプトを実行
```
# ntp.ubuntu.com -> *
az network firewall network-rule create...
```

プライベートAKSクラスタのオプション
以下のパートのスクリプトを実行
```
# Optional for AKS cluster
az network firewall application-rule create...
```

ContainersのAzure Monitor
以下のパートのスクリプトを実行

# Azure Monitor for containers
az network firewall application-rule create...

AKSクラスタのAzure Policy
以下のパートのスクリプトを実行

# Azure Policy for AKS clusters (preview, subject to be changed)
az network firewall application-rule create...

※ ルールの作成には、かなり時間がかかるらしい（10分ぐらい）。

↑

他によく必要になる URL †

AKS ツール
- download.opensuse.org
- packages.microsoft.com
- dc.services.visualstudio.com
- *.opinsights.azure.com
- *.monitoring.azure.com
- gov-prod-policy-data.trafficmanager.net
- apt.dockerproject.org
- nvidia.github.io

OS update
- download.opensuse.org
- *.ubuntu.com
- packages.microsoft.com
- snapcraft.io,api.snapcraft.io

↑

保守端末の準備 †

↑

管理マシン（Windows）の作成 †

オンプレから接続する踏み台VM相当。

パラメタの設定
以下のパートのスクリプトを実行して、パラメタを設定
```
# Parameters
```
※ 再開の際は、再実行（テキスト・ファイルへ）。

UDRの設定
以下のパートのスクリプトを実行
```
# UDR でルートを塞ぐ
```
※ 前述の既定のUDR（AKS_UDR_NAME）を指定。

ILB, NIC の作成
以下のパートのスクリプトを実行
```
# ILB 配下に VM を作成
# NIC を先に作成（IP アドレスを確定させる）
```
※ 後で、Azure Private Linkを作成するので、ILB → NICと作成するのがポイント。

Azure Firewallの設定
以下のパートのスクリプトを実行
```
# Azure Firewall ルールで Windows Update などを許可
# Azure Firewall ルールで） Azure Portal （を許可
```
※ 同様に、ルールの作成には、かなり時間がかかるらしい（10分ぐらい？）。

VM の作成
以下のパートのスクリプトを実行
```
# VM 作成 (Windows 2019)
# Create mgmt-win-vm1
```
※ オンプレ（模倣）環境ではない、Azure環境ということで、コチラは、2019か。
　しかし、踏み台VMにサーバーOSって、やっぱり高額になるのでは？と、少々、心配。

Azure Private Link, Azure Private Endpoint の作成
以下のパートのスクリプトを実行
```
# Private Link Service 作成
# Create Private Endpoint to MgmtVM ILB
```
※ コチラの手順が参考になる。

ツールのインストール
Windows上で環境を構築する。

AKSのバージョンを確認
以下のパートのスクリプトを実行

# Cloud Shell 上でインストールする aks バージョンを確認しておく

Azure CLIをインストールしてログイン

先に取得したバージョン番号に対応する kubectl を
- az aks install-cliコマンドでバージョンを指定して実行すると、
  .azure-kubectl フォルダ下にダウンロードされるので、
```
>az aks install-cli --client-version=1.16.7
```
  ・このファイルをコピーする。
```
>copy %HOMEPATH%\.azure-kubectl\kubectl.exe %HOMEPATH%\kubectl.exe
```
  ・または、フィアルへのパスを通す。
```
...
```

または、
・下記 URL からダウンロードし
https://storage.googleapis.com/kubernetes-release/release/v1.16.8/bin/windows/amd64/kubectl.exe
・%HOMEPATH% 下へコピー
https://v1-16.docs.kubernetes.io/ja/docs/tasks/tools/install-kubectl/
https://v1-16.docs.kubernetes.io/docs/tasks/tools/install-kubectl/#install-kubectl-on-windows

Helm(v3 系列)をインストール
- 下記 URL からダウンロード（持ち込み）
  https://get.helm.sh/helm-v3.1.2-windows-amd64.zip
- %HOMEPATH% 下へコピー
  helm.exe を mgmtvm1 の c:\users<username> にコピー

VS Code
- 下記 URL からダウンロード（持ち込み）
  https://code.visualstudio.com/download
- オフラインインストーラでインストール

Microsoft Edge(Chromium 版)
- 下記 URL からダウンロード（持ち込み）
  https://www.microsoft.com/en-us/edge/business/download
- オフラインインストーラでインストール

※ 「持ち込み」となっているモノは、Azure Firewallで設定していないもの。

↑

管理マシン（Linux）の作成 †

踏み台VMから接続し、アプリのビルドや、Dockerコンテナ作業を行う。

パラメタの設定
以下のパートのスクリプトを実行して、パラメタを設定
```
# Parameters
```
※ 再開の際は、再実行（テキスト・ファイルへ）。

UDRの設定
以下のパートのスクリプトを実行
```
# UDR でルートを塞ぐ
```
※ 前述の既定のUDR（AKS_UDR_NAME）を指定。

NICの作成
以下のパートのスクリプトを実行
```
# NIC を先に作成（IP アドレスを確定させる）
```
※ こちらは、Azure Private Linkを構成しないので、ILBは不要。

Azure Firewallの設定
以下のパートのスクリプトを実行
```
# Azure Firewall ルールで通信を許可
```
※ コチラは、JavaのビルドやDocker操作があるので、ソレ用に穴をあける。
※ 同様に、ルールの作成には、かなり時間がかかるらしい（10分ぐらい？）。

VM の作成
以下のパートのスクリプトを実行
```
# Create mgmt-linux-vm1 (Ubuntu)
```

ツールのインストール
Linux上で環境を構築する。

0. VM にログイン
Windows 保守端末からログインする。
```
ssh mgmt-linux-vm1
```

1. Azure CLIのインストール
https://docs.microsoft.com/ja-jp/cli/azure/install-azure-cli-apt?view=azure-cli-latest
```
curl -sL https://aka.ms/InstallAzureCLIDeb | sudo bash
```

2. kubectl インストール
https://v1-16.docs.kubernetes.io/ja/docs/tasks/tools/install-kubectl/

sudo apt-get update && sudo apt-get install -y apt-transport-https
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee -a /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y kubectl

3. Docker インストール

sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get update
sudo apt-get install -y docker-ce
sudo docker version

4. Helm インストール

sudo apt-get update
sudo apt-get install snapd
sudo snap install helm --classic

Azure CLIの補足
- ログイン、
  Windowsだと、 Loopback Interface Redirectionだが、
  SSH端末だと、OAuth 2.0 Device Authorization Grantになる。
- 必要に応じて、サブスクリプションの選択を行う。

↑

Bastionの作成 †

オンプレ模倣環境の作成をスキップできる。

パラメタの設定
以下のパートのスクリプトを実行して、パラメタを設定
```
BASTION_NAME="${NAME_PREFIX}-bastion"
BASTION_PUBLIC_IP_NAME="${BASTION_NAME}-ip"
```
※ 再開の際は、再実行（テキスト・ファイルへ）。

UDRの設定
以下のパートのスクリプトを実行

az network public-ip create --name $BASTION_PUBLIC_IP_NAME --resource-group $RG_AKS --sku Standard
az network bastion create --name $BASTION_NAME --public-ip-address $BASTION_PUBLIC_IP_NAME --resource-group $RG_AKS --vnet-name $AKS_VNET_NAME --location $LOCATION

※ 結構、時間がかかる。

↑

AKS クラスタの作成と設定 †

↑

AKS クラスタの作成 †

（必要に応じて）サービスプリンシパル作成
Managed IDを選択するので実施しない（既定値）。

（必要に応じて）非プライベートクラスタ用経路作成
プライベート・クラスタを選択するので実施しない（既定値）。

AKS クラスタの作成
以下のパートのスクリプトを実行

# Create AKS Cluster ==============================================
...
# Prepare for creating cluster
...
# Create AKS Cluster ※ 時間がかかる
az aks create ...既定値なら、既定のオプションでOK...
...
# VNET に対する Contributor 権限を与える（VNET が管理リソースグループの外にあるため）
# Managed ID 方式の場合
...
# End of Create AKS Cluster ==============================================

※ コレは、ココの話。

↑

AKS の設定 †

ACR との接続
以下のパートのスクリプトを実行
```
# Configure ACR for connecting from AKS
```
※ コレは、ココの話。
※ ２～３分かかるらしい。

Azure Monitor の有効化
以下のパートのスクリプトを実行
```
# Azure Monitor for AKS 有効化
... 
```
※ 数分、時間がかかる。

診断設定の有効化
以下のパートのスクリプトを実行
```
# AKS 診断設定の有効化
...
```
※ 数分、時間がかかる。

↑

アプリのビルドとデプロイ †

↑

kubectl/kubeconfig の準備 †

uservm1 > mgmt-win-vm1, mgmt-linux-vm1 へのログイン

/.kube/config ファイルの取得とコピー（非 admin, admin の 2 種類）
- 6-a. mgmt-win-vm1 上で作業
- 6-b. mgmt-linux-vm1 上で作業

※ .kubeに、configとadmin-configファイルが作成される。
　既定では、configが利用される（必要に応じて切り替える）。

↑

コンテナ・イメージの作成 †

AKS_TechnicalReference_v0.14(ppt).zipに同梱の
構築サンプルアプリ.zipを mgmt-windows-vm1 に持ち込んで作業する。

ビルドできるようにAzure Firewallに穴をあける。
- 6-d. Cloud Shell 上で実施

ファイルを mgmt-linux-vm1 に scp で転送し、
mgmt-linux-vm1 でコンテナをビルドし、作成したコンテナ・イメージを
コンテナ・レジストリにプッシュ（2 つのバージョンをプッシュ）
- 6-e. mgmt-windows-vm1 上で実施

↑

アプリのデプロイ †

YAML ファイルを作成し、kubectl apply を実行し、
コンテナ・イメージのデプロイ展開を確認する。
最後に、コンテナ・イメージを切り替える。
（ダッシュボードの表示も行う）

6-f. アプリの配置

※ コンテナ・イメージの
　レジストリ名（先頭）とタグ名（末尾）
　の部分は必要に応じて変更する。

※ DBアクセスは動かなくても確認はできる。
　DBアクセスをテストするなら、コチラで言及されているSQL DBを作成。　手順としては、（...後でどこかに書くか）

↑

オンプレ模倣環境から AKS アプリへの接続 †

↑

AKS ILB に対する Private Link Service の作成 †

以下のパートのスクリプトを実行

# AKS ILB に対する Private Link Service の作成

↑

AKS ILB への Private Endpoint の作成 †

以下のパートのスクリプトを実行

# Create Private Endpoint to AKS

↑

インターネットからの接続 †

↑

パラメタの設定 †

以下のパートのスクリプトを実行して、パラメタを設定

# Parameters

※ 再開の際は、再実行（テキスト・ファイルへ）。

↑

DMZ VNET の作成 †

以下のパートのスクリプトを実行

# Create VNET and Subnets

↑

AKS ILB への Private Endpoint の作成 †

以下のパートのスクリプトを実行

# Create AKS Private Endpoint

↑

Application Gateway の作成 †

以下のパートのスクリプトを実行

# Create AppGateway
...
# Private Endpoint の IP アドレスを取得
...
# AppGw 作成 ※ 時間がかかる

↑

可用性テストの作成 †

「URL の Ping テスト」を構成する。

※ 現時点では UI から実施とのこと（動画も参考になる）。
※ az コマンドではできない (ARM テンプレートのみ可)

参考
- Microsoft Docs
  - Web サイトの可用性と応答性の監視
    https://docs.microsoft.com/ja-jp/azure/azure-monitor/app/monitor-web-app-availability
  - Resource Manager テンプレートでのメトリックアラートの作成
    可用性テスト用のテンプレートとメトリックアラート
    https://docs.microsoft.com/ja-jp/azure/azure-monitor/platform/alerts-metric-create-templates#template-for-an-availability-test-along-with-a-metric-alert

↑

ノード自動再起動 †

Kured による VM のリブートで自動更新を取り込むAKS のアップグレード

↑

経路の解放 †

以下のパートのスクリプトを実行

VMからgcr（Google コンテナ・レジストリ）

# Kured インストールに必要な FQDN の解放
...

実行ノードからgcr（Google コンテナ・レジストリ）

# AKS ノードがコンテナを取得するために必要な経路の解放
...

※ Kured は、Helmを使用して、gcr経由で配布するらしい。

↑

†

以下のパートのスクリプトを実行

# mgmt-linux-vm1 または mgmt-win-vm1 上から Kured をインストール

※ Windows or Linuxの保守端末上、どちらでもOK。

↑

モニタリング（監視） †

↑

モニタリングツールの確認 †

Azure Monitor k8s Insights

k8s ダッシュボード
live data は実行ノードと直接通信できるところ
＝mgmt-windows-vm1 上からでしか確認できない。

↑

Pod 操作履歴 †

kubectl rollout history で確認できる。

>kubectl rollout history deployment.v1.apps/web --namespace azrefarc-springboot
deployment.apps/web
REVISION  CHANGE-CAUSE
1         <none>
3         <none>
4         <none>

>kubectl rollout history deployment.v1.apps/web --namespace azrefarc-springboot --revision=4
deployment.apps/web with revision #4
Pod Template:

↑

シェル †

↑

テキスト・ファイル †

SUBSCRIPTION_NAME=XXXXXXXXXX
az account set -s "$SUBSCRIPTION_NAME"
SUBSCRIPTION_ID=$(az account show -s "$SUBSCRIPTION_NAME" --query id -o tsv)

NAME_PREFIX=daisukenishino
LOCATION=japaneast

RG_OPS="${NAME_PREFIX}-ops-rg"
RG_AKS="${NAME_PREFIX}-aks-rg"
RG_DMZ="${NAME_PREFIX}-dmz-rg"
RG_ONP="${NAME_PREFIX}-onprem-rg"
 
DIAG_STORAGE_NAME="${NAME_PREFIX}aksdiag"
DIAG_LA_WS_NAME="${NAME_PREFIX}-aks-laws"
DIAG_AI_APP_NAME="${NAME_PREFIX}-aks-ai"

ONP_VNET_NAME="${NAME_PREFIX}-onprem-vnet"
ONP_VNET_ADDRESS_PREFIXES=10.0.0.0/16
ONP_VNET_SUBNET_DEF_NAME=Default
ONP_VNET_SUBNET_DEF_ADDRESS_PREFIX=10.0.0.0/24
ONP_VNET_SUBNET_IES_NAME=InternalEndpointSubnet
ONP_VNET_SUBNET_IES_ADDRESS_PREFIX=10.0.250.0/24

↑

シェル（カスタマイズあり） †

↑

参考 †

https://github.com/tsubasaxZZZ/aks-hardway
- https://github.com/tsubasaxZZZ/aks-hardway/blob/master/deploy-private-cluster.md

Tags: :クラウド, :コンテナ, :Azure, :AKS, :セキュリティ, :通信技術, :セキュリティ, :認証基盤

AKSをセキュアに利用する構築デモ のバックアップ(No.6)

目次 †

環境 †

シェル †

操作者の権限 †

その他 †

アカウント †

...見つけ次第、書く。 †

構成 †

全体構成図 †

ネットワーク構成 †

構成概要 †

入力経路 †

出力経路 †

VNET・サブネット †

認証・認可 †

Azure Portal, Azure CLI (ARM API) †

制御プレーンの実行アカウント (SPN) †

ダッシュボード, Kubernetes CLI (Master API) †

AKSユーザ・アプリからのリソース・アクセス †

基盤保守 †

日次パッチ †

オンデマンド †

開発～デプロイ †

手順 †

パラメタの設定 †

リソース・グループの作成 †

診断ログ・ストレージの作成 †

Log Analytics & AppInsights? の作成 †

サブスクリプションのアクティビティ・ログの有効化 †

パラメタの設定 †

VNET・サブネットの作成 †

VMの作成 †

パラメタの設定 †

VNET・サブネットの作成 †

周辺サービスの作成と引き込み †

Azure Firewallの作成 †

他によく必要になる URL †

管理マシン（Windows）の作成 †

管理マシン（Linux）の作成 †

AKS クラスタの作成 †

AKS の設定 †

kubectl/kubeconfig の準備 †

コンテナ・イメージの作成 †

アプリのデプロイ †

AKS ILB に対する Private Link Service の作成 †

AKS ILB への Private Endpoint の作成 †

パラメタの設定 †

DMZ VNET の作成 †

AKS ILB への Private Endpoint の作成 †

Application Gateway の作成 †

可用性テストの作成 †

経路の解放 †

モニタリングツールの確認 †

Pod 操作履歴 †

その他 †

HTTPSやWAFの導入 †

AzAD認証統合 †

K8sの機能活用 †

シェル †

テキスト・ファイル †

AKSをセキュアに利用する構築デモのバックアップ(No.6)