AKSをセキュアに利用する構築デモ（コピペ用） のバックアップ(No.4)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• AKSをセキュアに利用する構築デモ（コピペ用） へ行く。
  • 1 (2020-05-08 (金) 21:15:55)
  • 2 (2020-05-09 (土) 18:20:03)
  • 3 (2020-05-09 (土) 21:13:49)
  • 4 (2020-05-10 (日) 00:11:33)
  • 5 (2020-05-10 (日) 03:08:31)
  • 6 (2020-05-10 (日) 16:28:52)
  • 7 (2020-05-10 (日) 19:54:06)
  • 8 (2020-05-10 (日) 20:18:37)
  • 9 (2020-05-11 (月) 00:17:57)
  • 10 (2020-05-11 (月) 10:17:36)
  • 11 (2020-05-11 (月) 17:28:42)
  • 12 (2020-05-12 (火) 09:56:29)
  • 13 (2020-06-30 (火) 10:26:51)
  • 14 (2020-07-16 (木) 13:32:35)
  • 15 (2021-01-21 (木) 14:04:45)

---

「マイクロソフト系技術情報 Wiki」は、「Open棟梁Project」,「OSSコンソーシアム .NET開発基盤部会」によって運営されています。

• 戻る

目次 †

概要 †

コピペ用

カスタマイズ †

• アカウントが固定な所
• Windowsを既存のディスクで作成する。
• 選択的な所を推奨設定に絞った。

WSLでAzure CLI †

タイムアウトや、エクステンションの既定値？
の関係で、やっぱ、ローカルで利用したいなぁと。

• WSLへのインストール方法
• Azure CLI拡張のインストールは再実行が必要になる。

詳細 †

変数 †

初期化パラメタ †

アカウント（追加） †

XXXXXXXXXは置換して利用。

OS_USER_ID=XXXXXXXXX
OS_PASSWORD=XXXXXXXXX

VM作成部 †

前段 †

• オンプレVM
  [X]は置換して利用 (1-n)。

  az network public-ip create --name uservmX-ip --resource-group $RG_ONP --sku Standard
  ONP_VNET_SUBNET_DEF_ID=$(az network vnet subnet show --resource-group $RG_ONP --vnet-name $ONP_VNET_NAME --name $ONP_VNET_SUBNET_DEF_NAME --query id -o tsv)
  az network nic create --name uservmXnic --subnet $ONP_VNET_SUBNET_DEF_ID --resource-group $RG_ONP --location $LOCATION --public-ip-address uservmX-ip

• Windows保守端末VM
  Azure Private Link設定するので何台も作れない。

• Linux保守端末VM

  MGMT_LINUX_VM_NAME=mgmt-linux-vmX
  MGMT_LINUX_VM_NIC_NAME="${MGMT_LINUX_VM_NAME}-nic"

パスワード変更 †

• オンプレVM
  [X]は置換して利用 (1-n)。

  az vm create --name uservmX --image "MicrosoftWindowsDesktop:Windows-10:19h2-ent:18363.720.2003120536" --admin-username $OS_USER_ID --admin-password $OS_PASSWORD --nics uservmXnic --resource-group $RG_ONP --location $LOCATION --size Standard_D2_v3

• Windows保守端末VM

  az vm create --name $MGMT_WIN_VM_NAME --image Win2019Datacenter --admin-username $OS_USER_ID --admin-password $OS_PASSWORD --nics $MGMT_WIN_VM_NIC_NAME --resource-group $RG_AKS --location $LOCATION --size Standard_D2_v3

• Linux保守端末VM

  az vm create --name $MGMT_LINUX_VM_NAME --image UbuntuLTS --admin-username $OS_USER_ID --admin-password $OS_PASSWORD --nics $MGMT_LINUX_VM_NIC_NAME --resource-group $RG_AKS --location $LOCATION --generate-ssh-keys --size Standard_D2_v3

既存ディスク使用 †

<管理ディスク名>は置換して利用。

• オンプレVM
  [X]は置換して利用 (1-n)。

  az vm create --name uservmX --attach-os-disk <管理ディスク名> --nics uservmXnic --resource-group $RG_ONP --location $LOCATION --size Standard_D4s_v3 --os-type Windows

• Windows保守端末VM

  az vm create --name $MGMT_WIN_VM_NAME --attach-os-disk <管理ディスク名> --nics $MGMT_WIN_VM_NIC_NAME --resource-group $RG_AKS --location $LOCATION --size Standard_D4s_v3 --os-type Windows

※ <管理ディスク名>の準備方法は、この辺を参照。

後段 †

• オンプレVM
  [X]は置換して利用。

  az vm open-port --resource-group $RG_ONP --name uservmX --port 3389

• Windows保守端末VM
  Azure Private Link設定するので何台も作れない。

• Linux保守端末VM
  なし

F/W ルール †

※ 注意：コチラ

Windows保守端末 †

• Required_for_management_Windows_VMs > Azure AD Authentication

  az network firewall application-rule create  --firewall-name $FW_NAME --resource-group $RG_AKS \
  --collection-name "Required_for_management_Windows_VMs" \
  --name "Azure AD Authentication" --source-addresses "${MGMT_WIN_NIC_IP_ADDRESS}/32" --protocols https=443 \
  --target-fqdns "login.microsoftonline.com" "aadcdn.msftauth.net" "msft.sts.microsoft.com" "login.live.com"

プライベートAKSクラスタ †

ゴチャゴチャしているので、コチラの構成に合わせて簡素化した決め打ちのコピペ。

Managed ID方式で作成 †

# Create AKS Cluster ==============================================
# Prepare for creating cluster
AKS_VERSION=$(az aks get-versions --location $LOCATION --query 'orchestrators[?!isPreview] | [-1].orchestratorVersion' --output tsv)
AKS_VNET_SUBNET_NPS_ID=$(az network vnet subnet show --resource-group $RG_AKS --vnet-name $AKS_VNET_NAME --name $AKS_VNET_SUBNET_NPS_NAME --query id -o tsv)
 
# Create AKS Cluster ※ 時間がかかる
az aks create --resource-group $RG_AKS --name $AKS_CLUSTER_NAME --vm-set-type VirtualMachineScaleSets --load-balancer-sku standard --location $LOCATION --kubernetes-version $AKS_VERSION --network-plugin azure --vnet-subnet-id $AKS_VNET_SUBNET_NPS_ID --service-cidr $AKS_SERVICE_CIDR --dns-service-ip $AKS_DNS_SERVICE_IP --docker-bridge-address 172.17.0.1/16 --generate-ssh-keys --outbound-type userDefinedRouting --enable-private-cluster  --enable-managed-identity
 
# VNET に対する Contributor 権限を与える（VNET が管理リソースグループの外にあるため）
AKS_VNET_ID=$(az network vnet show --name $AKS_VNET_NAME --resource-group $RG_AKS --query id -o tsv)
AKS_MANAGED_ID=$(az aks show --name $AKS_CLUSTER_NAME --resource-group $RG_AKS --query identity.principalId -o tsv)
az role assignment create --assignee $AKS_MANAGED_ID --role "Contributor" --scope $AKS_VNET_ID
 
# End of Create AKS Cluster ==============================================

この場合のAcrPull? ロール付与方式 †

# Configure ACR for connecting from AKS
# この作業により、Service Principal に対して ACR の AcrPull ロールが付与される
az aks update --name $AKS_CLUSTER_NAME --resource-group $RG_AKS --attach-acr $ACR_NAME

その後のログ関連の設定 †

# Azure Monitor for AKS 有効化
DIAG_LA_WS_RESOURCE_ID=$(az monitor log-analytics workspace show --resource-group $RG_OPS --workspace-name $DIAG_LA_WS_NAME --query id -o tsv)
# 以下のエラーが出た場合は、Azure CLI のバージョンを変更してトライしてみる。
# The request content was invalid and could not be deserialized: 'Could not find member 'template' on object of type 'DeploymentDefinition'. Path 'template', line 1, position 12.'.
az aks enable-addons --addons monitoring --name $AKS_CLUSTER_NAME --resource-group $RG_AKS --workspace-resource-id $DIAG_LA_WS_RESOURCE_ID
 
# AKS 診断設定の有効化
DIAG_STORAGE_ID=$(az storage account show --name $DIAG_STORAGE_NAME --query id -o tsv)
DIAG_LA_WS_ID=$(az monitor log-analytics workspace show --workspace-name $DIAG_LA_WS_NAME --resource-group $RG_OPS --query id -o tsv)
AKS_CLUSTER_ID=$(az aks show --name $AKS_CLUSTER_NAME --resource-group $RG_AKS --query id -o tsv)
az monitor diagnostic-settings create --name $AKS_CLUSTER_NAME --resource $AKS_CLUSTER_ID \
--logs    '[{"category": "kube-apiserver","enabled": true},{"category": "kube-audit","enabled": true},{"category": "kube-controller-manager","enabled": true},{"category": "kube-scheduler","enabled": true},{"category": "cluster-autoscaler","enabled": true}]' \
--metrics '[{"category": "AllMetrics","enabled": true}]' \
--storage-account $DIAG_STORAGE_ID --workspace $DIAG_LA_WS_ID

ポイントの説明 †

• なぜ、ココのスクリプトがゴチャゴチャしているか？と言うと、

  「AKS クラスタをAzure Firewall配下のVNETに配置しようとした場合で、
  コレを非プライベート・クラスタとして作成しようとすると、以下な手順が必要になるため。」

です。

• ゴチャゴチャしている所で、以下の様な事をしています。

• 非プライベート AKS クラスタの場合、Master APIに外回りでアクセスする。
  • 従って、Azure Firewall のルールに追加が必要になるが、
  • Master API へのアクセス経路が必要Master API のアドレスが未確定のため、
  • いったん "*" 宛として TCP 22, 443, 9000, UDP 1194 を空ける。

• 最後に、Master API アドレスが確定したら、
  • 上記で開放した経路を絞る。
  • また、保守端末からもMaster API へアクセスできるようにする。
  • 追加で、Master API 側の IP アドレス制限機能を有効化する。

保守端末上の作業 †

置換するところが多いので。

6-a. mgmt-win-vm1 上で作業 †

XXXXXXXXXは置換して利用。

rem cmd を開いてホームに移動
az login
rem ブラウザが開くのでログイン
rem Select Subscription
SET SUBSCRIPTION_NAME=XXXXXXXXX
az account set -s %SUBSCRIPTION_NAME%
 
rem kubeconfig ファイルを取得
SET NAME_PREFIX=daisukenishino
SET RG_AKS=%NAME_PREFIX%-aks-rg
SET AKS_CLUSTER_NAME=%NAME_PREFIX%-aks
 
del .kube\config
rem clusterAdmin 用のトークン取得
az aks get-credentials --resource-group %RG_AKS% --name %AKS_CLUSTER_NAME% --admin
ren .kube\config admin-config
rem clusterUser 用のトークン取得
az aks get-credentials --resource-group %RG_AKS% --name %AKS_CLUSTER_NAME%

6-b. mgmt-linux-vm1 上で作業 †

XXXXXXXXXは置換して利用。

sudo az login
 
# Select Subscription
SUBSCRIPTION_NAME=XXXXXXXXX
sudo az account set -s "$SUBSCRIPTION_NAME"
SUBSCRIPTION_ID=$(az account show -s "$SUBSCRIPTION_NAME" --query id -o tsv)
 
NAME_PREFIX=daisukenishino
LOCATION=japaneast
RG_AKS="${NAME_PREFIX}-aks-rg"
AKS_CLUSTER_NAME="${NAME_PREFIX}-aks"
 
sudo rm .kube/config
sudo az aks get-credentials --resource-group $RG_AKS --name $AKS_CLUSTER_NAME --admin
sudo mv .kube/config .kube/admin-config
sudo az aks get-credentials --resource-group $RG_AKS --name $AKS_CLUSTER_NAME

6-e. mgmt-windows-vm1 上で実施 †

OS_USER_IDは置換して利用。

• 以下は、CMDで

  rem C:\Users\OS_USER_ID\AzRefArc.SpringBoot 下にファイルを展開
  rem .mvn, src. Dockerfile, mvnw などがこのフォルダの直下に来るように
   
  rem mgmt-windows-vm1 のコマンドラインから以下を実行
  scp -r C:\Users\OS_USER_ID\AzRefArc.SpringBoot OS_USER_ID@mgmt-linux-vm1:/home/OS_USER_ID/

• 以下は、SSHで

• Dockerビルド

  # mgmt-linux-vm1 にログインし、Docker コンテナを 2 つビルドする
  # ライブラリをオンデマンドダウンロードするためビルドにはそれなりに時間がかかる (5分ぐらい)
  # Docker build は最後のピリオドを忘れないように
  cd ~/AzRefArc.SpringBoot
  sudo docker build -t azrefarc.springboot:1 .
  # トップページの文字を入れ替えた v2 アプリを作っておく
  cp -b index_v2.html src/main/resources/templates/index.html
  sudo docker build -t azrefarc.springboot:2 .
  cd ~
   
  # レポジトリにプッシュ
  NAME_PREFIX=daisukenishino
  ACR_NAME="${NAME_PREFIX}aksacr"
  sudo docker tag azrefarc.springboot:1 ${ACR_NAME}.azurecr.io/azrefarc.springboot:1
  sudo docker tag azrefarc.springboot:2 ${ACR_NAME}.azurecr.io/azrefarc.springboot:2

• ワンクッション

  # sudo docker login ${ACR_NAME}.azurecr.io だと username/password ログイン
  # Azure AD 認証でログインするために、sudo az login したのちに az acr login コマンドを利用
  # トークン書き込みのために sudo で実行
  sudo az login
  sudo az acr login --name ${ACR_NAME}.azurecr.io

• コンテナ・イメージをプッシュ

  sudo docker push ${ACR_NAME}.azurecr.io/azrefarc.springboot:1
  sudo docker push ${ACR_NAME}.azurecr.io/azrefarc.springboot:2

6-f. アプリケーションの配置 †

• *.yamlフィアイルの中
  [X]（タグ）は必要に応じて修正。

  image: daisukenishinoaksacr.azurecr.io/azrefarc.springboot:X

• k8s ダッシュボード起動

  SET NAME_PREFIX=daisukenishino
  SET RG_AKS=%NAME_PREFIX%-aks-rg
  SET AKS_CLUSTER_NAME=%NAME_PREFIX%-aks
  az aks browse -n %AKS_CLUSTER_NAME% -g %RG_AKS%

• デプロイの
  • apply

    kubectl apply -f web_v1.yaml

  • delete

    kubectl delete deployment web --namespace azrefarc-springboot

参考 †

---

Tags: :クラウド, :コンテナ, :Azure, :AKS, :セキュリティ, :通信技術, :セキュリティ, :認証基盤

     

Site admin: dotNetDevelopmentInfrastructure

PukiWiki 1.4.7 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL.
Based on "PukiWiki" 1.3 by yu-ji. Powered by PHP 5.3.3. HTML convert time: 0.034 sec.