애플리케이션을 새 노드 그룹으로 마이그레이션

my-cluster를 클러스터 이름으로 바꿔서 기존 노드 그룹의 이름을 검색합니다.

eksctl get nodegroups --cluster=my-cluster

예제 출력은 다음과 같습니다.

CLUSTER      NODEGROUP          CREATED               MIN SIZE      MAX SIZE     DESIRED CAPACITY     INSTANCE TYPE     IMAGE ID
default      standard-nodes   2019-05-01T22:26:58Z  1             4            3                    t3.medium         ami-05a71d034119ffc12

다음 명령어로 eksctl을 사용하여 새 노드 그룹을 시작합니다. 명령에서 모든 예제 값을 고유한 값으로 바꿉니다. 버전 번호는 컨트롤 플레인의 Kubernetes 버전보다 이후일 수 없습니다. 또한 컨트롤 플레인의 Kubernetes 버전보다 이전인 마이너 버전이 2개를 초과할 수 없습니다. 컨트롤 플레인과 동일한 버전을 사용하는 것이 좋습니다.

다음과 같은 조건에 해당하면 IMDS에 대한 Pod 액세스를 차단하는 것이 좋습니다.

eksctl create nodegroup \
  --cluster my-cluster \
  --version 1.30 \
  --name standard-nodes-new \
  --node-type t3.medium \
  --nodes 3 \
  --nodes-min 1 \
  --nodes-max 4 \
  --managed=false

이전 명령이 완료되면 다음 명령으로 모든 노드가 Ready 상태가 되었는지 확인합니다.

kubectl get nodes

다음 명령을 사용하여 원래 노드 그룹을 삭제합니다. 명령에서 모든 예제 값을 클러스터 이름과 노드 그룹 이름으로 바꿉니다.

eksctl delete nodegroup --cluster my-cluster --name standard-nodes-old

자체 관리 Amazon Linux 노드 생성에 설명된 단계에 따라 새 노드 그룹을 시작합니다.

스택이 생성된 후 콘솔에서 이를 선택하고 출력(Outputs)을 선택합니다.

생성된 노드 그룹에 대해 NodeInstanceRole을 기록합니다. 새 Amazon EKS 노드를 클러스터에 추가하려면 이 정보가 필요합니다.

두 노드 그룹이 서로 통신할 수 있도록 두 노드 그룹의 보안 그룹을 업데이트합니다. 자세한 내용은 클러스터에 대한 Amazon EKS 보안 그룹 요구 사항 보기 단원을 참조하십시오.

aws-auth configmap을 편집하여 RBAC에서 새 노드 인스턴스 역할을 매핑합니다.

kubectl edit configmap -n kube-system aws-auth

새 노드 그룹에 대한 새 mapRoles 항목을 추가합니다. 클러스터가 AWS GovCloud(미국 동부) 또는 AWS GovCloud(미국 서부) AWS 리전에 있는 경우, arn:aws: 를 arn:aws-us-gov:로 대체합니다.

apiVersion: v1
data:
  mapRoles: |
    - rolearn: ARN of instance role (not instance profile)
      username: system:node:{{EC2PrivateDNSName}}
      groups:
        - system:bootstrappers
        - system:nodes>
    - rolearn: arn:aws:iam::111122223333:role/nodes-1-16-NodeInstanceRole-U11V27W93CX5
      username: system:node:{{EC2PrivateDNSName}}
      groups:
        - system:bootstrappers
        - system:nodes

ARN of instance role (not instance profile) 조각을 이전 절차에서 기록한 NodeInstanceRole 값으로 교체하고 파일을 저장합니다. 그런 다음 파일을 저장하고 닫아서 업데이트된 configmap을 적용합니다.

노드의 상태를 보면서 새 노드가 클러스터에 조인하고 Ready 상태에 도달할 때까지 기다립니다.

kubectl get nodes --watch

(선택 사항) Kubernetes Cluster Autoscaler를 사용하는 경우 배포를 복제본 0개로 축소하여 조정 작업의 충돌을 방지합니다.

kubectl scale deployments/cluster-autoscaler --replicas=0 -n kube-system

다음 명령을 사용하여 NoSchedule로 제거하려는 각 노드를 테인트합니다. 이는 바꾸고 있는 노드에서 새 Pods가 예약되거나 다시 예약되지 않도록 하기 위한 것입니다. 테인트와 허용 오차에 대한 자세한 내용을 알아보려면 Kubernetes설명서를 참조하세요.

kubectl taint nodes node_name key=value:NoSchedule

노드를 새 Kubernetes 버전으로 업그레이드하는 경우 다음 코드 조각을 사용하여 특정 Kubernetes 버전(이 경우 1.28)의 모든 노드를 식별하고 테인트할 수 있습니다. 버전 번호는 컨트롤 플레인의 Kubernetes 버전보다 이후일 수 없습니다. 또한 컨트롤 플레인의 Kubernetes 버전보다 이전인 마이너 버전이 2개를 초과할 수 없습니다. 컨트롤 플레인과 동일한 버전을 사용하는 것이 좋습니다.

K8S_VERSION=1.28
nodes=$(kubectl get nodes -o jsonpath="{.items[?(@.status.nodeInfo.kubeletVersion==\"v$K8S_VERSION\")].metadata.name}")
for node in ${nodes[@]}
do
    echo "Tainting $node"
    kubectl taint nodes $node key=value:NoSchedule
done

클러스터의 DNS 공급자를 결정합니다.

kubectl get deployments -l k8s-app=kube-dns -n kube-system

예제 출력은 다음과 같습니다. 이 클러스터는 DNS 확인에 CoreDNS를 사용하고 있지만, 클러스터는 그 대신 kube-dns를 반환할 수 있습니다.

NAME      DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
coredns   1         1         1            1           31m

현재 배포가 두 개 미만의 복제본을 실행하고 있는 경우, 배포를 복제본 두 개로 확장합니다. 이전 명령 출력에서 해당 값이 대신 반환된 경우 coredns을 kubedns로 교체합니다.

kubectl scale deployments/coredns --replicas=2 -n kube-system

다음 명령을 사용하여 클러스터에서 제거할 각 노드를 드레이닝합니다.

kubectl drain node_name --ignore-daemonsets --delete-local-data

노드를 새 Kubernetes 버전으로 업그레이드하는 경우 다음 코드 조각을 사용하여 특정 Kubernetes 버전(이 경우 1.28)의 모든 노드를 식별하고 테인트할 수 있습니다.

K8S_VERSION=1.28
nodes=$(kubectl get nodes -o jsonpath="{.items[?(@.status.nodeInfo.kubeletVersion==\"v$K8S_VERSION\")].metadata.name}")
for node in ${nodes[@]}
do
    echo "Draining $node"
    kubectl drain $node --ignore-daemonsets --delete-local-data
done

이전 노드가 드레이닝을 완료한 후 앞서 권한을 부여한 보안 그룹 인바운드 규칙을 취소합니다. 그런 다음 AWS CloudFormation 스택을 삭제하여 인스턴스를 종료합니다.

aws-auth configmap을 편집하여 RBAC에서 이전 노드 인스턴스 역할을 제거합니다.

kubectl edit configmap -n kube-system aws-auth

이전 노드 그룹에 대한 mapRoles 항목을 삭제합니다. 클러스터가 AWS GovCloud(미국 동부) 또는 AWS GovCloud(미국 서부) AWS 리전에 있는 경우, arn:aws: 를 arn:aws-us-gov:로 대체합니다.

apiVersion: v1
data:
  mapRoles: |
    - rolearn: arn:aws:iam::111122223333:role/nodes-1-16-NodeInstanceRole-W70725MZQFF8
      username: system:node:{{EC2PrivateDNSName}}
      groups:
        - system:bootstrappers
        - system:nodes
    - rolearn: arn:aws:iam::111122223333:role/nodes-1-15-NodeInstanceRole-U11V27W93CX5
      username: system:node:{{EC2PrivateDNSName}}
      groups:
        - system:bootstrappers
        - system:nodes>

파일을 저장하고 닫아서 업데이트된 configmap을 적용합니다.

(선택 사항) Kubernetes Cluster Autoscaler를 사용하는 경우 배포를 다시 복제본 한 개로 축소합니다.

kubectl scale deployments/cluster-autoscaler --replicas=1 -n kube-system

(선택 사항) 최신 버전의 Kubernetes용 Amazon VPC CNI 플러그인을 사용하고 있는지 확인합니다. 지원되는 최신 인스턴스 유형을 사용하려면 CNI 버전을 업데이트해야 할 수 있습니다. 자세한 내용은 Amazon VPC CNI 단원을 참조하십시오.

클러스터가 DNS 확인에 kube-dns를 사용하는 경우([migrate-determine-dns-step] 단계 참조) kube-dns 배포를 복제본 한 개로 축소합니다.

kubectl scale deployments/kube-dns --replicas=1 -n kube-system