Amazon EKS 노드에 대해 사용 가능한 IP 주소 증가 - Amazon EKS

Amazon EKS 노드에 대해 사용 가능한 IP 주소 증가

노드에 개별 보조 IP 주소를 할당하는 대신 IP 접두사를 할당하여 노드가 Pods에 할당할 수 있는 IP 주소 수를 크게 늘릴 수 있습니다.

다음 절차를 수행하기 전에 다음을 완료합니다.

  • 고려 사항을 검토하세요.

  • 기존 클러스터가 있어야 합니다. 배포하려면 Amazon EKS 클러스터 생성 섹션을 참조하세요.

  • Amazon EKS 노드가 있는 서브넷에는 충분한 연속 /28(IPv4 클러스터용) 또는 /80(IPv6 클러스터용) Classless Inter-Domain Routing(CIDR) 블록이 있어야 합니다. IPv6 클러스터에는 Linux 노드만 있을 수 있습니다. IP 주소가 서브넷 CIDR 전체에 분산되어 있는 경우 IP 접두사를 사용하지 못할 수 있습니다. 다음과 같이 하는 것이 좋습니다.

    • 서브넷 CIDR 예약을 사용하여 예약된 범위 내의 IP 주소가 아직 사용 중이더라도 릴리스 시 IP 주소가 다시 할당되지 않도록 합니다. 이렇게 하면 분할 없이 접두사를 할당할 수 있습니다.

    • IP 접두사가 할당된 워크로드 실행에 특별히 사용되는 새 서브넷을 사용합니다. IP 접두사를 할당할 때 Windows 및 Linux 워크로드를 모두 동일한 서브넷에서 실행할 수 있습니다.

  • 노드에 IP 접두사를 할당하려면 노드가 AWS Nitro를 기반으로 해야 합니다. Nitro 기반이 아닌 인스턴스는 계속해서 개별 보조 IP 주소를 할당하지만 Nitro-based 인스턴스보다 Pods에 할당할 IP 주소 수가 상당히 적습니다.

  • Linux 노드만 있는 클러스터의 경우 – 클러스터가 IPv4 패밀리용으로 구성된 경우 버전 1.9.0 이상의 Amazon VPC CNI plugin for Kubernetes 추가 기능이 설치되어 있어야 합니다. 현재 설치된 버전은 다음과 같은 명령으로 확인할 수 있습니다.

    kubectl describe daemonset aws-node --namespace kube-system | grep Image | cut -d "/" -f 2

    클러스터가 IPv6 패밀리용으로 구성된 경우 버전 1.10.1의 추가 기능이 설치되어 있어야 합니다. 플러그인 버전이 필요한 버전보다 이전인 경우 업데이트해야 합니다. 자세한 내용은 Amazon VPC CNI를 사용하여 포드에 IP 할당의 업데이트 섹션을 참조하세요.

  • Windows 노드만 있는 클러스터의 경우::

    • 클러스터와 해당 플랫폼 버전은 다음 표에 나와 있는 버전 이상이어야 합니다. 클러스터 버전을 업그레이드하려면 기존 클러스터를 새 Kubernetes 버전으로 업데이트 섹션을 참조하세요. 클러스터가 최소 플랫폼 버전이 아닌 경우 Amazon EKS가 플랫폼 버전을 업데이트할 때까지 노드에 IP 접두사를 할당할 수 없습니다.

      Kubernetes 버전 플랫폼 버전

      1.27

      eks.3

      1.26

      eks.4

      1.25

      eks.5

      다음 명령에서 my-cluster를 클러스터 이름으로 바꾸고 수정된 명령(aws eks describe-cluster --name my-cluster --query 'cluster.{"Kubernetes Version": version, "Platform Version": platformVersion}')을 실행하여 현재 Kubernetes 및 플랫폼 버전을 확인할 수 있습니다.

    • 클러스터에 대해 Windows 지원이 활성화되었습니다. 자세한 내용은 EKS 클러스터에 Windows 노드 배포 단원을 참조하십시오.

      1. 노드에 IP 주소 접두사를 할당하도록 클러스터를 구성합니다. 해당 노드의 운영 체제와 일치하는 탭에서 절차를 완료합니다.

        Linux

        1. 파라미터를 활성화하여 Amazon VPC CNI DaemonSet의 네트워크 인터페이스에 접두사를 할당합니다. 1.21 이상의 클러스터를 배포하는 경우 Amazon VPC CNI plugin for Kubernetes 추가 기능의 버전 1.10.1 이상은 함께 배포됩니다. IPv6 패밀리를 사용하여 클러스터를 생성한 경우 이 설정은 기본적으로 true로 설정되었습니다. IPv4 패밀리를 사용하여 클러스터를 생성한 경우 이 설정은 기본적으로 false로 설정되었습니다.

          kubectl set env daemonset aws-node -n kube-system ENABLE_PREFIX_DELEGATION=true
          중요

          서브넷에 사용 가능한 IP 주소가 있더라도 서브넷이 인접한 /28 블록을 사용할 수 없는 경우, Amazon VPC CNI plugin for Kubernetes 로그에 다음 오류가 표시됩니다.

InsufficientCidrBlocks: The specified subnet does not have enough free cidr blocks to satisfy the request

이는 서브넷에 분산된 기존 보조 IP 주소의 조각화로 인해 발생할 수 있습니다. 이 오류를 해결하려면 새 서브넷을 생성하고 거기서 Pods를 시작하거나 Amazon EC2 서브넷 CIDR 예약을 사용하여 접두사 할당과 함께 사용할 서브넷 내에 공간을 예약합니다. 자세한 내용은 Amazon VPC 사용 설명서의 서브넷 CIDR 예약을 참조하세요. ... 시작 템플릿이 없는 관리형 노드 그룹을 배포하거나 AMI ID를 지정하지 않은 시작 템플릿을 사용하여 배포할 계획이고, 필수 구성 요소에 나열된 버전보다 늦거나 같은 버전의 Amazon VPC CNI plugin for Kubernetes를 사용하는 경우 다음 단계로 건너뛰세요. 관리형 노드 그룹은 자동으로 최대 Pods 수를 계산합니다.

+ AMI ID를 지정한 시작 템플릿을 사용하여 자체 관리형 노드 그룹 또는 관리형 노드 그룹을 배포하는 경우 Amazon EKS 권장 노드의 최대 Pods 수를 결정해야 합니다. --cni-prefix-delegation-enabled를 3단계에 추가하여 각 Amazon EC2 인스턴스 유형에 대한 Amazon EKS 권장 최대 포드의 지침을 따릅니다. 이후 단계에서 사용하기 위해 출력을 적어 둡니다.

+ 중요: 관리형 노드 그룹은 maxPods의 값에 최대 수를 적용합니다. vCPU가 30개 미만인 인스턴스의 경우 최대 수는 110이고 다른 모든 인스턴스의 경우 최대 수는 250입니다. 이 최대 수는 접두사 위임의 활성화 여부에 관계없이 적용됩니다. … IPv6용으로 구성된 1.21 이상 클러스터를 사용하는 경우 다음 단계로 건너뜁니다.

+ 다음 옵션 중 하나에서 파라미터를 지정합니다. 자신에게 적합한 옵션과 제공할 값을 확인하려면 GitHub의 WARM_PREFIX_TARGET, WARM_IP_TARGET 및 MINIMUM_IP_TARGET를 참조하세요.

+ 예제 값을 0보다 큰 값으로 바꿀 수 있습니다.

+ ** WARM_PREFIX_TARGET

+

kubectl set env ds aws-node -n kube-system WARM_PREFIX_TARGET=1

  • WARM_IP_TARGET 또는 MINIMUM_IP_TARGET - 둘 중 하나의 값이 설정되면 WARM_PREFIX_TARGET에 설정된 모든 값을 재정의합니다.

    kubectl set env ds aws-node -n kube-system WARM_IP_TARGET=5
kubectl set env ds aws-node -n kube-system MINIMUM_IP_TARGET=2

  1. 하나 이상의 Amazon EC2 Nitro Amazon Linux 2 인스턴스 유형으로 다음 유형의 노드 그룹 중 하나를 생성합니다. Nitro 인스턴스 유형의 목록은 Amazon EC2 사용 설명서에서 Nitro 시스템에 구축된 인스턴스 섹션을 참조하세요. 이 기능은 Windows에서 지원되지 않습니다. 110을 포함하는 옵션의 경우 3단계의 값(권장) 또는 고유한 값으로 바꿉니다.

    • 자체 관리형-자체 관리형 Amazon Linux 노드 생성의 지침에 따라 노드 그룹을 배포합니다. BootstrapArguments 파라미터에 다음 텍스트를 지정합니다.

      --use-max-pods false --kubelet-extra-args '--max-pods=110'

      eksctl을 사용하여 노드 그룹을 생성하려면 다음 명령을 사용합니다.

      eksctl create nodegroup --cluster my-cluster --managed=false --max-pods-per-node 110

    • 관리형-다음 옵션 중 하나를 사용하여 노드 그룹을 배포합니다.

      • 시작 템플릿이 없거나 AMI ID가 지정되지 않은 시작 템플릿-클러스터에 대한 관리형 노드 그룹 생성의 절차를 완료합니다. 관리형 노드 그룹은 자동으로 Amazon EKS 권장 최대 max-pods 값을 계산합니다.

      • AMI ID가 지정된 시작 템플릿을 사용하는 경우(With a launch template with a specified AMI ID) - 시작 템플릿에서 Amazon EKS 최적화 AMI ID 또는 Amazon EKS 최적화 AMI에서 빌드한 사용자 지정 AMI를 지정한 다음 시작 템플릿을 사용하여 노드 그룹 배포를 지정하고 시작 템플릿에 다음 사용자 데이터를 입력합니다. 이 사용자 데이터는 인수를 bootstrap.sh 파일에 전달합니다. 부트스트랩 파일에 대한 자세한 내용은 GitHub에서 bootstrap.sh 부분을 참조하세요.

        /etc/eks/bootstrap.sh my-cluster \
  --use-max-pods false \
  --kubelet-extra-args '--max-pods=110'

        eksctl을 사용하여 노드 그룹을 생성하려면 다음 명령을 사용합니다.

        eksctl create nodegroup --cluster my-cluster --max-pods-per-node 110

        Amazon EKS 최적화 AMI에서 빌드되지 않은 사용자 지정 AMI를 생성한 경우 직접 구성을 사용자 지정하여 생성해야 합니다.

        참고

        또한 인스턴스의 서브넷과 다른 서브넷의 Pods에 IP 주소를 할당하려면 이 단계에서 기능을 활성화해야 합니다. 자세한 내용은 사용자 지정 네트워킹을 통해 대체 서브넷에 pods 배포 단원을 참조하십시오.

        Windows

  2. IP 접두사의 할당을 활성화합니다.

    1. 편집을 위해 amazon-vpc-cni ConfigMap을 엽니다.

      kubectl edit configmap -n kube-system amazon-vpc-cni -o yaml

    2. 다음 줄을 data 섹션에 추가합니다.

        enable-windows-prefix-delegation: "true"

    3. 파일을 저장하고 편집기를 닫습니다.

    4. 이 줄이 ConfigMap에 추가되었는지 확인합니다.

      kubectl get configmap -n kube-system amazon-vpc-cni -o "jsonpath={.data.enable-windows-prefix-delegation}"

      반환된 출력이 true가 아닌 경우 오류가 있을 수 있습니다. 단계를 다시 완료해 봅니다.

      중요

      서브넷에 사용 가능한 IP 주소가 있더라도 서브넷이 인접한 /28 블록을 사용할 수 없는 경우 노드 이벤트에 다음 오류가 표시됩니다.

"failed to allocate a private IP/Prefix address: InsufficientCidrBlocks: The specified subnet does not have enough free cidr blocks to satisfy the request"

이는 서브넷에 분산된 기존 보조 IP 주소의 조각화로 인해 발생할 수 있습니다. 이 오류를 해결하려면 새 서브넷을 생성하고 거기서 Pods를 시작하거나 Amazon EC2 서브넷 CIDR 예약을 사용하여 접두사 할당과 함께 사용할 서브넷 내에 공간을 예약합니다. 자세한 내용은 Amazon VPC 사용 설명서의 서브넷 CIDR 예약을 참조하세요. … (선택 사항) 클러스터의 사전 규모 조정 및 동적 규모 조정 동작을 제어하기 위한 추가 구성을 지정합니다. 자세한 내용은 GitHub에서 Windows의 접두사 위임 모드를 사용한 구성 옵션을 참조하세요.

+ .... 편집을 위해 amazon-vpc-cni ConfigMap을 엽니다.

+

kubectl edit configmap -n kube-system amazon-vpc-cni -o yaml

  1. 예제 값을 0보다 큰 값으로 바꾸고 필요한 항목을 ConfigMap의 data 섹션에 추가합니다. warm-ip-target 또한 minimum-ip-target에 대한 값을 설정하면 해당 값이 warm-prefix-target에 대해 설정된 모든 값을 재정의합니다.

      warm-prefix-target: "1"
  warm-ip-target: "5"
  minimum-ip-target: "2"

  2. 파일을 저장하고 편집기를 닫습니다.

    1. 하나 이상의 Amazon EC2 Nitro 인스턴스 유형으로 Windows 노드 그룹을 생성합니다. Nitro 인스턴스 유형 목록은 Amazon EC2 사용 설명서의 Nitro 시스템에서 구축된 인스턴스를 참조하세요. 기본적으로 노드에 배포할 수 있는 최대 Pods 수는 110개입니다. 이 수를 늘리거나 줄이려면 부트스트랩 구성의 사용자 데이터에 다음을 지정합니다. max-pods-quantity를 최대 포드 값으로 바꿉니다.

      -KubeletExtraArgs '--max-pods=max-pods-quantity'

      관리형 노드 그룹을 배포하는 경우 시작 템플릿에 이 구성을 추가해야 합니다. 자세한 내용은 시작 템플릿을 사용한 관리형 노드 사용자 지정 단원을 참조하십시오. Windows 부트스트랩 스크립트의 구성 파라미터에 대한 자세한 내용은 부트스트랩 스크립트 구성 파라미터 섹션을 참조하세요. 노드가 배포되면 클러스터의 노드를 확인합니다.

      +

      kubectl get nodes

      + 예제 출력은 다음과 같습니다.

      +

      NAME                                             STATUS     ROLES    AGE   VERSION
ip-192-168-22-103.region-code.compute.internal   Ready      <none>   19m   v1.XX.X-eks-6b7464
ip-192-168-97-94.region-code.compute.internal    Ready      <none>   19m   v1.XX.X-eks-6b7464

      1. 노드 중 하나를 설명하여 노드에 대한 max-pods 값과 사용 가능한 IP 주소 수를 결정합니다. 192.168.30.193을 이전 출력에서 반환된 노드 중 하나의 이름에 있는 IPv4 주소로 바꿉니다.

        kubectl describe node ip-192-168-30-193.region-code.compute.internal | grep 'pods\|PrivateIPv4Address'

        예제 출력은 다음과 같습니다.

        pods:                                  110
vpc.amazonaws.com/PrivateIPv4Address:  144

        이전 출력에서 110은 144개의 IP 주소를 사용할 수 있더라도 Kubernetes가 노드에 배포할 최대 Pods 수입니다.