對 Amazon EKS 叢集和節點的問題進行故障診斷

此章節涵蓋一些您在使用 Amazon EKS 時可能遇到的常見錯誤，並提供解決方法。如果您需要針對特定 Amazon EKS 區域進行疑難排解，請參閱個別 疑難排解 IAM、對 Amazon EKS 連接器問題進行故障診斷 和針對使用 EKS 附加元件的 ADOT 進行疑難排解主題。

如需其他疑難排解資訊，請參閱 AWS re：Post 上的 Amazon Elastic Kubernetes Service 知識中心內容。

容量不足

如果您在嘗試建立 Amazon EKS 叢集時收到下列錯誤，則您指定的其中一個可用區域沒有足夠的容量來支援叢集。

Cannot create cluster 'example-cluster' because region-1d, the targeted Availability Zone, does not currently have sufficient capacity to support the cluster. Retry and choose from these Availability Zones: region-1a, region-1b, region-1c

重新嘗試使用叢集 VPC 中的子網路來建立您的叢集，叢集 VPC 託管於此錯誤訊息傳回之可用區域之中。

有些可用區域無法存放於叢集。比較子網路所在的可用區域與子網路需求和考量事項中的可用區域清單。

節點無法加入叢集

有幾個常見的原因會阻擋節點加入叢集：

若要識別和疑難排解導致 Worker 節點無法加入叢集的常見原因，您可以使用 AWSSupport-TroubleshootEKSWorkerNode Runbook。如需詳細資訊，請參閱 AWS Systems Manager Automation Runbook 參考 AWSSupport-TroubleshootEKSWorkerNode 中的 。

未經授權或存取遭拒 (kubectl)

如果您在執行kubectl命令時收到下列其中一個錯誤，表示您未正確kubectl設定 Amazon EKS，或您所使用的 IAM 委託人 （角色或使用者） 的登入資料，未對應到 Kubernetes 使用者名稱，該使用者名稱具有對 Amazon EKS 叢集上 Kubernetes 物件的足夠許可。

這種情況可能由下列原因之一造成：

如果您安裝並設定 AWS CLI，則可以設定您使用的 IAM 登入資料。如需詳細資訊，請參閱《 AWS 命令列介面使用者指南》中的設定 AWS CLI。如果您擔任 IAM 角色來存取叢集上的 Kubernetes 物件，您也可以kubectl將 設定為使用 IAM 角色。如需詳細資訊，請參閱建立 kubeconfig 檔案，將 kubectl 連接至 EKS 叢集。

hostname doesn’t match

您系統的 Python 版本必須是 2.7.9或更新版本。否則，您會收到 CLI AWS 呼叫 Amazon EKS 的hostname doesn’t match錯誤。如需詳細資訊，請參閱 Python 請求常見問答集中的什麼是「主機名稱不相符」錯誤？。

getsockopt: no route to host

Docker 會在 Amazon EKS 叢集的 172.17.0.0/16 CIDR 範圍中執行。建議您叢集的 VPC 子網路不重疊此範圍。否則，您會收到以下錯誤：

Error: : error upgrading connection: error dialing backend: dial tcp 172.17.<nn>.<nn>:10250: getsockopt: no route to host

Instances failed to join the Kubernetes cluster

如果您在 Instances failed to join the Kubernetes cluster中收到錯誤 AWS Management Console，請確定叢集的私有端點存取已啟用，或您已正確設定 CIDR 區塊以進行公有端點存取。如需詳細資訊，請參閱控制叢集 API 伺服器端點的網路存取。

受管節點群組錯誤代碼

如果受管節點群組遇到硬體運作狀態問題，Amazon EKS 會傳回錯誤代碼，以協助您診斷問題。這些運作狀態檢查不會偵測到軟體問題，因為它們是以 Amazon EC2 運作狀態檢查為基礎。以下清單描述了這些錯誤代碼。

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: eks:node-manager
rules:
- apiGroups:
  - ''
  resources:
  - pods
  verbs:
  - get
  - list
  - watch
  - delete
- apiGroups:
  - ''
  resources:
  - nodes
  verbs:
  - get
  - list
  - watch
  - patch
- apiGroups:
  - ''
  resources:
  - pods/eviction
  verbs:
  - create

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: eks:node-manager
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: eks:node-manager
subjects:
- apiGroup: rbac.authorization.k8s.io
  kind: User
  name: eks:node-manager

kubectl describe clusterrole eks:node-manager

kubectl describe clusterrolebinding eks:node-manager

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: eks:node-manager
rules:
- apiGroups:
  - ''
  resources:
  - pods
  verbs:
  - get
  - list
  - watch
  - delete
- apiGroups:
  - ''
  resources:
  - nodes
  verbs:
  - get
  - list
  - watch
  - patch
- apiGroups:
  - ''
  resources:
  - pods/eviction
  verbs:
  - create
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: eks:node-manager
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: eks:node-manager
subjects:
- apiGroup: rbac.authorization.k8s.io
  kind: User
  name: eks:node-manager

kubectl apply -f eks-node-manager-role.yaml

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: eks:node-manager
rules:
- apiGroups:
  - ''
  resources:
  - pods
  verbs:
  - get
  - list
  - watch
  - delete
- apiGroups:
  - ''
  resources:
  - nodes
  verbs:
  - get
  - list
  - watch
  - patch
- apiGroups:
  - ''
  resources:
  - pods/eviction
  verbs:
  - create

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: eks:node-manager
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: eks:node-manager
subjects:
- apiGroup: rbac.authorization.k8s.io
  kind: User
  name: eks:node-manager

kubectl describe clusterrole eks:node-manager

kubectl describe clusterrolebinding eks:node-manager

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: eks:node-manager
rules:
- apiGroups:
  - ''
  resources:
  - pods
  verbs:
  - get
  - list
  - watch
  - delete
- apiGroups:
  - ''
  resources:
  - nodes
  verbs:
  - get
  - list
  - watch
  - patch
- apiGroups:
  - ''
  resources:
  - pods/eviction
  verbs:
  - create
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: eks:node-manager
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: eks:node-manager
subjects:
- apiGroup: rbac.authorization.k8s.io
  kind: User
  name: eks:node-manager

kubectl apply -f eks-node-manager-role.yaml

Not authorized for images

Not authorized for images 錯誤訊息的一個潛在原因是使用私有 Amazon EKS Windows AMI 來啟動 Windows 受管節點群組。發佈新的 Windows AMIs 之後， AWS 會讓超過 4 個月的 AMIs 成為私有，使其不再可存取。如果您的受管節點群組使用私有 Windows AMI，請考慮更新您的 Windows 受管節點群組。雖然我們無法保證我們可以提供已設為私有AMIs 存取權，但您可以透過向 AWS Support 提交票證來請求存取權。如需詳細資訊，請參閱《Amazon EC2 使用者指南》中的修補程式。

節點處於 NotReady 狀態

如果您的節點進入 NotReady 狀態，這可能表示節點運作狀態不佳，且無法排程新的 Pod。這可能由於各種原因而發生，例如節點缺少足夠 CPU、記憶體或可用磁碟空間的資源。

對於 Amazon EKS 最佳化 Windows AMIs，在kubelet組態中預設指定的運算資源沒有保留。為了協助防止資源問題，您可以為系統程序預留運算資源，方法是提供 kube 預留和/或系統預留的kubelet組態值。您可以使用引導指令碼中的-KubeletExtraArgs命令列參數來執行此操作。如需詳細資訊，請參閱 Kubernetes 文件和本使用者指南引導指令碼組態參數中的預留系統精靈的運算資源。

CNI 日誌收集工具

Kubernetes 專用 Amazon VPC CNI 外掛程式有自己的故障診斷指令碼，在 /opt/cni/bin/aws-cni-support.sh 節點上可用。您可以使用指令碼來收集支援案例和一般故障診斷的診斷日誌。

在您的節點使用以下命令即可執行指令碼：

sudo bash /opt/cni/bin/aws-cni-support.sh

curl -O https://raw.githubusercontent.com/awslabs/amazon-eks-ami/master/log-collector-script/linux/eks-log-collector.sh
sudo bash eks-log-collector.sh

該指令碼收集的診斷資訊如下。您已部署的 CNI 版本可能比指令碼版本更早。

      This is version 0.6.1. New versions can be found at https://github.com/awslabs/amazon-eks-ami

Trying to collect common operating system logs...
Trying to collect kernel logs...
Trying to collect mount points and volume information...
Trying to collect SELinux status...
Trying to collect iptables information...
Trying to collect installed packages...
Trying to collect active system services...
Trying to collect Docker daemon information...
Trying to collect kubelet information...
Trying to collect L-IPAMD information...
Trying to collect sysctls information...
Trying to collect networking information...
Trying to collect CNI configuration information...
Trying to collect running Docker containers and gather container data...
Trying to collect Docker daemon logs...
Trying to archive gathered information...

	Done... your bundled logs are located in /var/log/eks_i-0717c9d54b6cfaa19_2020-03-24_0103-UTC_0.6.1.tar.gz

診斷資訊收集後將存放於：

/var/log/eks_i-0717c9d54b6cfaa19_2020-03-24_0103-UTC_0.6.1.tar.gz

容器執行階段網路尚未就緒

您可能會收到類似下列的 Container runtime network not ready 錯誤和授權錯誤：

4191 kubelet.go:2130] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized
4191 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:452: Failed to list *v1.Service: Unauthorized
4191 kubelet_node_status.go:106] Unable to register node "ip-10-40-175-122.ec2.internal" with API server: Unauthorized
4191 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:452: Failed to list *v1.Service: Unauthorized

這種情況可能由下列原因之一造成：

TLS 交握逾時

當節點無法建立與公有 API 伺服器端點的連接時，您可能會收到類似下列的錯誤。

server.go:233] failed to run Kubelet: could not init cloud provider "aws": error finding instance i-1111f2222f333e44c: "error listing AWS instances: \"RequestError: send request failed\\ncaused by: Post  net/http: TLS handshake timeout\""

kubelet 程序將持續重新產生並測試 API 伺服器端點。在控制平面中執行叢集滾動更新 (例如組態變更或版本更新) 的任何程序期間，也可能會暫時發生錯誤。

若要解決此問題，請檢查路由表和安全群組，以確保來自節點的流量可以到達公有端點。

InvalidClientTokenId

如果您針對部署到中國 AWS 區域中叢集的 Pod 或 DaemonSet 的服務帳戶使用 IAM 角色，而且尚未在規格中設定AWS_DEFAULT_REGION環境變數，Pod 或 DaemonSet 可能會收到下列錯誤：

An error occurred (InvalidClientTokenId) when calling the GetCallerIdentity operation: The security token included in the request is invalid

若要解決問題，您需要將AWS_DEFAULT_REGION環境變數新增至 Pod 或 DaemonSet 規格，如下列範例 Pod 規格所示。

apiVersion: v1
kind: Pod
metadata:
  name: envar-demo
  labels:
    purpose: demonstrate-envars
spec:
  containers:
  - name: envar-demo-container
    image: gcr.io/google-samples/node-hello:1.0
    env:
    - name: AWS_DEFAULT_REGION
      value: "region-code"

節點群組必須符合 Kubernetes 版本，才能升級控制平面

將控制平面升級至新的 Kubernetes 版本之前，叢集中受管節點和 Fargate 節點的次要版本必須與控制平面目前版本的版本相同。在將所有 Amazon EKS 受管節點升級為目前的叢集版本前，Amazon EKS update-cluster-version API 都會拒絕請求。Amazon EKS 提供 API 來升級受管節點。如需有關升級受管節點群組 Kubernetes 版本的資訊，請參閱更新叢集的受管節點群組。若要升級 Fargate 節點的版本，請刪除節點代表的 Pod，並在升級控制平面後重新部署 Pod。如需詳細資訊，請參閱將現有叢集更新為新的 Kubernetes 版本。

啟動許多節點時，會出現 Too Many Requests 錯誤

如果同時啟動許多節點，您可能會 Amazon EC2 使用者資料執行日誌看見錯誤訊息，其顯示 Too Many Requests。這可能是因為控制平面因 describeCluster 呼叫超載。超載會導致調節、節點無法執行引導指令碼，以及節點無法完全加入叢集。

確定 --apiserver-endpoint、 --b64-cluster-ca和 --dns-cluster-ip引數正在傳遞至節點的引導指令碼。包含這些引數時，不需要引導指令碼進行describeCluster呼叫，這有助於防止控制平面過載。如需詳細資訊，請參閱提供使用者資料，將引數傳遞至 Amazon EKS 最佳化 Linux/Bottlerocket AMI 隨附的bootstrap.sh檔案。

針對 Kubernetes API 伺服器請求回應的 HTTP 401 未經授權的錯誤

如果叢集上的 Pod 服務帳戶字符已過期，您會看到這些錯誤。

Amazon EKS 叢集的 Kubernetes API 伺服器會拒絕具有超過 90 天權杖的請求。在 Kubernetes 舊版本中，字符沒有過期。這意味著倚賴這些字符的客户端必須在一小時內進行重新整理。為了防止 Kubernetes API 伺服器因為無效的權杖而拒絕您的請求，工作負載所使用的 Kubernetes 用戶端 SDK 版本必須相同，或晚於下列版本：

您可以識別叢集中所有使用過時字符的現有 Pod。如需詳細資訊，請參閱服務帳戶字符。

Amazon EKS 平台版本比目前平台版本落後兩個版本以上

當 Amazon EKS 無法自動更新叢集的平台版本時，可能會發生這種情況。儘管造成這種情況的原因很多，然而一些常見的原因如下。如果任何這些問題適用於您的叢集，它仍然可以運作，Amazon EKS 就不會更新其平台版本。

問題

該叢集 IAM 角色已刪除，此角色是在建立叢集時指定。您可以使用以下命令，查看指定了哪個角色。使用您叢集的名稱取代 my-cluster。

aws eks describe-cluster --name my-cluster --query cluster.roleArn --output text | cut -d / -f 2

範例輸出如下。

eksClusterRole

解決方案

建立具有相同名稱的新叢集 IAM 角色。

問題

已刪除叢集建立期間指定的子網路 – 即叢集建立期間指定要與叢集搭配使用的子網路。您可以使用以下命令，查看指定了哪些子網路。使用您叢集的名稱取代 my-cluster。

aws eks describe-cluster --name my-cluster --query cluster.resourcesVpcConfig.subnetIds

範例輸出如下。

[
"subnet-EXAMPLE1",
"subnet-EXAMPLE2"
]

解決方案

確認您的帳戶中是否存在子網路 ID。

vpc_id=$(aws eks describe-cluster --name my-cluster --query cluster.resourcesVpcConfig.vpcId --output text)
aws ec2 describe-subnets --filters "Name=vpc-id,Values=$vpc_id" --query "Subnets[*].SubnetId"

範例輸出如下。

[
"subnet-EXAMPLE3",
"subnet-EXAMPLE4"
]

如果輸出中傳回的子網路 IDs 與建立叢集時指定的子網路 IDs 不相符，則如果您希望 Amazon EKS 更新叢集，則需要變更叢集所使用的子網路。這是因為如果您在建立叢集時指定了兩個以上的子網路，Amazon EKS 會隨機選取您指定在其中建立新彈性網路介面的子網路。這些網路介面可讓控制平面與節點進行通訊。如果其選取的子網路不存在，Amazon EKS 不會更新叢集。您無法控制 Amazon EKS 會從您於建立叢集時指定的子網路中選擇哪些在其中建立新網路介面。

當您啟動叢集的 Kubernetes 版本更新時，更新可能會因為相同原因而失敗。

問題

叢集建立期間指定的安全群組已刪除 – 如果您在叢集建立期間指定了安全群組，您可以使用下列命令查看其 ID。使用您叢集的名稱取代 my-cluster。

aws eks describe-cluster --name my-cluster --query cluster.resourcesVpcConfig.securityGroupIds

範例輸出如下。

[
    "sg-EXAMPLE1"
]

如果 [] 傳回，則建立叢集時未指定任何安全群組，而缺少安全群組不是問題所在。如果傳回安全群組，則請確認安全群組位於您的帳戶中。

解決方案

請確認這些安全性群組是否位於您的帳戶中。

vpc_id=$(aws eks describe-cluster --name my-cluster --query cluster.resourcesVpcConfig.vpcId --output text)
aws ec2 describe-security-groups --filters "Name=vpc-id,Values=$vpc_id" --query "SecurityGroups[*].GroupId"

範例輸出如下。

[
"sg-EXAMPLE2"
]

如果輸出中傳回的安全群組 IDs 與建立叢集時指定的安全群組 IDs 不相符，則如果您希望 Amazon EKS 更新叢集，則需要變更叢集使用的安全群組。如果叢集建立時指定的安全群組 IDs 不存在，Amazon EKS 不會更新叢集。

當您啟動叢集的 Kubernetes 版本更新時，更新可能會因為相同原因而失敗。

叢集運作狀態FAQs和錯誤代碼，以及解析路徑

Amazon EKS 會偵測 Amazon EKS 叢集以及叢集基礎設施的問題，並將問題存放在叢集運作狀態中。藉助叢集運作狀態資訊，您可以更快速地偵測、診斷並解決叢集問題，從而建立更安全且及時更新的應用程式環境。此外，由於必要的基礎設施或叢集組態發生問題，您可能無法升級到較新版本的 Kubernetes 或 Amazon EKS 在降級的叢集上安裝安全更新。Amazon EKS 可能需要 3 小時才能偵測到問題或偵測某個問題是否已解決。

維護 Amazon EKS 叢集的運作狀態是 Amazon EKS 及其使用者共同的責任。使用者負責 IAM 角色和 Amazon VPC 子網路的必備基礎設施，以及其他必須事先提供的必要基礎設施。Amazon EKS 偵測此基礎設施和叢集的組態變更。

若要在 Amazon EKS 主控台中查看叢集的運作狀態，請在 Amazon EKS 叢集詳細資訊頁面的概觀索引標籤中，找到名為運作狀態問題的區段。也可以透過在 EKS API 中呼叫 DescribeCluster動作來取得此資料，例如從 AWS 命令列界面內。

前兩欄是 API 回應值所需的內容。Health ClusterIssue 物件的第三個欄位是 resourceIds，其傳回取決於問題類型。