Probleme mit Amazon EKS-Clustern und -Knoten beheben

In diesem Kapitel werden einige häufige Fehler bei der Verwendung von Amazon EKS sowie deren Lösung behandelt. Wenn Sie Probleme in bestimmten Amazon-EKS-Bereichen beheben müssen, lesen Sie die separaten Themen Fehlersuche bei IAM, Probleme mit dem Amazon EKS Connector beheben und Fehlerbehebung für ADOT mithilfe von EKS-Add-ons.

Weitere Informationen zur Fehlerbehebung finden Sie in den Knowledge Center-Inhalten zu Amazon Elastic Kubernetes Service auf AWS re:POST.

Unzureichende Kapazität

Wenn Sie beim Versuch, einen Amazon EKS-Cluster zu erstellen, die folgende Fehlermeldung erhalten, verfügt eine der von Ihnen angegebenen Availability Zones nicht über ausreichend Kapazität, um einen Cluster zu unterstützen.

Cannot create cluster 'example-cluster' because region-1d, the targeted Availability Zone, does not currently have sufficient capacity to support the cluster. Retry and choose from these Availability Zones: region-1a, region-1b, region-1c

Versuchen Sie erneut, den Cluster mit Subnetzen in Ihrer Cluster-VPC zu erstellen, die in den Availability Zones gehostet werden, die diesen Fehler verursacht haben.

Es gibt Availability Zones, in denen sich ein Cluster nicht befinden kann. Vergleichen Sie die Availability Zones, in denen sich Ihre Subnetze befinden, mit der Liste der Availability Zones in den Subnetzanforderungen und Überlegungen.

Knoten können nicht mit dem Cluster verknüpft werden

Es gibt zwei häufige Gründe, aus denen Knoten nicht mit dem Cluster verknüpft werden können:

Zur Ermittlung und Behebung häufiger Ursachen, die den Beitritt von Worker-Knoten zu einem Cluster verhindern, können Sie das Runbook AWSSupport-TroubleshootEKSWorkerNode verwenden. Weitere Informationen finden Sie AWSSupport-TroubleshootEKSWorkerNode in der Runbook-Referenz für AWS Systems Manager Automation.

Nicht autorisiert oder Zugriff verweigert (kubectl)

Wenn Sie beim Ausführen von kubectl Befehlen einen der folgenden Fehler erhalten, haben Sie Amazon EKS nicht richtig kubectl konfiguriert oder die Anmeldeinformationen für den IAM-Principal (Rolle oder Benutzer), den Sie verwenden, sind nicht zugeordnet Kubernetes Benutzername, der über ausreichende Berechtigungen verfügt für Kubernetes Objekte auf Ihrem Amazon EKS-Cluster.

Das kann auf eine der folgenden Ursachen zurückzuführen sein:

Wenn Sie die AWS CLI installieren und konfigurieren, können Sie die von Ihnen verwendeten IAM-Anmeldeinformationen konfigurieren. Weitere Informationen finden Sie unter Configuring the AWS CLI im AWS Command Line Interface User Guide. Sie können auch kubectl die Verwendung einer IAM-Rolle konfigurieren, wenn Sie für den Zugriff von einer IAM-Rolle ausgehen Kubernetes Objekte auf Ihrem Cluster. Weitere Informationen finden Sie unter Verbinden kubectl zu einem EKS-Cluster durch Erstellen eines kubeconfig file.

hostname doesn’t match

Die Python-Version Ihres Systems muss 2.7.9 oder höher sein. Andernfalls erhalten Sie hostname doesn’t match Fehler bei AWS CLI-Aufrufen an Amazon EKS. Weitere Informationen finden Sie unter Was sind „Hostname stimmt nicht überein“ -Fehler? in den Python-Anfragen häufig gestellte Fragen.

getsockopt: no route to host

Docker läuft im 172.17.0.0/16 CIDR-Bereich in Amazon EKS-Clustern. Wir empfehlen, dass sich die VPC-Subnetze Ihres Clusters nicht mit diesem Bereich überschneiden. Andernfalls erhalten Sie den folgenden Fehler:

Error: : error upgrading connection: error dialing backend: dial tcp 172.17.<nn>.<nn>:10250: getsockopt: no route to host

Instances failed to join the Kubernetes cluster

Wenn Sie den Fehler Instances failed to join the Kubernetes cluster in erhalten, stellen Sie sicher AWS Management Console, dass entweder der private Endpunktzugriff des Clusters aktiviert ist oder dass Sie die CIDR-Blöcke für den Zugriff auf öffentliche Endpunkte korrekt konfiguriert haben. Weitere Informationen finden Sie unter Steuern Sie den Netzwerkzugriff auf den Cluster-API-Serverendpunkt.

Fehlercodes bei verwalteten Knotengruppen

Wenn bei Ihrer verwaltete Knotengruppe ein Hardwarezustandsproblem auftritt, gibt Amazon EKS einen Fehlercode zurück, der Ihnen bei der Diagnose des Problems hilft. Diese Gesundheitschecks erkennen keine Softwareprobleme, da sie auf EC2 Amazon-Gesundheitschecks basieren. Die Fehlercodes sind in der folgenden Liste beschrieben.

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: eks:node-manager
rules:
- apiGroups:
  - ''
  resources:
  - pods
  verbs:
  - get
  - list
  - watch
  - delete
- apiGroups:
  - ''
  resources:
  - nodes
  verbs:
  - get
  - list
  - watch
  - patch
- apiGroups:
  - ''
  resources:
  - pods/eviction
  verbs:
  - create

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: eks:node-manager
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: eks:node-manager
subjects:
- apiGroup: rbac.authorization.k8s.io
  kind: User
  name: eks:node-manager

kubectl describe clusterrole eks:node-manager

kubectl describe clusterrolebinding eks:node-manager

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: eks:node-manager
rules:
- apiGroups:
  - ''
  resources:
  - pods
  verbs:
  - get
  - list
  - watch
  - delete
- apiGroups:
  - ''
  resources:
  - nodes
  verbs:
  - get
  - list
  - watch
  - patch
- apiGroups:
  - ''
  resources:
  - pods/eviction
  verbs:
  - create
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: eks:node-manager
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: eks:node-manager
subjects:
- apiGroup: rbac.authorization.k8s.io
  kind: User
  name: eks:node-manager

kubectl apply -f eks-node-manager-role.yaml

Not authorized for images

Eine mögliche Ursache für eine Not authorized for images Fehlermeldung ist die Verwendung eines privaten Amazon EKS Windows AMI wird gestartet Windows verwaltete Knotengruppen. Nach der Veröffentlichung neuer Windows AMIs, AWS macht AMIs die, die älter als 4 Monate sind, privat, wodurch sie nicht mehr zugänglich sind. Wenn Ihre verwaltete Knotengruppe eine private verwendet Windows AMI, erwägen Sie, Ihre Windows-verwaltete Knotengruppe zu aktualisieren. Wir können zwar nicht garantieren, dass wir Zugriff auf privat gemachte AMIs Inhalte gewähren können, aber du kannst den Zugriff beantragen, indem du ein Ticket beim AWS Support einreichst. Weitere Informationen finden Sie unter Patches im EC2 Amazon-Benutzerhandbuch.

Der Knoten befindet sich im NotReady Status

Wenn Ihr Knoten in einen NotReady Status wechselt, deutet dies wahrscheinlich darauf hin, dass der Knoten fehlerhaft ist und nicht für einen neuen Knoten geplant werden kann Pods. Dies kann verschiedene Ursachen haben, z. B. wenn dem Knoten nicht genügend Ressourcen für CPU, Arbeitsspeicher oder verfügbaren Festplattenspeicher zur Verfügung stehen.

Für Amazon EKS optimiert Windows AMIs, es gibt keine Reservierung für Rechenressourcen, die standardmäßig in der kubelet Konfiguration angegeben sind. Um Ressourcenprobleme zu vermeiden, können Sie Rechenressourcen für Systemprozesse reservieren, indem Sie die kubelet Konfigurationswerte für kube-reserved und/oder system-reserved angeben. Dazu verwenden Sie den -KubeletExtraArgs Befehlszeilenparameter im Bootstrap-Skript. Weitere Informationen finden Sie unter Reservieren von Rechenressourcen für System-Daemons im Kubernetes Dokumentation und Bootstrap-Skript-Konfigurationsparameter in diesem Benutzerhandbuch.

CNI-Protokollerfassungstool

Das Tool Amazon VPC CNI plugin for Kubernetes hat ein eigenes Fehlerbehebungsskript, das auf Knoten unter verfügbar ist/opt/cni/bin/aws-cni-support.sh. Sie können das Skript verwenden, um Diagnoseprotokolle für Support-Fälle und allgemeine Fehlerbehebung zu sammeln.

Mit dem folgenden Befehl können Sie das Skript auf dem Knoten ausführen:

sudo bash /opt/cni/bin/aws-cni-support.sh

curl -O https://raw.githubusercontent.com/awslabs/amazon-eks-ami/master/log-collector-script/linux/eks-log-collector.sh
sudo bash eks-log-collector.sh

Das Skript sammelt die folgenden Diagnoseinformationen: Die bereitgestellte CNI-Version kann jünger als die Skriptversion sein.

      This is version 0.6.1. New versions can be found at https://github.com/awslabs/amazon-eks-ami

Trying to collect common operating system logs...
Trying to collect kernel logs...
Trying to collect mount points and volume information...
Trying to collect SELinux status...
Trying to collect iptables information...
Trying to collect installed packages...
Trying to collect active system services...
Trying to collect Docker daemon information...
Trying to collect kubelet information...
Trying to collect L-IPAMD information...
Trying to collect sysctls information...
Trying to collect networking information...
Trying to collect CNI configuration information...
Trying to collect running Docker containers and gather container data...
Trying to collect Docker daemon logs...
Trying to archive gathered information...

	Done... your bundled logs are located in /var/log/eks_i-0717c9d54b6cfaa19_2020-03-24_0103-UTC_0.6.1.tar.gz

Die Diagnoseinformationen werden gesammelt und gespeichert unter:

/var/log/eks_i-0717c9d54b6cfaa19_2020-03-24_0103-UTC_0.6.1.tar.gz

Container-Laufzeitnetzwerk nicht bereit

Möglicherweise erhalten Sie einen Container runtime network not ready-Fehler und einen Autorisierungsfehler, die den folgenden ähneln:

4191 kubelet.go:2130] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized
4191 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:452: Failed to list *v1.Service: Unauthorized
4191 kubelet_node_status.go:106] Unable to register node "ip-10-40-175-122.ec2.internal" with API server: Unauthorized
4191 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:452: Failed to list *v1.Service: Unauthorized

Dieses Problem kann folgende Ursachen haben:

TLS-Handshake-Zeitüberschreitung

Wenn ein Knoten nicht in der Lage ist, eine Verbindung zum öffentlichen API-Server-Endpunkt herzustellen, erhalten Sie möglicherweise einen Fehler ähnlich dem folgenden.

server.go:233] failed to run Kubelet: could not init cloud provider "aws": error finding instance i-1111f2222f333e44c: "error listing AWS instances: \"RequestError: send request failed\\ncaused by: Post  net/http: TLS handshake timeout\""

Der kubelet-Prozess wird weiter fortgesetzt und testet den API-Server-Endpunkt. Der Fehler kann auch vorübergehend während jeder Prozedur auftreten, die eine laufende Aktualisierung des Clusters auf der Steuerungsebene durchführt, z. B. eine Konfigurationsänderung oder eine Versionsaktualisierung.

Um das Problem zu beheben, überprüfen Sie die Routing-Tabelle und die Sicherheitsgruppen, um sicherzustellen, dass der Datenverkehr von den Knoten den öffentlichen Endpunkt erreichen kann.

InvalidClientTokenId

Wenn Sie IAM-Rollen für Dienstkonten für ein verwenden Pod or DaemonSet auf einem Cluster in einer AWS Region China bereitgestellt und die AWS_DEFAULT_REGION Umgebungsvariable nicht in der Spezifikation festgelegt wurde, Pod or DaemonSet kann den folgenden Fehler erhalten:

An error occurred (InvalidClientTokenId) when calling the GetCallerIdentity operation: The security token included in the request is invalid

Um das Problem zu beheben, müssen Sie die AWS_DEFAULT_REGION Umgebungsvariable zu Ihrem hinzufügen Pod or DaemonSet Spezifikation, wie im folgenden Beispiel gezeigt Pod spezifikation.

apiVersion: v1
kind: Pod
metadata:
  name: envar-demo
  labels:
    purpose: demonstrate-envars
spec:
  containers:
  - name: envar-demo-container
    image: gcr.io/google-samples/node-hello:1.0
    env:
    - name: AWS_DEFAULT_REGION
      value: "region-code"

Knotengruppen müssen übereinstimmen Kubernetes Version vor dem Upgrade der Steuerungsebene

Bevor Sie eine Steuerungsebene auf eine neue aktualisieren Kubernetes Version, die Nebenversion der verwalteten Knoten und der Fargate-Knoten in Ihrem Cluster muss mit der Version der aktuellen Version Ihrer Kontrollebene identisch sein. Die Amazon EKS-update-cluster-version-API akzeptiert keine Anforderungen, bis für alle von Amazon EKS verwalteten Knoten ein Upgrade auf die aktuelle Cluster-Version durchgeführt wurde. Amazon EKS bietet APIs die Möglichkeit, verwaltete Knoten zu aktualisieren. Informationen zum Upgrade einer verwalteten Knotengruppe Kubernetes Version finden Sie unterAktualisieren Sie eine verwaltete Knotengruppe für Ihren Cluster. Um die Version eines Fargate-Knotens zu aktualisieren, löschen Sie den pod das wird durch den Knoten repräsentiert, und stellen Sie das erneut bereit pod nachdem Sie Ihre Steuerungsebene aktualisiert haben. Weitere Informationen finden Sie unter Aktualisieren Sie den vorhandenen Cluster auf die neue Kubernetes-Version.

Beim Starten vieler Knoten gibt es Too Many Requests-Fehler

Wenn Sie viele Knoten gleichzeitig starten, wird in den Ausführungsprotokollen der EC2 Amazon-Benutzerdaten möglicherweise eine Fehlermeldung angezeigt, die besagtToo Many Requests. Dies kann auftreten, weil die Steuerebene mit describeCluster-Aufrufen überlastet wird. Die Überladung führt zu einer Drosselung, Knoten, die das Bootstrap-Skript nicht ausführen können, und Knoten, die dem Cluster insgesamt nicht beitreten können.

Stellen Sie sicher--apiserver-endpoint, dass die --dns-cluster-ip Argumente--b64-cluster-ca, und an das Bootstrap-Skript des Knotens übergeben werden. Wenn Sie diese Argumente einbeziehen, muss das Bootstrap-Skript keinen describeCluster Aufruf tätigen, wodurch verhindert wird, dass die Steuerungsebene überlastet wird. Weitere Informationen finden Sie unter Geben Sie Benutzerdaten an, um Argumente an die bootstrap.sh Datei zu übergeben, die in einer für Amazon EKS optimierten Datei enthalten ist Linux/Bottlerocket AMI.

HTTP 401, unautorisierte Fehlerantwort auf Kubernetes API-Serveranfragen

Sie sehen diese Fehler, wenn Pod’s Das Dienstkonto-Token ist auf einem Cluster abgelaufen.

Ihre Amazon EKS-Cluster Kubernetes Der API-Server lehnt Anfragen ab, deren Token älter als 90 Tage sind. In der Vergangenheit Kubernetes In den Versionen hatten Tokens kein Ablaufdatum. Clients, die diese Tokens verwenden, müssen die Tokens nun innerhalb einer Stunde aktualisieren. Um das zu verhindern Kubernetes Der API-Server kann Ihre Anfrage nicht aufgrund eines ungültigen Tokens ablehnen. Die von Ihrem Workload verwendete Kubernetes-Client-SDK-Version muss dieselbe oder eine neuere Version als die folgenden Versionen sein:

Sie können alle vorhandenen identifizieren Pods in Ihrem Cluster, die veraltete Token verwenden. Weitere Informationen finden Sie unter Servicekonto-Tokens.

Die Amazon-EKS-Plattformversion liegt mehr als zwei Versionen hinter der aktuellen Plattformversion

Dies kann passieren, wenn Amazon EKS die Plattformversion Ihres Clusters nicht automatisch aktualisieren kann. Obwohl es dafür viele Ursachen gibt, folgen einige der häufigsten Ursachen. Wenn eines dieser Probleme auf Ihren Cluster zutrifft, funktioniert er möglicherweise immer noch, seine Plattformversion wird nur nicht von Amazon EKS aktualisiert.

Problem

Die Cluster-IAM-Rolle wurde gelöscht – Diese Rolle wurde beim Erstellen des Clusters angegeben. Sie können mit dem folgenden Befehl überprüfen, welche Rolle angegeben wurde. Ersetzen Sie my-cluster mit dem Namen Ihres Clusters.

aws eks describe-cluster --name my-cluster --query cluster.roleArn --output text | cut -d / -f 2

Eine Beispielausgabe sieht wie folgt aus.

eksClusterRole

Lösung

Erstellen einer neuen Cluster-IAM-Rolle mit demselben Namen.

Problem

Ein bei der Clustererstellung festgelegtes Subnetz wurde gelöscht – Die mit dem Cluster zu verwendenden Subnetze wurden bei der Clustererstellung angegeben. Sie können mit dem folgenden Befehl überprüfen, welche Subnetze angegeben wurden. Ersetzen Sie my-cluster mit dem Namen Ihres Clusters.

aws eks describe-cluster --name my-cluster --query cluster.resourcesVpcConfig.subnetIds

Eine Beispielausgabe sieht wie folgt aus.

[
"subnet-EXAMPLE1",
"subnet-EXAMPLE2"
]

Lösung

Bestätigen Sie, ob das Subnetz in Ihrem Konto IDs existiert.

vpc_id=$(aws eks describe-cluster --name my-cluster --query cluster.resourcesVpcConfig.vpcId --output text)
aws ec2 describe-subnets --filters "Name=vpc-id,Values=$vpc_id" --query "Subnets[*].SubnetId"

Eine Beispielausgabe sieht wie folgt aus.

[
"subnet-EXAMPLE3",
"subnet-EXAMPLE4"
]

Wenn das in der Ausgabe IDs zurückgegebene Subnetz nicht mit dem Subnetz übereinstimmt IDs , das bei der Erstellung des Clusters angegeben wurde, müssen Sie, wenn Amazon EKS den Cluster aktualisieren soll, die vom Cluster verwendeten Subnetze ändern. Dies liegt daran, dass Amazon EKS, wenn Sie bei der Erstellung Ihres Clusters mehr als zwei Subnetze angegeben haben, nach dem Zufallsprinzip Subnetze auswählt, die Sie für die Erstellung neuer Elastic-Network-Schnittstellen angegeben haben. Diese Netzwerkschnittstellen ermöglichen es der Steuerebene, mit Ihren Knoten zu kommunizieren. Amazon EKS aktualisiert den Cluster nicht, wenn das ausgewählte Subnetz nicht existiert. Sie haben keine Kontrolle darüber, in welchem der Subnetze, die Sie bei der Clustererstellung angegeben haben, Amazon EKS wählt, um eine neue Netzwerkschnittstelle zu erstellen.

Wenn Sie eine initiieren Kubernetes Versionsupdate für Ihren Cluster, das Update kann aus demselben Grund fehlschlagen.

Problem

Eine bei der Clustererstellung angegebene Sicherheitsgruppe wurde gelöscht — Wenn Sie bei der Clustererstellung Sicherheitsgruppen angegeben haben, können Sie diese IDs mit dem folgenden Befehl einsehen. Ersetzen Sie my-cluster mit dem Namen Ihres Clusters.

aws eks describe-cluster --name my-cluster --query cluster.resourcesVpcConfig.securityGroupIds

Eine Beispielausgabe sieht wie folgt aus.

[
    "sg-EXAMPLE1"
]

Wenn zurückgegeben [] wird, wurden bei der Erstellung des Clusters keine Sicherheitsgruppen angegeben und eine fehlende Sicherheitsgruppe ist nicht das Problem. Wenn Sicherheitsgruppen zurückgegeben werden, vergewissern Sie sich, dass die Sicherheitsgruppen in Ihrem Konto vorhanden sind.

Lösung

Bestätigen Sie, ob diese Sicherheitsgruppen in Ihrem Konto vorhanden sind.

vpc_id=$(aws eks describe-cluster --name my-cluster --query cluster.resourcesVpcConfig.vpcId --output text)
aws ec2 describe-security-groups --filters "Name=vpc-id,Values=$vpc_id" --query "SecurityGroups[*].GroupId"

Eine Beispielausgabe sieht wie folgt aus.

[
"sg-EXAMPLE2"
]

Wenn die in der Ausgabe IDs zurückgegebene Sicherheitsgruppe nicht mit der Sicherheitsgruppe übereinstimmt IDs , die bei der Erstellung des Clusters angegeben wurde, müssen Sie, wenn Amazon EKS den Cluster aktualisieren soll, die vom Cluster verwendeten Sicherheitsgruppen ändern. Amazon EKS aktualisiert einen Cluster nicht, wenn die bei der Clustererstellung IDs angegebene Sicherheitsgruppe nicht existiert.

Wenn Sie eine initiieren Kubernetes Versionsupdate für Ihren Cluster, das Update kann aus demselben Grund fehlschlagen.

FAQs Cluster-Integritäts- und Fehlercodes mit Lösungspfaden

Amazon EKS erkennt Probleme mit Ihren EKS-Clustern und der Cluster-Infrastruktur und speichert sie in der Cluster-Integrität. Mithilfe von Cluster-Integritätsinformationen können Sie Cluster-Probleme schneller erkennen, behandeln und beheben. Auf diese Weise können Sie Anwendungsumgebungen erstellen, die sicherer und sicherer sind up-to-date. Darüber hinaus ist es für Sie möglicherweise unmöglich, auf neuere Versionen von zu aktualisieren Kubernetes oder für Amazon EKS, um Sicherheitsupdates auf einem heruntergestuften Cluster aufgrund von Problemen mit der erforderlichen Infrastruktur oder Clusterkonfiguration zu installieren. Es kann drei Stunden dauern, bis Amazon EKS Probleme erkennt oder feststellt, dass ein Problem behoben wurde.

Amazon EKS und die Benutzer sind gemeinsam für die Integrität eines Amazon EKS-Clusters verantwortlich. Sie selbst sind für die erforderliche Infrastruktur von IAM-Rollen und Amazon VPC-Subnetzen sowie für andere notwendige Infrastrukturkomponenten verantwortlich, die im Voraus bereitgestellt werden müssen. Amazon EKS erkennt Änderungen an der Konfiguration dieser Infrastruktur und des Clusters.

Sie können über die Amazon EKS-Konsole auf die Integrität Ihres Clusters zugreifen. Suchen Sie hierzu auf der Registerkarte Übersicht der Detailseite des Amazon EKS-Clusters nach dem Abschnitt Integritätsprobleme. Diese Daten sind auch verfügbar, wenn die DescribeCluster Aktion in der EKS-API aufgerufen wird, beispielsweise von der AWS Befehlszeilenschnittstelle aus.

Die ersten beiden Spalten werden für API-Antwortwerte benötigt. Das dritte Feld des ClusterIssueHealth-Objekts ist resourceIds, dessen Rückgabe vom Typ des Problems abhängt.