View a markdown version of this page

Erste Schritte mit der Amazon EKS-Unterstützung in SageMaker HyperPod - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erste Schritte mit der Amazon EKS-Unterstützung in SageMaker HyperPod

Neben dem allgemeinen Formular sollten Sie sich die folgenden Anforderungen und Überlegungen Voraussetzungen für die Verwendung SageMaker HyperPod für SageMaker HyperPod die Orchestrierung von SageMaker HyperPod Clustern mit Amazon EKS ansehen.

Wichtig

Sie können die Ressourcenkonfiguration für die Erstellung von SageMaker HyperPod Clustern mithilfe von AWS-Managementkonsole und CloudFormation einrichten. Weitere Informationen erhalten Sie unter Erstellen eines SageMaker HyperPod Clusters mit Amazon EKS-Orchestrierung und Erstellen von SageMaker HyperPod Clustern mit CloudFormation Vorlagen.

Voraussetzungen

Anmerkung

Bevor Sie einen HyperPod Cluster erstellen, benötigen Sie einen laufenden Amazon EKS-Cluster, der mit VPC konfiguriert und mit Helm installiert wurde.

Beachten Sie bei der Bereitstellung Ihres Amazon-EKS-Clusters Folgendes:

  1. Support für Kubernetes-Version

    • SageMaker HyperPod unterstützt die Kubernetes-Versionen 1.30, 1.31, 1.32, 1.33, 1.34 und 1.35.

  2. Cluster-Authentifizierungsmodus von Amazon EKS

    • Der Authentifizierungsmodus eines Amazon EKS-Clusters wird von are und unterstützt. SageMaker HyperPod API API_AND_CONFIG_MAP

  3. Netzwerkfunktionen

    • SageMaker HyperPod erfordert das Amazon VPC Container Network Interface (CNI) -Plug-In Version 1.18.3 oder höher.

      Anmerkung

      AWS Das VPC-CNI-Plugin für Kubernetes ist das einzige CNI, das von unterstützt wird. SageMaker HyperPod

    • Der Typ des Subnetzes in Ihrer VPC muss für Cluster privat sein. HyperPod

  4. IAM-Rollen

  5. Cluster-Add-ons von Amazon EKS

    • Sie können die verschiedenen von Amazon EKS bereitgestellten Add-Ons wie CoreDNS Kube-proxy , das Amazon VPC Container Network Interface (CNI) -Plugin, Amazon EKS-Pod Identity, den GuardDuty Agenten, den Amazon FSx Container Storage Interface (CSI) -Treiber, den Mountpoint for Amazon S3 CSI-Treiber, den Distro for und den AWS Observability-Agenten weiterhin verwenden. OpenTelemetry CloudWatch

      Wichtig

      Installieren Sie keinen CSI-Treiber, der den NVMe-Instance-Speicher verwaltet (manchmal auch als Local Instance Storage-CSI-Treiber bezeichnet) auf HyperPod Knoten, die das SageMaker HyperPod AMI verwenden. Das AMI konfiguriert beim Booten eine LVM-Volumegruppe (vg.01) auf dem NVMe-Instance-Speicher, bevor der CSI-Treiber gestartet wird. Ein CSI-Treiber, der auf dieselben NVMe-Geräte abzielt, wird mit dieser Konfiguration in Konflikt geraten und zu Ausfällen führen. I/O Der Amazon EBS-CSI-Treiber, der Amazon FSx CSI-Treiber, der Amazon EFS-CSI-Treiber und der Mountpoint for Amazon S3 CSI-Treiber sind nicht betroffen, da sie den lokalen NVMe-Instance-Speicher nicht verwalten. Einzelheiten und Schritte zur Problembehebung finden Sie im Abschnitt Überlegungen unter. Verwenden des Amazon EBS-CSI-Treibers auf EKS-Clustern SageMaker HyperPod

Überlegungen zur Konfiguration von SageMaker HyperPod Clustern mit Amazon EKS

  • Sie müssen je nach Art Ihrer Knoten unterschiedliche IAM-Rollen verwenden. Verwenden Sie für HyperPod Knoten eine Rolle, die aufIAM-Rolle für SageMaker HyperPod. Informationen zu Amazon-EKS-Knoten finden Sie unter IAM-Rolle für Amazon-EKS-Knoten.

  • Sie können zusätzliche Amazon EBS-Volumes auf SageMaker HyperPod Knoten mithilfe von zwei Methoden bereitstellen und bereitstellen: Verwenden Sie diese InstanceStorageConfigs für die Bereitstellung von Volumes auf Cluster-Ebene (verfügbar beim Erstellen oder Aktualisieren von Instance-Gruppen) oder verwenden Sie den Amazon Elastic Block Store (Amazon EBS) Container Storage Interface (CSI) -Treiber für dynamisches Volume-Management auf Pod-Ebene. Stellen Sie mit den lokalen Pfad auf ein InstanceStorageConfigs , um die Volumes ordnungsgemäß auf Ihren Amazon /opt/sagemaker EKS-Pods zu mounten. Informationen zur Bereitstellung des Amazon EBS-CSI-Controllers auf HyperPod Knoten finden Sie unterVerwenden des Amazon EBS-CSI-Treibers auf EKS-Clustern SageMaker HyperPod. Um den NVMe-Instance-Speicher zu verwenden HyperPod, sollten Sie sich auf die integrierte LVM-Konfiguration des AMI verlassen, /opt/sagemaker anstatt einen separaten NVMe-targeting CSI-Treiber zu installieren.

  • Wenn Sie Labels vom Instanztyp verwenden, um Planungseinschränkungen zu definieren, stellen Sie sicher, dass Sie die SageMaker AI ML-Instanztypen mit dem Präfix verwenden. ml. Verwenden Sie beispielsweise für P5-Instances ml.p5.48xlarge anstelle von p5.48xlarge.

Überlegungen zur Konfiguration eines Netzwerks für SageMaker HyperPod Cluster mit Amazon EKS

  • Jede HyperPod Cluster-Instance unterstützt ein Elastic Network Interface (ENI). Die maximale Anzahl von Pods pro Instance-Typ finden Sie in der folgenden Tabelle.

    Instance-Typ Maximale Anzahl von Pods
    ml.p4d.24xlarge 49
    ml.p4de.24xlarge 49
    ml.p5.48xlarge 49
    ml.trn1.32xlarge 49
    ml.trn1n.32xlarge 49
    ml.g5.xlarge 14
    ml.g5.2xlarge 14
    ml.g5.4xlarge 29
    ml.g5.8xlarge 29
    ml.g5.12xlarge 49
    ml.g5.16xlarge 29
    ml.g5.24xlarge 49
    ml.g5.48xlarge 49
    ml.c5.large 9
    ml.c5.xlarge 14
    ml.c5.2xlarge 14
    ml.c5.4xlarge 29
    ml.c5.9xlarge 29
    ml.c5.12xlarge 29
    ml.c5.18xlarge 49
    ml.c5.24xlarge 49
    ml.c5n.large 9
    ml.c5n.2xlarge 14
    ml.c5n.4xlarge 29
    ml.c5n.9xlarge 29
    ml.c5n.18xlarge 49
    ml.m5.large 9
    ml.m5.xlarge 14
    ml.m5.2xlarge 14
    ml.m5.4xlarge 29
    ml.m5.8xlarge 29
    ml.m5.12xlarge 29
    ml.m5.16xlarge 49
    ml.m5.24xlarge 49
    ml.t3.medium 5
    ml.t3.large 11
    ml.t3.xlarge 14
    ml.t3.2xlarge 14
    ml.g 6,x groß 14
    ml.g6.2xlarge 14
    ml.g6.4xlarge 29
    ml.g6.8xlarge 29
    ml.g6.12xlarge 29
    ml.g6.16xlarge 49
    ml.g6.24xlarge 49
    ml.g6.48xlarge 49
    ml.gr6.4xlarge 29
    ml.gr6.8xlarge 29
    ml.g6e.xlarge 14
    ml.g6e.2xlarge 14
    ml.g6e.4xlarge 29
    ml.g6e.8xlarge 29
    ml.g6e.12xlarge 29
    ml.g6e.16xlarge 49
    ml.g6e.24xlarge 49
    ml.g6e.48xlarge 49
    ml.g6e.48xlarge 49
    ml.p6-b300.48x groß 49
    ml. 5 x 16 x groß 49
    ml.g 7e.2 x groß 49
    ml. 7,4 x groß 49
    ml. 7,8 x groß 49
    ml, 7 g, 12 x groß 49
    ml, 7 g, 24 x groß 49
    ml, 7 g, 48 x groß 49
    ml.g4dn.xlarge 9
    ml.g4dn.2xlarge 9
    ml.g4dn.4xlarge 9
    ml.g4dn.8xlarge 14
    ml.g4dn.12xlarge 29
    ml.g4dn.16xlarge 14
    ml. 6 g. mittel 3
    ml.c6g.groß 9
    ml.c6g.xlarge 14
    ml.c6g.2xgroß 14
    ml.c6g.4xgroß 29
    ml.c6g.8xgroß 29
    ml.c6g.12x groß 29
    ml.c6g.16x groß 49
    ml. 7 g. mittel 3
    ml.c7g.groß 9
    ml.c7g.xlarge 14
    ml.c7g.2xgroß 14
    ml.c7g.4xgroß 29
    ml.c7g.8xgroß 29
    ml.c7g.12x groß 29
    ml.c7g.16x groß 49
    ml. 8 g. mittel 3
    ml.c8g.groß 9
    ml.c8g.xlarge 14
    ml.c8g.2xgroß 14
    ml.c8g.4xgroß 29
    ml.c8g.8xgroß 29
    ml.c8g.12x groß 29
    ml.c8g.16x groß 49
    ml. 8 g. 24 x groß 49
    ml. 8 g. 48 x groß 49
    ml.c6a.groß 9
    ml.c6a.xlarge 14
    ml.c6a.2xgroß 14
    ml.ca. 4 x groß 29
    ml.c6a.8xgroß 29
    ml.c6a.12x groß 29
    ml.c6a.16x groß 49
    ml. 6 x 24 x groß 49
    ml. 6 x 32 x groß 49
    ml. 6 x 48 x groß 49
    ml.6a.groß 9
    ml.m6a.xlarge 14
    ml.m6a.2xgroß 14
    ml.m6a.4xgroß 29
    ml.m6a.8xgroß 29
    ml.m6a.12x groß 29
    ml.m6a.16x groß 49
    ml.m6a.24x groß 49
    ml.m6a.32x groß 49
    ml.m6a.48x groß 49
    ml.mg.mittel 3
    ml.m6g.groß 9
    ml.m6g.xlarge 14
    ml.m6g.2xgroß 14
    ml.m6g.4xgroß 29
    ml.m6g.8x groß 29
    ml.m6g.12x groß 29
    ml.m6g.16x groß 49
    ml.mg. 7 g. mittel 3
    ml.m7g.groß 9
    ml.m7g.xlarge 14
    ml.m7g.2xgroß 14
    ml.m7 g. 4 x groß 29
    ml.m7g.8 x groß 29
    ml.m7g.12x groß 29
    ml.m7g.16x groß 49
    ml.mg. 8 g. mittel 3
    ml.m8g.groß 9
    ml.m8g.xlarge 14
    ml.m8g.2xgroß 14
    ml.m8 g. 4 x groß 29
    ml.m8g.8xgroß 29
    ml.m8g.12x groß 29
    ml.m8g.16x groß 49
    ml. 8 mg. 24 x groß 49
    ml. 8 mg. 48 x groß 49

  • Standardmäßig haben nur Pods mit hostNetwork = true Zugriff auf den Amazon EC2 Instance Metadata Service (IMDS). Verwenden Sie die Amazon EKS-Pod-Identität oder die IAM-Rollen für Dienstkonten (IRSA), um den Zugriff auf die AWS Anmeldeinformationen für Pods zu verwalten.

  • EKS-orchestrated HyperPod Cluster unterstützen duale IP-Adressierungsmodi und ermöglichen die Konfiguration mit IPv4 oder IPv6 für IPv6-Amazon-EKS-Cluster in IPv6-enabled VPC- und Subnetzumgebungen. Weitere Informationen finden Sie unter Einrichtung SageMaker HyperPod mit einer benutzerdefinierten Amazon VPC.

Überlegungen zur Verwendung der Cluster-Resilienzfunktionen HyperPod

  • Die automatische Ersetzung von Knoten wird für CPU-Instances nicht unterstützt.

  • Der HyperPod Health Monitoring Agent muss installiert sein, damit die automatische Wiederherstellung des Knotens funktioniert. Der Agent kann mit Helm installiert werden. Weitere Informationen finden Sie unter Installation von Paketen auf dem Amazon-EKS-Cluster mit Helm.

  • Der HyperPod Deep Health Check- und Health Monitoring-Agent unterstützt GPU- und Trn-Instances.

  • SageMaker KI wendet den folgenden Makel auf Knoten an, wenn sie gründlichen Zustandsprüfungen unterzogen werden:

    effect: NoSchedule
key: sagemaker.amazonaws.com/node-health-status
value: Unschedulable
    Anmerkung

    Es ist nicht möglich, benutzerdefinierte Taints zu Knoten in Instance-Gruppen hinzuzufügen, bei denen DeepHealthChecks aktiviert ist.

Sobald Ihr Amazon EKS-Cluster läuft, konfigurieren Sie Ihren Cluster mithilfe des Helm-Paketmanagers gemäß den Anweisungen, Installation von Paketen auf dem Amazon-EKS-Cluster mit Helm bevor Sie Ihren HyperPod Cluster erstellen.