Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Kontinuierliche Bereitstellung für erweiterte Cluster-Operationen auf Amazon EKS

SageMaker HyperPod Amazon-Cluster, die mit der Amazon EKS-Orchestrierung erstellt wurden, unterstützen jetzt Continuous Provisioning, eine neue Funktion, die mehr Flexibilität und Effizienz bei der Ausführung AI/ML umfangreicher Workloads ermöglicht. Durch die kontinuierliche Bereitstellung können Sie schnell mit dem Training beginnen, nahtlos skalieren, Wartungsarbeiten ohne Betriebsunterbrechung durchführen und einen detaillierten Einblick in den Clusterbetrieb erhalten.

Funktionsweise

Das Continuous Provisioning System führt eine Architektur mit gewünschtem Status ein, die das traditionelle, auf Anfragen basierende Modell ersetzt. Diese neue Architektur ermöglicht parallel, blockierungsfreie Operationen auf verschiedenen Ressourcenebenen unter Beibehaltung der Systemstabilität und -leistung. Das System zur kontinuierlichen Bereitstellung:

Die kontinuierliche Bereitstellung ist standardmäßig deaktiviert. Um diese Funktion zu verwenden, stellen Sie --node-provisioning-mode auf Continuous ein.

Wenn Continuous Provisioning aktiviert ist, können Sie mehrere Skalierungsvorgänge gleichzeitig initiieren, ohne auf den Abschluss früherer Operationen warten zu müssen. Auf diese Weise können Sie verschiedene Instance-Gruppen im selben Cluster gleichzeitig skalieren und mehrere Skalierungsanforderungen an dieselbe Instance-Gruppe senden.

Durch die kontinuierliche Bereitstellung erhalten Sie auch Zugriff auf DescribeClusterEvent und ListClusterEvent für eine detaillierte Ereignisüberwachung und betriebliche Transparenz.

Nutzungsmessung

HyperPod Cluster mit kontinuierlicher Bereitstellung verwenden Zähler auf Instanzebene, um eine genaue Abrechnung zu gewährleisten, die der tatsächlichen Ressourcennutzung entspricht. Dieser Zählungsansatz unterscheidet sich von der herkömmlichen Abrechnung auf Clusterebene dadurch, dass jede Instance unabhängig verfolgt wird.

Instance-level Fakturierung

Bei kontinuierlicher Bereitstellung beginnt und endet die Abrechnung auf der Ebene der einzelnen Instances, anstatt auf Statusänderungen auf Clusterebene zu warten. Diese Methode bietet folgende Vorteile:

Lebenszyklus der Abrechnung

Jede Instanz in Ihrem HyperPod Cluster folgt diesem Abrechnungszyklus:

Erstellen Sie einen Cluster mit aktivierter kontinuierlicher Bereitstellung

Der folgende AWS CLI Vorgang erstellt einen HyperPod Cluster mit einer Instanzgruppe und aktivierter kontinuierlicher Bereitstellung.

aws sagemaker create-cluster \ 
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "ig-1",
   "InstanceType": "ml.c5.2xlarge",
   "InstanceCount": 2,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create_noop.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'",
   "ThreadsPerCore": 1,
   "TrainingPlanArn": ""
}' \
--node-provisioning-mode Continuous


// Expected Output:
{
    "ClusterArn": "arn:aws:sagemaker:us-west-2:<account-id>:cluster/<cluster-id>"
}

Nachdem Sie Ihren Cluster erstellt haben, können Sie ListClusterNodes oder verwenden, DescribeClusterNode um weitere Informationen über die Knoten im Cluster zu erhalten.

Beim Aufrufen dieser Operationen wird ein ClusterInstanceStatusDetails Objekt mit einem der folgenden Werte zurückgegeben:

Mindestanforderungen an die Kapazität () MinCount

Mit dieser MinCount Funktion können Sie die Mindestanzahl von Instanzen angeben, die erfolgreich bereitgestellt werden müssen, bevor eine Instanzgruppe in den InService Status übergeht. Diese Funktion bietet eine bessere Kontrolle über Skalierungsvorgänge und hilft, Szenarien zu verhindern, in denen teilweise bereitgestellte Instanzgruppen nicht effektiv für das Training von Workloads verwendet werden können.

MinCount Wie funktioniert

Wenn Sie eine Instanzgruppe mit MinCount aktivierter Option erstellen oder aktualisieren, tritt das folgende Verhalten auf:

Status der Instanzgruppe während des Betriebs MinCount

Instanzgruppen mit MinCount konfigurierter Konfiguration weisen das folgende Statusverhalten auf:

Während Creating unseres Updating Status gelten die folgenden Einschränkungen:

Automatisches Rollback-Verhalten

Wenn eine Instanzgruppe ihren Wert nicht MinCount innerhalb von 3 Stunden erreicht, leitet das System automatisch ein Rollback ein, um ein unbegrenztes Warten zu verhindern:

Das 3-stündige Timeout wird bei jeder Aktualisierung zurückgesetzt. MinCount Wenn Sie beispielsweise MinCount mehrmals aktualisieren, beginnt der Timeout-Zeitraum mit dem letzten Update neu.

MinCount Ereignisse

Das System gibt bestimmte Ereignisse aus, um Ihnen bei der Verfolgung von MinCount Vorgängen zu helfen:

Sie können diese Ereignisse überwachen, indem Sie ListClusterEvents den Fortschritt Ihrer Operationen verfolgen. MinCount

Nutzung der API

MinCount wird mithilfe des MinInstanceCount Parameters in Instanzgruppenkonfigurationen angegeben:

aws sagemaker create-cluster \
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET'"]
}' \
--instance-groups '{
   "InstanceGroupName": "worker-group",
   "InstanceType": "ml.p4d.24xlarge",
   "InstanceCount": 64,
   "MinInstanceCount": 50,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'"
}' \
--node-provisioning-mode Continuous

Wichtige Überlegungen zur MinCount Verwendung:

Flexible Instanzgruppen

Mit flexiblen Instanzgruppen können Sie mehrere Instanztypen innerhalb einer einzelnen Instanzgruppe angeben. Dies vereinfacht die Clusterverwaltung, indem die Anzahl der Instanzgruppen, die Sie erstellen und verwalten müssen, reduziert wird, insbesondere für Inferenz-Workloads, die Autoscaling verwenden.

Mit flexiblen Instanzgruppen: HyperPod

Erstellen Sie einen Cluster mit einer flexiblen Instanzgruppe

Verwenden Sie InstanceRequirements stattInstanceType, um eine flexible Instanzgruppe zu erstellen. Die Reihenfolge der Instanztypen in der Liste bestimmt die Priorität der Bereitstellung.

aws sagemaker create-cluster \
--cluster-name $HP_CLUSTER_NAME \
--orchestrator 'Eks={ClusterArn='$EKS_CLUSTER_ARN'}' \
--vpc-config '{
   "SecurityGroupIds": ["'$SECURITY_GROUP'"],
   "Subnets": ["'$SUBNET_AZ1'", "'$SUBNET_AZ2'"]
}' \
--instance-groups '[{
   "InstanceGroupName": "flexible-ig",
   "InstanceRequirements": {
      "InstanceTypes": ["ml.p5.48xlarge", "ml.p4d.24xlarge", "ml.g6.48xlarge"]
   },
   "InstanceCount": 10,
   "LifeCycleConfig": {
      "SourceS3Uri": "s3://'$BUCKET_NAME'",
      "OnCreate": "on_create.sh"
   },
   "ExecutionRole": "'$EXECUTION_ROLE'"
}]' \
--node-provisioning-mode Continuous

Gezielte Skalierung mit BatchAddClusterNodes

Wenn Sie flexible Instanzgruppen verwenden, können Sie BatchAddClusterNodes sie verwenden, um Knoten mit bestimmten Instanztypen und Verfügbarkeitszonen hinzuzufügen. Dies ist besonders nützlich, wenn Karpenter Autoscaling den optimalen Instanztyp und die optimale Verfügbarkeitszone für Ihre Arbeitslast bestimmt.

aws sagemaker batch-add-cluster-nodes \
--cluster-name $HP_CLUSTER_NAME \
--nodes-to-add '[
   {
      "InstanceGroupName": "flexible-ig",
      "IncrementTargetCountBy": 1,
      "InstanceTypes": ["ml.p5.48xlarge"],
      "AvailabilityZones": ["us-west-2a"]
   }
]'

Details zu flexiblen Instanzgruppen anzeigen

Verwenden Sie diese DescribeCluster Option, um die Instanztypen und die Aufschlüsselung Ihrer flexiblen Instanzgruppe nach Typen anzuzeigen. Die Antwort enthält:

Verwendung flexibler Instanzgruppen mit Karpenter Autoscaling

Flexible Instanzgruppen lassen sich in das verwaltete Karpenter HyperPod Autoscaling integrieren. Weitere Informationen zur Einrichtung von Karpenter finden Sie unter. Autoscaling auf EKS SageMaker HyperPod Wenn Sie in einer HyperPodNodeClass Konfiguration auf eine flexible Instanzgruppe verweisen, geht Karpenter automatisch wie folgt vor:

Dadurch entfällt die Notwendigkeit, separate Instanzgruppen für jeden Instanztyp zu erstellen und Karpenter manuell so zu konfigurieren, dass es auf mehrere Gruppen verweist.