View a markdown version of this page

Kapazitätsblöcke für ML - Amazon Elastic Compute Cloud
Unterstützte Instanztypen und RegionenUnterstützte PlattformenÜberlegungenZugehörige Ressourcen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Kapazitätsblöcke für ML

Capacity Blocks for ML ermöglichen es Ihnen, GPU-based beschleunigte Recheninstanzen zu einem späteren Zeitpunkt zu reservieren, um Ihre kurzfristigen Machine Learning-Workloads (ML) zu unterstützen. Instances, die innerhalb eines Kapazitätsblocks ausgeführt werden, werden in Amazon EC2 automatisch nahe beieinander platziert, um Netzwerke mit niedriger Latenz UltraClusters, Petabit-Größe und ohne Blockierung zu ermöglichen.

Sie können Capacity Blocks auch verwenden, um Kapazität für Amazon EC2 zu reservieren. UltraServers UltraServers verbinden Sie mehrere Amazon EC2-Instances über eine Beschleuniger-Verbindung mit niedriger Latenz und hoher Bandbreite. Sie können UltraServers es verwenden, um die rechen- und speicherintensivsten AI/ML Workloads in den Bereichen Training, Feinabstimmung und Inferenz zu bewältigen. Weitere Informationen finden Sie unter Amazon EC2 UltraServers.

Mit Kapazitätsblöcken können Sie sehen, wann GPU-Instance-Kapazität an zukünftigen Terminen verfügbar ist, und Sie können einen Kapazitätsblock so planen, dass er zu einem Zeitpunkt startet, der für Sie am besten passt. Wenn Sie einen Kapazitätsblock reservieren, erhalten Sie eine vorhersehbare Kapazitätsgarantie für GPU-Instance und zahlen nur für die Zeit, die Sie benötigen. Wir empfehlen Kapazitätsblöcke, wenn Sie für Ihre ML-Workloads tage- oder wochenlang GPUs benötigen und nicht für eine Reservierung zahlen möchten, während Ihre GPU-Instances nicht verwendet werden.

Im Folgenden sind einige häufige Anwendungsfälle für Kapazitätsblöcke aufgeführt.

  • Modell-Training und Feinabstimmung für Machine Learning (ML) – Erhalten Sie ununterbrochenen Zugriff auf die GPU-Instances, die Sie für die Durchführung des ML-Modell-Trainings und der Feinabstimmung reserviert haben.

  • ML-Experimente und Prototypen – Führen Sie Experimente durch und erstellen Sie Prototypen, die kurzfristig GPU-Instances erfordern.

Kapazitätsblöcke sind in einigen Regionen für ausgewählte Instance-Typen verfügbar. AWS Weitere Informationen finden Sie unter Unterstützte Instanztypen und Regionen.

Sie können einen Kapazitätsblock mit einem Reservierungsstartzeitpunkt bis zu acht Wochen in der Zukunft reservieren. Jeder Kapazitätsblock kann bis zu 64 Instances haben, und Sie können bis zu 256 Instances in mehreren Kapazitätsblöcken haben.

Themen

Unterstützte Instanztypen und Regionen

Instanz- und UltraServer Kapazitätsblöcke können mit den folgenden Instanztypen und AWS Regionen verwendet werden.

Anmerkung

Kapazitätsblockgrößen von 64 Instances werden nicht für alle Instance-Typen in allen AWS-Regionen unterstützt.

Instanz-Kapazitätsblöcke

Instance-Typ USA Ost (Nord-Virginia) us-east-1 USA Ost (Ohio) – us-east-2 USA West (Nordkalifornien) us-west-1 USA West (Oregon) us-west-2 Europa (Stockholm) eu-nord-1 Europa (London) eu-west-2 Europa (Spanien) eu-south-2 Asien-Pazifik (Tokio) ap-northeast-1 Asien-Pazifik (Seoul) – ap-northeast-2 Asien-Pazifik (Mumbai) – ap-south-1 Asien-Pazifik (Sydney) ap-southeast-2 Asien-Pazifik (Jakarta) ap-southeast-3 Asien-Pazifik (Melbourne) ap-southeast-4 Südamerika (São Paulo) – sa-east-1 AWS GovCloud () US-Gov-Ost-1 US-East AWS GovCloud (US-West) US-Regierung West-1 USA Ost (Atlanta) US-East-1-ATL-2A Vereinigte Staaten West (Phoenix) US-West-2-phx-2a
p6-b300.48xlarge ✓ ✓ ✓ ✓
p6-b200.48xlarge ✓ ✓ ✓ ✓ ✓ ✓
p5.4xlarge ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
p5.48xlarge ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
p5e.48xlarge ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
p5en.48xlarge ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
p4d.24xlarge ✓ ✓ ✓
p4de.24xlarge ✓ ✓
trn1.32xlarge ✓ ✓ ✓ ✓ ✓ ✓ ✓
trn2.3xlarge ✓ ✓
trn2.48xlarge ✓

UltraServer Kapazitätsblöcke

Instance-Typ USA Ost (Ohio) – us-east-2 USA Ost (Dallas) us-east-1-dfw-2a
Trn2 ✓
P6e-GB200 ✓

Unterstützte Plattformen

Capacity Blocks for ML unterstützen derzeit Instances und UltraServers nur mit Standard-Tenancy. Wenn Sie den verwenden AWS-Managementkonsole , um einen Kapazitätsblock zu erwerben, lautet die Standardplattformoption. Linux/UNIX Wenn Sie AWS Command Line Interface (AWS CLI) verwenden oder AWS SDK einen Kapazitätsblock kaufen, sind die folgenden Plattformoptionen verfügbar:

  • Linux/Unix

  • Red Hat Enterprise Linux

  • RHEL mit HA

  • SUSE Linux

  • Ubuntu Pro

Überlegungen

Berücksichtigen Sie vor der Verwendung von Kapazitätsblöcken die folgenden Details und Einschränkungen.

  • Wenn wir eine Beeinträchtigung feststellen, die sich auf einen UltraServer Kapazitätsblock auswirkt, benachrichtigen wir Sie, ergreifen aber in der Regel keine Maßnahmen, um Ihre Instances im Kapazitätsblock zu beenden. Dies dient dazu, unbeabsichtigte Unterbrechungen Ihrer Workloads zu minimieren. Sie können den UltraServer Kapazitätsblock nach Erhalt dieser Benachrichtigung unverändert weiter verwenden oder eine Problembehebung beantragen, indem Sie alle Instances im Kapazitätsblock beenden und einen AWS Support-Fall einreichen. Nachdem wir Ihre Support-Anfrage erhalten haben, benachrichtigen wir Sie, sobald wir die Problembehebung abgeschlossen haben und Sie Instances auf Ihrem Capacity Block neu starten können. UltraServer

  • Bei P6e-GB200 UltraServer Kapazitätsblöcken müssen Sie Ihre Instances mindestens 60 Minuten vor dem Ende des Kapazitätsblocks beenden.

  • Um Capacity Blocks in Local Zones kaufen und nutzen zu können, müssen Sie sich für die Local Zone anmelden.

  • Jeder Kapazitätsblock kann bis zu 64 Instances haben, und Sie können bis zu 256 Instances in mehreren Kapazitätsblöcken haben.

  • Sie können Kapazitätsblockangebote beschreiben, die bereits in 30 Minuten beginnen können.

  • Kapazitätsblöcke beginnen und enden um 11:30 Uhr koordinierte Weltzeit (UTC).

  • Der Beendigungsprozess für Instances, die in einem Kapazitätsblock ausgeführt werden, beginnt um 11:00 Uhr koordinierter Weltzeit (UTC) am letzten Tag der Reservierung.

  • Kapazitätsblöcke können mit einer Startzeit bis zu 8 Wochen in der Zukunft reserviert werden.

  • Stornierungen von Kapazitätsblöcken sind nicht zulässig.

  • UltraServer Kapazitätsblöcke können nicht zwischen AWS Konten oder innerhalb Ihrer AWS Organisation gemeinsam genutzt werden.

  • Ein Kapazitätsblock kann nicht verschoben oder aufgeteilt werden.

  • Nur UltraServer Kapazitätsblöcke können mit Ressourcengruppen verwendet werden. Instance-Kapazitätsblöcke können nicht mit Ressourcengruppen verwendet werden. Weitere Informationen finden Sie unter Erstellen Sie eine Ressourcengruppe für UltraServer Capacity Blocks.

  • Die Gesamtzahl der Instanzen, die in Kapazitätsblöcken für alle Konten in Ihrem AWS Unternehmen reserviert werden können, darf an einem bestimmten Datum 256 Instanzen nicht überschreiten.

  • Um einen Kapazitätsblock zu verwenden, müssen Instances gezielt die Reservierungs-ID verwenden.

  • Instances in einem Kapazitätsblock werden nicht auf Ihre On-Demand Instance-Limits angerechnet.

  • Stellen Sie für P5-Instances, die ein benutzerdefiniertes AMI verwenden, sicher, dass Sie über die erforderliche Software und Konfiguration für EFA verfügen.

  • Informationen zu verwalteten Amazon-EKS-Knotengruppen finden Sie unter Erstellen einer verwalteten Knotengruppe mit Amazon EC2 Capacity Blocks für ML. Informationen zu selbstverwalteten Amazon-EKS-Knotengruppen finden Sie unter Verwenden von Kapazitätsblöcken für ML mit selbstverwalteten Knoten.

Nachdem Sie einen Kapazitätsblock erstellt haben, können Sie mit dem Kapazitätsblock Folgendes tun:

Weitere Informationen zu AWS Parallel Computing Service finden Sie unter Was ist AWS Parallel Computing Service.

Weitere Informationen finden Sie AWS ParallelCluster unter Was ist AWS ParallelCluster.