Kapazitätsblöcke für ML - Amazon Elastic Compute Cloud
Unterstützte PlattformenÜberlegungenZugehörige Ressourcen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Kapazitätsblöcke für ML

Capacity Blocks for ML ermöglichen es Ihnen, stark nachgefragte GPU Instances zu einem future Zeitpunkt zu reservieren, um Ihre kurzfristigen Machine-Learning-Workloads (ML) zu unterstützen. Instances, die innerhalb eines Kapazitätsblocks ausgeführt werden, werden innerhalb von Amazon automatisch nahe beieinander platziert EC2 UltraClusters, um blockierungsfreie Netzwerke im Petabit-Bereich mit niedriger Latenz zu gewährleisten.

Mit Capacity Blocks können Sie sehen, wann GPU Instance-Kapazität an future Terminen verfügbar ist, und Sie können einen Kapazitätsblock so planen, dass er zu einem Zeitpunkt startet, der für Sie am besten geeignet ist. Wenn Sie einen Kapazitätsblock reservieren, erhalten Sie eine vorhersehbare Kapazitätsgarantie für GPU Instances und zahlen gleichzeitig nur für die Zeit, die Sie benötigen. Wir empfehlen Capacity BlocksGPUs, wenn Sie Ihre ML-Workloads tage- oder wochenlang unterstützen müssen und nicht für eine Reservierung bezahlen möchten, während Ihre GPU Instances nicht genutzt werden.

Im Folgenden sind einige häufige Anwendungsfälle für Kapazitätsblöcke aufgeführt.

  • Training und Feinabstimmung von ML-Modellen — Erhalten Sie ununterbrochenen Zugriff auf die GPU Instanzen, die Sie für das Training und die Feinabstimmung des ML-Modells reserviert haben.

  • ML-Experimente und Prototypen — Führen Sie Experimente durch und erstellen Sie Prototypen, für die GPU Instanzen für kurze Zeiträume erforderlich sind.

Kapazitätsblöcke sind derzeit fürp5.48xlarge, p5e.48xlargep4d.24xlarge, und trn1.32xlarge Instanzen verfügbar. Die p5.48xlarge Instances sind in den Regionen USA Ost (Nord-Virginia) und USA Ost (Ohio) verfügbar. Die p5e.48xlarge Instances sind in der Region USA Ost (Ohio) verfügbar. Die p4d.24xlarge Instances sind in den Regionen USA Ost (Ohio) und USA West (Oregon) verfügbar. Die trn1.32xlarge Instances sind in der Region Asien-Pazifik (Melbourne) verfügbar. Sie können einen Kapazitätsblock mit einem Reservierungsstartzeitpunkt bis zu acht Wochen in der Zukunft reservieren.

Sie können Capacity Blocks verwenden, um Instancesp5, p5ep4d, und trn1 Instances mit den folgenden Optionen für Reservierungsdauer und Anzahl der Instanzen zu reservieren.

  • Reservierungsdauern in Schritten von einem Tag bis zu 14 Tagen und in Schritten von 7 Tagen bis zu insgesamt 28 Tagen

  • Optionen für die Anzahl der Reservierungs-Instances: 1, 2, 4, 8, 16, 32 oder 64 Instances

Um einen Kapazitätsblock zu reservieren, geben Sie zunächst Ihren Kapazitätsbedarf an, einschließlich des Instance-Typs, der Anzahl der Instances, der Dauer, des frühesten Startdatums und des spätesten Enddatums, die Sie benötigen. Anschließend wird Ihnen ein verfügbares Kapazitätsblock-Angebot angezeigt, das Ihren Spezifikationen entspricht. Das Angebot für den Kapazitätsblock enthält Details wie Startzeit, Availability Zone und Reservierungspreis. Der Angebotspreis eines Kapazitätsblocks hängt vom verfügbaren Angebot und der Nachfrage zum Zeitpunkt der Bereitstellung des Angebots ab. Nach der Reservierung eines Kapazitätsblocks ändert sich der Preis nicht. Weitere Informationen finden Sie unter Preise und Fakturierung für Kapazitätsblöcke.

Wenn Sie ein Angebot für ein Kapazitätsblock erwerben, wird Ihre Reservierung für das von Ihnen ausgewählte Datum und die Anzahl der Instances erstellt. Wenn Ihre Kapazitätsblock-Reservierung beginnt, können Sie Instances gezielt starten, indem Sie die Reservierungs-ID in Ihren Startanfragen angeben.

Sie können alle von Ihnen reservierten Instances bis 30 Minuten vor dem Endzeitpunkt des Kapazitätsblocks nutzen. Wenn noch 30 Minuten in Ihrer Kapazitätsblock-Reservierung verbleiben, beginnen wir mit der Beendigung aller Instances, die in dem Kapazitätsblock ausgeführt werden. Wir nutzen diese Zeit zur Bereinigung Ihrer Instances, bevor wir den Kapazitätsblock dem nächsten Kunden bereitstellen. Die letzten 30 Minuten der Reservierung werden nicht im Preis des Kapazitätsblocks berechnet. Bis zu EventBridge 10 Minuten vor Beginn des Kündigungsvorgangs senden wir ein Ereignis aus. Weitere Informationen finden Sie unter Überwachen Sie Kapazitätsblöcke mit EventBridge.

Themen

Unterstützte Plattformen

Capacity Blocks für ML unterstützen derzeitp5.48xlarge, p5e.48xlargep4d.24xlarge, und trn1.32xlarge Instances mit Standardmandantenfähigkeit. Wenn Sie den AWS Management Console zum Kauf eines Capacity Blocks verwenden, ist die Standard-Plattformoption UNIX Linux/. Wenn Sie das AWS Command Line Interface () oder AWS CLI AWS SDK Um einen Capacity Block zu kaufen, sind die folgenden Plattformoptionen verfügbar:

  • Linux/Unix

  • Red Hat Enterprise Linux

  • RHELmit HA

  • SUSELinux

  • Ubuntu Pro

Überlegungen

Berücksichtigen Sie vor der Verwendung von Kapazitätsblöcken die folgenden Details und Einschränkungen.

  • Kapazitätsblöcke beginnen und enden um 11:30 Uhr koordinierter Weltzeit (UTC).

  • Der Kündigungsprozess für Instances, die in einem Kapazitätsblock ausgeführt werden, beginnt um 11:00 Uhr der koordinierten Weltzeit (UTC) am letzten Tag der Reservierung.

  • Kapazitätsblöcke können mit einer Startzeit bis zu 8 Wochen in der Zukunft reserviert werden.

  • Änderungen und Stornierungen von Kapazitätsblöcken sind nicht zulässig.

  • Kapazitätsblöcke können nicht zwischen AWS Konten oder innerhalb Ihrer AWS Organisation gemeinsam genutzt werden.

  • Kapazitätsblöcke können nicht in einer Gruppe von Kapazitätsreservierungen verwendet werden.

  • Die Gesamtzahl der Instanzen, die in Kapazitätsblöcken für alle Konten in Ihrer AWS Organisation reserviert werden können, darf an einem bestimmten Datum 64 Instanzen nicht überschreiten.

  • Um einen Kapazitätsblock zu verwenden, müssen Instances gezielt die Reservierungs-ID verwenden.

  • Instances in einem Kapazitätsblock werden nicht auf Ihre On-Demand-Instances angerechnet.

  • Stellen Sie bei P5-Instances, die eine benutzerdefinierte AMI Version verwenden, sicher, dass Sie über die erforderliche Software und Konfiguration für EFA verfügen.

  • Informationen zu von Amazon EKS verwalteten Knotengruppen finden Sie unter Erstellen einer verwalteten Knotengruppe mit Amazon EC2 Capacity Blocks for ML. Informationen zu EKS selbstverwalteten Amazon-Knotengruppen finden Sie unter Verwenden von Kapazitätsblöcken für ML mit selbstverwalteten Knoten.

Nachdem Sie einen Kapazitätsblock erstellt haben, können Sie mit dem Kapazitätsblock Folgendes tun:

Weitere Informationen zu AWS ParallelCluster finden Sie unter Was ist AWS ParallelCluster.