Kapazitätsblöcke für ML - Amazon Elastic Compute Cloud
Unterstützte PlattformenÜberlegungenZugehörige Ressourcen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Kapazitätsblöcke für ML

Mit Kapazitätsblöcken für ML können Sie stark nachgefragte GPU-Instances zu einem späteren Zeitpunkt reservieren, um Ihre kurzzeitigen Machine Learning (ML)-Workloads zu unterstützen. Instances, die innerhalb eines Kapazitätsblocks ausgeführt werden, werden innerhalb von Amazon automatisch nahe beieinander platziert EC2 UltraClusters, um blockierungsfreie Netzwerke im Petabit-Bereich mit niedriger Latenz zu gewährleisten.

Mit Kapazitätsblöcken können Sie sehen, wann GPU-Instance-Kapazität an zukünftigen Terminen verfügbar ist, und Sie können einen Kapazitätsblock so planen, dass er zu einem Zeitpunkt startet, der für Sie am besten passt. Wenn Sie einen Kapazitätsblock reservieren, erhalten Sie eine vorhersehbare Kapazitätsgarantie für GPU-Instance und zahlen nur für die Zeit, die Sie benötigen. Wir empfehlen Capacity Blocks, wenn Sie Ihre ML-Workloads tage- oder wochenlang unterstützen müssen GPUs und nicht für eine Reservierung bezahlen möchten, während Ihre GPU-Instances nicht genutzt werden.

Im Folgenden sind einige häufige Anwendungsfälle für Kapazitätsblöcke aufgeführt.

  • Modell-Training und Feinabstimmung für Machine Learning (ML) – Erhalten Sie ununterbrochenen Zugriff auf die GPU-Instances, die Sie für die Durchführung des ML-Modell-Trainings und der Feinabstimmung reserviert haben.

  • ML-Experimente und Prototypen – Führen Sie Experimente durch und erstellen Sie Prototypen, die kurzfristig GPU-Instances erfordern.

Kapazitätsblöcke sind derzeit fürp5.48xlarge,, p5e.48xlarge p5en.48xlarge p4d.24xlargetrn1.32xlarge, und trn2.48xlarge Instances in ausgewählten Regionen wie folgt verfügbar:

  • p5.48xlarge— USA Ost (Nord-Virginia) | USA Ost (Ohio) | USA West (Oregon) | Asien-Pazifik (Tokio)

  • p5e.48xlarge— USA Ost (Ohio) | Europa (Stockholm)

  • p5en.48xlarge – USA Ost (Ohio)

  • p4d.24xlarge— USA Ost (Nord-Virginia) | USA Ost (Ohio) | USA West (Oregon)

  • trn1.32xlarge— USA Ost (Nord-Virginia) | Asien-Pazifik (Melbourne)

  • trn2.48xlarge – USA Ost (Ohio)

Sie können einen Kapazitätsblock mit einem Reservierungsstartzeitpunkt bis zu acht Wochen in der Zukunft reservieren.

Sie können Kapazitätsblöcke verwenden, um p5-, p5e-, p5en-, p4d-, trn1- und trn2-Instances mit den folgenden Optionen für die Reservierungsdauer und die Instance-Anzahl zu reservieren.

  • Reservierungsdauer 1-Tages-Schritten bis zu 14 Tagen und 7-Tages-Schritten bis zu insgesamt 182 Tagen

  • Optionen für die Anzahl der Reservierungs-Instances: 1, 2, 4, 8, 16, 32 oder 64 Instances

Um einen Kapazitätsblock zu reservieren, geben Sie zunächst Ihren Kapazitätsbedarf an, einschließlich der Anzahl der Instances, der benötigten Zeit, dem frühesten Startdatum und dem spätesten Enddatum, dass Sie benötigen. Anschließend wird Ihnen ein verfügbares Kapazitätsblock-Angebot angezeigt, das Ihren Spezifikationen entspricht. Das Angebot für den Kapazitätsblock enthält Details wie Startzeit, Availability Zone und Reservierungspreis. Der Angebotspreis eines Kapazitätsblocks hängt vom verfügbaren Angebot und der Nachfrage zum Zeitpunkt der Bereitstellung des Angebots ab. Nach der Reservierung eines Kapazitätsblocks ändert sich der Preis nicht. Weitere Informationen finden Sie unter Preise und Fakturierung für Kapazitätsblöcke.

Wenn Sie ein Angebot für ein Kapazitätsblock erwerben, wird Ihre Reservierung für das von Ihnen ausgewählte Datum und die Anzahl der Instances erstellt. Wenn Ihre Kapazitätsblock-Reservierung beginnt, können Sie Instances gezielt starten, indem Sie die Reservierungs-ID in Ihren Startanfragen angeben.

Sie können alle von Ihnen reservierten Instances bis 30 Minuten vor dem Endzeitpunkt des Kapazitätsblocks nutzen. Wenn noch 30 Minuten in Ihrer Kapazitätsblock-Reservierung verbleiben, beginnen wir mit der Beendigung aller Instances, die in dem Kapazitätsblock ausgeführt werden. Wir nutzen diese Zeit zur Bereinigung Ihrer Instances, bevor wir den Kapazitätsblock dem nächsten Kunden bereitstellen. Wir senden bis zu EventBridge 10 Minuten vor Beginn des Kündigungsprozesses ein Ereignis. Weitere Informationen finden Sie unter Überwachen Sie Kapazitätsblöcke mit EventBridge.

Themen

Unterstützte Plattformen

Kapazitätsblöcke für ML unterstützen derzeit p5.48xlarge-, p5e.48xlarge-, p5en.48xlarge-, p4d.24xlarge-, trn1.32xlarge- und trn2.48xlarge-Instances mit Standard-Tenancy. Wenn Sie den AWS Management Console zum Kauf eines Capacity Blocks verwenden, ist die Standard-Plattformoption Linux/UNIX. Wenn Sie () oder verwenden AWS Command Line Interface AWS CLI AWS SDK Um einen Capacity Block zu kaufen, sind die folgenden Plattformoptionen verfügbar:

  • Linux/Unix

  • Red Hat Enterprise Linux

  • RHEL mit HA

  • SUSE Linux

  • Ubuntu Pro

Überlegungen

Berücksichtigen Sie vor der Verwendung von Kapazitätsblöcken die folgenden Details und Einschränkungen.

  • Sie können Kapazitätsblockangebote beschreiben, die bereits in 30 Minuten beginnen können.

  • Kapazitätsblöcke beginnen und enden um 11:30 Uhr koordinierte Weltzeit (UTC).

  • Der Beendigungsprozess für Instances, die in einem Kapazitätsblock ausgeführt werden, beginnt um 11:00 Uhr koordinierter Weltzeit (UTC) am letzten Tag der Reservierung.

  • Kapazitätsblöcke können mit einer Startzeit bis zu 8 Wochen in der Zukunft reserviert werden.

  • Änderungen und Stornierungen von Kapazitätsblöcken sind nicht zulässig.

  • Ein Kapazitätsblock kann nicht verschoben oder aufgeteilt werden.

  • Kapazitätsblöcke können nicht zwischen AWS Konten oder innerhalb Ihrer AWS Organisation gemeinsam genutzt werden.

  • Kapazitätsblöcke können nicht in einer Gruppe von Kapazitätsreservierungen verwendet werden.

  • Die Gesamtzahl der Instanzen, die in Kapazitätsblöcken für alle Konten in Ihrer AWS Organisation reserviert werden können, darf an einem bestimmten Datum 64 Instanzen nicht überschreiten.

  • Um einen Kapazitätsblock zu verwenden, müssen Instances gezielt die Reservierungs-ID verwenden.

  • Instances in einem Kapazitätsblock werden nicht auf Ihre On-Demand-Instances angerechnet.

  • Stellen Sie für P5-Instances, die ein benutzerdefiniertes AMI verwenden, sicher, dass Sie über die erforderliche Software und Konfiguration für EFA verfügen.

  • Informationen zu verwalteten Amazon EKS-Knotengruppen finden Sie unter Erstellen einer verwalteten Knotengruppe mit Amazon EC2 Capacity Blocks for ML. Informationen zu selbstverwalteten Amazon-EKS-Knotengruppen finden Sie unter Verwenden von Kapazitätsblöcken für ML mit selbstverwalteten Knoten.

Nachdem Sie einen Kapazitätsblock erstellt haben, können Sie mit dem Kapazitätsblock Folgendes tun:

Weitere Informationen zu AWS ParallelCluster finden Sie unter Was ist AWS ParallelCluster.