Kapazitätsblöcke für ML - Amazon Elastic Compute Cloud
Unterstützte PlattformenÜberlegungenZugehörige Ressourcen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Kapazitätsblöcke für ML

Capacity Blocks for ML ermöglichen es Ihnen, stark nachgefragte GPU Instances zu einem future Zeitpunkt zu reservieren, um Ihre kurzfristigen Machine-Learning-Workloads (ML) zu unterstützen. Instances, die innerhalb eines Kapazitätsblocks ausgeführt werden, werden innerhalb von Amazon automatisch nahe beieinander platziert EC2 UltraClusters, um blockierungsfreie Netzwerke im Petabit-Bereich mit niedriger Latenz zu gewährleisten.

Mit Capacity Blocks können Sie sehen, wann GPU Instance-Kapazität an future Terminen verfügbar ist, und Sie können einen Kapazitätsblock so planen, dass er zu einem Zeitpunkt startet, der für Sie am besten geeignet ist. Wenn Sie einen Kapazitätsblock reservieren, erhalten Sie eine vorhersehbare Kapazitätsgarantie für GPU Instances und zahlen gleichzeitig nur für die Zeit, die Sie benötigen. Wir empfehlen Capacity BlocksGPUs, wenn Sie Ihre ML-Workloads tage- oder wochenlang unterstützen müssen und nicht für eine Reservierung bezahlen möchten, während Ihre GPU Instances nicht genutzt werden.

Im Folgenden sind einige häufige Anwendungsfälle für Kapazitätsblöcke aufgeführt.

  • Training und Feinabstimmung des ML-Modells — Erhalten Sie ununterbrochenen Zugriff auf die GPU Instanzen, die Sie für das Training und die Feinabstimmung des ML-Modells reserviert haben.

  • ML-Experimente und Prototypen — Führen Sie Experimente durch und erstellen Sie Prototypen, für die GPU Instanzen für kurze Zeiträume erforderlich sind.

Kapazitätsblöcke sind derzeit fürp5.48xlarge,,p5e.48xlarge, p5en.48xlarge p4d.24xlargetrn1.32xlarge, und trn2.48xlarge Instances in ausgewählten Regionen wie folgt verfügbar:

  • p5.48xlarge— USA Ost (Nord-Virginia) | USA Ost (Ohio) | USA West (Oregon) | Asien-Pazifik (Tokio)

  • p5e.48xlarge – USA Ost (Ohio)

  • p5en.48xlarge – USA Ost (Ohio)

  • p4d.24xlarge— USA Ost (Ohio) | USA West (Oregon)

  • trn1.32xlarge— USA Ost (Nord-Virginia) | Asien-Pazifik (Melbourne)

  • trn2.48xlarge – USA Ost (Ohio)

Sie können einen Kapazitätsblock mit einem Reservierungsstartzeitpunkt bis zu acht Wochen in der Zukunft reservieren.

Sie können Kapazitätsblöcke verwenden, um p5-, p5e-, p5en-, p4d-, trn1- und trn2-Instances mit den folgenden Optionen für die Reservierungsdauer und die Instance-Anzahl zu reservieren.

  • Reservierungsdauer 1-Tages-Schritten bis zu 14 Tagen und 7-Tages-Schritten bis zu insgesamt 182 Tagen

  • Optionen für die Anzahl der Reservierungs-Instances: 1, 2, 4, 8, 16, 32 oder 64 Instances

Um einen Kapazitätsblock zu reservieren, geben Sie zunächst Ihren Kapazitätsbedarf an, einschließlich der Anzahl der Instances, der benötigten Zeit, dem frühesten Startdatum und dem spätesten Enddatum, dass Sie benötigen. Anschließend wird Ihnen ein verfügbares Kapazitätsblock-Angebot angezeigt, das Ihren Spezifikationen entspricht. Das Angebot für den Kapazitätsblock enthält Details wie Startzeit, Availability Zone und Reservierungspreis. Der Angebotspreis eines Kapazitätsblocks hängt vom verfügbaren Angebot und der Nachfrage zum Zeitpunkt der Bereitstellung des Angebots ab. Nach der Reservierung eines Kapazitätsblocks ändert sich der Preis nicht. Weitere Informationen finden Sie unter Preise und Fakturierung für Kapazitätsblöcke.

Wenn Sie ein Angebot für ein Kapazitätsblock erwerben, wird Ihre Reservierung für das von Ihnen ausgewählte Datum und die Anzahl der Instances erstellt. Wenn Ihre Kapazitätsblock-Reservierung beginnt, können Sie Instances gezielt starten, indem Sie die Reservierungs-ID in Ihren Startanfragen angeben.

Sie können alle von Ihnen reservierten Instances bis 30 Minuten vor dem Endzeitpunkt des Kapazitätsblocks nutzen. Wenn noch 30 Minuten in Ihrer Kapazitätsblock-Reservierung verbleiben, beginnen wir mit der Beendigung aller Instances, die in dem Kapazitätsblock ausgeführt werden. Wir nutzen diese Zeit zur Bereinigung Ihrer Instances, bevor wir den Kapazitätsblock dem nächsten Kunden bereitstellen. Wir senden bis zu EventBridge 10 Minuten vor Beginn des Kündigungsprozesses ein Ereignis. Weitere Informationen finden Sie unter Überwachen Sie Kapazitätsblöcke mit EventBridge.

Themen

Unterstützte Plattformen

Kapazitätsblöcke für ML unterstützen derzeit p5.48xlarge-, p5e.48xlarge-, p5en.48xlarge-, p4d.24xlarge-, trn1.32xlarge- und trn2.48xlarge-Instances mit Standard-Tenancy. Wenn Sie den verwenden AWS Management Console , um einen Capacity Block zu kaufen, ist die Standard-Plattformoption Linux/UNIX. Wenn Sie AWS Command Line Interface ()AWS CLI oder verwenden AWS SDK Um einen Capacity Block zu kaufen, sind die folgenden Plattformoptionen verfügbar:

  • Linux/Unix

  • Red Hat Enterprise Linux

  • RHELmit HA

  • SUSELinux

  • Ubuntu Pro

Überlegungen

Berücksichtigen Sie vor der Verwendung von Kapazitätsblöcken die folgenden Details und Einschränkungen.

  • Sie können Kapazitätsblockangebote beschreiben, die bereits in 30 Minuten beginnen können.

  • Kapazitätsblöcke enden um 11:30 Uhr Koordinierte Weltzeit (UTC).

  • Der Kündigungsprozess für Instances, die in einem Kapazitätsblock ausgeführt werden, beginnt am letzten Tag der Reservierung um 11:00 Uhr der koordinierten Weltzeit (UTC).

  • Kapazitätsblöcke können mit einer Startzeit bis zu 8 Wochen in der Zukunft reserviert werden.

  • Änderungen und Stornierungen von Kapazitätsblöcken sind nicht zulässig.

  • Ein Kapazitätsblock kann nicht verschoben oder aufgeteilt werden.

  • Kapazitätsblöcke können nicht zwischen AWS Konten oder innerhalb Ihrer AWS Organisation gemeinsam genutzt werden.

  • Kapazitätsblöcke können nicht in einer Gruppe von Kapazitätsreservierungen verwendet werden.

  • Die Gesamtzahl der Instanzen, die in Kapazitätsblöcken für alle Konten in Ihrer AWS Organisation reserviert werden können, darf an einem bestimmten Datum 64 Instanzen nicht überschreiten.

  • Um einen Kapazitätsblock zu verwenden, müssen Instances gezielt die Reservierungs-ID verwenden.

  • Instances in einem Kapazitätsblock werden nicht auf Ihre On-Demand-Instances angerechnet.

  • Stellen Sie bei P5-Instances, die eine benutzerdefinierte AMI Version verwenden, sicher, dass Sie über die erforderliche Software und Konfiguration für EFA verfügen.

  • Informationen zu von Amazon EKS verwalteten Knotengruppen finden Sie unter Erstellen einer verwalteten Knotengruppe mit Amazon EC2 Capacity Blocks for ML. Informationen zu EKS selbstverwalteten Amazon-Knotengruppen finden Sie unter Verwenden von Kapazitätsblöcken für ML mit selbstverwalteten Knoten.

Nachdem Sie einen Kapazitätsblock erstellt haben, können Sie mit dem Kapazitätsblock Folgendes tun:

Weitere Informationen zu AWS ParallelCluster finden Sie unter Was ist AWS ParallelCluster.