SageMaker Amazon-Schulungs-Compiler - Amazon SageMaker
Was ist SageMaker Training Compiler?So funktioniert’s

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

SageMaker Amazon-Schulungs-Compiler

Wichtig

Amazon Web Services (AWS) gibt bekannt, dass es keine neuen Releases oder Versionen von SageMaker Training Compiler geben wird. Sie können SageMaker Training Compiler weiterhin über die vorhandenen AWS Deep Learning Containers (DLCs) für SageMaker Schulungen verwenden. Es ist wichtig zu beachten, dass auf die vorhandenen DLCs Dateien zwar weiterhin zugegriffen werden kann, sie jedoch gemäß der Support-Richtlinie für AWS Deep Learning Containers Framework keine Patches oder Updates mehr erhalten. AWS

Verwenden Sie Amazon SageMaker Training Compiler, um Deep-Learning-Modelle (DL) schneller auf skalierbaren GPU Instances zu trainieren, die von verwaltet werden SageMaker.

Was ist SageMaker Training Compiler?

tate-of-the-art S-Deep-Learning-Modelle (DL) bestehen aus komplexen, mehrschichtigen neuronalen Netzwerken mit Milliarden von Parametern, deren Training Tausende von GPU Stunden dauern kann. Die Optimierung solcher Modelle in der Trainingsinfrastruktur erfordert umfangreiche Kenntnisse in DL und Systemtechnik. Das ist selbst für enge Anwendungsfälle eine Herausforderung. Obwohl es Open-Source-Implementierungen von Compilern gibt, die den DL-Trainingsprozess optimieren, fehlt ihnen möglicherweise die Flexibilität, DL-Frameworks in einige Hardwarekomponenten wie Instanzen zu integrieren. GPU

SageMaker Training Compiler ist eine Funktion von SageMaker , die diese hard-to-implement Optimierungen vornimmt, um die Trainingszeit für Instanzen zu reduzieren. GPU Der Compiler optimiert DL-Modelle, um das Training zu beschleunigen, indem SageMaker maschinelles Lernen (ML) -Instanzen effizienter genutzt werden. GPU SageMaker Der Training Compiler ist ohne zusätzliche Kosten erhältlich SageMaker und kann dazu beitragen, die gesamte abzurechnende Zeit zu reduzieren, da er die Schulung beschleunigt.

Ein konzeptionelles Diagramm der Funktionsweise von SageMaker Training Compiler mit. SageMaker

SageMaker Der Training Compiler ist in die AWS Deep Learning Containers (DLCs) integriert. Wenn der SageMaker Training Compiler aktiviert ist AWS DLCs, können Sie Trainingsjobs auf GPU Instanzen mit minimalen Änderungen an Ihrem Code kompilieren und optimieren. Bringen Sie Ihre Deep-Learning-Modelle auf SageMaker und aktivieren Sie SageMaker Training Compiler, um die Geschwindigkeit Ihrer Trainingsaufgabe auf SageMaker ML-Instances zu beschleunigen und so die Rechenleistung zu beschleunigen.

So funktioniert’s

SageMaker Training Compiler konvertiert DL-Modelle von ihrer hochsprachlichen Darstellung in hardwareoptimierte Anweisungen. Insbesondere wendet SageMaker Training Compiler Optimierungen auf Diagrammebene, Optimierungen auf Datenflussebene und Backend-Optimierungen an, um ein optimiertes Modell zu erstellen, das Hardwareressourcen effizient nutzt. So können Sie Ihre Modelle schneller trainieren, als wenn Sie sie ohne Kompilierung trainieren würden.

Die Aktivierung von Training Compiler für Ihre Trainingsaufgabe erfolgt in zwei Schritten: SageMaker

  1. Bringen Sie Ihr eigenes DL-Skript mit und passen Sie es bei Bedarf an, um es mit SageMaker Training Compiler zu kompilieren und zu trainieren. Weitere Informationen hierzu finden Sie unter Bringen Sie Ihr eigenes Deep-Learning-Modell mit.

  2. Erstellen Sie mithilfe von SageMaker Python ein Estimator-Objekt mit dem Compiler-Konfigurationsparameter. SageMaker SDK

    1. Aktivieren Sie den SageMaker Training Compiler, indem Sie der Estimator-Klasse compiler_config=TrainingCompilerConfig() etwas hinzufügen. SageMaker

    2. Passen Sie die Hyperparameter (batch_sizeundlearning_rate) an, um den Nutzen, den SageMaker Training Compiler bietet, zu maximieren.

      Durch die Kompilierung mit dem SageMaker Training Compiler ändert sich der Speicherbedarf des Modells. In den meisten Fällen äußert sich dies in einer Verringerung der Speicherauslastung und einer daraus resultierenden Erhöhung der größten Batchgröße, die darauf passen kann. GPU In einigen Fällen fördert der Compiler auf intelligente Weise das Zwischenspeichern, was zu einer Verringerung der größten Batchgröße führt, die darauf passen kann. GPU Beachten Sie, dass Sie die Lernrate entsprechend anpassen müssen, wenn Sie die Batch-Größe ändern wollen.

      Eine Referenz für batch_size, die für beliebte Modelle getestet wuren, finden Sie unter Getestete Modelle.

      Wenn Sie die Batch-Größe anpassen, müssen Sie auch die learning_rate entsprechend anpassen. Bewährte Methoden zur Anpassung der Lernrate zusammen mit der Änderung der Batch-Größe finden Sie unter SageMaker Bewährte Methoden und Überlegungen zum Training Compiler.

    3. Durch Ausführen der estimator.fit() Klassenmethode wird Ihr Modell SageMaker kompiliert und der Trainingsjob gestartet.

    Anweisungen zum Starten eines Trainingsauftrags finden Sie unter Aktivieren Sie den SageMaker Training Compiler.

SageMaker Der Training Compiler ändert das endgültige trainierte Modell nicht und ermöglicht es Ihnen, den Trainingsjob zu beschleunigen, indem Sie den GPU Speicher effizienter nutzen und eine größere Batchgröße pro Iteration anpassen. Das trainierte Endmodell aus dem durch den Compiler beschleunigten Trainingsauftrag ist identisch mit dem aus einem gewöhnlichen Trainingsauftrag erhaltenen Modell.

Tipp

SageMaker Der Training Compiler kompiliert nur DL-Modelle für das Training auf unterstützten GPU Instanzen, die von verwaltet werden. SageMaker Verwenden SageMaker Sie den Neo-Compiler, um Ihr Modell für die Inferenz zu kompilieren und es so bereitzustellen, dass es überall in der Cloud und am Edge ausgeführt werden kann.

Themen