View a markdown version of this page

SageMaker Amazon-Schulungskompiler - Amazon SageMaker KI
Was ist SageMaker Training Compiler?So funktioniert’s

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

SageMaker Amazon-Schulungskompiler

Wichtig

Amazon Web Services (AWS) kündigt an, dass es keine neuen Versionen oder Versionen von SageMaker Training Compiler geben wird. Sie können den SageMaker Training Compiler weiterhin über die vorhandenen AWS Deep Learning Container (DLCs) für Schulungen verwenden. SageMaker Es ist wichtig zu beachten, dass die vorhandenen DLCs zwar weiterhin zugänglich sind, sie aber gemäß der Support-Richtlinie für das AWS Deep Learning Containers Framework keine Patches oder Updates mehr von AWS erhalten.

Verwenden Sie den Amazon SageMaker Training Compiler, um Deep-Learning-Modelle (DL) schneller auf skalierbaren GPU-Instances zu trainieren, die von KI verwaltet werden SageMaker .

Was ist SageMaker Training Compiler?

State-of-the-art Deep-Learning-Modelle (DL) bestehen aus komplexen, vielschichtigen neuronalen Netzwerken mit Milliarden von Parametern, deren Training Tausende von GPU-Stunden in Anspruch nehmen kann. Die Optimierung solcher Modelle in der Trainingsinfrastruktur erfordert umfangreiche Kenntnisse in DL und Systemtechnik. Das ist selbst für enge Anwendungsfälle eine Herausforderung. Auch wenn es Open-Source-Implementierungen von Compilern gibt, die den DL-Trainingsprozess optimieren helfen, fehlt ihnen ggf. die Flexibilität, DL-Frameworks in bestimmte Hardware zu integrieren, z. B. GPU-Instances.

SageMaker Der Training Compiler ist eine SageMaker KI-Fähigkeit, die es schwierig macht, diese Optimierungen zu implementieren, um die Trainingszeit auf GPU-Instances zu reduzieren. Der Compiler optimiert DL-Modelle, um das Training zu beschleunigen, indem er SageMaker KI-GPU-Instances für maschinelles Lernen (ML) effizienter nutzt. SageMaker Der Training Compiler ist innerhalb von SageMaker AI ohne zusätzliche Kosten verfügbar und kann dazu beitragen, die abzurechnende Gesamtzeit zu reduzieren, da er das Training beschleunigt.

Ein konzeptionelles Diagramm, das zeigt, wie SageMaker Training Compiler mit KI arbeitet. SageMaker

SageMaker Der Training Compiler ist in die AWS Deep Learning Container (DLCs) integriert. Mithilfe der SageMaker Training Compiler-fähigen AWS DLCs können Sie Trainingsjobs auf GPU-Instances mit minimalen Änderungen an Ihrem Code kompilieren und optimieren. Bringen Sie Ihre Deep-Learning-Modelle in die SageMaker KI ein und aktivieren Sie den SageMaker Training Compiler, um die Geschwindigkeit Ihrer Trainingsaufgaben auf SageMaker KI-ML-Instances zu beschleunigen und so die Rechenleistung zu beschleunigen.

So funktioniert’s

SageMaker Der Training Compiler konvertiert DL-Modelle von ihrer Hochsprachendarstellung in hardwareoptimierte Anweisungen. Insbesondere wendet SageMaker Training Compiler Optimierungen auf Diagrammebene, Optimierungen auf Datenflussebene und Backend-Optimierungen an, um ein optimiertes Modell zu erstellen, das Hardwareressourcen effizient nutzt. So können Sie Ihre Modelle schneller trainieren, als wenn Sie sie ohne Kompilierung trainieren würden.

Die Aktivierung des Training Compilers für Ihren Trainingsjob erfolgt in zwei Schritten: SageMaker

  1. Bringen Sie Ihr eigenes DL-Skript mit und passen Sie es bei Bedarf an, um es mit SageMaker Training Compiler zu kompilieren und zu trainieren. Weitere Informationen hierzu finden Sie unter Bringen Sie Ihr eigenes Deep-Learning-Modell mit.

  2. Erstellen Sie mithilfe des SageMaker Python-SDK ein SageMaker ModelTrainer AI-Objekt mit dem Compiler-Konfigurationsparameter.

    1. Schalten Sie den SageMaker Training Compiler ein, indem Sie ihn compiler_config=TrainingCompilerConfig() zur SageMaker ModelTrainer AI-Klasse hinzufügen.

    2. Passen Sie die Hyperparameter (batch_sizeundlearning_rate) an, um den Nutzen, den SageMaker Training Compiler bietet, zu maximieren.

      Die Kompilierung mit dem SageMaker Training Compiler verändert den Speicherbedarf des Modells. In den meisten Fällen äußert sich dies darin, dass die Speicherauslastung abnimmt und daraus resultierend in einer Zunahme der Batch-Größe, die auf die GPU passt. In manchen Fällen fördert der Compiler auf intelligente Weise die Zwischenspeicherung. Das führt zu einer Abnahme der größten Batch-Größe, die auf die GPU passt. Beachten Sie, dass Sie die Lernrate entsprechend anpassen müssen, wenn Sie die Batch-Größe ändern wollen.

      Eine Referenz für batch_size, die für beliebte Modelle getestet wuren, finden Sie unter Getestete Modelle.

      Wenn Sie die Batch-Größe anpassen, müssen Sie auch die learning_rate entsprechend anpassen. Bewährte Methoden zur Anpassung der Lernrate zusammen mit der Änderung der Batch-Größe finden Sie unter SageMaker Bewährte Methoden und Überlegungen zum Training Compiler.

    3. Durch Ausführen der model_trainer.train() Klassenmethode kompiliert SageMaker AI Ihr Modell und startet den Trainingsjob.

    Anweisungen zum Starten eines Trainingsauftrags finden Sie unter Aktivieren Sie den SageMaker Training Compiler.

SageMaker Der Training Compiler ändert das endgültige trainierte Modell nicht. Sie können den Trainingsjob jedoch beschleunigen, indem Sie den GPU-Speicher effizienter nutzen und eine größere Batchgröße pro Iteration anpassen. Das trainierte Endmodell aus dem durch den Compiler beschleunigten Trainingsauftrag ist identisch mit dem aus einem gewöhnlichen Trainingsauftrag erhaltenen Modell.

Tipp

SageMaker Training Compiler kompiliert nur DL-Modelle für das Training auf unterstützten GPU-Instanzen, die von KI verwaltet werden. SageMaker Verwenden SageMaker Sie den Neo-Compiler, um Ihr Modell für Inferenzen zu kompilieren und es so bereitzustellen, dass es überall in der Cloud und am Edge ausgeführt werden kann.

Themen