Verteiltes Training mit der Bibliothek für SageMaker verteilte Datenparallelität - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verteiltes Training mit der Bibliothek für SageMaker verteilte Datenparallelität

Die Bibliothek für SageMaker verteilte Datenparallelität (SMDDP) wurde so konzipiert, dass sie benutzerfreundlich ist und eine nahtlose Integration mit ermöglicht. PyTorch

Wenn Sie ein Deep-Learning-Modell bei eingeschalteter SMDDP Bibliothek trainieren SageMaker, können Sie sich darauf konzentrieren, Ihr Trainingsskript zu schreiben und das Training zu modellieren.

Importieren Sie zunächst die SMDDP Bibliothek, um ihre kollektiven Operationen zu verwenden, für die sie optimiert sind AWS. Die folgenden Themen enthalten Anweisungen dazu, was Sie Ihrem Trainingsskript hinzufügen können, je nachdem, welchen kollektiven Vorgang Sie optimieren möchten.