Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Beispiele für die Amazon SageMaker AI-Bibliothek zur Datenparallelität
Auf dieser Seite finden Sie Jupyter-Notebooks mit Beispielen für die Implementierung der SageMaker AI-Bibliothek Distributed Data Parallelism (SMDDP) zur Ausführung verteilter Trainingsaufgaben auf KI. SageMaker
Blogs und Fallstudien
In den folgenden Blogs werden Fallstudien zur Nutzung der Bibliothek erörtert. SMDDP
SMDDPv2-Blogs
-
Ermöglichen Sie schnelleres Training mit der Amazon SageMaker AI-Datenparallelbibliothek
, AWS Machine Learning Blog (5. Dezember 2023)
SMDDPv1-Blogs
-
Wie ich 10 TB für stabile Diffusion auf SageMaker KI in Medium trainiert habe
(29. November 2022) -
PyTorch Lightning und Native PyTorch DDP auf Amazon SageMaker Training mit Amazon Search ausführen
, Blog zum AWS Machine Learning (18. August 2022) -
Schulung YOLOv5 zur parallel Bibliothek AWS mit PyTorch und mit SageMaker KI verteilter Daten
, Medium (6. Mai 2022) -
Beschleunigen Sie EfficientNet das Modelltraining auf SageMaker KI mit PyTorch und der SageMaker AI-Parallelbibliothek für verteilte Daten
, Medium (21. März 2022) -
Beschleunigen Sie das EfficientNet Training AWS mit der parallel SageMaker KI-Datenbibliothek
Towards Data Science (12. Januar 2022) -
Hyundai reduziert mithilfe von Amazon SageMaker AI die Trainingszeit für ML-Modelle für autonomes Fahren
, AWS Machine Learning Blog (25. Juni 2021) -
Verteiltes Training: Trainieren Sie BART /T5 für die Zusammenfassung mithilfe von Transformers und Amazon SageMaker AI
, der Hugging Face Face-Website (8. April 2021)
Beispiel-Notebooks
Beispiel-Notebooks finden Sie im AI Examples Repository. SageMaker GitHub training/distributed_training/pytorch/data_parallel.
Anmerkung
Klonen Sie die Beispiel-Notebooks und führen Sie sie in der folgenden SageMaker AI ML ausIDEs.
-
SageMaker KI JupyterLab (verfügbar in Studio, das nach Dezember 2023 erstellt wurde)
-
SageMaker AI Code Editor (verfügbar in Studio, das nach Dezember 2023 erstellt wurde)
-
Studio Classic (als Anwendung in Studio verfügbar, die nach Dezember 2023 erstellt wurde)
git clone https://github.com/aws/amazon-sagemaker-examples.git cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
SMDDPBeispiele für Version 2
SMDDPBeispiele für Version 1
-
CNNmit PyTorch und der SageMaker KI-Datenparallelitätsbibliothek
-
BERTmit PyTorch und der SageMaker KI-Datenparallelitätsbibliothek
-
CNNmit TensorFlow 2.3.1 und der SageMaker AI-Datenparallelitätsbibliothek
-
BERTmit TensorFlow 2.3.1 und der AI-Datenparallelitätsbibliothek SageMaker
-
HuggingFace Paralleles Training mit verteilten Daten TensorFlow im Bereich KI SageMaker
