Erweiterte Einstellungen - Amazon SageMaker KI
Verwenden Sie den SageMaker HyperPod Adapter, um Ihr eigenes Modell zu erstellen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erweiterte Einstellungen

Der SageMaker HyperPod Rezeptadapter basiert auf den Frameworks Nvidia Nemo und PyTorch-Lightning. Wenn Sie diese Frameworks bereits verwendet haben, ist die Integration Ihrer benutzerdefinierten Modelle oder Funktionen in den SageMaker HyperPod Rezeptadapter ein ähnlicher Prozess. Sie können nicht nur den Rezeptadapter ändern, sondern auch Ihr eigenes Skript vor dem Training oder zur Feinabstimmung ändern. Anleitungen zum Schreiben Ihres benutzerdefinierten Trainingsskripts finden Sie in den Beispielen.

Verwenden Sie den SageMaker HyperPod Adapter, um Ihr eigenes Modell zu erstellen

Im Rezeptadapter können Sie die folgenden Dateien an den folgenden Speicherorten anpassen:

  1. collections/data: Enthält ein Modul, das für das Laden von Datensätzen zuständig ist. Derzeit unterstützt es nur Datensätze von. HuggingFace Wenn Sie erweiterte Anforderungen haben, können Sie mithilfe der Codestruktur benutzerdefinierte Datenmodule innerhalb desselben Ordners hinzufügen.

  2. collections/model: Beinhaltet die Definitionen verschiedener Sprachmodelle. Derzeit unterstützt es gängige große Sprachmodelle wie Llama, Mixtral und Mistral. Sie haben die Flexibilität, Ihre eigenen Modelldefinitionen in diesen Ordner einzufügen.

  3. collections/parts: Dieser Ordner enthält Strategien für das verteilte Training von Modellen. Ein Beispiel ist die Strategie Fully Sharded Data Parallel (FSDP), die es ermöglicht, ein umfangreiches Sprachmodell auf mehrere Accelerators aufzuteilen. Darüber hinaus unterstützen die Strategien verschiedene Formen der Modellparallelität. Sie haben auch die Möglichkeit, Ihre eigenen maßgeschneiderten Trainingsstrategien für das Modelltraining einzuführen.

  4. utils: Enthält verschiedene Hilfsprogramme, die die Verwaltung einer Ausbildungsstelle erleichtern sollen. Es dient als Aufbewahrungsort für Ihre eigenen Tools. Sie können Ihre eigenen Tools für Aufgaben wie Problembehandlung oder Benchmarking verwenden. Sie können diesem Ordner auch Ihre eigenen personalisierten PyTorch Lightning-Rückrufe hinzufügen. Sie können PyTorch Lightning-Rückrufe verwenden, um bestimmte Funktionen oder Abläufe nahtlos in den Schulungslebenszyklus zu integrieren.

  5. conf: Enthält die Definitionen des Konfigurationsschemas, die für die Validierung bestimmter Parameter in einem Trainingsjob verwendet werden. Wenn Sie neue Parameter oder Konfigurationen einführen, können Sie Ihr benutzerdefiniertes Schema zu diesem Ordner hinzufügen. Sie können das benutzerdefinierte Schema verwenden, um die Validierungsregeln zu definieren. Sie können Datentypen, Bereiche oder jede andere Parameterbeschränkung validieren. Sie können auch Ihr eigenes benutzerdefiniertes Schema definieren, um die Parameter zu validieren.