Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Ressourcen für die Verwendung von Hugging Face mit Amazon AI SageMaker
Mit Amazon SageMaker AI können Kunden mithilfe von Hugging Face-Modellen für Natural Language Processing (NLP) auf KI Inferenz trainieren, optimieren und ausführen. SageMaker Sie können Hugging Face sowohl für Trainings als auch für Inferenzen verwenden. Der folgende Abschnitt enthält Informationen zu Hugging Face-Modellen und enthält Referenzmaterial, anhand dessen Sie lernen können, wie Sie Hugging Face mit KI verwenden können. SageMaker
Diese Funktionalität ist durch die Entwicklung von Hugging Face AWS Deep Learning Containers verfügbar. Zu diesen Containern gehören Hugging Face Transformers, Tokenizers und die Datensatz-Bibliothek, mit der Sie diese Ressourcen für Ihre Trainings- und Inferenzaufgaben verwenden können. Eine Liste der verfügbaren Deep Learning Containers-Images finden Sie unter Verfügbare Deep Learning Containers Images
Informationen zur Verwendung der Hugging Face Deep Learning-Container mit dem SageMaker Python-SDK für Trainingszwecke finden Sie unter Hugging Face AI. SageMaker ModelTrainer
Weitere Informationen zu Hugging Face und den darin verfügbaren Modellen finden Sie in der Hugging Face Dokumentation
Training
Für die Durchführung von Trainings verwenden Sie eines der Tausenden von Modellen, die in Hugging Face verfügbar sind, und sie mit zusätzlichen Trainings an Ihren spezifischen Anwendungsfall anpassen. Mit SageMaker KI können Sie das Standardtraining verwenden oder die Vorteile des SageMaker AI Distributed Data- und Model Parallel-Schulungen nutzen.
Wie bei anderen SageMaker Trainingsjobs, bei denen benutzerdefinierter Code verwendet wird, können Sie Ihre eigenen Metriken erfassen, indem Sie eine Metrikdefinition an das SageMaker Python-SDK übergeben. Ein Beispiel finden Sie unter Definieren von Trainingsmetriken (SageMaker Python SDK). Sie können mit der TrainingJobAnalytics DataFrame auf die erfassten Metriken zugreifen. Nachdem Ihr Modell trainiert und optimiert wurde, können Sie es wie jedes andere Modell verwenden, um Inferenzaufträge auszuführen.
Wie läuft das Training mit dem Hugging Face ModelTrainer
Sie können das Hugging Face ModelTrainer für Trainingsjobs mithilfe des SageMaker AI Python SDK implementieren. Das SageMaker Python SDK ist eine Open-Source-Bibliothek für das Training und den Einsatz von Modellen für maschinelles Lernen auf SageMaker KI. Weitere Informationen zu The Hugging Face ModelTrainer finden Sie in der SageMaker AI-Python-SDK-Dokumentation.
Mit dem SageMaker Python-SDK können Sie Trainingsjobs mit Hugging Face ModelTrainer in den folgenden Umgebungen ausführen:
-
Amazon SageMaker Studio Classic: Studio Classic ist die erste vollständig integrierte Entwicklungsumgebung (IDE) für maschinelles Lernen (ML). Studio Classic bietet eine einzige, webbasierte visuelle Oberfläche, über die Sie alle ML-Entwicklungsschritte ausführen können, die für folgende Zwecke erforderlich sind:
-
vorbereiten
-
Build
-
trainiere und stimme
-
Modelle bereitstellen und verwalten
Informationen zur Verwendung von Jupyter Notebooks in Studio Classic finden Sie unter Verwenden Sie Amazon SageMaker Studio Classic-Notizbücher.
-
-
SageMakerNotebook-Instances: Eine SageMaker Amazon-Notebook-Instance ist eine Recheninstanz für maschinelles Lernen (ML), auf der die Jupyter Notebook App ausgeführt wird. Mit dieser App können Sie Jupyter Notebooks in Ihrer Notebook-Instance ausführen, um:
-
Daten vorzubereiten und zu verarbeiten
-
Code zu schreiben, um Modelle zu trainieren
-
Modelle für KI-Hosting bereitstellen SageMaker
-
Testen oder validieren Sie Ihre Modelle ohne SageMaker Studio-Funktionen wie Debugger, Model Monitoring und eine webbasierte IDE
-
-
Lokal: Wenn Sie über Konnektivität AWS und entsprechende SageMaker KI-Berechtigungen verfügen, können Sie das SageMaker Python-SDK lokal verwenden. Bei lokaler Nutzung können Sie Fernschulungs- und Inferenzaufträge für Hugging Face in SageMaker AI on starten. AWS Dies funktioniert auf Ihrem lokalen Computer sowie auf anderen AWS Diensten mit einem verbundenen SageMaker Python-SDK und entsprechenden Berechtigungen.
Inferenz
Zur Inferenz können Sie Ihr trainiertes Hugging Face-Modell oder eines der vortrainierten Hugging Face-Modelle verwenden, um einen Inferenzjob mit KI durchzuführen. SageMaker Bei dieser Zusammenarbeit benötigen Sie nur eine Codezeile, um sowohl Ihre trainierten Modelle als auch Ihre vortrainierten Modelle mit KI bereitzustellen. SageMaker Sie können auch Inferenzaufträge ausführen, ohne benutzerdefinierten Inferenzcode schreiben zu müssen. Mit benutzerdefiniertem Inferenzcode können Sie die Inferenzlogik anpassen, indem Sie Ihr eigenes Python-Skript bereitstellen.
So stellen Sie einen Inferenzauftrag mit den Hugging Face Deep Learning Containers bereit
Sie haben zwei Möglichkeiten, Inferenzen mit SageMaker KI auszuführen. Sie können die Inferenz mit einem Modell ausführen, das Sie trainiert haben, oder ein vortrainiertes Hugging Face Face-Modell einsetzen.
-
Führen Sie die Inferenz mit Ihrem trainierten Modell aus: Sie haben zwei Möglichkeiten, die Inferenz mit Ihrem eigenen trainierten Modell auszuführen:
-
Führen Sie Inferenzen mit einem Modell durch, das Sie mithilfe eines vorhandenen Hugging Face-Modells mit den SageMaker AI Hugging Face Deep Learning-Containern trainiert haben.
-
Bringen Sie Ihr eigenes vorhandenes Hugging Face-Modell mit und setzen Sie es mithilfe von KI ein. SageMaker
Wenn Sie die Inferenz mit einem Modell ausführen, das Sie mit der SageMaker KI Hugging Face trainiert haben ModelTrainer, können Sie das Modell sofort nach Abschluss des Trainings bereitstellen. Sie können das trainierte Modell auch in einen Amazon-S3-Bucket hochladen und es bei der späteren Ausführung von Inference aufnehmen.
Wenn Sie Ihr eigenes vorhandenes Hugging-Face-Modell mitbringen, müssen Sie das trainierte Modell in einen Amazon-S3-Bucket hochladen. Sie nehmen diesen Bucket dann auf, wenn Sie Inferenz ausführen, wie unter Deploy your Hugging Face Transformers
für das Inferenzbeispiel gezeigt. -
-
Führen Sie Inferenzen mit einem vortrainierten HuggingFace Modell durch: Sie können eines der Tausenden von vortrainierten Hugging Face-Modellen verwenden, um Ihre Inferenzaufgaben auszuführen, ohne dass zusätzliches Training erforderlich ist. Um die Inferenz auszuführen, wählen Sie das vortrainierte Modell aus der Liste der Hugging-Face-Modelle
aus, wie im Beispiel „Vortrainierte Hugging-Face-Transformers für die Inferenz bereitstellen“ beschrieben.
Was möchten Sie tun?
Die folgenden Notizbücher im Hugging Face-Notizbuch-Repository zeigen, wie Sie die Hugging Face Deep Learning Container mit KI in verschiedenen Anwendungsfällen verwenden können. SageMaker
- Ich möchte ein Textklassifizierungsmodell mithilfe von Hugging Face in AI with trainieren und einsetzen. SageMaker PyTorch
-
Ein Beispiel für ein Jupyter Notebook finden Sie in der Getting Started Demo. PyTorch
- Ich möchte ein Textklassifizierungsmodell mithilfe von Hugging Face in AI with trainieren und implementieren. SageMaker TensorFlow
-
Ein Beispiel für ein Jupyter Notebook finden Sie im Beispiel Erste Schritte. TensorFlow
- Ich möchte mithilfe von Hugging Face und AI Distributed verteiltes Training mit Datenparallelität durchführen. SageMaker
-
Ein Beispiel für ein Jupyter Notebook finden Sie im Distributed Trainingsbeispiel
. - Ich möchte ein verteiltes Training mit Modellparallelität unter Verwendung von Hugging Face und AI Distributed durchführen. SageMaker
-
Ein Beispiel für ein Jupyter Notebook finden Sie im Model Parallelismbeispiel
- Ich möchte eine Spot-Instance verwenden, um ein Modell mithilfe von Hugging Face in AI zu trainieren und bereitzustellen. SageMaker
-
Ein Beispiel für ein Jupyter Notebook finden Sie im Beispiel Spot-Instances
. - Ich möchte benutzerdefinierte Metriken erfassen und SageMaker KI-Checkpointing verwenden, wenn ich ein Textklassifizierungsmodell mit Hugging Face in AI trainiere. SageMaker
-
Ein Beispiel für ein Jupyter Notebook finden Sie im Beispiel Training mit benutzerdefinierten Metriken
- Ich möchte ein TensorFlow Modell zur verteilten Beantwortung von Fragen mithilfe von Hugging Face in KI trainieren. SageMaker
-
Ein Beispiel für ein Jupyter Notebook finden Sie im Beispiel für verteiltes Training. TensorFlow
- Ich möchte ein verteiltes Zusammenfassungsmodell mithilfe von Hugging Face in AI trainieren. SageMaker
-
Ein Beispiel für ein Jupyter Notebook finden Sie im Beispiel Distributed Summarization Training
. - Ich möchte ein Bildklassifizierungsmodell mithilfe von Hugging Face in AI trainieren. SageMaker
-
Ein Beispiel für ein Jupyter Notebook finden Sie im Beispiel Vision Transformer Training
. - Ich möchte mein trainiertes Hugging Face-Modell in KI einsetzen. SageMaker
-
Ein Beispiel für ein Jupyter Notebook finden Sie im Beispiel Setzen Sie Ihre Umarmungsgesicht-Transformatoren für das Inferenzbeispiel ein
. - Ich möchte ein vortrainiertes Hugging Face-Modell in KI einsetzen. SageMaker
-
Ein Beispiel für ein Jupyter Notebook finden Sie im Beispiel Einsatz von vorab trainierten Umarmungsgesichtstransformatoren für ein Inferenzbeispiel
.
