Importieren Sie ein benutzerdefiniertes Modell in Amazon Bedrock - Amazon Bedrock
Unterstützte ArchitekturenQuelle importieren

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Importieren Sie ein benutzerdefiniertes Modell in Amazon Bedrock

Sie können ein benutzerdefiniertes Modell in Amazon Bedrock erstellen, indem Sie die Funktion Amazon Bedrock Custom Model Import verwenden, um Foundation-Modelle zu importieren, die Sie in anderen Umgebungen wie Amazon SageMaker AI angepasst haben. Beispielsweise haben Sie möglicherweise ein Modell, das Sie in Amazon SageMaker AI erstellt haben und das über eigene Modellgewichte verfügt. Sie können dieses Modell jetzt in Amazon Bedrock importieren und dann die Funktionen von Amazon Bedrock nutzen, um Rückschlüsse auf das Modell zu ziehen.

Sie können ein Modell verwenden, das Sie mit On-Demand-Durchsatz importieren. Verwenden Sie die InvokeModelWithResponseStreamOperationen InvokeModeloder, um Rückschlüsse auf das Modell zu ziehen. Weitere Informationen finden Sie unter Senden Sie eine einzelne Aufforderung mit InvokeModel.

Amazon Bedrock Custom Model Import wird in den folgenden Regionen unterstützt (weitere Informationen zu den in Amazon Bedrock unterstützten Regionen finden Sie unter Amazon Bedrock Endpoints and Quotas):

  • USA Ost (Nord-Virginia)

  • USA West (Oregon)

Anmerkung

Stellen Sie sicher, dass Ihr Import und Ihre Verwendung der Modelle in Amazon Bedrock den für die Modelle geltenden Bedingungen oder Lizenzen entsprechen.

Sie können den Import von benutzerdefinierten Modellen nicht mit den folgenden Amazon Bedrock-Funktionen verwenden.

  • Batch-Inferenz

  • AWS CloudFormation

Mit dem Import benutzerdefinierter Modelle können Sie ein benutzerdefiniertes Modell erstellen, das die folgenden Muster unterstützt.

  • Optimiertes Modell oder Fortführung des Modells vor dem Training — Sie können die Modellgewichte anhand eigener Daten anpassen, aber die Konfiguration des Basismodells beibehalten.

  • Anpassung Sie können das Modell für Anwendungsfälle, in denen sich das Modell nicht gut verallgemeinern lässt, an Ihre Domäne anpassen. Bei der Domänenanpassung wird ein Modell so modifiziert, dass es für eine Zieldomäne generalisiert und Diskrepanzen zwischen den Bereichen berücksichtigt werden, z. B. wenn die Finanzbranche ein Modell erstellen möchte, das sich gut auf die Preisgestaltung verallgemeinern lässt. Ein anderes Beispiel ist die Sprachanpassung. Sie könnten beispielsweise ein Modell so anpassen, dass Antworten auf Portugiesisch oder Tamilisch generiert werden. In den meisten Fällen beinhaltet dies Änderungen am Wortschatz des Modells, das Sie verwenden.

  • Von Grund auf vortrainiert — Sie können nicht nur die Gewichtung und das Vokabular des Modells anpassen, sondern auch die Modellkonfigurationsparameter wie die Anzahl der Aufmerksamkeitsheads, verborgene Ebenen oder die Länge des Kontextes ändern.

Themen

Unterstützte Architekturen

Das Modell, das Sie importieren, muss sich in einer der folgenden Architekturen befinden.

  • Mistral— Eine ausschließlich auf Decodern basierende Transformer-Architektur mit Sliding Window Attention (SWA) und Optionen für Grouped Query Attention (GQA). Weitere Informationen finden Sie unter Mistralin der Hugging Face Face-Dokumentation.

    Anmerkung

    Amazon Bedrock Custom Model Import unterstützt nicht Mistral Nemozu diesem Zeitpunkt.

  • Mixtral— Ein Transformatormodell nur für Decoder mit spärlichen Modellen (Mixture of Experts, MoE). Weitere Informationen finden Sie unter Mixtral in der Hugging Face Face-Dokumentation.

  • Flan — Eine erweiterte Version der T5-Architektur, ein auf Encoder-Decodern basierendes Transformatormodell. Weitere Informationen finden Sie unter Flan T5in der Hugging Face Face-Dokumentation.

  • Llama 2, Llama3, Llama3.1, Llama3.2, und Llama 3.3— Eine verbesserte Version von Llama mit Grouped Query Attention (GQA). Weitere Informationen finden Sie unter Llama 2, Llama 3, Llama 3.1, Llama 3.2, und Llama 3.3in der Hugging Face -Dokumentation.

Anmerkung

  • Die Größe der importierten Modellgewichte muss weniger als 100 GB für multimodale Modelle und 200 GB für Textmodelle betragen.

  • Amazon Bedrock unterstützt die Transformer-Version 4.45.2. Stellen Sie bei der Feinabstimmung Ihres Modells sicher, dass Sie die Transformer-Version 4.45.2 verwenden.

Quelle importieren

Sie importieren ein Modell in Amazon Bedrock, indem Sie einen Modellimportauftrag in der Amazon Bedrock-Konsole oder API erstellen. In dem Job geben Sie den Amazon S3 S3-URI für die Quelle der Modelldateien an. Wenn Sie das Modell in Amazon SageMaker AI erstellt haben, können Sie das SageMaker KI-Modell alternativ angeben. Während des Modelltrainings erkennt der Importjob automatisch die Architektur Ihres Modells.

Wenn Sie aus einem Amazon S3 S3-Bucket importieren, müssen Sie die Modelldateien in der Hugging Face Gewichte im Format. Sie können die Dateien mithilfe der Hugging Face Face-Transformer-Bibliothek erstellen. Um Modelldateien für ein zu erstellen Llama Modell, siehe convert_llama_weights_to_hf.py. Um die Dateien für ein zu erstellen Mistral AI Modell, siehe convert_mistral_weights_to_hf.py.

Um das Modell aus Amazon S3 zu importieren, benötigen Sie mindestens die folgenden Dateien, die die Hugging Face Face-Transformer-Bibliothek erstellt.

  • .safetensor — Die Gewichte des Modells werden im Safetensor-Format angegeben. Safetensors ist ein Format, das von erstellt wurde Hugging Face das die Gewichte eines Modells als Tensoren speichert. Sie müssen die Tensoren für Ihr Modell in einer Datei mit der Erweiterung speichern. .safetensors Weitere Informationen finden Sie unter Safetensors. Informationen zur Konvertierung von Modellgewichten in das Safetensor-Format finden Sie unter Gewichte in Safetensors konvertieren.

    Anmerkung

    • Derzeit unterstützt Amazon Bedrock nur Modellgewichte mit FP32 FP16, und BF16 Präzision. Amazon Bedrock lehnt Modellgewichte ab, wenn Sie sie mit einer anderen Genauigkeit liefern. Intern wird Amazon Bedrock FP32 Modelle auf BF16 Precision umstellen.

    • Amazon Bedrock unterstützt den Import von quantisierten Modellen nicht.

  • config.json — Beispiele finden Sie unter und. LlamaConfigMistralConfig

    Anmerkung

    Amazon Bedrock überschreibt llama3 rope_scalingWert mit den folgenden Werten:

    • original_max_position_embeddings=8192

    • high_freq_factor=4

    • low_freq_factor=1

    • factor=8

  • tokenizer_config.json Ein Beispiel finden Sie unter. LlamaTokenizer

  • tokenizer.json

  • tokenizer.model

Unterstützte Tokenizer

Amazon Bedrock Custom Model Import unterstützt die folgenden Tokenizer. Sie können diese Tokenizer mit jedem Modell verwenden.

  • T5-Tokenizer

  • T5 TokenizerFast

  • LlamaTokenizer

  • LlamaTokenizerFast

  • CodeLlamaTokenizer

  • CodeLlamaTokenizerFast

  • GPT2Tokenisierer

  • GPT2TokenizerFast

  • GPTNeoXTokenizer

  • GPTNeoXTokenizerSchnell

  • PreTrainedTokenizer

  • PreTrainedTokenizerFast