Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Importer un modèle personnalisé dans Amazon Bedrock
Vous pouvez créer un modèle personnalisé dans Amazon Bedrock en utilisant la fonction d'importation de modèles personnalisés d'Amazon Bedrock pour importer des modèles de base que vous avez personnalisés dans d'autres environnements, tels qu'Amazon SageMaker AI. Par exemple, vous pouvez avoir un modèle que vous avez créé dans Amazon SageMaker AI qui possède des pondérations de modèle propriétaires. Vous pouvez désormais importer ce modèle dans Amazon Bedrock, puis utiliser les fonctionnalités d'Amazon Bedrock pour effectuer des appels d'inférence vers le modèle.
Vous pouvez utiliser un modèle que vous importez avec un débit à la demande. Utilisez les InvokeModelWithResponseStreamopérations InvokeModelor pour effectuer des appels d'inférence vers le modèle. Pour de plus amples informations, veuillez consulter Soumettez une seule invite avec InvokeModel.
L'importation de modèles personnalisés Amazon Bedrock est prise en charge dans les régions suivantes (pour plus d'informations sur les régions prises en charge dans Amazon Bedrock, consultez la section Points de terminaison et quotas Amazon Bedrock) :
-
USA Est (Virginie du Nord)
-
USA Ouest (Oregon)
Note
Assurez-vous que votre importation et votre utilisation des modèles dans Amazon Bedrock sont conformes aux conditions ou aux licences applicables aux modèles.
Vous ne pouvez pas utiliser l'importation de modèles personnalisés avec les fonctionnalités Amazon Bedrock suivantes.
Inférence par lots
AWS CloudFormation
Avec l'importation de modèles personnalisés, vous pouvez créer un modèle personnalisé qui prend en charge les modèles suivants.
-
Modèle affiné ou de pré-entraînement continu : vous pouvez personnaliser les pondérations du modèle à l'aide de données propriétaires, tout en conservant la configuration du modèle de base.
-
Adaptation Vous pouvez personnaliser le modèle en fonction de votre domaine pour les cas d'utilisation où le modèle ne se généralise pas bien. L'adaptation par domaine modifie un modèle afin de le généraliser pour un domaine cible et de gérer les divergences entre les domaines, par exemple si le secteur financier souhaite créer un modèle qui généralise bien les prix. L'adaptation linguistique est un autre exemple. Par exemple, vous pouvez personnaliser un modèle pour générer des réponses en portugais ou en tamoul. Le plus souvent, cela implique de modifier le vocabulaire du modèle que vous utilisez.
-
Préparation initiale : en plus de personnaliser les poids et le vocabulaire du modèle, vous pouvez également modifier les paramètres de configuration du modèle, tels que le nombre de têtes d'attention, les couches masquées ou la longueur du contexte.
Rubriques
Architectures prises en charge
Le modèle que vous importez doit se trouver dans l'une des architectures suivantes.
-
Mistral— Une architecture basée sur un transformateur uniquement avec Sliding Window Attention (SWA) et des options pour Grouped Query Attention (GQA). Pour plus d’informations, consultez .Mistral
dans la documentation de Hugging Face. Note
L'importation de modèles personnalisés Amazon Bedrock n'est pas prise en charge Mistral Nemo
en ce moment. -
Mixtral— Un modèle de transformateur uniquement équipé d'un décodeur avec de rares modèles Mixture of Experts (MoE). Pour plus d’informations, consultez .Mixtral
dans la documentation de Hugging Face. -
Flan — Une version améliorée de l'architecture T5, un modèle de transformateur basé sur un encodeur-décodeur. Pour plus d’informations, consultez .Flan T5
dans la documentation de Hugging Face. -
Llama 2, Llama3, Llama3.1, et Llama3.2— Une version améliorée de Llama avec Grouped Query Attention (GQA). Pour plus d’informations, consultez .Llama 2
, Llama 3 , Llama 3.1 , et Llama 3.2 dans le Hugging Face .
Note
La taille des poids des modèles importés doit être inférieure à 100 Go pour les modèles multimodaux et à 200 Go pour les modèles de texte.
Amazon Bedrock prend en charge la version 4.45.2 du transformateur. Assurez-vous que vous utilisez la version 4.45.2 du transformateur lorsque vous peaufinez votre modèle.
Source d'importation
Vous importez un modèle dans Amazon Bedrock en créant une tâche d'importation de modèle dans la console Amazon Bedrock ou. API Dans la tâche, vous spécifiez l'Amazon S3 URI comme source des fichiers de modèle. Sinon, si vous avez créé le modèle dans Amazon SageMaker AI, vous pouvez le SageMaker spécifier. Pendant l'entraînement du modèle, la tâche d'importation détecte automatiquement l'architecture de votre modèle.
Si vous effectuez une importation à partir d'un compartiment Amazon S3, vous devez fournir les fichiers de modèle dans Hugging Face format de poids. Vous pouvez créer les fichiers à l'aide de la bibliothèque Hugging Face Transformer. Pour créer des fichiers de modèle pour un Llama modèle, voir convert_llama_weights_to_hf.py
Pour importer le modèle depuis Amazon S3, vous avez au minimum besoin des fichiers suivants créés par la bibliothèque Hugging Face Transformer.
-
.safetensor : les poids du modèle au format Safetensor. Safetensors est un format créé par Hugging Face qui stocke les poids d'un modèle sous forme de tenseurs. Vous devez stocker les tenseurs de votre modèle dans un fichier portant l'extension
.safetensors. Pour plus d'informations, consultez Safetensors. Pour plus d'informations sur la conversion des poids des modèles au format Safetensor, voir Convertir les poids en Safetensors. Note
Actuellement, Amazon Bedrock ne prend en charge que les pondérations des modèles avec FP32FP16, et BF16 précision. Amazon Bedrock rejettera les poids des modèles si vous les fournissez avec une autre précision. En interne, Amazon Bedrock convertira FP32 les modèles en modèles de BF16 précision.
Amazon Bedrock ne prend pas en charge l'importation de modèles quantifiés.
config.json — Pour des exemples, voir LlamaConfig
et. MistralConfig Note
Amazon Bedrock annule llama3
rope_scalingvaleur avec les valeurs suivantes :-
original_max_position_embeddings=8192 -
high_freq_factor=4 -
low_freq_factor=1 -
factor=8
-
-
tokenizer_config.json Pour un exemple, consultez. LlamaTokenizer
tokenizer.json
tokenizer.model
Tokeniseurs pris en charge
Amazon Bedrock Custom Model Import prend en charge les tokeniseurs suivants. Vous pouvez utiliser ces tokeniseurs avec n'importe quel modèle.
Tokeniseur T5
T5 TokenizerFast
LlamaTokenizer
LlamaTokenizerFast
CodeLlamaTokenizer
CodeLlamaTokenizerFast
GPT2Tokenizer
GPT2TokenizerFast
GPTNeoXTokenizer
GPTNeoXTokenizerFast
PreTrainedTokenizer
PreTrainedTokenizerFast
