Importer un modèle avec Custom Model Import - Amazon Bedrock
Architectures prises en chargeSource d'importationImporter un modèle

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Importer un modèle avec Custom Model Import

L'importation de modèles personnalisés est en version préliminaire pour Amazon Bedrock et est susceptible d'être modifiée.

Vous pouvez créer un modèle personnalisé dans Amazon Bedrock en utilisant la fonction d'importation de modèles personnalisés pour importer des modèles de base que vous avez personnalisés dans d'autres environnements, tels qu'Amazon SageMaker. Par exemple, vous pouvez avoir un modèle que vous avez créé sur Amazon SageMaker qui possède des pondérations de modèle propres. Vous pouvez désormais importer ce modèle dans Amazon Bedrock, puis utiliser les fonctionnalités d'Amazon Bedrock pour effectuer des appels d'inférence vers le modèle.

Vous pouvez utiliser un modèle que vous importez avec un débit à la demande ou provisionné. Utilisez les InvokeModelWithResponseStreamopérations InvokeModelor pour effectuer des appels d'inférence vers le modèle. Pour plus d’informations, consultez Utilisation de l’API pour invoquer un modèle à l’aide d’une seule invite.

Note

Pour la version préliminaire, l'importation de modèles personnalisés est uniquement disponible dans la AWS région USA Est (Virginie du Nord). Vous ne pouvez pas utiliser l'importation de modèles personnalisés avec les fonctionnalités Amazon Bedrock suivantes.

  • Agents for Amazon Bedrock

  • Bases de connaissances pour Amazon Bedrock

  • Rambardes pour Amazon Bedrock

  • Inférence par lots

  • AWS CloudFormation

Avant de pouvoir utiliser l'importation de modèles personnalisés, vous devez d'abord demander une augmentation du Imported models per account quota. Pour plus d'informations, consultez Demande d'augmentation de quota.

Avec l'importation de modèles personnalisés, vous pouvez créer un modèle personnalisé qui prend en charge les modèles suivants.

  • Modèle affiné ou de pré-entraînement continu : vous pouvez personnaliser les pondérations du modèle à l'aide de données propriétaires, tout en conservant la configuration du modèle de base.

  • Adaptation Vous pouvez personnaliser le modèle en fonction de votre domaine pour les cas d'utilisation où le modèle ne se généralise pas bien. L'adaptation par domaine modifie un modèle afin de le généraliser pour un domaine cible et de gérer les divergences entre les domaines, par exemple si le secteur financier souhaite créer un modèle qui généralise bien les prix. L'adaptation linguistique est un autre exemple. Par exemple, vous pouvez personnaliser un modèle pour générer des réponses en portugais ou en tamoul. Le plus souvent, cela implique de modifier le vocabulaire du modèle que vous utilisez.

  • Préparation initiale : en plus de personnaliser les poids et le vocabulaire du modèle, vous pouvez également modifier les paramètres de configuration du modèle, tels que le nombre de têtes d'attention, les couches masquées ou la longueur du contexte. Vous pouvez réduire la précision en utilisant la quantification après l'entraînement ou en créant un modèle fusionné à partir du poids de base et du poids de l'adaptateur.

Architectures prises en charge

Le modèle que vous importez doit se trouver dans l'une des architectures suivantes.

  • Mistral— Une architecture basée sur un transformateur uniquement avec décodeur avec Sliding Window Attention (SWA) et des options pour Grouped Query Attention (GQA). Pour plus d'informations, consultez Mistral dans la documentation de Hugging Face.

  • Flan— Une version améliorée de l'architecture T5, un modèle de transformateur basé sur un encodeur-décodeur. Pour plus d'informations, consultez Flan T5la documentation Hugging Face.

  • Llama 2et Llama3 — Une version améliorée de Llama avec Grouped Query Attention (GQA). Pour plus d'informations, consultez Llama 2et consultez Llama 3la documentation Hugging Face.

Source d'importation

Vous importez un modèle dans Amazon Bedrock en créant une tâche d'importation de modèle dans la console Amazon Bedrock. Dans le job, vous spécifiez l'URI Amazon S3 pour la source des fichiers de modèle. Si vous avez créé le modèle sur Amazon SageMaker, vous pouvez également le SageMaker spécifier. Pendant l'entraînement du modèle, la tâche d'importation détecte automatiquement l'architecture de votre modèle.

Si vous importez depuis un compartiment Amazon S3, vous devez fournir les fichiers de modèle au format de Hugging Face pondération. Vous pouvez créer les fichiers à l'aide de la bibliothèque Hugging Face Transformer. Pour créer des fichiers de modèle pour un Llama modèle, consultez le fichier convert_llama_weights_to_hf.py. Pour créer les fichiers d'un Mistral AI modèle, consultez le fichier convert_mistral_weights_to_hf.py.

Pour importer le modèle depuis Amazon S3, vous avez au minimum besoin des fichiers suivants créés par la bibliothèque Hugging Face Transformer.

  • .safetensor : les poids du modèle au format Safesensor. Safetensors est un format créé par Hugging Face qui stocke les poids d'un modèle sous forme de tenseurs. Vous devez stocker les tenseurs de votre modèle dans un fichier portant l'extension.safetensors. Pour plus d'informations, consultez Safetensors. Pour plus d'informations sur la conversion des poids des modèles au format Safetensor, voir Convertir les poids en Safetensors.

    Note

    Actuellement, Amazon Bedrock ne prend en charge que les poids des modèles avec une précision FP32 et FP16. Amazon Bedrock rejettera les poids des modèles si vous les fournissez avec une autre précision.

  • config.json — Pour des exemples, voir LlamaConfiget. MistralConfig

  • tokenizer_config.json — Pour un exemple, consultez. LlamaTokenizer

  • tokenizer.json

  • tokenizer.model

Importer un modèle

La procédure suivante explique comment créer un modèle personnalisé en important un modèle que vous avez déjà personnalisé. La tâche d'importation du modèle peut prendre plusieurs minutes. Pendant le travail, Amazon Bedrock valide que le modèle utilise une architecture compatible.

Pour soumettre une tâche d'importation de modèles, procédez comme suit.

  1. Demandez une augmentation du Imported models per account quota. Pour plus d'informations, consultez Demande d'augmentation de quota.

  2. Si vous importez vos fichiers de modèle depuis Amazon S3, convertissez le modèle au Hugging Face format.

    1. Si votre modèle est un Mistral AI modèle, utilisez convert_mistral_weights_to_hf.py.

    2. Si votre modèle est un Llama modèle, consultez le fichier convert_llama_weights_to_hf.py.

    3. Téléchargez les fichiers modèles dans un compartiment Amazon S3 de votre AWS compte. Pour plus d'informations, consultez la section Charger un objet dans votre compartiment.

  3. Dans la console Amazon Bedrock, choisissez Modèles importés sous Modèles Foundation dans le volet de navigation de gauche.

  4. Choisissez l’onglet Modèles.

  5. Choisissez Import model (Importer un modèle).

  6. Dans l'onglet Importé, choisissez Importer un modèle pour ouvrir la page Importer un modèle.

  7. Dans la section Détails du modèle, procédez comme suit :

    1. Dans Nom du modèle, entrez le nom du modèle.

    2. (Facultatif) Pour associer des balises au modèle, développez la section Balises et sélectionnez Ajouter une nouvelle balise.

  8. Dans la section Nom de la tâche d'importation, procédez comme suit :

    1. Dans Nom de la tâche, entrez le nom de la tâche d'importation du modèle.

    2. (Facultatif) Pour associer des balises au modèle personnalisé, développez la section Balises et sélectionnez Ajouter une nouvelle balise.

  9. Dans Paramètres d'importation du modèle, effectuez l'une des opérations suivantes.

    • Si vous importez vos fichiers de modèle depuis un compartiment Amazon S3, choisissez le compartiment Amazon S3 et entrez l'emplacement Amazon S3 dans l'emplacement S3. Vous pouvez éventuellement choisir Browse S3 pour choisir l'emplacement du fichier.

    • Si vous importez votre modèle depuis Amazon SageMaker, choisissez le SageMaker modèle Amazon, puis choisissez le SageMaker modèle que vous souhaitez importer dans les SageMaker modèles.

  10. Dans la section Accès au service, sélectionnez l’une des options suivantes :

    • Créer et utiliser une nouvelle fonction du service : entrez un nom pour la fonction du service.

    • Utiliser une fonction du service existante : sélectionnez une fonction du service dans la liste déroulante. Pour voir les autorisations dont votre rôle de service existant a besoin, choisissez Afficher les détails des autorisations.

      Pour plus d'informations sur la configuration d'un rôle de service doté des autorisations appropriées, consultezCréation d'un rôle de service pour l'importation de modèles.

  11. Choisissez Import (Importer).

  12. Sur la page Modèles personnalisés, choisissez Importé.

  13. Dans la section Tâches, vérifiez le statut de la tâche d'importation. Le nom du modèle que vous avez choisi identifie la tâche d'importation du modèle. La tâche est terminée si la valeur Status du modèle est Terminé.

  14. Obtenez l'identifiant de votre modèle en procédant comme suit.

    1. Sur la page Modèles importés, choisissez l'onglet Modèles.

    2. Copiez l'ARN du modèle que vous souhaitez utiliser depuis la colonne ARN.

  15. Utilisez votre modèle pour les appels d'inférence. Pour plus d’informations, consultez Utilisation de l’API pour invoquer un modèle à l’aide d’une seule invite. Vous pouvez utiliser le modèle avec un débit à la demande ou provisionné. Pour utiliser le débit provisionné, suivez les instructions de la section Utiliser votre modèle.

    Vous pouvez également utiliser votre modèle dans le terrain de jeu de texte Amazon Bedrock.