Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
La tâche d'importation du modèle peut prendre plusieurs minutes après l'envoi de la CreateModelImportJobdemande. Vous pouvez vérifier l'état de votre tâche d'importation dans la console ou en appelant l'GetModelImportJobopération et en vérifiant le Status champ dans la réponse. La tâche d'importation est terminée si le statut du modèle est Terminé.
Une fois que votre modèle importé est disponible dans Amazon Bedrock, vous pouvez utiliser le modèle avec un débit à la demande en envoyant InvokeModelou InvokeModelWithResponseStreamen demandant des appels d'inférence au modèle. Pour de plus amples informations, veuillez consulter Soumettez une seule invite avec InvokeModel.
Vous aurez besoin de l'ARN du modèle pour effectuer des appels d'inférence vers le modèle que vous venez d'importer. Une fois la tâche d'importation terminée avec succès et une fois que votre modèle importé est actif, vous pouvez obtenir l'ARN du modèle importé dans la console ou en envoyant une ListImportedModelsdemande.
Pour appeler votre modèle importé, assurez-vous d'utiliser les mêmes paramètres d'inférence que ceux mentionnés pour le modèle de base personnalisé que vous importez. Pour plus d'informations sur les paramètres d'inférence à utiliser pour le modèle que vous importez, consultezParamètres de demande d'inférence et champs de réponse pour les modèles de base. Si vous utilisez des paramètres d'inférence qui ne correspondent pas aux paramètres d'inférence mentionnés pour ce modèle, ces paramètres seront ignorés.
Lorsque vous invoquez votre modèle importé à l'aide de InvokeModel ouInvokeModelWithStream, votre demande est traitée dans les 5 minutes ou vous pouvez obtenirModelNotReadyException. Pour comprendre ModelNotReadyException, suivez les étapes de manipulation décrites dans la section suivante ModelNotreadyException.
Manipulation ModelNotReadyException
Amazon Bedrock Custom Model Import optimise l'utilisation du matériel en supprimant les modèles qui ne sont pas actifs. Si vous essayez d'invoquer un modèle qui a été supprimé, vous obtiendrez unModelNotReadyException. Une fois le modèle supprimé et que vous l'avez invoqué pour la première fois, Custom Model Import commence à restaurer le modèle. Le temps de restauration dépend de la taille de la flotte à la demande et de la taille du modèle.
Si votre InvokeModelWithStream demande InvokeModel ou votre demande est renvoyéeModelNotReadyException, suivez les étapes pour gérer l'exception.
-
Configurer les nouvelles tentatives
Par défaut, la demande est automatiquement réessayée avec un retard exponentiel. Vous pouvez configurer le nombre maximum de tentatives.
L'exemple suivant montre comment configurer la nouvelle tentative. Remplacez
${region-name}${model-arn}, et10par votre région, l'ARN du modèle et le nombre maximal de tentatives.import json import boto3 from botocore.config import Config REGION_NAME =${region-name}MODEL_ID= '${model-arn}' config = Config( retries={ 'total_max_attempts':10, //customizable 'mode': 'standard' } ) message = "Hello" session = boto3.session.Session() br_runtime = session.client(service_name = 'bedrock-runtime', region_name=REGION_NAME, config=config) try: invoke_response = br_runtime.invoke_model(modelId=MODEL_ID, body=json.dumps({'prompt': message}), accept="application/json", contentType="application/json") invoke_response["body"] = json.loads(invoke_response["body"].read().decode("utf-8")) print(json.dumps(invoke_response, indent=4)) except Exception as e: print(e) print(e.__repr__()) -
Surveillez les codes de réponse lors des tentatives de nouvelle tentative
Chaque nouvelle tentative lance le processus de restauration du modèle. Le délai de restauration dépend de la disponibilité de la flotte à la demande et de la taille du modèle. Surveillez les codes de réponse pendant le processus de restauration.
Si les tentatives échouent régulièrement, passez aux étapes suivantes.
-
Vérifiez que le modèle a été importé avec succès
Vous pouvez vérifier si le modèle a été importé avec succès en vérifiant le statut de votre tâche d'importation dans la console ou en appelant l'GetModelImportJobopération. Vérifiez le
Statuschamp dans la réponse. La tâche d'importation est réussie si le statut du modèle est Terminé. -
Contact Support pour une enquête plus approfondie
Ouvrez un ticket avec Support Pour plus d'informations, consultez la section Création de dossiers d'assistance.
Incluez les détails pertinents tels que l'identifiant du modèle et les horodatages dans le ticket d'assistance.
