Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Vous devez ajouter vos données d'inférence par lots à un emplacement S3 que vous choisirez ou spécifierez lors de la soumission d'un modèle de tâche d'invocation. L'emplacement S3 doit contenir les éléments suivants :
-
Au moins un fichier JSONL qui définit les entrées du modèle. Un JSONL contient des lignes d'objets JSON. Votre fichier JSONL doit se terminer par l'extension .jsonl et être au format suivant :
{ "recordId" : "11 character alphanumeric string", "modelInput" :{JSON body}} ...Chaque ligne contient un objet JSON avec un
recordIdchamp et unmodelInputchamp contenant le corps de la demande pour une entrée que vous souhaitez soumettre. Le format de l'objetmodelInputJSON doit correspondre aubodychamp du modèle que vous utilisez dans laInvokeModeldemande. Pour de plus amples informations, veuillez consulter Paramètres de demande d'inférence et champs de réponse pour les modèles de base.Note
-
Si vous omettez le
recordIdchamp, Amazon Bedrock l'ajoute dans la sortie. -
Vous spécifiez le modèle que vous souhaitez utiliser lorsque vous créez la tâche d'inférence par lots.
-
-
(Si vous définissez le contenu d'entrée comme un emplacement Amazon S3) Certains modèles vous permettent de définir le contenu de l'entrée comme un emplacement S3. Si vous choisissez cette option, assurez-vous que l'emplacement S3 que vous allez spécifier contient à la fois votre contenu et vos fichiers JSONL. Votre contenu et vos fichiers JSONL peuvent être imbriqués dans des dossiers à l'emplacement S3 que vous spécifiez. Pour obtenir un exemple, consultez Exemple d'entrée vidéo pour Amazon Nova.
Assurez-vous que vos entrées sont conformes aux quotas d'inférence par lots. Vous pouvez rechercher les quotas suivants sur Amazon Bedrock service quotas :
-
Nombre minimum d'enregistrements par tâche d'inférence par lots : nombre minimal d'enregistrements (objets JSON) dans les fichiers JSONL de la tâche.
-
Enregistrements par fichier d'entrée par tâche d'inférence par lots : nombre maximal d'enregistrements (objets JSON) dans un seul fichier JSONL de la tâche.
-
Enregistrements par tâche d'inférence par lots : nombre maximal d'enregistrements (objets JSON) dans les fichiers JSONL de la tâche.
-
Taille du fichier d'entrée d'inférence par lots : taille maximale d'un seul fichier dans le job.
-
Taille de la tâche d'inférence par lots : taille cumulée maximale de tous les fichiers d'entrée.
Pour mieux comprendre comment configurer vos entrées d'inférence par lots, consultez les exemples suivants :
Exemple de saisie de texte pour Anthropic Claude 3 Haiku
Si vous envisagez d'exécuter une inférence par lots à l'aide du format de l'API Messages pour Anthropic Claude 3 Haiku modèle, vous pouvez fournir un fichier JSONL contenant l'objet JSON suivant comme l'une des lignes :
{
"recordId": "CALL0000001",
"modelInput": {
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 1024,
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "Summarize the following call transcript: ..."
}
]
}
]
}
}Exemple d'entrée vidéo pour Amazon Nova
Si vous envisagez d'effectuer une inférence par lots sur les entrées vidéo à l'aide du Amazon Nova Lite or Amazon Nova Pro modèles, vous avez la possibilité de définir la vidéo en octets ou en tant qu'emplacement S3 dans le fichier JSONL. Par exemple, vous pouvez avoir un compartiment S3 dont le chemin est s3://batch-inference-input-bucket et contient les fichiers suivants :
videos/ video1.mp4 video2.mp4 ... video50.mp4 input.jsonl
Voici un exemple d'enregistrement à partir du input.jsonl fichier :
{
"recordId": "RECORD01",
"modelInput": {
"messages": [
{
"role": "user",
"content": [
{
"text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
},
{
"video": {
"format": "mp4",
"source": {
"s3Location": {
"uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
"bucketOwner": "111122223333"
}
}
}
}
]
}
]
}
}Lorsque vous créez la tâche d'inférence par lots, vous pouvez le spécifier s3://batch-inference-input-bucket comme emplacement S3. L'inférence par lots traitera le input.jsonl fichier dans cet emplacement, en plus des fichiers vidéo du videos dossier référencés dans le fichier JSONL.
Les ressources suivantes fournissent des informations supplémentaires sur la soumission d'entrées vidéo pour l'inférence par lots :
-
Pour savoir comment valider de manière proactive Amazon S3 URIs dans une demande d'entrée, consultez le blog Amazon S3 URL Parsing
. -
Pour plus d'informations sur la configuration des enregistrements d'invocation pour la compréhension vidéo avec Nova, reportez-vous à Amazon Nova directives d'incitation à la vision.
La rubrique suivante décrit comment configurer l'accès S3 et les autorisations d'inférence par lots pour une identité afin de pouvoir effectuer une inférence par lots.
