Formatez et téléchargez vos données d'inférence par lots

Pour préparer les entrées pour l'inférence par lots, créez un fichier .jsonl au format suivant :

{ "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

Chaque ligne contient un objet JSON avec un recordId champ et un modelInput champ contenant le corps de la demande pour une entrée que vous souhaitez soumettre. Le format de l'objet modelInput JSON doit correspondre au body champ du modèle que vous utilisez dans la InvokeModel demande. Pour de plus amples informations, veuillez consulter Paramètres de demande d'inférence et champs de réponse pour les modèles de base.

Par exemple, vous pouvez fournir un fichier JSONL contenant la ligne suivante si vous prévoyez d'exécuter une inférence par lots à l'aide du Anthropic Claude 3 Haiku modèle :

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Après avoir préparé vos fichiers d'entrée, chargez-les dans un compartiment S3. Associez les autorisations suivantes à votre rôle de service d'inférence par lots et ${{s3-bucket-input}} remplacez-les par le compartiment dans lequel vous avez chargé les fichiers d'entrée et ${{s3-bucket-output}} par le compartiment dans lequel vous souhaitez écrire les fichiers de sortie.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::${{s3-bucket-input}}", 
                "arn:aws:s3:::${{s3-bucket-input}}/*",
                "arn:aws:s3:::${{s3-bucket-output}}",
                "arn:aws:s3:::${{s3-bucket-output}}/*"
            ],
            "Effect": "Allow"
        }
    ]
}

Si vous utilisez l'inférence par lots pour comprendre la vidéo avec les modèles Nova Lite et Nova Pro, assurez-vous que le chemin Amazon S3 indiqué dans le InputDataConfig champ d'entrée de l'CreateModelInvocationJobAPI est un dossier Amazon S3 contenant tous les fichiers JSONL d'entrée que vous souhaitez traiter et tous les objets vidéo référencés par les enregistrements d'entrée.

Par exemple, si vous indiquez le chemin s3://batch-inference-input-data/job-input-folder-data/ Amazon S3 InputDataConfig pour une tâche par lots, une configuration de données appropriée ressemblera à ce qui suit :

batch-inference-input-data/
job-input-folder-data/
input.jsonl
video.mp4

Un exemple s3://batch-inference-input-data/job-input-folder-data/input.jsonl d'enregistrement d'invocation pour le traitement d'un objet vidéo est présenté ci-dessous. Notez que l'URI Amazon S3 de l'objet vidéo se trouve sous le même objet Amazon S3 que le fichier JSONL ici.

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/job-input-folder-data/video.mp4",
                                    "bucketOwner": "123456789012"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

En supposant des chemins d'URI Amazon S3 valides, l'objet vidéo peut être imbriqué n'importe où sous le chemin d'URI InputDataConfig Amazon S3 fourni. Consultez ce blog sur l'analyse d'URL Amazon S3 pour savoir comment valider de manière proactive Amazon S3 URIs dans une demande d'entrée.

Reportez-vous aux instructions d'Amazon Nova Vision pour plus d'informations sur la façon de configurer des enregistrements d'invocation pour la compréhension vidéo avec Nova.