Formatez et téléchargez vos données d'inférence par lots

Pour préparer les entrées pour l'inférence par lots, créez un fichier .jsonl au format suivant :

{ "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

Chaque ligne contient un JSON objet avec un recordId champ et un modelInput champ contenant le corps de la demande pour une entrée que vous souhaitez soumettre. Le format de l'modelInputJSONobjet doit correspondre au body champ du modèle que vous utilisez dans la InvokeModel demande. Pour de plus amples informations, veuillez consulter Paramètres de demande d'inférence et champs de réponse pour les modèles de base.

Par exemple, vous pouvez fournir un JSONL fichier contenant la ligne suivante si vous prévoyez d'exécuter une inférence par lots à l'aide du Anthropic Claude 3 Haiku modèle :

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Après avoir préparé vos fichiers d'entrée, chargez-les dans un compartiment S3. Associez les autorisations suivantes à votre rôle de service d'inférence par lots et remplacez ${{s3-bucket-input}} avec le bucket dans lequel vous avez chargé les fichiers d'entrée et ${{s3-bucket-output}} avec le compartiment dans lequel vous souhaitez écrire les fichiers de sortie.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::${{s3-bucket-input}}", 
                "arn:aws:s3:::${{s3-bucket-input}}/*",
                "arn:aws:s3:::${{s3-bucket-output}}",
                "arn:aws:s3:::${{s3-bucket-output}}/*"
            ],
            "Effect": "Allow"
        }
    ]
}