Création d’une tâche d’inférence par lots - Amazon Bedrock

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création d’une tâche d’inférence par lots

Note

L’inférence par lots est actuellement disponible en version préliminaire et susceptible d’être modifiée. L'inférence par lots n'est actuellement disponible que via leAPI. Accédez au lot APIs par les moyens suivantsSDKs.

Nous vous recommandons de créer un environnement virtuel pour utiliser leSDK. L'inférence par lots APIs n'étant pas disponible dans la dernière versionSDKs, nous vous recommandons de désinstaller la dernière version SDK de l'environnement virtuel avant d'installer la version avec l'inférence APIs par lots. Pour un exemple guidé, voirExemples de code.

Request format
POST /model-invocation-job HTTP/1.1
Content-type: application/json

{
   "clientRequestToken": "string",
   "inputDataConfig": { 
        "s3InputDataConfig": { 
            "s3Uri": "string",
            "s3InputFormat": "JSONL"
        }
   },
   "jobName": "string",
   "modelId": "string",
   "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "string"
        }
   },
   "roleArn": "string",
   "tags": [ 
      { 
         "key": "string",
         "value": "string"
      }
   ]
}
Response format
HTTP/1.1 200
Content-type: application/json

{
   "jobArn": "string"
}

Pour créer une tâche d’inférence par lots, envoyez une demande CreateModelInvocationJob. Saisissez les informations suivantes.

  • Celui ARN d'un rôle autorisé à exécuter une inférence par lots dansroleArn.

  • Informations relatives au compartiment S3 contenant les JSONL fichiers d'entrée inputDataConfig et au compartiment dans lequel les informations doivent être écritesoutputDataConfig.

  • ID du modèle à utiliser pour l’inférence modelId (voir Modèle de base Amazon Bedrock IDs (débit à la demande) ).

  • Nom de la tâche dans jobName.

  • (Facultatif) Toutes les balises que vous souhaitez associer à la tâche dans tags.

La réponse renvoie un jobArn que vous pouvez utiliser pour d'autres appels liés à l'inférence API par lots.

Vous pouvez vérifier l'état status de la tâche à l'aide du GetModelInvocationJob ou ListModelInvocationJobsAPIs.

Lorsque la tâche est terminée (Completed), vous pouvez extraire les résultats de la tâche d’inférence par lots à partir des fichiers du compartiment S3 que vous avez spécifié dans la demande pour outputDataConfig. Le compartiment S3 contient les fichiers suivants :

  1. Fichiers de sortie contenant le résultat de l’inférence de modèle.

    • Si la sortie est du texte, Amazon Bedrock génère un JSONL fichier de sortie pour chaque JSONL fichier d'entrée. Les fichiers de sortie contiennent les sorties du modèle pour chaque entrée au format suivant. Un objet error remplace le champ modelOutput sur toute ligne comportant une erreur d’inférence. Le format de l'modelOutputJSONobjet correspond au body champ du modèle que vous utilisez dans la InvokeModel réponse. Pour de plus amples informations, veuillez consulter Paramètres d’inférence pour les modèles de fondation.

      { "recordId" : "11 character alphanumeric string", "modelInput": {JSON body}, "modelOutput": {JSON body} }

      L’exemple suivant montre un fichier de sortie possible.

      { "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}}
{ "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}

    • Si le résultat est une image, Amazon Bedrock génère un fichier pour chaque image.

  2. Fichier manifest.json.out avec un résumé de la tâche d’inférence par lots.

    {
    "processedRecordCount" : number,
    "successRecordCount": number,
    "errorRecordCount": number,
    "inputTextTokenCount": number, // For embedding/text to text models
    "outputTextTokenCount" : number, // For text to text models 
    "outputImgCount512x512pStep50": number, // For text to image models 
    "outputImgCount512x512pStep150" : number, // For text to image models 
    "outputImgCount512x896pStep50" : number, // For text to image models 
    "outputImgCount512x896pStep150" : number // For text to image models 
}