Formate e carregue seus dados de inferência em lote

Para preparar entradas para inferência em lote, crie um arquivo.jsonl no seguinte formato:

{ "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

Cada linha contém um JSON objeto com um recordId campo e um modelInput campo contendo o corpo da solicitação para uma entrada que você deseja enviar. O formato do modelInput JSON objeto deve corresponder ao body campo do modelo usado na InvokeModel solicitação. Para obter mais informações, consulte Parâmetros de solicitação de inferência e campos de resposta para modelos básicos.

Por exemplo, você pode fornecer um JSONL arquivo contendo a seguinte linha se planeja executar a inferência em lote usando o Anthropic Claude 3 Haiku modelo:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Depois de preparar seus arquivos de entrada, carregue-os em um bucket do S3. Anexe as seguintes permissões à sua função de serviço de inferência em lote e substitua: ${{s3-bucket-input}} com o bucket para o qual você fez o upload dos arquivos de entrada e ${{s3-bucket-output}} com o bucket no qual você deseja gravar os arquivos de saída.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::${{s3-bucket-input}}", 
                "arn:aws:s3:::${{s3-bucket-input}}/*",
                "arn:aws:s3:::${{s3-bucket-output}}",
                "arn:aws:s3:::${{s3-bucket-output}}/*"
            ],
            "Effect": "Allow"
        }
    ]
}