Formatar e carregar os dados de inferência

Para preparar entradas para a inferência em lote, crie um arquivo .jsonl no seguinte formato:

{ "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

Cada linha contém um objeto JSON com um campo recordId e um campo modelInput que contêm o corpo da solicitação para uma entrada que você deseja enviar. O formato do objeto JSON modelInput deve corresponder ao campo body do modelo usado na solicitação InvokeModel. Para obter mais informações, consulte Parâmetros de solicitação de inferência e campos de resposta para modelos de base.

Por exemplo, você pode fornecer um arquivo JSONL contendo a seguinte linha se você planeja executar a inferência em lote usando o Anthropic Claude 3 Haiku modelo:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Depois de preparar os arquivos de entrada, carregue-os em um bucket do S3. Anexe as seguintes permissões à sua função de serviço de inferência em lote e ${{s3-bucket-input}} substitua pelo bucket no qual você fez o upload dos arquivos de entrada e ${{s3-bucket-output}} pelo bucket no qual você deseja gravar os arquivos de saída.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::${{s3-bucket-input}}", 
                "arn:aws:s3:::${{s3-bucket-input}}/*",
                "arn:aws:s3:::${{s3-bucket-output}}",
                "arn:aws:s3:::${{s3-bucket-output}}/*"
            ],
            "Effect": "Allow"
        }
    ]
}

Se você estiver usando inferência em lote para entender vídeos com os modelos Nova Lite e Nova Pro, certifique-se de que o caminho do Amazon S3 fornecido no campo da entrada InputDataConfig da API seja uma pasta CreateModelInvocationJob do Amazon S3 que contenha todos os arquivos JSONL de entrada que você deseja processar e todos os objetos de vídeo referenciados pelos registros de entrada.

Por exemplo, se você fornecer o caminho do Amazon S3 s3://batch-inference-input-data/job-input-folder-data/ como o InputDataConfig para um trabalho em lotes, uma configuração de dados apropriada seria semelhante à seguinte:

batch-inference-input-data/
job-input-folder-data/
input.jsonl
video.mp4

Um exemplo s3://batch-inference-input-data/job-input-folder-data/input.jsonl com registro de invocação para processar um objeto de vídeo é mostrado abaixo. Observe como o URI do Amazon S3 do objeto de vídeo está localizado no mesmo objeto Amazon S3 do arquivo JSONL aqui.

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/job-input-folder-data/video.mp4",
                                    "bucketOwner": "123456789012"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Supondo caminhos de URI válidos do Amazon S3, o objeto de vídeo pode ser aninhado em qualquer lugar sob o caminho de URI fornecido pelo Amazon InputDataConfig S3. Consulte este blog de análise de URL do Amazon S3 para saber como validar proativamente o Amazon S3 em uma solicitação de entrada. URIs

Consulte as diretrizes de orientação visual do Amazon Nova para obter mais informações sobre como configurar registros de invocação para compreensão de vídeo com o Nova.