Contoh kode untuk inferensi batch - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Contoh kode untuk inferensi batch

Contoh kode dalam Bab ini menunjukkan cara membuat pekerjaan inferensi batch, melihat informasi tentangnya, dan menghentikannya. Pilih bahasa untuk melihat contoh kode untuk itu:

Python

Buat file JSONL bernama abc.jsonl yang berisi setidaknya jumlah minimum catatan (lihatKuota untuk Amazon Bedrock). Anda dapat menggunakan konten berikut sebagai baris dan masukan pertama Anda:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Buat bucket S3 yang dipanggil amzn-s3-demo-bucket-input dan unggah file ke sana. Kemudian buat bucket S3 yang dipanggil amzn-s3-demo-bucket-output untuk menulis file output Anda. Jalankan cuplikan kode berikut untuk mengirimkan pekerjaan dan dapatkan jobArn dari respons:

import boto3

bedrock = boto3.client(service_name="bedrock")

inputDataConfig=({
    "s3InputDataConfig": {
        "s3Uri": "s3://amzn-s3-demo-bucket-input/abc.jsonl"
    }
})

outputDataConfig=({
    "s3OutputDataConfig": {
        "s3Uri": "s3://amzn-s3-demo-bucket-output/"
    }
})

response=bedrock.create_model_invocation_job(
    roleArn="arn:aws:iam::123456789012:role/MyBatchInferenceRole",
    modelId="anthropic.claude-3-haiku-20240307-v1:0",
    jobName="my-batch-job",
    inputDataConfig=inputDataConfig,
    outputDataConfig=outputDataConfig
)

jobArn = response.get('jobArn')

Kembalikan pekerjaan. status

bedrock.get_model_invocation_job(jobIdentifier=jobArn)['status']

Buat daftar pekerjaan inferensi batch ituFailed.

bedrock.list_model_invocation_jobs(
    maxResults=10,
    statusEquals="Failed",
    sortOrder="Descending"
)

Hentikan pekerjaan yang Anda mulai.

bedrock.stop_model_invocation_job(jobIdentifier=jobArn)