View a markdown version of this page

Membuat permintaan inferensi - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat permintaan inferensi

Inferensi adalah proses menghasilkan output dari input yang diberikan ke model. Sebelum Anda dapat mengirim permintaan inferensi ke Amazon Bedrock, Anda harus mengizinkan peran Anda untuk melakukan tindakan API pemanggilan model. Ini tergantung pada titik akhir yang Anda gunakan. Untuk aplikasi baru, kami merekomendasikan titik bedrock-runtime akhir.

bedrock-runtimetitik akhir (disarankan)

Jika peran Anda memiliki kebijakan ter AmazonBedrockFullAccess AWS kelola yang dilampirkan, Anda dapat melewati bagian ini. Jika tidak, lampirkan izin berikut untuk memungkinkan inferensi melalui bedrock-runtime titik akhir (API Converse, Invoke, Penyelesaian Obrolan, dan Tanggapan):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "ModelInvocationPermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream",
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke",
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:RenderPrompt",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetGuardrail",
                "bedrock:ListGuardrails",
                "bedrock:ApplyGuardrail"
            ],
            "Resource": "*"
        }
    ]
}

bedrock-mantletitik akhir

Jika peran Anda memiliki kebijakan ter AmazonBedrockMantleInferenceAccess AWS kelola yang dilampirkan, Anda dapat melewati bagian ini. Jika tidak, lampirkan izin berikut untuk memungkinkan inferensi melalui bedrock-mantle titik akhir (Responses API, Chat Completions, Messages API):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "MantleInferencePermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock-mantle:CreateInference",
                "bedrock-mantle:GetProject",
                "bedrock-mantle:ListProjects",
                "bedrock-mantle:ListTagsForResources"
            ],
            "Resource": "*"
        }
    ]
}
penting

Jika Anda memasukkan kebijakan ke sumber daya tertentu alih-alih menggunakan"Resource": "*", API Tanggapan di bedrock-runtime titik akhir memerlukan dua sumber daya, bukan satu. Selain target inferensi, membuat respons memerlukan bedrock:InvokeModel proyek default akun Anda, dan mengambil, membatalkan, atau menghapus respons yang disimpan memerlukan, bedrock:GetInvokebedrock:CancelInvoke, atau bedrock:DeleteInvoke pada proyek yang sama. Kebijakan berikut memberikan minimum:

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "CreateResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/openai.*",
                "arn:aws:bedrock:*:111122223333:inference-profile/*.openai.*",
                "arn:aws:bedrock:*:111122223333:project/default"
            ]
        },
        {
            "Sid": "ManageStoredResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke"
            ],
            "Resource": "arn:aws:bedrock:*:111122223333:project/default"
        }
    ]
}

API Converse, Invoke, dan Chat Completions tidak memerlukan sumber daya proyek. Untuk informasi selengkapnya tentang proyek default, lihatProyek (OpenAI-compatible).

Untuk rincian terperinci dari setiap izin, lihatPrasyarat untuk menjalankan inferensi model.

Topik