추론 요청

추론은 모델에 제공된 입력에서 출력을 생성하는 프로세스입니다. Amazon Bedrock에 추론 요청을 보내려면 먼저 역할이 모델 호출 API 작업을 수행하도록 허용해야 합니다. 이는 사용 중인 엔드포인트에 따라 다릅니다. 새 애플리케이션의 경우 bedrock-runtime 엔드포인트를 사용하는 것이 좋습니다.

bedrock-runtime 엔드포인트(권장)

역할에 AmazonBedrockFullAccess AWS 관리형 정책이 연결되어 있는 경우이 섹션을 건너뛸 수 있습니다. 그렇지 않으면 bedrock-runtime 엔드포인트(대화, 호출, 채팅 완료 및 응답 APIs)를 통한 추론을 허용하는 다음 권한을 연결합니다.

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "ModelInvocationPermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream",
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke",
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:RenderPrompt",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetGuardrail",
                "bedrock:ListGuardrails",
                "bedrock:ApplyGuardrail"
            ],
            "Resource": "*"
        }
    ]
}

bedrock-mantle 엔드포인트

역할에 AmazonBedrockMantleInferenceAccess AWS 관리형 정책이 연결되어 있는 경우이 섹션을 건너뛸 수 있습니다. 그렇지 않으면 bedrock-mantle 엔드포인트(응답 API, 채팅 완료, 메시지 API)를 통한 추론을 허용하는 다음 권한을 연결합니다.

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "MantleInferencePermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock-mantle:CreateInference",
                "bedrock-mantle:GetProject",
                "bedrock-mantle:ListProjects",
                "bedrock-mantle:ListTagsForResources"
            ],
            "Resource": "*"
        }
    ]
}

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "CreateResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/openai.*",
                "arn:aws:bedrock:*:111122223333:inference-profile/*.openai.*",
                "arn:aws:bedrock:*:111122223333:project/default"
            ]
        },
        {
            "Sid": "ManageStoredResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke"
            ],
            "Resource": "arn:aws:bedrock:*:111122223333:project/default"
        }
    ]
}

각 권한에 대한 자세한 내용은 섹션을 참조하세요모델 추론 실행을 위한 사전 조건.