View a markdown version of this page

Inferenzanfragen stellen - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Inferenzanfragen stellen

Inferenz ist der Prozess der Generierung einer Ausgabe aus einer Eingabe, die für ein Modell bereitgestellt wird. Bevor Sie eine Inferenzanfrage an Amazon Bedrock senden können, müssen Sie Ihrer Rolle erlauben, die API-Aktionen für den Modellaufruf auszuführen. Das hängt von dem Endpunkt ab, den Sie verwenden. Für neue Anwendungen empfehlen wir den bedrock-runtime Endpunkt.

bedrock-runtimeEndpunkt (empfohlen)

Wenn an Ihre Rolle die AmazonBedrockFullAccess AWS verwaltete Richtlinie angehängt ist, können Sie diesen Abschnitt überspringen. Fügen Sie andernfalls die folgenden Berechtigungen hinzu, um Rückschlüsse über den bedrock-runtime Endpunkt zu ermöglichen (Converse-, Invoke-, Chat-Abschlüsse- und Antwort-APIs):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "ModelInvocationPermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream",
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke",
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:RenderPrompt",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetGuardrail",
                "bedrock:ListGuardrails",
                "bedrock:ApplyGuardrail"
            ],
            "Resource": "*"
        }
    ]
}

bedrock-mantle-Endpunkt

Wenn an Ihre Rolle die AmazonBedrockMantleInferenceAccess AWS verwaltete Richtlinie angehängt ist, können Sie diesen Abschnitt überspringen. Fügen Sie andernfalls die folgenden Berechtigungen hinzu, um Rückschlüsse über den bedrock-mantle Endpunkt zu ermöglichen (Antworten-API, Chat-Abschlüsse, Nachrichten-API):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "MantleInferencePermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock-mantle:CreateInference",
                "bedrock-mantle:GetProject",
                "bedrock-mantle:ListProjects",
                "bedrock-mantle:ListTagsForResources"
            ],
            "Resource": "*"
        }
    ]
}
Wichtig

Wenn Sie Ihre Richtlinie auf bestimmte Ressourcen beschränken, anstatt sie zu verwenden"Resource": "*", benötigt die Responses API auf dem bedrock-runtime Endpunkt zwei Ressourcen statt einer. Zusätzlich zum Inferenzziel erfordert bedrock:InvokeModel das Erstellen einer Antwort das Standardprojekt Ihres Kontos, und das Abrufen, Stornieren oder Löschen einer gespeicherten Antwort erfordert bedrock:GetInvoke oder bedrock:DeleteInvoke für dasselbe Projekt. bedrock:CancelInvoke Die folgende Richtlinie gewährt das Mindestmaß:

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "CreateResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/openai.*",
                "arn:aws:bedrock:*:111122223333:inference-profile/*.openai.*",
                "arn:aws:bedrock:*:111122223333:project/default"
            ]
        },
        {
            "Sid": "ManageStoredResponses",
            "Effect": "Allow",
            "Action": [
                "bedrock:GetInvoke",
                "bedrock:CancelInvoke",
                "bedrock:DeleteInvoke"
            ],
            "Resource": "arn:aws:bedrock:*:111122223333:project/default"
        }
    ]
}

Für die APIs Converse, Invoke und Chat Completions ist keine Projektressource erforderlich. Weitere Informationen zum Standardprojekt finden Sie unter. Projekte (OpenAI-compatible)

Eine detaillierte Aufschlüsselung der einzelnen Berechtigungen finden Sie unterVoraussetzungen für die Ausführung der Modellinferenz.

Themen