Prerequisiti per i profili di inferenza - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Prerequisiti per i profili di inferenza

Prima di poter utilizzare un profilo di inferenza, verifica di aver soddisfatto i seguenti prerequisiti:

  1. Il tuo ruolo ha accesso alle azioni del profilo di inferenza. API Se al tuo ruolo è allegata la policy AmazonBedrockFullAccess AWS-managed, puoi saltare questo passaggio. In caso contrario, eseguire le seguenti operazioni:

    1. Segui i passaggi descritti in Creazione delle IAM politiche e crea la seguente politica, che consente a un ruolo di eseguire azioni relative al profilo di inferenza ed eseguire l'inferenza del modello utilizzando tutti i modelli di base e i profili di inferenza.

      {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel*",
                "bedrock:CreateInferenceProfile"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/*",
                "arn:aws:bedrock:*:*:inference-profile/*",
                "arn:aws:bedrock:*:*:application-inference-profile/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:DeleteInferenceProfile",
                "bedrock:TagResource",
                "bedrock:UntagResource",
                "bedrock:ListTagsForResource"
            ],
            "Resource": [
                "arn:aws:bedrock:*:*:inference-profile/*",
                "arn:aws:bedrock:*:*:application-inference-profile/*"
            ]
        }
    ]
}

      (Facoltativo) È possibile limitare l'accesso al ruolo nei seguenti modi:

      • Per limitare le API azioni che il ruolo può eseguire, modifica l'elenco nel Action campo in modo che contenga solo le APIoperazioni a cui desideri consentire l'accesso.

      • Per limitare l'accesso del ruolo a profili di inferenza specifici, modifica l'Resourceelenco in modo che contenga solo i profili di inferenza e i modelli di base a cui desideri consentire l'accesso. I profili di inferenza definiti dal sistema iniziano con inference-profile e i profili di inferenza delle applicazioni iniziano con. application-inference-profile

        Importante

        Quando si specifica un profilo di inferenza nel Resource campo della prima istruzione, è necessario specificare anche il modello di base in ogni regione ad esso associata.

      • Per limitare l'accesso degli utenti in modo che possano richiamare un modello di base solo tramite un profilo di inferenza, aggiungi un Condition campo e usa la aws:InferenceProfileArn chiave di condizione. Specificate il profilo di inferenza su cui filtrare l'accesso.

      • Ad esempio, è possibile allegare la seguente politica a un ruolo per consentirgli di richiamare il Anthropic Claude 3 Haiku modello solo attraverso gli Stati Uniti Anthropic Claude 3 Haiku profilo di inferenza nell'account 123456789012 in us-west-2:

        {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel*"
            ],
            "Resource": [
                "arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-3-haiku-20240307-v1:0"
                "arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-3-haiku-20240307-v1:0"
                "arn:aws:bedrock:us-west-2:123456789012:inference-profile/us.anthropic.claude-3-haiku-20240307-v1:0"
            ],
            "Condition": {
                "StringLike": {
                    "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-west-2:123456789012:inference-profile/us.anthropic.claude-3-haiku-20240307-v1:0"
                }
            }
        }
    ]
}

    2. Segui i passaggi in Aggiungere e rimuovere le autorizzazioni di IAM identità per allegare la policy a un ruolo e concedere al ruolo le autorizzazioni per visualizzare e utilizzare tutti i profili di inferenza.

  2. Hai richiesto l'accesso ai modelli e alle regioni definiti nei profili di inferenza che desideri utilizzare. Ad esempio, per accedere alle chiamate verso gli Stati Uniti Anthropic Claude 3 Haiku profilo di inferenza dalla regione Stati Uniti occidentali (Oregon), procedi come segue:

    1. AWS Management Console Accedi alla regione Stati Uniti orientali (Virginia settentrionale) e richiedi l'accesso al modello a Anthropic Claude 3 Haiku seguendo la procedura riportata inAccedi ai modelli di base Amazon Bedrock.

    2. Passa alla regione Stati Uniti occidentali (Oregon) e richiedi l'accesso al modello a Anthropic Claude 3 Haiku.