Avvio di un processo di valutazione automatica del modello in Amazon Bedrock - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Avvio di un processo di valutazione automatica del modello in Amazon Bedrock

È possibile creare un processo di valutazione automatica del AWS Management Console modello utilizzando o un AWS SDK supportato. AWS CLI In un processo di valutazione automatica del modello, il modello selezionato esegue l'inferenza utilizzando i prompt di un set di dati integrato supportato o il proprio set di dati di prompt personalizzato. Ogni lavoro richiede inoltre la selezione di un tipo di attività. Il tipo di attività fornisce alcune metriche consigliate e set di dati di prompt incorporati. Per ulteriori informazioni sui tipi di attività e sulle metriche disponibili, consulta. Tipi di attività di valutazione dei modelli in Amazon Bedrock

I seguenti esempi mostrano come creare un processo di valutazione automatica del modello utilizzando la console Amazon Bedrock AWS CLI, SDK for Python.

Tutti i lavori di valutazione automatica del modello richiedono la creazione di un ruolo di servizio IAM. Per ulteriori informazioni sui requisiti IAM per l'impostazione di un processo di valutazione del modello, consultaRequisiti del ruolo di servizio per i processi di valutazione del modello.

Gli esempi seguenti mostrano come creare un processo automatico di valutazione del modello. Nell'API, puoi anche includere un profilo di inferenza nel lavoro specificandone l'ARN nel campo. modelIdentifier

Amazon Bedrock console

Utilizza la seguente procedura per creare un processo di valutazione del modello utilizzando la console Amazon Bedrock. Per completare correttamente questa procedura, assicurati che il tuo utente, gruppo o ruolo IAM disponga delle autorizzazioni sufficienti per accedere alla console. Per ulteriori informazioni, consulta Autorizzazioni di console necessarie per creare un processo di valutazione automatica del modello.

Inoltre, tutti i set di dati di prompt personalizzati che desideri specificare nel processo di valutazione del modello devono avere le autorizzazioni CORS richieste aggiunte al bucket Amazon S3. Per ulteriori informazioni sull'aggiunta delle autorizzazioni CORS richieste, consulta,. Autorizzazioni Cross Origin Resource Sharing (CORS) richieste sui bucket S3

Per creare un processo automatico di valutazione del modello

  1. Apri la console Amazon Bedrock: https://console.aws.amazon.com/bedrock/

  2. Nel riquadro di navigazione seleziona Valutazione del modello.

  3. Nella sceda Sviluppa una valutazione, in Automatico scegli Crea una valutazione automatica.

  4. Nella pagina Crea una valutazione automatica, fornisci le seguenti informazioni

    1. Nome di valutazione: assegna al processo di valutazione del modello un nome che descriva il processo. Questo nome viene mostrato nell'elenco dei processi del modello di valutazione. Il nome deve essere univoco nell'account in una Regione AWS.

    2. Descrizione (facoltativa): fornisci una descrizione facoltativa.

    3. Modelli: scegli il modello che desideri utilizzare nel processo di valutazione del modello.

      Per ulteriori informazioni sui modelli disponibili e su come accedervi in Amazon Bedrock, consultaAccedi ai modelli di base Amazon Bedrock.

    4. (Facoltativo) Per modificare la configurazione dell'inferenza, scegli Aggiorna.

      La modifica della configurazione di inferenza cambia le risposte generate dai modelli selezionati. Per ulteriori informazioni sui parametri di inferenza disponibili, consulta Parametri della richiesta di inferenza e campi di risposta per i modelli di base.

    5. Tipo di attività: scegli il tipo di attività che desideri che il modello tenti di eseguire durante il processo di valutazione del modello.

    6. Metriche e set di dati: l'elenco delle metriche disponibili e dei set di dati dei prompt integrati cambia in base all'attività selezionata. Puoi scegliere dall'elenco Set di dati integrati disponibili oppure puoi scegliere Usa il tuo set di dati dei prompt. Se scegli di utilizzare il tuo set di dati di prompt, inserisci l'esatto URI S3 del file del set di dati del prompt o scegli Browse S3 per cercare il tuo set di dati di prompt.

    7. >Risultati della valutazione: specifica l'URI S3 della directory in cui desideri salvare i risultati. Scegli Browse S3 per cercare una posizione in Amazon S3.

    8. (Facoltativo) Per abilitare l'uso di una chiave gestita dal cliente, scegli Personalizza le impostazioni di crittografia (avanzate). Quindi, fornisci l'ARN della AWS KMS chiave che desideri utilizzare.

    9. Ruolo IAM di Amazon Bedrock: scegli Usa un ruolo esistente per utilizzare il ruolo di servizio IAM che dispone già delle autorizzazioni richieste oppure scegli Crea un nuovo ruolo per creare un nuovo ruolo di servizio IAM.

  5. Quindi scegli Create (Crea).

Una volta che lo stato cambia, puoi visualizzare la pagella del lavoro.

SDK for Python

L'esempio seguente crea un processo di valutazione automatico utilizzando Python.

import boto3
client = boto3.client('bedrock')

job_request = client.create_evaluation_job(
    jobName="api-auto-job-titan",
    jobDescription="two different task types",
    roleArn="arn:aws:iam::111122223333:role/role-name",
    inferenceConfig={
        "models": [
            {
                "bedrockModel": {
                    "modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1",
                    "inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"
                }

            }
        ]

    },
    outputDataConfig={
        "s3Uri":"s3://amzn-s3-demo-bucket-model-evaluations/outputs/"
    },
    evaluationConfig={
        "automated": {
            "datasetMetricConfigs": [
                {
                    "taskType": "QuestionAndAnswer",
                    "dataset": {
                        "name": "Builtin.BoolQ"
                    },
                    "metricNames": [
                        "Builtin.Accuracy",
                        "Builtin.Robustness"
                    ]
                }
            ]
        }
    }
)

print(job_request)
AWS CLI

In AWS CLI, è possibile utilizzare il help comando per vedere quali parametri sono obbligatori e quali parametri sono facoltativi quando si specifica create-evaluation-job in. AWS CLI

aws bedrock create-evaluation-job help
aws bedrock create-evaluation-job \
--job-name 'automatic-eval-job-cli-001' \
--role-arn 'arn:aws:iam::111122223333:role/role-name' \
--evaluation-config '{"automated": {"datasetMetricConfigs": [{"taskType": "QuestionAndAnswer","dataset": {"name": "Builtin.BoolQ"},"metricNames": ["Builtin.Accuracy","Builtin.Robustness"]}]}}' \
--inference-config '{"models": [{"bedrockModel": {"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1","inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"}}]}' \
--output-data-config '{"s3Uri":"s3://automatic-eval-jobs/outputs"}'