Usa la fmeval libreria per eseguire una valutazione automatica

Prerequisiti

• Per eseguire una valutazione del modello in un'interfaccia utente di Studio, il ruolo AWS Identity and Access Management (IAM) e tutti i set di dati di input devono disporre delle autorizzazioni corrette. Se non disponi di un SageMaker dominio o di un IAM ruolo, segui i passaggi indicati in. Guida alla configurazione con Amazon SageMaker

Per impostare le autorizzazioni per il tuo bucket Amazon S3

Dopo aver creato il dominio e il ruolo, segui i passaggi seguenti per aggiungere le autorizzazioni necessarie per valutare il tuo modello.

1. Apri la SageMaker console Amazon all'indirizzo https://console.aws.amazon.com/sagemaker/.

2. Nel riquadro di navigazione, S3 accedi alla barra di ricerca nella parte superiore della pagina.

3. Scegli S3 in Servizi.

4. Scegli Bucket dal pannello di navigazione.

5. Nella sezione General Purpose Bucket, sotto Nome, scegli il nome del bucket S3 che desideri utilizzare per memorizzare l'input e l'output del modello nella console. Se non disponi di un bucket S3, procedi come segue:

   1. Seleziona Crea bucket per aprire una nuova pagina Crea bucket.

   2. Nella sezione Configurazione generale, in AWS Regione, seleziona la AWS regione in cui si trova il modello di base.

   3. Assegna un nome al bucket S3 nella casella di immissione sotto Nome del bucket.

   4. Accetta tutte le scelte predefinite.

   5. Seleziona Crea bucket.

   6. Nella sezione General Purpose bucket, sotto Nome, seleziona il nome del bucket S3 che hai creato.

6. Scegli la scheda Autorizzazioni.

7. Scorri fino alla sezione Cross-origin resource sharing (CORS) nella parte inferiore della finestra. Scegli Modifica.

8. Per aggiungere autorizzazioni al tuo bucket per le valutazioni della fondazione, assicurati che nella casella di input compaia il codice seguente. Puoi anche copiare e incollare quanto segue nella casella di input.

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. Scegli Save changes (Salva modifiche).

Per aggiungere autorizzazioni alla tua politica IAM

1. Nella barra di ricerca nella parte superiore della pagina, inserisciIAM.

2. In Servizi, selezionare Identity and Access Management (IAM).

3. Scegli Politiche dal riquadro di navigazione.

4. Inserisci AmazonSageMakerFullAccessnella barra di ricerca. Seleziona il pulsante di opzione accanto alla politica che appare. Il pulsante Azioni può ora essere selezionato.

5. Scegli la freccia rivolta verso il basso accanto a Azioni. Vengono visualizzate due opzioni.

6. Scegli Collega.

7. Nell'IAMelenco visualizzato, cerca il nome del ruolo che hai creato. Seleziona la casella di controllo accanto al nome.

8. Scegli Collega policy.

Inizia a usare Studio

1. Nella barra di ricerca nella parte superiore della pagina, inserisciSageMaker.

2. In Servizi, seleziona Amazon SageMaker.

3. Scegli Studio dal pannello di navigazione.

4. Scegli il tuo dominio dalla sezione Guida introduttiva, dopo aver espanso la freccia rivolta verso il basso sotto Seleziona dominio.

5. Scegli il tuo profilo utente dalla sezione Guida introduttiva dopo aver espanso la freccia rivolta verso il basso sotto Seleziona profilo utente.

6. Scegli Open Studio per aprire la pagina di destinazione di Studio.

7. Seleziona il browser di file dal pannello di navigazione e vai alla directory principale.

8. Seleziona Crea taccuino.

9. Nella finestra di dialogo relativa all'ambiente del notebook che si apre, seleziona l'immagine Data Science 3.0.

10. Scegli Seleziona.

11. Installa il fmeval pacchetto nel tuo ambiente di sviluppo, come mostrato nel seguente esempio di codice:

    !pip install fmeval

    Nota

    Installa la fmeval libreria in un ambiente che utilizza Python 3.10. Per ulteriori informazioni sui requisiti necessari per l'esecuzionefmeval, consulta fmevaldipendenze.

Definire un JumpStart modello e configurare un ModelRunner

1. Fornisci un endpoint effettuando una delle seguenti operazioni:

   • EndpointNameSpecificare su un JumpStart endpoint esistente, ilmodel_id, e. model_version

   • Specificate la model_id e model_version per il modello e create un JumpStart endpoint.

   Il seguente esempio di codice mostra come creare un endpoint per un Llama 2 foundation modeldisponibile tramite JumpStart.

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   L'esempio di codice precedente si riferisce aEULA, che sta per end-use-license-agreement (EULA). EULAÈ possibile trovarlo nella scheda del modello che si sta utilizzando. Per utilizzare alcuni JumpStart modelli, è necessario specificareaccept_eula=true, come mostrato nella precedente chiamata apredict. Per ulteriori informazioni in meritoEULA, vedere la sezione Licenze e fonti dei modelli inFonti dei modelli e contratti di licenza.

   È possibile trovare un elenco dei JumpStart modelli disponibili in Built-in Algorithms with pre-training Model Table.

2. Configura ModelRunner utilizzandoJumpStartModelRunner, come illustrato nel seguente esempio di configurazione:

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   Nell'esempio di configurazione precedente, utilizza gli stessi valori per endpoint_name e model_version che hai usato per creare l'endpoint. model_id

3. Metti alla prova il tuo. ModelRunner Invia una richiesta di esempio al tuo modello come mostrato nel seguente esempio di codice:

   js_model_runner.predict("What is the capital of London")

Definisci un modello Amazon Bedrock e configura un ModelRunner

1. Per definire e stampare i dettagli del modello, utilizza il seguente esempio di codice per un modello Titan disponibile tramite Amazon Bedrock:

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   Nell'esempio di codice precedente, il accept parametro specifica il formato dei dati che desideri utilizzare per valutare il tuo. LLM contentTypespecifica il formato dei dati di input nella richiesta. MIME_TYPE_JSONÈ supportato solo per accept e contentType per i modelli Amazon Bedrock. Per ulteriori informazioni su questi parametri, consulta InvokeModelWithResponseStream.

2. Per configurareModelRunner, utilizzate ilBedrockModelRunner, come illustrato nel seguente esempio di configurazione:

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   Parametrizzate la ModelRunner configurazione come segue.

   • Utilizzate gli stessi valori model_id utilizzati per distribuire il modello.

   • Utilizzare output per specificare il formato della json risposta generata. Ad esempio, se hai LLM fornito la risposta[{"results": "this is the output"}], output='results[0].outputText' restituiscethis is the output.

   • content_templateDa utilizzare per specificare il modo in cui LLM l'utente interagisce con le richieste. Il seguente modello di configurazione è dettagliato esclusivamente per spiegare l'esempio di configurazione precedente e non è obbligatorio.

     • Nell'esempio di configurazione precedente, la variabile inputText specifica il prompt, che acquisisce la richiesta effettuata dall'utente.

     • La variabile textGenerationConfig specifica in che modo LLM genera le risposte nel modo seguente:

       • Il parametro maxTokenCount viene utilizzato per limitare la lunghezza della risposta limitando il numero di token restituiti da. LLM

       • Il parametro stopSequences viene utilizzato per specificare un elenco di sequenze di caratteri che indicano di interrompere la generazione LLM di una risposta. L'output del modello viene interrotto la prima volta che una delle stringhe elencate viene rilevata nell'output. Ad esempio, potete utilizzare una sequenza di restituzione del carrello per limitare la risposta del modello a una singola riga.

       • Il parametro topP controlla la casualità limitando l'insieme di token da considerare nella generazione del token successivo. Questo parametro accetta valori compresi tra e. 0.0 1.0 I valori più alti di topP allow per un set contenente un vocabolario più ampio e i valori più bassi limitano l'insieme di token a parole più probabili.

       • Il parametro temperature controlla la casualità del testo generato e accetta valori positivi. I valori più alti di temperature indicano al modello di generare risposte più casuali e diversificate. I valori più bassi generano risposte più prevedibili. Intervalli tipici temperature compresi tra 0.2 e2.0.

       Per ulteriori informazioni sui parametri per uno specifico modello di base Amazon Bedrock, consulta Parametri di inferenza per modelli di base.

     Il formato del parametro content_template dipende dagli input e dai parametri supportati dal tuo. LLM Ad esempio, .Anthropic’s Claude 2 il modello può supportare quanto segue: content_template

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     Come altro esempio, il modello Falcon 7b può supportare quanto segue. content_template

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     Infine, prova il tuo. ModelRunner Invia una richiesta di esempio al tuo modello come mostrato nel seguente esempio di codice:

     bedrock_model_runner.predict("What is the capital of London?")