Utilice la fmeval biblioteca para ejecutar una evaluación automática

Requisitos previos

• Para ejecutar una evaluación de un modelo en una interfaz de usuario de Studio, tu rol AWS Identity and Access Management (IAM) y cualquier conjunto de datos de entrada deben tener los permisos correctos. Si no tiene un SageMaker dominio o un IAM rol, siga los pasos que se indican. Guía para configurar Amazon SageMaker

Para configurar los permisos de su bucket de Amazon S3

Una vez creados el dominio y el rol, siga los siguientes pasos para añadir los permisos necesarios para evaluar su modelo.

1. Abre la SageMaker consola de Amazon en https://console.aws.amazon.com/sagemaker/.

2. En el panel de navegación, S3 ingresa a la barra de búsqueda en la parte superior de la página.

3. Elija S3 en Servicios.

4. Seleccione Buckets en el panel de navegación.

5. En la sección Depósitos de uso general, en Nombre, elija el nombre del depósito S3 que desee usar para almacenar la entrada y la salida del modelo en la consola. Si no tiene un bucket de S3, haga lo siguiente:

   1. Seleccione Crear depósito para abrir una nueva página de creación de depósito.

   2. En la sección Configuración general, en AWS Región, seleccione la AWS región en la que se encuentra el modelo de cimentación.

   3. Asigne un nombre a su depósito de S3 en el cuadro de entrada situado debajo del nombre del depósito.

   4. Acepte todas las opciones predeterminadas.

   5. Selecciona Crear depósito.

   6. En la sección Depósitos de uso general, en Nombre, selecciona el nombre del depósito de S3 que has creado.

6. Elija la pestaña Permisos.

7. Desplázate hasta la sección Uso compartido de recursos entre orígenes (CORS) en la parte inferior de la ventana. Elija Editar.

8. Para añadir permisos a tu depósito para las evaluaciones de fundaciones, asegúrate de que aparezca el siguiente código en el cuadro de entrada. También puedes copiar y pegar lo siguiente en el cuadro de entrada.

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. Elija Guardar cambios.

Para añadir permisos a tu IAM política

1. En la barra de búsqueda de la parte superior de la página, ingresaIAM.

2. En Servicios, seleccione Identity and Access Management (IAM).

3. Elija Políticas en el panel de navegación.

4. AmazonSageMakerFullAccessIntroduce en la barra de búsqueda. Seleccione el botón de radio situado junto a la política que aparece. Ahora se puede seleccionar el botón Acciones.

5. Selecciona la flecha hacia abajo situada junto a Acciones. Aparecen dos opciones.

6. Elija Adjuntar.

7. En la IAM lista que aparece, busca el nombre del rol que has creado. Seleccione la casilla de verificación situada junto al nombre.

8. Elija Asociar política.

Comience a usar Studio

1. En la barra de búsqueda de la parte superior de la página, escribeSageMaker.

2. En Servicios, selecciona Amazon SageMaker.

3. Selecciona Studio en el panel de navegación.

4. Elige tu dominio en la sección Cómo empezar, después de expandir la flecha hacia abajo situada debajo de Seleccionar dominio.

5. Elige tu perfil de usuario en la sección Cómo empezar después de expandir la flecha hacia abajo situada debajo de Seleccionar perfil de usuario.

6. Selecciona Open Studio para abrir la página de inicio de Studio.

7. Seleccione el explorador de archivos en el panel de navegación y navegue hasta el directorio raíz.

8. Seleccione Crear bloc de notas.

9. En el cuadro de diálogo del entorno del bloc de notas que se abre, seleccione la imagen de Data Science 3.0.

10. Elija Seleccionar.

11. Instale el fmeval paquete en su entorno de desarrollo, como se muestra en el siguiente ejemplo de código:

    !pip install fmeval

    nota

    Instale la fmeval biblioteca en un entorno que utilice Python 3.10. Para obtener más información sobre los requisitos necesarios para la ejecuciónfmeval, consulte fmevallas dependencias.

Defina un JumpStart modelo y configure un ModelRunner

1. Proporcione un punto final mediante una de las siguientes acciones:

   • Especifique EndpointNameel JumpStart punto final existentemodel_id, el ymodel_version.

   • Especifique el punto final model_id y model_version para su modelo y cree un JumpStart punto final.

   El siguiente ejemplo de código muestra cómo crear un punto final para un Llama 2 foundation modelque está disponible a través de JumpStart.

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   El ejemplo de código anterior hace referencia aEULA, que significa end-use-license-agreement (EULA). EULASe puede encontrar en la descripción de la tarjeta de modelo del modelo que está utilizando. Para utilizar algunos JumpStart modelos, debe especificarlosaccept_eula=true, como se muestra en la llamada anteriorpredict. Para obtener más información al respectoEULA, consulte la sección Licencias y fuentes de modelos enFuentes modelo y acuerdos de licencia.

   Puede encontrar una lista de los JumpStart modelos disponibles en la tabla de algoritmos integrados con modelos previamente entrenados.

2. Configure ModelRunner mediante elJumpStartModelRunner, tal y como se muestra en el siguiente ejemplo de configuración:

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   En el ejemplo de configuración anterior, utilice los mismos valores para endpoint_namemodel_id, y model_version que utilizó para crear el punto final.

3. Pon a prueba tuModelRunner. Envíe una solicitud de muestra a su modelo como se muestra en el siguiente ejemplo de código:

   js_model_runner.predict("What is the capital of London")

Defina un modelo de Amazon Bedrock y configure un ModelRunner

1. Para definir e imprimir los detalles del modelo, utilice el siguiente ejemplo de código para un modelo Titan que está disponible en Amazon Bedrock:

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   En el ejemplo de código anterior, el accept parámetro especifica el formato de los datos que desea utilizar para evaluar suLLM. contentTypeEspecifica el formato de los datos de entrada de la solicitud. Solo MIME_TYPE_JSON es compatible con accept y contentType para los modelos Amazon Bedrock. Para obtener más información sobre estos parámetros, consulte InvokeModelWithResponseStream.

2. Para configurarlosModelRunner, utilice elBedrockModelRunner, como se muestra en el siguiente ejemplo de configuración:

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   Parametrice la ModelRunner configuración de la siguiente manera.

   • Utilice los mismos valores model_id que utilizó para implementar el modelo.

   • Se utiliza output para especificar el formato de la json respuesta generada. Por ejemplo, si has LLM proporcionado la respuesta[{"results": "this is the output"}], output='results[0].outputText' vuelvethis is the output.

   • Se usa content_template para especificar cómo LLM interactúa con las solicitudes. La siguiente plantilla de configuración se detalla únicamente para explicar el ejemplo de configuración anterior y no es obligatoria.

     • En el ejemplo de configuración anterior, la variable inputText especifica la solicitud, que captura la solicitud realizada por el usuario.

     • La variable textGenerationConfig especifica cómo LLM genera las respuestas de la siguiente manera:

       • El parámetro maxTokenCount se usa para limitar la longitud de la respuesta al limitar el número de fichas devueltas por elLLM.

       • El parámetro stopSequences se usa para especificar una lista de secuencias de caracteres que le indican LLM que deje de generar una respuesta. La salida del modelo se detiene la primera vez que se encuentra alguna de las cadenas de la lista en la salida. Por ejemplo, puede utilizar una secuencia de retorno de vagones para limitar la respuesta del modelo a una sola línea.

       • El parámetro topP controla la aleatoriedad al limitar el conjunto de fichas que se deben tener en cuenta al generar la siguiente ficha. Este parámetro acepta valores comprendidos entre 0.0 y. 1.0 Los valores más altos topP permiten un conjunto que contenga un vocabulario más amplio y los valores más bajos restringen el conjunto de símbolos a palabras más probables.

       • El parámetro temperature controla la aleatoriedad del texto generado y acepta valores positivos. Los valores más altos temperature indican al modelo que genere respuestas más aleatorias y diversas. Los valores más bajos generan respuestas más predecibles. Los rangos típicos temperature se encuentran entre 0.2 y2.0.

       Para obtener más información sobre los parámetros de un modelo de cimentación específico de Amazon Bedrock, consulte Parámetros de inferencia para modelos de cimentación.

     El formato del parámetro content_template depende de las entradas y los parámetros que admita. LLM Por ejemplo, .Anthropic’s Claude 2 el modelo puede admitir lo siguiente: content_template

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     Como otro ejemplo, el modelo Falcon 7b puede admitir lo siguiente. content_template

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     Por último, pruebe su. ModelRunner Envía una solicitud de muestra a tu modelo como se muestra en el siguiente ejemplo de código:

     bedrock_model_runner.predict("What is the capital of London?")