Utiliser la fmeval bibliothèque pour exécuter une évaluation automatique

Prérequis

• Pour exécuter une évaluation de modèle dans une interface utilisateur de Studio, votre rôle AWS Identity and Access Management (IAM) et tous les ensembles de données d'entrée doivent disposer des autorisations appropriées. Si vous n'avez pas de SageMaker domaine ou de IAM rôle, suivez les étapes décrites dansGuide de configuration avec Amazon SageMaker.

Pour définir des autorisations pour votre compartiment Amazon S3

Une fois votre domaine et votre rôle créés, suivez les étapes ci-dessous pour ajouter les autorisations nécessaires à l'évaluation de votre modèle.

1. Ouvrez la SageMaker console Amazon à l'adresse https://console.aws.amazon.com/sagemaker/.

2. Dans le volet de navigation, S3 entrez dans la barre de recherche en haut de la page.

3. Choisissez S3 sous Services.

4. Choisissez Buckets dans le volet de navigation.

5. Dans la section Compartiments à usage général, sous Nom, choisissez le nom du compartiment S3 que vous souhaitez utiliser pour stocker les entrées et sorties de votre modèle dans la console. Si vous ne possédez pas de compartiment S3, procédez comme suit :

   1. Sélectionnez Créer un compartiment pour ouvrir une nouvelle page de création de compartiment.

   2. Dans la section Configuration générale, sous AWS Région, sélectionnez la AWS région dans laquelle se trouve votre modèle de base.

   3. Nommez votre compartiment S3 dans la zone de saisie sous Nom du compartiment.

   4. Acceptez tous les choix par défaut.

   5. Sélectionnez Créer un compartiment.

   6. Dans la section Compartiments à usage général, sous Nom, sélectionnez le nom du compartiment S3 que vous avez créé.

6. Choisissez l’onglet Permissions (Autorisations).

7. Accédez à la section Partage de ressources entre origines (CORS) en bas de la fenêtre. Choisissez Modifier.

8. Pour ajouter des autorisations à votre compartiment pour les évaluations de la fondation, assurez-vous que le code suivant apparaît dans la zone de saisie. Vous pouvez également copier et coller ce qui suit dans la zone de saisie.

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. Sélectionnez Enregistrer les modifications.

Pour ajouter des autorisations à votre IAM politique

1. Dans la barre de recherche en haut de la page, entrezIAM.

2. Sous Services, sélectionnez Identity and Access Management (IAM).

3. Choisissez Policies dans le volet de navigation.

4. Entrez AmazonSageMakerFullAccessdans la barre de recherche. Sélectionnez le bouton radio à côté de la politique qui s'affiche. Le bouton Actions peut désormais être sélectionné.

5. Cliquez sur la flèche vers le bas à côté de Actions. Deux options s'offrent à vous.

6. Choisissez Attacher.

7. Dans la IAM liste qui apparaît, recherchez le nom du rôle que vous avez créé. Cochez la case à côté du nom.

8. Choisissez Attach policy (Attacher une politique).

Commencez à utiliser Studio

1. Dans la barre de recherche en haut de la page, entrezSageMaker.

2. Sous Services, sélectionnez Amazon SageMaker.

3. Choisissez Studio dans le volet de navigation.

4. Choisissez votre domaine dans la section Commencer, après avoir développé la flèche vers le bas sous Sélectionner un domaine.

5. Choisissez votre profil utilisateur dans la section Commencer après avoir développé la flèche vers le bas sous Sélectionner le profil utilisateur.

6. Choisissez Open Studio pour ouvrir la page d'accueil de Studio.

7. Sélectionnez le navigateur de fichiers dans le volet de navigation et accédez au répertoire racine.

8. Sélectionnez Créer un bloc-notes.

9. Dans la boîte de dialogue d'environnement de bloc-notes qui s'ouvre, sélectionnez l'image Data Science 3.0.

10. Choisissez Select (Sélectionner).

11. Installez le fmeval package dans votre environnement de développement, comme indiqué dans l'exemple de code suivant :

    !pip install fmeval

    Note

    Installez la fmeval bibliothèque dans un environnement qui utilise Python 3.10. Pour plus d'informations sur les exigences nécessaires à l'exécutionfmeval, consultez la section fmevaldépendances.

Définissez un JumpStart modèle et configurez un ModelRunner

1. Fournissez un point de terminaison en effectuant l'une des opérations suivantes :

   • Spécifiez le EndpointNameà un point de JumpStart terminaison existant, lemodel_id, etmodel_version.

   • Spécifiez le model_id et model_version pour votre modèle, puis créez un JumpStart point de terminaison.

   L'exemple de code suivant montre comment créer un point de terminaison pour un Llama 2 foundation modelqui est disponible via JumpStart.

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   L'exemple de code précédent fait référence àEULA, qui signifie end-use-license-agreement (EULA). EULAVous pouvez les trouver dans la description de la fiche modèle du modèle que vous utilisez. Pour utiliser certains JumpStart modèles, vous devez spécifieraccept_eula=true, comme indiqué dans l'appel précédent àpredict. Pour plus d'informationsEULA, consultez la section Licences et sources de modèles dansModèles de sources et de contrats de licence.

   Vous trouverez une liste des JumpStart modèles disponibles dans la section Algorithmes intégrés avec tableau des modèles pré-entraînés.

2. Configurez ModelRunner à l'aide duJumpStartModelRunner, comme indiqué dans l'exemple de configuration suivant :

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   Dans l'exemple de configuration précédent, utilisez les mêmes valeurs pour endpoint_namemodel_id, et celles model_version que vous avez utilisées pour créer le point de terminaison.

3. Testez votreModelRunner. Envoyez un exemple de demande à votre modèle comme indiqué dans l'exemple de code suivant :

   js_model_runner.predict("What is the capital of London")

Définissez un modèle Amazon Bedrock et configurez un ModelRunner

1. Pour définir et imprimer les détails du modèle, utilisez l'exemple de code suivant pour un modèle Titan disponible via Amazon Bedrock :

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   Dans l'exemple de code précédent, le accept paramètre indique le format des données que vous souhaitez utiliser pour évaluer votreLLM. contentTypeSpécifie le format des données d'entrée dans la demande. MIME_TYPE_JSONUniquement pris en charge pour accept et contentType pour les modèles Amazon Bedrock. Pour plus d'informations sur ces paramètres, consultez InvokeModelWithResponseStream.

2. Pour configurerModelRunner, utilisez leBedrockModelRunner, comme indiqué dans l'exemple de configuration suivant :

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   Paramétrez la ModelRunner configuration comme suit.

   • Utilisez les mêmes valeurs que celles model_id que vous avez utilisées pour déployer le modèle.

   • outputÀ utiliser pour spécifier le format de la json réponse générée. Par exemple, si vous avez LLM fourni la réponse[{"results": "this is the output"}], elle est output='results[0].outputText' renvoyéethis is the output.

   • content_templateÀ utiliser pour spécifier la manière dont vous LLM interagissez avec les demandes. Le modèle de configuration suivant est détaillé uniquement pour expliquer l'exemple de configuration précédent, et il n'est pas obligatoire.

     • Dans l'exemple de configuration précédent, la variable inputText spécifie l'invite, qui capture la demande faite par l'utilisateur.

     • La variable textGenerationConfig indique comment elle LLM génère les réponses comme suit :

       • Le paramètre maxTokenCount est utilisé pour limiter la longueur de la réponse en limitant le nombre de jetons renvoyés par leLLM.

       • Le paramètre stopSequences est utilisé pour spécifier une liste de séquences de caractères qui vous indiquent LLM d'arrêter de générer une réponse. La sortie du modèle est arrêtée la première fois que l'une des chaînes répertoriées est rencontrée dans la sortie. Par exemple, vous pouvez utiliser une séquence de retour de chariot pour limiter la réponse du modèle à une seule ligne.

       • Le paramètre topP contrôle le caractère aléatoire en limitant l'ensemble de jetons à prendre en compte lors de la génération du jeton suivant. Ce paramètre accepte les valeurs comprises entre 0.0 et1.0. Des valeurs plus élevées topP autorisent un ensemble contenant un vocabulaire plus large et des valeurs faibles limitent l'ensemble de jetons à des mots plus probables.

       • Le paramètre temperature contrôle le caractère aléatoire du texte généré et accepte les valeurs positives. Des valeurs plus élevées temperature indiquent au modèle de générer des réponses plus aléatoires et plus diverses. Des valeurs faibles génèrent des réponses plus prévisibles. Les plages typiques temperature se situent entre 0.2 et2.0.

       Pour plus d'informations sur les paramètres d'un modèle de fondation Amazon Bedrock spécifique, consultez la section Paramètres d'inférence pour les modèles de fondation.

     Le format du paramètre content_template dépend des entrées et des paramètres pris en charge par votre. LLM Par exemple, Anthropic’s Claude 2 le modèle peut prendre en charge les éléments suivants content_template :

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     Autre exemple, le modèle Falcon7b peut prendre en charge les éléments suivants. content_template

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     Enfin, testez votreModelRunner. Envoyez un exemple de demande à votre modèle comme indiqué dans l'exemple de code suivant :

     bedrock_model_runner.predict("What is the capital of London?")