Évaluez avec Inspect AI Container

Le conteneur SageMaker Inspect AI exécute des évaluations du modèle LLM sur SageMaker Training Jobs. Le conteneur utilise Inspect AI pour fournir un processus d'évaluation standardisé pour les modèles déployés pour SageMaker déduire des points de terminaison ou Amazon Bedrock, y compris les modèles Amazon Nova 1.0 (Micro, Lite, Pro) et 2.0 (Lite 2).

Les approches d'évaluation précédentes (basées sur lighteval) associaient étroitement l'inférence hors ligne et la logique d'évaluation, ce qui limitait la flexibilité quant à la manière dont les modèles pouvaient être servis et testés. Le conteneur Inspect AI dissocie complètement la logique d'évaluation de l'inférence.

Vue d’ensemble

Les principaux avantages sont les suivants :

Comment ça marche

Vous fournissez deux entrées au conteneur :

Le conteneur gère la gestion des terminaux, l'exécution des évaluations et la collecte des résultats. Une fois la tâche d'entraînement terminée, les résultats sont écrits dans l'emplacement de sortie S3 que vous avez spécifié.

Image de conteneur

Le tableau suivant répertorie les URI des images de conteneurs Inspect AI par AWS région.

Conditions préalables

Avant de commencer, assurez-vous de disposer des ressources et des accès suivants.

Étape 1 : configurer les autorisations IAM

La tâche SageMaker de formation s'exécute dans le cadre d'un rôle d'exécution que vous fournissez. Ce rôle a besoin d'autorisations pour lire des benchmarks depuis S3, écrire des résultats, invoquer le point de terminaison d'inférence et écrire CloudWatch des journaux.

1.1 Création de la politique de confiance

Enregistrez les informations suivantes sous trust_policy.json :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "sagemaker.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

1.2 Création du rôle

aws iam create-role \
  --role-name InspectLensEvalRole \
  --assume-role-policy-document file://trust_policy.json

1.3 Joindre la politique d'autorisations

Enregistrez ce qui suit souseval_policy.json, en remplaçant toutes les valeurs d'espace réservé (REGION,ACCOUNT_ID, noms de compartiment) par vos valeurs :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "S3ReadBenchmarkData",
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:ListBucket"],
      "Resource": [
        "arn:aws:s3:::YOUR_BENCHMARK_BUCKET",
        "arn:aws:s3:::YOUR_BENCHMARK_BUCKET/*"
      ]
    },
    {
      "Sid": "S3WriteResults",
      "Effect": "Allow",
      "Action": ["s3:GetObject", "s3:PutObject", "s3:ListBucket"],
      "Resource": [
        "arn:aws:s3:::YOUR_RESULTS_BUCKET",
        "arn:aws:s3:::YOUR_RESULTS_BUCKET/*"
      ]
    },
    {
      "Sid": "SageMakerInvokeExistingEndpoint",
      "Effect": "Allow",
      "Action": [
        "sagemaker:InvokeEndpoint",
        "sagemaker:InvokeEndpointWithResponseStream",
        "sagemaker:DescribeEndpoint"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint/*"
    },
    {
      "Sid": "BedrockInference",
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:InvokeModelWithResponseStream"
      ],
      "Resource": [
        "arn:aws:bedrock:REGION::foundation-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:inference-profile/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:provisioned-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:imported-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model-deployment/*"
      ]
    },
    {
      "Sid": "BedrockCustomModelAccess",
      "Effect": "Allow",
      "Action": [
        "bedrock:GetCustomModel",
        "bedrock:GetImportedModel",
        "bedrock:GetProvisionedModelThroughput",
        "bedrock:GetCustomModelDeployment",
        "bedrock:GetInferenceProfile"
      ],
      "Resource": [
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:imported-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:provisioned-model/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:custom-model-deployment/*",
        "arn:aws:bedrock:REGION:ACCOUNT_ID:inference-profile/*"
      ]
    },
    {
      "Sid": "SageMakerCreateEndpointLifecycle",
      "Effect": "Allow",
      "Action": [
        "sagemaker:CreateModel",
        "sagemaker:DescribeModel",
        "sagemaker:DeleteModel",
        "sagemaker:CreateEndpointConfig",
        "sagemaker:DescribeEndpointConfig",
        "sagemaker:DeleteEndpointConfig",
        "sagemaker:CreateEndpoint",
        "sagemaker:DescribeEndpoint",
        "sagemaker:DeleteEndpoint",
        "sagemaker:InvokeEndpoint",
        "sagemaker:InvokeEndpointWithResponseStream"
      ],
      "Resource": [
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:model/*",
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint/*",
        "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint-config/*"
      ]
    },
    {
      "Sid": "ECRAuth",
      "Effect": "Allow",
      "Action": "ecr:GetAuthorizationToken",
      "Resource": "*"
    },
    {
      "Sid": "PassRoleToSageMaker",
      "Effect": "Allow",
      "Action": "iam:PassRole",
      "Resource": "arn:aws:iam::ACCOUNT_ID:role/InspectLensEvalRole",
      "Condition": {
        "StringEquals": {
          "iam:PassedToService": "sagemaker.amazonaws.com"
        }
      }
    },
    {
      "Sid": "VPCNetworkingForEndpoint",
      "Effect": "Allow",
      "Action": [
        "ec2:CreateNetworkInterface",
        "ec2:CreateNetworkInterfacePermission",
        "ec2:DeleteNetworkInterface",
        "ec2:DeleteNetworkInterfacePermission",
        "ec2:DescribeNetworkInterfaces",
        "ec2:DescribeVpcs",
        "ec2:DescribeDhcpOptions",
        "ec2:DescribeSubnets",
        "ec2:DescribeSecurityGroups"
      ],
      "Resource": "*"
    },
    {
      "Sid": "CloudWatchLogs",
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents",
        "logs:DescribeLogStreams"
      ],
      "Resource": [
        "arn:aws:logs:REGION:ACCOUNT_ID:log-group:/aws/sagemaker/TrainingJobs:*",
        "arn:aws:logs:REGION:ACCOUNT_ID:log-group:/aws/sagemaker/Endpoints/*"
      ]
    },
    {
      "Sid": "MLflowTrackingServer",
      "Effect": "Allow",
      "Action": [
        "sagemaker:DescribeMlflowTrackingServer",
        "sagemaker:CreatePresignedMlflowTrackingServerUrl"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:mlflow-tracking-server/*"
    },
    {
      "Sid": "MLflowTrackingOperations",
      "Effect": "Allow",
      "Action": [
        "sagemaker-mlflow:AccessUI",
        "sagemaker-mlflow:CreateExperiment",
        "sagemaker-mlflow:GetExperiment",
        "sagemaker-mlflow:GetExperimentByName",
        "sagemaker-mlflow:SearchExperiments",
        "sagemaker-mlflow:CreateRun",
        "sagemaker-mlflow:GetRun",
        "sagemaker-mlflow:UpdateRun",
        "sagemaker-mlflow:SearchRuns",
        "sagemaker-mlflow:LogMetric",
        "sagemaker-mlflow:LogParam",
        "sagemaker-mlflow:LogBatch",
        "sagemaker-mlflow:SetTag",
        "sagemaker-mlflow:LogArtifact",
        "sagemaker-mlflow:ListArtifacts"
      ],
      "Resource": "arn:aws:sagemaker:REGION:ACCOUNT_ID:mlflow-tracking-server/*"
    },
    {
      "Sid": "KMSForVolumeEncryption",
      "Effect": "Allow",
      "Action": [
        "kms:Encrypt",
        "kms:Decrypt",
        "kms:GenerateDataKey",
        "kms:CreateGrant",
        "kms:DescribeKey"
      ],
      "Resource": "arn:aws:kms:REGION:ACCOUNT_ID:key/*"
    }
  ]
}

Attachez la stratégie au rôle :

aws iam put-role-policy \
  --role-name InspectLensEvalRole \
  --policy-name InspectLensEvalPolicy \
  --policy-document file://eval_policy.json

Étape 2 : Rédigez votre recette d'évaluation

La recette d'évaluation est un fichier de configuration YAML qui définit la façon dont le conteneur exécute vos évaluations. La recette spécifie le fournisseur d'inférence, les repères, les paramètres d'évaluation et les paramètres de sortie.

Pour des exemples complets, consultez les blocs-notes suivants dans le référentiel Amazon Nova Samples sur GitHub :

Option A : évaluer un point de SageMaker terminaison existant

Utilisez cette option lorsqu'un modèle est déjà déployé sur un point de terminaison d' SageMaker inférence.

inference_provider:
  sagemaker_endpoint:
    endpoint_name: "my-existing-endpoint"
    region: "us-east-1"

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu

eval:
  max_connections: 10
  max_retries: 100
  timeout: 600

output:
  s3_path: "s3://your-bucket/eval-results/"

Option B : créer un point de terminaison, évaluer, puis nettoyer

Utilisez cette option pour que le conteneur déploie une base Amazon Nova ou un modèle affiné, exécute des évaluations et démantèle automatiquement le point de terminaison. Il s'agit de l'approche recommandée pour les cycles d'évaluation ponctuels. Récupérez le dernier conteneur SageMaker d'inférence dans la documentation des images de conteneurs Amazon Nova SageMaker Inference.

inference_provider:
  sagemaker_endpoint:
    endpoint_name: null                 # null = create new endpoint
    model_s3_uri: "s3://your-bucket/models/nova-micro/"
    inference_image_uri: "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest"
    instance_type: "ml.p5.48xlarge"
    instance_count: 1
    execution_role_arn: "arn:aws:iam::ACCOUNT_ID:role/InspectLensEvalRole"
    region: "us-east-1"
    context_length: "16000"
    max_concurrency: "32"
    cleanup_endpoint: true              # Auto-delete after eval

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu_pro
    - name: arc_c
    - name: boolq

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 16000
    reasoning_effort: null
  max_connections: 16
  max_retries: 100
  timeout: 600
  extra_args:
    - "-M"
    - "completion_mode=True"
    - "--logprobs"
    - "--top-logprobs"
    - "5"

output:
  s3_path: "s3://your-bucket/eval-results/"

{
  "Sid": "SageMakerTagManagedResources",
  "Effect": "Allow",
  "Action": "sagemaker:AddTags",
  "Resource": [
    "arn:aws:sagemaker:REGION:ACCOUNT_ID:model/*",
    "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint/*",
    "arn:aws:sagemaker:REGION:ACCOUNT_ID:endpoint-config/*"
  ]
}

Option C : évaluer via Amazon Bedrock Runtime

Utilisez cette option pour évaluer un modèle disponible via Amazon Bedrock Runtime sans gérer de point de terminaison. Pour plus d'informations sur les options de points de terminaison Amazon Bedrock, consultez la section Points de terminaison Amazon Bedrock.

inference_provider:
  bedrock:
    model_id: amazon.nova-pro-v1:0
    region: us-east-1

benchmarks:
  - name: mmlu
    path: benchmarks/mmlu_pro.py
    limit: 100

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 8192
    reasoning_effort: null
  max_connections: 10
  max_retries: 50
  timeout: 600
  extra_args:
    - "--display"
    - "plain"

output:
  s3_path: s3://your-bucket/eval/output/

Option D : évaluer via Amazon Bedrock Mantle

Amazon Bedrock Mantle fournit un point de terminaison d'inférence OpenAI compatible pour les modèles disponibles via Amazon Bedrock. Cette option ne nécessite pas d'informations d'identification stockées. Le conteneur génère un jeton porteur de courte durée à partir des informations d'identification IAM de votre rôle d'exécution et l'actualise automatiquement entre les benchmarks.

inference_provider:
  openai_compatible_endpoint:
    auth: "bedrock_mantle"
    region: "us-east-1"
    model_name: "us.amazon.nova-pro-v1:0"

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu

eval:
  max_connections: 10
  max_retries: 50
  timeout: 600

output:
  s3_path: s3://your-bucket/eval/output/

Ajoutez l'autorisation suivante à votre rôle d'exécution (voirÉtape 1 : configurer les autorisations IAM) :

{
  "Sid": "BedrockMantleInference",
  "Effect": "Allow",
  "Action": [
    "bedrock-mantle:CreateInference",
    "bedrock-mantle:CallWithBearerToken"
  ],
  "Resource": "*"
}

Pour obtenir des conseils sur les autorisations, consultez les sections Autorisations d'inférence Amazon Bedrock et contrôle des autorisations par clé d'API dans la documentation Amazon Bedrock.

Option E : Évaluer un IA ouverte-point de terminaison compatible

Utilisez cette option pour effectuer une évaluation via n'importe quel point de terminaison d'API OpenAI compatible, y compris SageMaker Inference (AWS blog) ou d'autres fournisseurs OpenAI compatibles. Cette option utilise le fournisseur d'API OpenAI compatible avec Inspect AI sur le site Web d'Inspect AI, qui envoie les informations d'identification configurées sous forme de jeton porteur dans l'Authorizationen-tête de chaque demande d'inférence. Les jetons du porteur ne sont pas enregistrés par défaut.

Utilisation AWS Gestionnaire de secrets (recommandé)

AWS Secrets Manager fournit un stockage chiffré, un audit d' CloudTrailaccès et une rotation automatique des clés d'API et d'autres secrets. Stockez la clé API dans Secrets Manager et référencez-la par ARN dans la recette. Le conteneur récupère la clé au moment de l'exécution et s'actualise automatiquement entre les benchmarks.

inference_provider:
  openai_compatible_endpoint:
    model_name: "my-model"
    base_url: "https://my-endpoint/v1"
    auth: api_key
    api_key_secret_arn: "arn:aws:secretsmanager:us-east-1:123456789012:secret:prod/my-api-key"
    region: "us-east-1"

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu

eval:
  max_connections: 10
  max_retries: 50
  timeout: 600

output:
  s3_path: s3://your-bucket/eval/output/

Ajoutez l'autorisation suivante à votre rôle d'exécution (voirÉtape 1 : configurer les autorisations IAM) :

{
  "Sid": "GetApiKeySecret",
  "Effect": "Allow",
  "Action": "secretsmanager:GetSecretValue",
  "Resource": "arn:aws:secretsmanager:REGION:ACCOUNT_ID:secret:YOUR_SECRET_NAME"
}

Utilisation des variables d’environnement

La clé API peut être transmise via la variable d'environnementINFERENCE_API_KEY. Consultez la documentation de votre environnement d'exécution pour savoir comment les variables d'environnement sont transmises et quelles en sont les implications en matière de sécurité. Pour SageMaker Training Jobs, les variables d'environnement sont visibles dans les réponses de DescribeTrainingJob l'API et sont limitées à 512 caractères. Pour plus d'informations, consultez la section Variables d'environnement des tâches de SageMaker formation.

inference_provider:
  openai_compatible_endpoint:
    model_name: "my-model"
    base_url: "https://my-endpoint/v1"
    auth: api_key
    # No key source specified — reads from INFERENCE_API_KEY environment variable

benchmarks:
  s3_path: "s3://your-bucket/benchmarks/my_benchmarks/"
  tasks:
    - name: mmlu

eval:
  max_connections: 10
  max_retries: 50
  timeout: 600

output:
  s3_path: s3://your-bucket/eval/output/

Par exemple, sur SageMaker Training Jobs :

aws sagemaker create-training-job \
    ...
    --environment '{"INFERENCE_API_KEY": "your-api-key"}'

Configuration des benchmarks

La benchmarks section définit les tâches d'évaluation à exécuter. Vous pouvez enchaîner plusieurs benchmarks en une seule tâche.

Configuration de l'évaluation

La eval section contrôle la manière dont le conteneur exécute les évaluations.

Paramètres de décodage

Configurez les paramètres de décodage du modèle dans la eval.decoding section :

Configuration de sortie

La output section définit où et comment les résultats d'évaluation sont stockés.

Les formats de sortie suivants sont disponibles :

Configuration de MLflow

Vous pouvez éventuellement enregistrer les mesures d'évaluation sur un serveur de suivi MLflow. Ajoutez la tracking section à votre recette :

tracking:
  mlflow_tracking_arn: null       # ARN of SageMaker MLflow tracking server
  mlflow_experiment_name: "inspectlens" # experiment name
  mlflow_tracing: true          # log full request/response traces
  mlflow_log_artifacts: true       # upload .eval files to MLflow

Référence complète de la recette

L'exemple suivant montre une recette complète avec toutes les options de configuration disponibles :

inference_provider:
  sagemaker_endpoint:
    endpoint_name: my-nova-endpoint
    model_s3_uri: s3://your-bucket/models/my-model/
    inference_image_uri: "708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-inference-repo:SM-Inference-latest"
    instance_type: ml.g5.12xlarge
    cleanup_endpoint: true
    region: us-west-2

benchmarks:
  - name: mmlu
    path: benchmarks/mmlu_pro.py
    limit: 100
    epochs: 3
    task_args:
      subject: math
  - name: truthfulqa
    path: benchmarks/truthfulqa.py
    limit: 50

eval:
  fail_on_error: false
  decoding:
    temperature: 0.0
    top_p: 1.0
    top_k: -1
    max_tokens: 8192
    reasoning_effort: null
  max_connections: 256
  max_retries: 50
  timeout: 600
  extra_args:
    - "--display"
    - "plain"

output:
  s3_path: s3://your-bucket/eval/output/
  output_format: eval

tracking:
  mlflow_tracking_arn: "arn:aws:sagemaker:us-west-2:123456789012:mlflow-tracking-server/my-server"
  mlflow_experiment_name: "inspectlens"
  mlflow_tracing: true
  mlflow_log_artifacts: true

Étape 3 : Préparation des fichiers de référence

Les benchmarks sont des fichiers Python qui utilisent le @task décorateur Inspect AI pour définir les tâches d'évaluation. Le référentiel inspect-evals fournit plus de 128 benchmarks prêts à l'emploi, ou vous pouvez écrire les vôtres.

Exemple de référence

L'exemple suivant montre un indice de référence minimal qui évalue les performances à choix multiples d'un ensemble de données : HuggingFace

from inspect_ai import task, Task
from inspect_ai.dataset import hf_dataset
from inspect_ai.scorer import choice
from inspect_ai.solver import multiple_choice


@task
def my_benchmark():
    return Task(
        dataset=hf_dataset(
            path="cais/mmlu",
            name="abstract_algebra",
            split="test",
        ),
        solver=multiple_choice(),
        scorer=choice(),
    )

Dépendances

Si votre benchmark nécessite des dépendances supplémentaires, incluez un pyproject.toml ou requirements.txt dans le même répertoire S3 :

[project]
name = "my-benchmark"
version = "0.1.0"
requires-python = ">=3.12"
dependencies = [
    "datasets>=2.14.0",
]

Pre-installed colis

Le conteneur comprend les emballages suivants. Vous n'avez pas besoin de les répertorier dans votrepyproject.toml.

Sélection des tâches

Le tasks champ de votre recette contrôle les tâches à exécuter dans un fichier de référence.

Étape 4 : Préparez votre structure S3

La structure suivante est une recommandation pour organiser les configurations, les benchmarks et les résultats. Vous pouvez pointer le conteneur vers n'importe quel emplacement S3 ; la structure elle-même n'est pas requise.

s3://your-bucket/
├── config/
│   └── inspect_config.yaml       # Your eval recipe
├── benchmarks/
│   └── my_benchmarks/            # Your benchmark Python files
│       ├── pyproject.toml        # Optional: benchmark dependencies
│       ├── my_task.py            # @task decorated functions
│       └── _helpers.py           # Shared utilities
└── output/                       # Results written here

Téléchargez vos fichiers sur S3 :

# Upload benchmark files
aws s3 cp my_benchmarks/ s3://your-bucket/benchmarks/my_benchmarks/ --recursive

# Upload your eval recipe
aws s3 cp inspect_config.yaml s3://your-bucket/config/inspect_config.yaml

Étape 5 : Soumettre le job de formation

Soumettez une offre de SageMaker formation pour effectuer votre évaluation. Vous pouvez utiliser le AWS CLI ou le SDK SageMaker Python.

Option A : AWS CLI

aws sagemaker create-training-job \
    --training-job-name inspect-eval-$(date +%Y%m%d-%H%M%S) \
    --algorithm-specification \
        TrainingImage=763104351884.dkr.ecr.us-east-1.amazonaws.com/sagemaker-inspect-ai:latest,TrainingInputMode=File \
    --role-arn arn:aws:iam::123456789012:role/SageMakerInspectAIRole \
    --resource-config \
        InstanceType=ml.m5.large,InstanceCount=1,VolumeSizeInGB=30 \
    --stopping-condition MaxRuntimeInSeconds=86400 \
    --input-data-config '[
        {
            "ChannelName": "config",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://your-bucket/eval/config/",
                    "S3DataDistributionType": "FullyReplicated"
                }
            }
        }
    ]' \
    --output-data-config S3OutputPath=s3://your-bucket/eval/output/ \
    --region us-west-2

Option B : SDK SageMaker Python v3

from sagemaker.train.evaluate import InspectAIEvaluator

evaluator = InspectAIEvaluator(
    model="nova-textgeneration-lite-v2",
    bedrock_model_id="us.amazon.nova-lite-v2:0",
    benchmarks_path="s3://your-bucket/benchmarks/my_benchmarks/",
    tasks=[{"name": "my_task", "limit": 100}],
    s3_output_path="s3://your-bucket/eval/output/",
    instance_type="ml.m5.large",
)

execution = evaluator.evaluate()
execution.wait()
execution.show_results()

Paramètres clés

Conseils sur le type d'instance d'Orchestrator

L'instance de tâche de formation exécute la logique d'orchestration de l'évaluation, et non l'inférence du modèle. Choisissez un type d'instance en fonction de votre charge de travail d'évaluation.

Variables d'environnement

Vous pouvez transmettre des variables d'environnement au conteneur à des fins d'authentification ou de configuration. Ajoutez le --environment paramètre à la AWS CLI commande :

aws sagemaker create-training-job \
    ...
    --environment '{
        "HF_TOKEN": "hf_your_token_here",
        "HF_HUB_DOWNLOAD_TIMEOUT": "300"
    }'

Étape 6 : Surveiller le travail

Une fois que vous avez soumis la tâche de formation, vous pouvez suivre sa progression via le AWS CLI ou CloudWatch les journaux.

Vérifiez le statut du poste

aws sagemaker describe-training-job \
    --training-job-name your-job-name \
    --query "TrainingJobStatus" \
    --output text

Journaux de diffusion

aws logs tail /aws/sagemaker/TrainingJobs \
    --log-stream-name-prefix your-job-name \
    --follow

À quoi s'attendre en matière de journaux

Les journaux des conteneurs indiquent la progression des étapes suivantes :

Échéances estimées

Étape 7 : Afficher et interpréter les résultats

Une fois la tâche terminée, consultez les résultats de votre évaluation.

Afficher avec Inspect AI

Utilisez le visualiseur Inspect AI pour explorer les résultats de manière interactive directement depuis S3 :

inspect view --log-dir s3://your-bucket/eval-results/

Cette commande ouvre une interface Web locale dans laquelle vous pouvez parcourir les scores, consulter des échantillons individuels et comparer des essais.

Téléchargez et partagez

Pour télécharger les résultats localement :

aws s3 cp s3://your-bucket/eval/output/ ./results/ --recursive

INSPECT_LOG_DIR=./results inspect view

Extension VS Code

L'extension Inspect AI VS Code vous permet de parcourir les journaux d'évaluation directement depuis S3 sans les télécharger au préalable.

Structure de sortie

Chaque évaluation produit un fichier .eval journal contenant les sections suivantes :

Afficher les résultats dans MLflow (facultatif)

Si vous avez configuré MLflow dans votre recette, générez une URL présignée pour accéder au serveur de suivi :

aws sagemaker create-presigned-mlflow-tracking-server-url \
    --tracking-server-name my-server \
    --region us-west-2

Ouvrez l'URL renvoyée dans votre navigateur pour afficher les statistiques, comparer les essais et analyser les tendances entre les évaluations.

Benchmarks disponibles

Le conteneur Inspect AI fonctionne avec n'importe quel benchmark écrit au format de tâche Inspect AI. Le référentiel inspect-evals fournit plus de 128 repères prêts à l'emploi couvrant des domaines tels que le raisonnement, les connaissances, le codage et la sécurité.

Pour rédiger vos propres benchmarks, consultez la documentation sur la rédaction de tâches Inspect AI. Si vous trouvez un indice de référence public qui n'est pas encore disponible dans inspect-evals, vous pouvez utiliser l'invite d'intégration de l'assistant AI pour le convertir au format Inspect AI.

Évaluations agentiques

Les benchmarks agentiques testent la capacité d'un modèle à effectuer des tâches en plusieurs étapes qui nécessitent l'utilisation d'outils, une planification et un raisonnement itératif. Ces évaluations simulent des scénarios réels dans lesquels le modèle doit appeler des outils, interpréter les résultats et décider des prochaines actions.

Exigences relatives aux terminaux

Les évaluations agentiques nécessitent des terminaux qui prennent en charge les fonctionnalités suivantes :

SageMaker Configuration du point de terminaison d'inférence

Lorsque vous utilisez un point de terminaison d' SageMaker inférence pour les évaluations des agents, configurez les variables d'environnement suivantes sur votre terminal :

Pour plus d'informations sur la configuration des points de terminaison Amazon Nova sur SageMaker Inference, voir Déployer des modèles Amazon Nova sur. SageMaker Pour plus d'informations sur les fonctionnalités et la configuration des conteneurs, consultez la section Fonctionnalités des conteneurs.

Points de terminaison Amazon Bedrock

Pour les terminaux Amazon Bedrock, l'appel d'outils est pris en charge de manière native pour les modèles compatibles. Pour plus d'informations, consultez la section Utilisation des outils avec Amazon Bedrock.

Commencer à utiliser les évaluations agentiques

Pour exécuter des évaluations agentiques, remplissez les conditions préalables suivantes :

Point de terminaison Amazon Bedrock

Exemples de carnets

Le bloc-notes suivant montre comment exécuter un benchmark d'agent d'appel d'outils avec le conteneur Inspect AI :

Pour les benchmarks agentic qui nécessitent un bac à sable Docker, utilisez le SDK Inspect AI :

Résolution des problèmes

Cette section propose des solutions aux problèmes courants liés à l'exécution d'évaluations avec le conteneur Inspect AI.

Conseil d'itération rapide

Avant de soumettre une offre de SageMaker formation, testez vos points de référence localement à l'aide du SDK Inspect AI. Exécutez-le inspect eval my_benchmark.py sur votre machine locale pour valider les définitions des tâches, les dépendances et la logique de notation avant de l'exécuter à grande échelle.

InsufficientInstanceCapacity error

Cette erreur se produit AWS lorsque la capacité est insuffisante pour le type d'instance demandé dans votre région.

AccessDenied error

Si la tâche de formation échoue avec une erreur d'accès refusé, vérifiez les points suivants :

La création du terminal échoue

Lors de l'utilisation cleanup_endpoint: true avec la création automatique de terminaux, les problèmes suivants peuvent survenir :

Nettoyage manuel des ressources gérées

Lorsque les points de terminaison gérés sont activés, les informations sur les ressources gérées sont enregistrées CloudWatch avec le terme INFRA de filtre. Les journaux contiennent des AWS CLI commandes pour le nettoyage manuel si le conteneur ne peut pas être complètement démonté. Exécutez les étapes de terminaison manuelle uniquement lorsque la tâche n'est plus en cours d'exécution.

Exemple de sortie de journal :

[WARNING] [INFRA] Managed SMI resources created; auto-deleted on normal completion or stop.
If this job is force-killed or stopped mid-creation, delete them manually:
  aws sagemaker delete-endpoint --endpoint-name inspectlens-ep-1787856688 --region us-east-1
  aws sagemaker delete-endpoint-config --endpoint-config-name inspectlens-config-1787856688 --region us-east-1
  aws sagemaker delete-model --model-name inspectlens-model-1787856688 --region us-east-1

Lors de l'arrêt manuel de la tâche par stop-training job, le conteneur effectue un nettoyage optimal des ressources gérées dans le délai de grâce de 120 secondes. Si les ressources ne peuvent pas être nettoyées, la tâche se termine avec un état d'erreur. Si le nettoyage se termine correctement, la tâche se termine à l'état arrêté.

HuggingFace délais de téléchargement

Si les benchmarks qui téléchargent des ensembles de données depuis HuggingFace Hub expirent, définissez la variable d'HF_HUB_DOWNLOAD_TIMEOUTenvironnement sur une valeur plus élevée (en secondes) :

--environment '{"HF_HUB_DOWNLOAD_TIMEOUT": "600"}'

Conflits de dépendances de référence

Si un benchmark échoue en raison de conflits de dépendances avec des packages préinstallés, créez-en un pyproject.toml dans le répertoire du benchmark avec des contraintes de version explicites. Le conteneur installe les dépendances de référence de manière isolée afin de minimiser les conflits.

Les scores d'évaluation semblent erronés

Si les notes d'évaluation sont étonnamment faibles ou incohérentes, vérifiez les paramètres suivants dans votre recette :

Confidentialité des données

Vos données d'évaluation sont traitées différemment selon le fournisseur d'inférence que vous utilisez.

SageMaker point de terminaison

Lorsque vous utilisez un point de terminaison d' SageMaker inférence, toutes les données restent dans votre Compte AWS. Les invites d'évaluation et les réponses modèles ne sont pas envoyées en dehors de votre compte et ne sont pas utilisées pour améliorer les AWS services. Aucune politique de désinscription n'est requise.

Amazon Bedrock

Lorsque vous utilisez Amazon Bedrock comme fournisseur d'inférence, vos données sont soumises à la Politique relative aux services Opt-Out d' AWS intelligence artificielle. Pour empêcher que vos données ne soient utilisées pour améliorer les services d' AWS IA, activez la politique de désinscription au niveau AWS des organisations. Pour plus d'informations, consultez les politiques de désactivation des services d'IA.