Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Capture de données à des fins d'inférence sur HyperPod

Amazon SageMaker HyperPod Inference Data Capture vous permet d'enregistrer les données de demande et de réponse d'inférence à des fins de surveillance, de débogage et d'amélioration du modèle. Les demandes d'inférence circulent du point de terminaison de l' SageMaker IA vers l'équilibreur de charge d'application, puis vers le module de modèle. Vous pouvez activer la capture indépendamment à chaque niveau, de la couche la plus externe (niveau 1, point de terminaison de l' SageMaker IA) à la couche la plus profonde (niveau 3, module de modèle) :

Le niveau 1 capture les charges utiles complètes à la limite de l'API SageMaker AI Runtime et nécessite l'enregistrement des terminaux. Utilisez le niveau 1 lorsque vous avez besoin d'une compatibilité avec SageMaker AI Model Monitor. Le niveau 3 capture les charges utiles complètes dans le conteneur d'inférence avec des limites de mise en mémoire tampon, d'échantillonnage et de charge utile configurables, et fonctionne sans SageMaker enregistrement des points de terminaison AI. Utilisez le niveau 3 lorsque vous avez besoin de la visibilité la plus profonde la plus proche du modèle. Activez n'importe quelle combinaison : chaque niveau capture à un moment différent du flux de demandes.

Tous les niveaux écrivent dans votre compartiment Amazon S3. Si vous ne spécifiez pas des3Uri, les données sont stockées dans le compartiment de certificats TLS sous un /data-capture/ préfixe par défaut. Dans le compartiment, chaque déploiement obtient un chemin unique basé sur un hachage dérivé de l'ARN du cluster, de l'espace de noms, du type CRD et du nom du déploiement. Le même déploiement génère toujours le même préfixe, de sorte que des artefacts de capture de données provenant de plusieurs soumissions CRD ciblant le même flux de déploiement vers le même sous-dossier Amazon S3.

Pour désactiver la capture de données pour un niveau, définissez son enabled champ sur false ou supprimez la section du niveau de votre CRD. Pour désactiver toutes les captures de données, supprimez complètement la dataCapture section.

Configuration de la capture de données

Activez la capture de données en ajoutant une dataCapture section à votre InferenceEndpointConfig JumpStartModel CRD. Le dataCapture bloc contient une configuration à un seul niveau s3Uri (facultatif) et à un ou plusieurs niveaux. L'exemple suivant montre la structure globale avec les trois niveaux activés :

  dataCapture:
    s3Uri: s3://my-capture-bucket/captures/   # Optional. Defaults to TLS bucket.
    sagemakerEndpoint:
      enabled: true
      # Tier 1 fields...
    loadBalancer:
      enabled: true
    modelPod:
      enabled: true
      # Tier 3 fields...

Niveau 1 : capture des terminaux par SageMaker IA

Le niveau 1 utilise l' SageMaker IA native DataCaptureConfig pour capturer les charges utiles d'entrée et de sortie d'inférence au niveau des terminaux. Il s'agit du point de capture le plus externe et il est compatible avec SageMaker AI Model Monitor pour une surveillance automatisée de la qualité des données. Pour plus d'informations sur la capture de données par SageMaker IA, voir Capture de données depuis un point de terminaison en temps réel.

    sagemakerEndpoint:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      captureContentTypeHeader:
        jsonContentTypes:
          - application/json

Niveau 2 : capture de l'équilibreur de charge

Le niveau 2 active les journaux d'accès ALB, capturant les métadonnées des demandes telles que les adresses IP des clients, les chemins de demande et les latences.

    loadBalancer:
      enabled: true

Niveau 3 : capture d'un module de modélisation

Le niveau 3 capture les charges utiles d'entrée et de sortie d'inférence au niveau du module du modèle, offrant ainsi la meilleure visibilité sur le trafic d'inférence. Utilisez ce niveau lorsque vous avez besoin d'un contrôle précis de la mise en mémoire tampon, des limites de taille de charge utile et de la capture au plus près du modèle.

    modelPod:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      bufferConfig:
        batchSize: 100
        flushIntervalSeconds: 60
      payloadConfig:
        maxPayloadSizeKB: 1024

Mettre à jour l'addon

Prérequis : Authentifiez-vous et connectez-vous à votre cluster EKS

Authentifiez-vous sur votre AWS compte. Avant de vous connecter, collectez le nom, la région et l'ARN HyperPod du cluster EKS :

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION
HP_ARN=HYPERPOD_CLUSTER_ARN

Connectez-vous à votre cluster EKS :

aws eks update-kubeconfig --region REGION --name EKS_CLUSTER_NAME

Mettez à jour la configuration du module complémentaire :

VERSION=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.addonVersion' --output text)
CURRENT_CONFIG=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.configurationValues' --output text)
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
--cluster-name $CLUSTER \
--addon-name amazon-sagemaker-hyperpod-inference \
--addon-version "$VERSION" \
--configuration-values "$NEW_CONFIG" \
--resolve-conflicts OVERWRITE \
--region $REGION

Attendez que l'addon soit actif, puis déployez les modèles

Mettre à jour les autorisations pour les clusters existants

Pour activer la capture de données sur vos déploiements HyperPod d'inférence, configurez les autorisations IAM suivantes.

Bonnes pratiques