Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Datenerfassung für Rückschlüsse auf HyperPod

Mit der SageMaker HyperPod Amazon-Inferenzdatenerfassung können Sie Inferenzanforderungs- und Antwortdaten für die Modellüberwachung, das Debugging und die Modellverbesserung aufzeichnen. Inferenzanfragen werden vom SageMaker KI-Endpunkt an den Application Load Balancer und dann an den Modell-Pod weitergeleitet. Sie können die Erfassung auf jeder Ebene unabhängig aktivieren, von der äußersten Ebene (Tier 1, SageMaker KI-Endpunkt) bis zur tiefsten Ebene (Tier 3, Modell-Pod):

Tier 1 erfasst die gesamten Nutzlasten an der SageMaker AI-Runtime-API-Grenze und erfordert eine Endpunktregistrierung. Verwenden Sie Tier 1, wenn Sie Kompatibilität mit SageMaker AI Model Monitor benötigen. Tier 3 erfasst die gesamten Nutzlasten im Inferenzcontainer mit konfigurierbaren Puffer-, Sampling- und Nutzlastgrenzwerten und funktioniert ohne SageMaker KI-Endpunktregistrierung. Verwenden Sie Tier 3, wenn Sie die tiefste Sichtbarkeit benötigen, die dem Modell am nächsten kommt. Aktivieren Sie eine beliebige Kombination — jede Stufe erfasst die Daten an einem anderen Punkt im Anforderungsablauf.

Alle Stufen schreiben in Ihren Amazon S3-Bucket. Wenn Sie kein angebens3Uri, werden Daten standardmäßig im TLS-Zertifikat-Bucket unter einem /data-capture/ Präfix gespeichert. Innerhalb des Buckets erhält jede Bereitstellung einen eindeutigen Pfad, der auf einem Hash basiert, der aus dem Cluster-ARN, dem Namespace, dem CRD-Typ und dem Bereitstellungsnamen abgeleitet wird. Dieselbe Bereitstellung generiert immer dasselbe Präfix, sodass Datenerfassungsartefakte aus mehreren CRD-Übermittlungen, die auf dieselbe Bereitstellung abzielen, in denselben Amazon S3-Unterordner fließen.

Um die Datenerfassung für eine Ebene zu deaktivieren, setzen Sie das entsprechende enabled Feld auf false oder entfernen Sie den Abschnitt „Stufe“ aus Ihrer CRD. Um die gesamte Datenerfassung zu deaktivieren, entfernen Sie den dataCapture Abschnitt vollständig.

Konfiguration der Datenerfassung

Aktivieren Sie die Datenerfassung, indem Sie Ihrer InferenceEndpointConfig oder JumpStartModel CRD einen dataCapture Abschnitt hinzufügen. Der dataCapture Block enthält eine einzelne s3Uri (optionale) und eine oder mehrere Ebenenkonfigurationen. Das folgende Beispiel zeigt die Gesamtstruktur, bei der alle drei Ebenen aktiviert sind:

  dataCapture:
    s3Uri: s3://my-capture-bucket/captures/   # Optional. Defaults to TLS bucket.
    sagemakerEndpoint:
      enabled: true
      # Tier 1 fields...
    loadBalancer:
      enabled: true
    modelPod:
      enabled: true
      # Tier 3 fields...

Stufe 1: Erfassung von SageMaker KI-Endpunkten

Stufe 1 verwendet die native SageMaker KIDataCaptureConfig, um Inferenz-Eingabe- und Ausgabe-Payloads auf Endpunktebene zu erfassen. Dies ist der äußerste Erfassungspunkt und ist mit SageMaker AI Model Monitor für die automatische Überwachung der Datenqualität kompatibel. Weitere Informationen zur SageMaker KI-Datenerfassung finden Sie unter Erfassen von Daten von einem Echtzeit-Endpunkt.

    sagemakerEndpoint:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      captureContentTypeHeader:
        jsonContentTypes:
          - application/json

Stufe 2: Erfassung durch den Load Balancer

Tier 2 ermöglicht ALB-Zugriffsprotokolle und erfasst Anforderungsmetadaten wie Client-IPs, Anforderungspfade und Latenzen.

    loadBalancer:
      enabled: true

Stufe 3: Erfassung des Modell-Pods

Stufe 3 erfasst die Nutzlasten der Inferenzeingabe und -ausgabe auf der Ebene des Modell-Pods und bietet so den umfassendsten Einblick in den Inferenzverkehr. Verwenden Sie diese Ebene, wenn Sie eine detaillierte Kontrolle über die Pufferung, die Größenbeschränkungen für die Nutzlast und die Erfassung benötigen, die dem Modell am nächsten kommt.

    modelPod:
      enabled: true
      initialSamplingPercentage: 100
      kmsKeyId: arn:aws:kms:us-east-2:123456789012:key/my-key-id
      captureOptions:
        - captureMode: Input
        - captureMode: Output
      bufferConfig:
        batchSize: 100
        flushIntervalSeconds: 60
      payloadConfig:
        maxPayloadSizeKB: 1024

Addon aktualisieren

Voraussetzungen: Authentifizieren Sie sich und stellen Sie eine Verbindung zu Ihrem EKS-Cluster her

Authentifizieren Sie sich bei Ihrem AWS Konto. Bevor Sie eine Verbindung herstellen, erfassen Sie den Namen, die Region und den HyperPod Cluster-ARN des EKS-Clusters:

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION
HP_ARN=HYPERPOD_CLUSTER_ARN

Stellen Sie eine Verbindung zu Ihrem EKS-Cluster her:

aws eks update-kubeconfig --region REGION --name EKS_CLUSTER_NAME

Aktualisieren Sie die Addon-Konfiguration:

VERSION=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.addonVersion' --output text)
CURRENT_CONFIG=$(aws eks describe-addon --cluster-name $CLUSTER --addon-name amazon-sagemaker-hyperpod-inference --region $REGION --query 'addon.configurationValues' --output text)
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
--cluster-name $CLUSTER \
--addon-name amazon-sagemaker-hyperpod-inference \
--addon-version "$VERSION" \
--configuration-values "$NEW_CONFIG" \
--resolve-conflicts OVERWRITE \
--region $REGION

Warten Sie, bis das Addon aktiv ist, und stellen Sie dann die Modelle bereit

Aktualisierung der Berechtigungen für bestehende Cluster

Um die Datenerfassung HyperPod in Ihren Inference-Bereitstellungen zu aktivieren, konfigurieren Sie die folgenden IAM-Berechtigungen.

Bewährte Methoden