Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Stellen Sie mithilfe der API einen Inferenzendpunkt bereit, AWS CLI

Um SageMaker Trainingspläne auf einem SageMaker Inferenzendpunkt zu verwenden, geben Sie CapacityReservationConfig beim Aufrufen des MlReservationArn API-Vorgangs den Parameter mit dem ARN der gewünschten Trainingsplanressource an. CreateEndpointConfig Sie können genau einen Plan pro Inferenzendpunkt verwenden.

Erstellen Sie eine Endpunktkonfiguration mit Trainingsplanreservierung

Erstellen Sie eine Endpunktkonfiguration, die Ihren Inferenzendpunkt an die reservierte Kapazität bindet. Füge das CapacityReservationConfig Objekt in den ProductionVariants Abschnitt ein und setze den ARN MlReservationArn auf deinen Trainingsplan.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ftp-ep-config" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint"
          }
      }]'

Die CapacityReservationPreference Einstellung von capacity-reservations-only stellt sicher, dass der Endpunkt nur auf der reservierten Kapazität läuft und den Datenverkehr stoppt, wenn die Reservierung endet.

Stellen Sie den Endpunkt auf reservierter Kapazität bereit

Wenn die Endpunktkonfiguration fertig ist, stellen Sie den Endpunkt bereit.

aws sagemaker create-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ftp-ep-config"

Der Endpunkt läuft jetzt vollständig innerhalb der reservierten Kapazität des Trainingsplans. Nachdem der Endpunkt den InService Status erreicht hat, können Sie ihn zur Inferenz aufrufen.

Rufen Sie den Endpunkt auf

Während des aktiven Reservierungszeitraums arbeitet der Endpunkt normal mit vorhersehbarem Kapazitätszugriff.

aws sagemaker-runtime invoke-endpoint \
  --endpoint-name "my-endpoint" \
  --body fileb://input.json \
  --content-type "application/json" \
  output.json

Den Endpunkt löschen

SageMaker AI unterstützt mehrere Aktualisierungsszenarien und behält gleichzeitig die Verbindung zur reservierten Kapazität bei.

Aktualisieren Sie auf eine neue Modellversion

Sie können auf eine neue Modellversion aktualisieren und dabei dieselbe reservierte Kapazität beibehalten.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ftp-ep-config-v2" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model-v2",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint"
          }
      }]'

aws sagemaker update-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ftp-ep-config-v2"

Migrieren Sie vom Schulungsplan zur On-Demand-Kapazität

Um den Endpunkt über den Reservierungszeitraum hinaus umzustellen, können Sie auf On-Demand-Kapazitäten umsteigen.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ondemand-ep-config" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0
    }]'

aws sagemaker update-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ondemand-ep-config"

Skalieren Sie den Endpunkt

Wenn Sie mehr Kapazität reserviert haben als ursprünglich bereitgestellt, können Sie innerhalb der Reservierungslimits eine Skalierung vornehmen.

aws sagemaker update-endpoint-weights-and-capacities \
  --endpoint-name "my-endpoint" \
  --desired-weights-and-capacities '[{
          "VariantName": "AllTraffic",
          "DesiredInstanceCount": 2
      }]'

Löschen Sie den Endpunkt

Wenn Sie den Inferenzendpunkt nicht mehr benötigen, löschen Sie ihn zusammen mit der Endpunktkonfiguration.

aws sagemaker delete-endpoint \
  --endpoint-name "my-endpoint"

aws sagemaker delete-endpoint-config \
  --endpoint-config-name "ftp-ep-config"