Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Déployez un point de terminaison d'inférence à l'aide de l'API, AWS CLI

Pour utiliser des plans d' SageMaker entraînement sur un point de terminaison d' SageMaker inférence, spécifiez le MlReservationArn paramètre avec l'ARN de la ressource de plan d'entraînement souhaitée CapacityReservationConfig lors de l'appel de l'opération CreateEndpointConfig d'API. Vous pouvez utiliser exactement un plan par point final d'inférence.

Création d'une configuration de terminal avec réservation d'un plan de formation

Créez une configuration de point de terminaison qui lie votre point de terminaison d'inférence à la capacité réservée. Incluez l'CapacityReservationConfigobjet dans la ProductionVariants section, en définissant l'ARN MlReservationArn de votre plan d'entraînement.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ftp-ep-config" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint"
          }
      }]'

Le CapacityReservationPreference paramètre de capacity-reservations-only garantit que le terminal fonctionne uniquement sur la capacité réservée et cesse de desservir le trafic à la fin de la réservation.

Déployez le terminal sur une capacité réservée

Une fois la configuration du terminal prête, déployez-le.

aws sagemaker create-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ftp-ep-config"

Le terminal fonctionne désormais entièrement dans les limites de la capacité réservée au plan de formation. Une fois que le terminal a atteint le InService statut, vous pouvez l'invoquer à des fins d'inférence.

Appeler le point de terminaison

Pendant la fenêtre de réservation active, le terminal fonctionne normalement avec un accès prévisible à la capacité.

aws sagemaker-runtime invoke-endpoint \
  --endpoint-name "my-endpoint" \
  --body fileb://input.json \
  --content-type "application/json" \
  output.json

Mettre à jour le point de terminaison

SageMaker L'IA prend en charge plusieurs scénarios de mise à jour tout en maintenant la connexion à la capacité réservée.

Mise à jour vers une nouvelle version du modèle

Vous pouvez passer à une nouvelle version du modèle tout en conservant la même capacité réservée.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ftp-ep-config-v2" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model-v2",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint"
          }
      }]'

aws sagemaker update-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ftp-ep-config-v2"

Migrer d'un plan de formation vers une capacité à la demande

Pour transférer le terminal au-delà de la période de réservation, vous pouvez migrer vers une capacité à la demande.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ondemand-ep-config" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0
    }]'

aws sagemaker update-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ondemand-ep-config"

Faites évoluer le point de terminaison

Si vous avez réservé une capacité supérieure à celle initialement déployée, vous pouvez augmenter votre capacité dans les limites de réservation.

aws sagemaker update-endpoint-weights-and-capacities \
  --endpoint-name "my-endpoint" \
  --desired-weights-and-capacities '[{
          "VariantName": "AllTraffic",
          "DesiredInstanceCount": 2
      }]'

Suppression du point de terminaison

Lorsque vous n'avez plus besoin du point de terminaison d'inférence, supprimez-le ainsi que la configuration du point de terminaison.

aws sagemaker delete-endpoint \
  --endpoint-name "my-endpoint"

aws sagemaker delete-endpoint-config \
  --endpoint-config-name "ftp-ep-config"