Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementa un endpoint di inferenza utilizzando l'API, AWS CLI

Per utilizzare i piani di SageMaker formazione su un endpoint di SageMaker inferenza, specifica il MlReservationArn parametro con l'ARN della risorsa del piano di formazione desiderata nel campo di chiamata all'operazione API. CapacityReservationConfig CreateEndpointConfig È possibile utilizzare esattamente un piano per endpoint di inferenza.

Crea una configurazione degli endpoint con prenotazione del piano di formazione

Crea una configurazione degli endpoint che associ il tuo endpoint di inferenza alla capacità riservata. Includi l'CapacityReservationConfigoggetto nella ProductionVariants sezione, impostando l'ARN del tuo piano MlReservationArn di allenamento.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ftp-ep-config" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint"
          }
      }]'

L'CapacityReservationPreferenceimpostazione di capacity-reservations-only garantisce che l'endpoint funzioni solo con la capacità riservata e interrompa il traffico al termine della prenotazione.

Implementa l'endpoint su capacità riservata

Con la configurazione dell'endpoint pronta, implementa l'endpoint.

aws sagemaker create-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ftp-ep-config"

L'endpoint ora funziona interamente all'interno della capacità riservata del piano di formazione. Dopo che l'endpoint ha raggiunto InService lo stato, è possibile richiamarlo per l'inferenza.

Richiamare l'endpoint

Durante la finestra di prenotazione attiva, l'endpoint funziona normalmente con un accesso prevedibile alla capacità.

aws sagemaker-runtime invoke-endpoint \
  --endpoint-name "my-endpoint" \
  --body fileb://input.json \
  --content-type "application/json" \
  output.json

Aggiornamento dell’endpoint

SageMaker L'intelligenza artificiale supporta diversi scenari di aggiornamento mantenendo la connessione alla capacità riservata.

Aggiornamento a una nuova versione del modello

È possibile eseguire l'aggiornamento a una nuova versione del modello mantenendo la stessa capacità riservata.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ftp-ep-config-v2" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model-v2",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint"
          }
      }]'

aws sagemaker update-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ftp-ep-config-v2"

Passa dal piano di formazione alla capacità su richiesta

Per trasferire l'endpoint oltre il periodo di prenotazione, puoi migrare alla capacità su richiesta.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ondemand-ep-config" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0
    }]'

aws sagemaker update-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ondemand-ep-config"

Ridimensiona l'endpoint

Se hai riservato una capacità superiore a quella inizialmente distribuita, puoi aumentare la capacità entro i limiti di prenotazione.

aws sagemaker update-endpoint-weights-and-capacities \
  --endpoint-name "my-endpoint" \
  --desired-weights-and-capacities '[{
          "VariantName": "AllTraffic",
          "DesiredInstanceCount": 2
      }]'

Eliminazione di un endpoint

Quando non è più necessario l'endpoint di inferenza, eliminalo insieme alla configurazione dell'endpoint.

aws sagemaker delete-endpoint \
  --endpoint-name "my-endpoint"

aws sagemaker delete-endpoint-config \
  --endpoint-config-name "ftp-ep-config"