As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Implante um endpoint de inferência usando a API, AWS CLI

Para usar planos de SageMaker treinamento em um endpoint de SageMaker inferência, especifique o MlReservationArn parâmetro com o ARN do recurso do plano de treinamento desejado em CapacityReservationConfig ao chamar a operação da API. CreateEndpointConfig Você pode usar exatamente um plano por endpoint de inferência.

Crie uma configuração de endpoint com a reserva do plano de treinamento

Crie uma configuração de endpoint que vincule seu endpoint de inferência à capacidade reservada. Inclua o CapacityReservationConfig objeto na ProductionVariants seção, definindo o ARN MlReservationArn para seu plano de treinamento.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ftp-ep-config" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint"
          }
      }]'

A CapacityReservationPreference configuração de capacity-reservations-only garante que o endpoint funcione somente com a capacidade reservada e pare de servir o tráfego quando a reserva terminar.

Implante o endpoint em capacidade reservada

Com a configuração do endpoint pronta, implante o endpoint.

aws sagemaker create-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ftp-ep-config"

O endpoint agora funciona inteiramente dentro da capacidade reservada do plano de treinamento. Depois que o endpoint atingir o InService status, você poderá invocá-lo para inferência.

Invocar o endpoint

Durante a janela de reserva ativa, o endpoint opera normalmente com acesso previsível à capacidade.

aws sagemaker-runtime invoke-endpoint \
  --endpoint-name "my-endpoint" \
  --body fileb://input.json \
  --content-type "application/json" \
  output.json

Atualizar o endpoint

SageMaker A IA oferece suporte a vários cenários de atualização e, ao mesmo tempo, mantém a conexão com a capacidade reservada.

Atualize para uma nova versão do modelo

Você pode atualizar para uma nova versão do modelo, mantendo a mesma capacidade reservada.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ftp-ep-config-v2" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model-v2",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0,
          "CapacityReservationConfig": {
              "CapacityReservationPreference": "capacity-reservations-only",
              "MlReservationArn": "arn:aws:sagemaker:us-east-1:123456789123:training-plan/p4-for-inference-endpoint"
          }
      }]'

aws sagemaker update-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ftp-ep-config-v2"

Migre do plano de treinamento para a capacidade sob demanda

Para fazer a transição do endpoint além do período de reserva, você pode migrar para a capacidade sob demanda.

aws sagemaker create-endpoint-config \
  --endpoint-config-name "ondemand-ep-config" \
  --production-variants '[{
          "VariantName": "AllTraffic",
          "ModelName": "my-model",
          "InitialInstanceCount": 1,
          "InstanceType": "ml.p4d.24xlarge",
          "InitialVariantWeight": 1.0
    }]'

aws sagemaker update-endpoint \
  --endpoint-name "my-endpoint" \
  --endpoint-config-name "ondemand-ep-config"

Dimensione o endpoint

Se você reservou mais capacidade do que a inicialmente implantada, poderá aumentar a escala dentro dos limites de reserva.

aws sagemaker update-endpoint-weights-and-capacities \
  --endpoint-name "my-endpoint" \
  --desired-weights-and-capacities '[{
          "VariantName": "AllTraffic",
          "DesiredInstanceCount": 2
      }]'

Excluir o endpoint

Quando você não precisar mais do endpoint de inferência, exclua-o junto com a configuração do endpoint.

aws sagemaker delete-endpoint \
  --endpoint-name "my-endpoint"

aws sagemaker delete-endpoint-config \
  --endpoint-config-name "ftp-ep-config"