Solucionar problemas de endpoints de vários contêineres - Amazon SageMaker

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Solucionar problemas de endpoints de vários contêineres

As seções a seguir podem ajudar a solucionar erros em endpoints de vários contêineres.

Erros do Ping Health Check

Com vários contêineres, a memória do endpoint CPU está sob maior pressão durante a criação do endpoint. Especificamente, as métricas MemoryUtilization e CPUUtilization são mais altas do que as dos terminais de um único contêiner, porque a pressão de utilização é proporcional ao número de contêineres. Por isso, recomendamos que você escolha tipos de instância com memória suficiente e CPU garanta que haja memória suficiente na instância para carregar todos os modelos (a mesma orientação se aplica à implantação de um pipeline de inferência). Caso contrário, a criação do endpoint poderá falhar com um erro como XXX did not pass the ping health check.

Falta o accept-bind-to-port rótulo = verdadeiro do Docker

Os contêineres em endpoints de vários contêiners escutam na porta especificada na variável de ambiente SAGEMAKER_BIND_TO_PORT em vez da porta 8080. Quando um contêiner é executado em um endpoint de vários contêineres, fornece SageMaker automaticamente essa variável de ambiente ao contêiner. Se essa variável de ambiente não estiver presente, os contêineres padrão usam a porta 8080. Para indicar que o contêiner está em conformidade com esse requisito, use o comando a seguir para adicionar um rótulo ao Dockerfile:

LABEL com.amazonaws.sagemaker.capabilities.accept-bind-to-port=true

Caso contrário, você verá uma mensagem de erro como Your Ecr Image XXX does not contain required com.amazonaws.sagemaker.capabilities.accept-bind-to-port=true Docker label(s).

Se o seu contêiner precisar escutar em uma segunda porta, escolha uma porta no intervalo especificado pela variável de ambiente SAGEMAKER_SAFE_PORT_RANGE. Especifique o valor como um intervalo inclusivo no formato XXXX-YYYY, onde XXXX e YYYY são números inteiros de vários dígitos. SageMaker fornece esse valor automaticamente quando você executa o contêiner em um endpoint de vários contêineres.