Endpoint com vários contêineres
Os endpoints de vários contêineres do SageMaker permitem que os clientes implantem vários contêineres, que usam modelos ou estruturas diferentes, em um único endpoint do SageMaker. Os contêineres podem ser executados em uma sequência como um pipeline de inferência, ou cada contêiner pode ser acessado individualmente usando invocação direta para melhorar a utilização do endpoint e otimizar os custos.
Para obter informações sobre como invocar os contêineres em um endpoint de vários contêineres em sequência, consulte Pipelines de inferência no Amazon SageMaker.
Para obter informações sobre como invocar o contêiner específico em um endpoint de vários contêineres em sequência, consulte Invoque um endpoint de vários contêineres com invocação direta
Tópicos
- Criar um endpoint de vários contêineres (Boto 3)
- Atualizar um endpoint de vários contêineres
- Invoque um endpoint de vários contêineres com invocação direta
- Segurança com um endpoint de vários contêineres com invocação direta
- Métricas para endpoints de vários contêineres com invocação direta
- Ajuste de escala automático de endpoints com vários contêineres
- Solucionar problemas de endpoints de vários contêineres
A política a seguir permite solicitações invoke_endpoint
somente quando o valor do campo TargetContainerHostname
corresponde a uma das expressões regulares especificadas.
{ "Version": "2012-10-17", "Statement": [ { "Action": [ "sagemaker:InvokeEndpoint" ], "Effect": "Allow", "Resource": "arn:aws:sagemaker:
region
:account-id
:endpoint/endpoint_name
", "Condition": { "StringLike": { "sagemaker:TargetContainerHostname": ["customIps*", "common*"] } } } ] }
A política a seguir nega solicitações invoke_endpoint
somente quando o valor do campo TargetContainerHostname
corresponde a uma das expressões regulares especificadas na declaração Deny
.
{ "Version": "2012-10-17", "Statement": [ { "Action": [ "sagemaker:InvokeEndpoint" ], "Effect": "Allow", "Resource": "arn:aws:sagemaker:
region
:account-id
:endpoint/endpoint_name
", "Condition": { "StringLike": { "sagemaker:TargetContainerHostname": ["*"] } } }, { "Action": [ "sagemaker:InvokeEndpoint" ], "Effect": "Deny", "Resource": "arn:aws:sagemaker:region
:account-id
:endpoint/endpoint_name
", "Condition": { "StringLike": { "sagemaker:TargetContainerHostname": ["special*"] } } } ] }
Para obter informações sobre chaves de condição do SageMaker, consulte Chaves de condição para o SageMaker no Guia do usuário do AWS Identity and Access Management.