As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Ofereça aos empregos de SageMaker treinamento acesso aos recursos em sua Amazon VPC
nota
Para trabalhos de treinamento, você pode configurar somente sub-redes com uma locação padrão VPC na qual sua instância é executada em hardware compartilhado. Para obter mais informações sobre o atributo de locação paraVPCs, consulte Instâncias dedicadas.
Configurar um Training Job para o Amazon VPC Access
Para controlar o acesso aos seus trabalhos de treinamento, execute-os em uma Amazon VPC com sub-redes privadas que não têm acesso à Internet.
Você configura o trabalho de treinamento para ser executado no VPC especificando suas sub-redes e grupo de segurança. IDs Não é necessário especificar a sub-rede para o contêiner do trabalho de treinamento. A Amazon extrai SageMaker automaticamente a imagem do contêiner de treinamento da AmazonECR.
Ao criar um trabalho de treinamento, você pode especificar as sub-redes e os grupos de segurança VPC usando o SageMaker console da Amazon ou o. API
Para usar oAPI, você especifica as sub-redes e o grupo de segurança IDs no VpcConfig
parâmetro da CreateTrainingJoboperação. SageMaker usa os detalhes da sub-rede e do grupo de segurança para criar as interfaces de rede e as anexa aos contêineres de treinamento. As interfaces de rede fornecem aos contêineres de treinamento uma conexão de rede dentro do seuVPC. Isso permite que o trabalho de treinamento se conecte aos recursos que existem em seuVPC.
Veja a seguir um exemplo do parâmetro VpcConfig
incluído na sua chamada para a operação CreateTrainingJob
:
VpcConfig: { "Subnets": [ "subnet-0123456789abcdef0", "subnet-0123456789abcdef1", "subnet-0123456789abcdef2" ], "SecurityGroupIds": [ "sg-0123456789abcdef0" ] }
Configure seu privado VPC para SageMaker treinamento
Ao configurar o privado VPC para seus trabalhos de SageMaker treinamento, use as diretrizes a seguir. Para obter informações sobre como configurar umVPC, consulte Trabalho com VPCs e sub-redes no Guia VPC do usuário da Amazon.
Tópicos
- Garanta que as sub-redes tenham endereços IP suficientes
- Crie um endpoint Amazon S3 VPC
- Use uma política de endpoint personalizada para restringir o acesso ao S3
- Configurar tabelas de rotas
- Configurar o grupo VPC de segurança
- Conecte-se a recursos fora do seu VPC
- Monitore trabalhos SageMaker de treinamento da Amazon com CloudWatch registros e métricas
Garanta que as sub-redes tenham endereços IP suficientes
As instâncias de treinamento que não usam um adaptador Elastic Fabric (EFA) devem ter pelo menos dois endereços IP privados. As instâncias de treinamento que usam an EFA devem ter pelo menos 5 endereços IP privados. Para obter mais informações, consulte Vários endereços IP no Guia do EC2 usuário da Amazon.
Suas VPC sub-redes devem ter pelo menos dois endereços IP privados para cada instância em um trabalho de treinamento. Para obter mais informações, consulte VPCe Dimensionamento de sub-rede IPv4 no Guia VPC do usuário da Amazon.
Crie um endpoint Amazon S3 VPC
Se você configurar o seu VPC para que os contêineres de treinamento não tenham acesso à Internet, eles não poderão se conectar aos buckets do Amazon S3 que contêm seus dados de treinamento, a menos que você crie um VPC endpoint que permita o acesso. Ao criar um VPC endpoint, você permite que seus contêineres de treinamento acessem os buckets onde você armazena seus dados e artefatos do modelo. Recomendamos que você também crie uma política personalizada que permita que somente solicitações de sua conta privada VPC acessem seus buckets do S3. Para obter mais informações, consulte Endpoints para Amazon S3.
Para criar um VPC endpoint S3:
-
Abra o VPC console da Amazon em https://console.aws.amazon.com/vpc/
. -
No painel de navegação, selecione Endpoints e Criar endpoint.
-
Em Nome do serviço, pesquise com.amazonaws.
region
.s3, onderegion
é o nome da região em que você VPC reside. -
Escolha o tipo de gateway.
-
Para VPC, escolha o VPC que você deseja usar para esse endpoint.
-
Para Configurar tabelas de rotas, selecione as tabelas de rotas a serem usadas pelo endpoint. O VPC serviço adiciona automaticamente uma rota a cada tabela de rotas selecionada que aponta qualquer tráfego do S3 para o novo endpoint.
-
Em Política, escolha Acesso total para permitir acesso total ao serviço S3 por qualquer usuário ou serviço dentro doVPC. Escolha Personalizar para restringir ainda mais o acesso. Para ter mais informações, consulte Use uma política de endpoint personalizada para restringir o acesso ao S3.
Use uma política de endpoint personalizada para restringir o acesso ao S3
A política de endpoint padrão permite acesso total ao S3 para qualquer usuário ou serviço em seu. VPC Para restringir ainda mais o acesso ao S3, crie uma política de endpoint personalizada. Para obter mais informações, consulte Usar políticas de endpoint para o Amazon S3. Você também pode usar uma política de bucket para restringir o acesso aos buckets do S3 somente ao tráfego proveniente da Amazon. VPC Para obter informações, consulte Usar as Políticas do Bucket do Amazon S3.
Restringir a instalação do pacote no contêiner de treinamento
A política de endpoint padrão permite que os usuários instalem pacotes dos repositórios do Amazon Linux e do Amazon Linux 2 no contêiner de treinamento. Se você não deseja que os usuários instalem pacotes, crie uma política de endpoint personalizada que negue explicitamente o acesso a esses repositórios. Veja a seguir um exemplo de política que nega acesso somente a esses repositórios:
{ "Statement": [ { "Sid": "AmazonLinuxAMIRepositoryAccess", "Principal": "*", "Action": [ "s3:GetObject" ], "Effect": "Deny", "Resource": [ "arn:aws:s3:::packages.*.amazonaws.com/*", "arn:aws:s3:::repo.*.amazonaws.com/*" ] } ] } { "Statement": [ { "Sid": "AmazonLinux2AMIRepositoryAccess", "Principal": "*", "Action": [ "s3:GetObject" ], "Effect": "Deny", "Resource": [ "arn:aws:s3:::amazonlinux.*.amazonaws.com/*" ] } ] }
Configurar tabelas de rotas
Use DNS as configurações padrão para sua tabela de rotas de endpoints, para que o Amazon URLs S3 padrão (por exemplohttp://s3-aws-region.amazonaws.com/MyBucket
,) resolva. Se você não usar DNS as configurações padrão, certifique-se de URLs que as usadas para especificar os locais dos dados em seus trabalhos de treinamento sejam resolvidas configurando as tabelas de rotas do endpoint. Para obter informações sobre tabelas de rotas de VPC endpoints, consulte Roteamento para endpoints de gateway no Guia do usuário da Amazon VPC.
Configurar o grupo VPC de segurança
No treinamento distribuído, é necessário permitir a comunicação entre os diferentes contêineres no mesmo trabalho de treinamento. Para fazer isso, configure uma regra para seu grupo de segurança que permita conexões de entrada entre membros do mesmo grupo de segurança. Para instâncias EFA habilitadas, certifique-se de que as conexões de entrada e saída permitam todo o tráfego do mesmo grupo de segurança. Para obter mais informações, consulte Regras dos grupos de segurança no Guia do usuário da Amazon Virtual Private Cloud.
Conecte-se a recursos fora do seu VPC
Se você configurar seu VPC para que ele não tenha acesso à Internet, os trabalhos de treinamento que o usam VPC não terão acesso a recursos fora do seuVPC. Se seu trabalho de treinamento precisar de acesso a recursos externos ao seuVPC, forneça acesso com uma das seguintes opções:
-
Se seu trabalho de treinamento precisar acessar um AWS serviço que ofereça suporte a VPC endpoints de interface, crie um endpoint para se conectar a esse serviço. Para obter uma lista de serviços que oferecem suporte a endpoints de interface, consulte VPCEndpoints no Guia do usuário da Amazon Virtual Private Cloud. Para obter informações sobre a criação de um VPC endpoint de interface, consulte Interface VPC Endpoints (AWS PrivateLink) no Guia do usuário da Amazon Virtual Private Cloud.
-
Se seu trabalho de treinamento precisar acessar um AWS serviço que não ofereça suporte a VPC endpoints de interface ou a um recurso externo AWS, crie um NAT gateway e configure seus grupos de segurança para permitir conexões de saída. Para obter informações sobre como configurar um NAT gateway para vocêVPC, consulte Cenário 2: VPC com sub-redes públicas e privadas (NAT) no Guia do usuário da Amazon Virtual Private Cloud.
Monitore trabalhos SageMaker de treinamento da Amazon com CloudWatch registros e métricas
SageMaker A Amazon fornece CloudWatch registros e métricas da Amazon para monitorar trabalhos de treinamento. CloudWatch fornece métricas de memória CPUGPU, GPU memória e disco e registro de eventos. Para obter mais informações sobre o monitoramento de trabalhos SageMaker de treinamento da Amazon, consulte Monitore a Amazon SageMaker com a Amazon CloudWatch SageMaker métricas de tarefas e endpoints e.