Ofereça aos trabalhos de treinamento de SageMaker IA acesso a recursos em sua Amazon VPC

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurar um trabalho de treinamento para acesso à Amazon VPC

Para controlar o acesso aos seus trabalhos de treinamento, execute-os em uma Amazon VPC com sub-redes privadas que não têm acesso à Internet.

Você configura o trabalho de treinamento para ser executado na VPC especificando suas sub-redes e grupo de segurança. IDs Não é necessário especificar a sub-rede para o contêiner do trabalho de treinamento. O Amazon SageMaker AI extrai automaticamente a imagem do contêiner de treinamento do Amazon ECR.

Ao criar um trabalho de treinamento, você pode especificar as sub-redes e os grupos de segurança em sua VPC usando o console Amazon SageMaker AI ou a API.

Para usar a API, você especifica as sub-redes e o grupo de segurança IDs no VpcConfig parâmetro da CreateTrainingJoboperação. SageMaker A IA usa os detalhes da sub-rede e do grupo de segurança para criar as interfaces de rede e anexá-las aos contêineres de treinamento. As interfaces de rede concedem aos contêineres de treinamento uma conexão de rede na sua VPC. Isso permite que o trabalho de treinamento se conecte aos recursos que existem em sua VPC.

Veja a seguir um exemplo do parâmetro VpcConfig incluído na sua chamada para a operação CreateTrainingJob.

VpcConfig: {
      "Subnets": [
          "subnet-0123456789abcdef0",
          "subnet-0123456789abcdef1",
          "subnet-0123456789abcdef2"
          ],
      "SecurityGroupIds": [
          "sg-0123456789abcdef0"
          ]
        }

Configure sua VPC privada para SageMaker treinamento de IA

Ao configurar a VPC privada para SageMaker seus trabalhos de treinamento de IA, use as diretrizes a seguir. Para obter informações sobre como configurar uma VPC, consulte Trabalho com VPCs e sub-redes no Guia do usuário da Amazon VPC.

Certifique-se de que as sub-redes tenham endereços IP suficientes

As instâncias de treinamento que não usam um Elastic Fabric Adapter (EFA) devem ter pelo menos dois endereços IP privados. As instâncias de treinamento que não usam um EFA devem ter pelo menos cinco endereços IP privados. Para obter mais informações, consulte Vários endereços IP no Guia do EC2 usuário da Amazon.

As sub-redes da VPC devem ter pelo menos dois endereços IP privados para cada instância em um trabalho de treinamento. Para obter mais informações, consulte Dimensionamento de VPC e sub-rede no Guia do usuário IPv4 da Amazon VPC.

Criar um endpoint da VPC para o Amazon S3

Se você configurar sua VPC para que os contêineres de treinamento não tenham acesso à Internet, eles não poderão se conectar aos buckets do Amazon S3 que contêm os dados de treinamento, a menos que você crie um endpoint de VPC que permita o acesso. Ao criar um endpoint da VPC, você permite que os contêineres de treinamento acessem os buckets de armazenamento dos dados e artefatos de modelo. Recomendamos que você também crie uma política personalizada para que apenas solicitações da sua VPC privada acessem os buckets do S3. Para obter mais informações, consulte Endpoints para Amazon S3.

Use uma política de endpoint personalizada para restringir o acesso ao S3

A política de endpoint padrão permite acesso total ao S3 para qualquer usuário ou serviço em sua VPC. Para restringir ainda mais o acesso ao S3, crie uma política de endpoint personalizada. Para obter mais informações, consulte Usar políticas de endpoint para o Amazon S3. Você também pode usar uma política de buckets para restringir o acesso aos seus buckets do S3 somente ao tráfego proveniente da sua Amazon VPC. Para obter informações, consulte Usar as Políticas do Bucket do Amazon S3.

Restringir a instalação do pacote no contêiner de treinamento

A política de endpoint padrão permite que os usuários instalem pacotes dos repositórios do Amazon Linux e do Amazon Linux 2 no contêiner de treinamento. Se você não deseja que os usuários instalem pacotes, crie uma política de endpoint personalizada que negue explicitamente o acesso a esses repositórios. Veja a seguir um exemplo de política que nega acesso somente a esses repositórios:

{ 
    "Statement": [ 
      { 
        "Sid": "AmazonLinuxAMIRepositoryAccess",
        "Principal": "*",
        "Action": [ 
            "s3:GetObject" 
        ],
        "Effect": "Deny",
        "Resource": [
            "arn:aws:s3:::packages.*.amazonaws.com/*",
            "arn:aws:s3:::repo.*.amazonaws.com/*"
        ] 
      } 
    ] 
} 

{ 
    "Statement": [ 
        { "Sid": "AmazonLinux2AMIRepositoryAccess",
          "Principal": "*",
          "Action": [ 
              "s3:GetObject" 
              ],
          "Effect": "Deny",
          "Resource": [
              "arn:aws:s3:::amazonlinux.*.amazonaws.com/*" 
              ] 
         } 
    ] 
} 

Configurar tabelas de rotas

Use as configurações de DNS padrão para sua tabela de rotas de endpoints, para que o Amazon URLs S3 padrão (por exemplohttp://s3-aws-region.amazonaws.com/amzn-s3-demo-bucket,) resolva. Se você não usar as configurações de DNS padrão, certifique-se de que as URLs que você usa para especificar os locais dos dados em seus trabalhos de treinamento sejam resolvidas configurando as tabelas de rotas do endpoint. Para obter informações sobre as tabelas de rotas de endpoints da VPC, consulte Roteamento para endpoints do gateway no Guia do usuário da Amazon VPC.

Configuração do grupo de segurança da VPC

No treinamento distribuído, é necessário permitir a comunicação entre os diferentes contêineres no mesmo trabalho de treinamento. Para fazer isso, configure uma regra para seu grupo de segurança que permita conexões de entrada entre membros do mesmo grupo de segurança. Para instâncias habilitadas para EFA, garanta que as conexões de entrada e saída permitam todo o tráfego do mesmo grupo de segurança. Para obter mais informações, consulte Regras dos grupos de segurança no Guia do usuário da Amazon Virtual Private Cloud.

Conectar-se a recursos fora de sua VPC

Se você configurar a VPC para que não tenha acesso à Internet, os trabalhos de treinamento que a utilizam não terão acesso a recursos externos. Se o seu trabalho de treinamento precisar acessar recursos fora da VPC, conceda o acesso com uma das seguintes opções:

Monitore trabalhos SageMaker de treinamento da Amazon com CloudWatch registros e métricas

A Amazon SageMaker AI fornece CloudWatch registros e métricas da Amazon para monitorar trabalhos de treinamento. CloudWatch fornece CPU, GPU, memória, memória de GPU, métricas de disco e registro de eventos. Para obter mais informações sobre o monitoramento de trabalhos SageMaker de treinamento da Amazon, consulte Métricas para monitorar a Amazon SageMaker AI com a Amazon CloudWatch SageMaker Trabalhos de IA e métricas de endpoint e.