Conceda aos trabalhos de SageMaker processamento acesso aos recursos em sua Amazon VPC - Amazon SageMaker
Configurar um trabalho de processamento para o Amazon VPC AccessConfigure seu privado VPC para SageMaker processamento

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Conceda aos trabalhos de SageMaker processamento acesso aos recursos em sua Amazon VPC

Para controlar o acesso aos seus dados e trabalhos de processamento, crie uma Amazon VPC com sub-redes privadas. Para obter informações sobre como criar e configurar umVPC, consulte Get Started With Amazon VPC no Guia do VPC usuário da Amazon.

Você pode monitorar todo o tráfego de rede que entra e sai dos seus contêineres de processamento usando registros VPC de fluxo. Para obter mais informações, consulte VPCFlow Logs no Guia VPC do usuário da Amazon.

Este documento explica como adicionar VPC configurações da Amazon para processar trabalhos.

Configurar um trabalho de processamento para o Amazon VPC Access

Você configura a tarefa de processamento especificando as sub-redes e o grupo IDs de segurança dentro do. VPC Não é necessário especificar a sub-rede para o contêiner de processamento. A Amazon retira SageMaker automaticamente o contêiner de processamento da AmazonECR. Para obter mais informações sobre os contêineres de processamento, consulte Cargas de trabalho de transformação de dados com processamento SageMaker .

Ao criar uma tarefa de processamento, você pode especificar sub-redes e grupos de segurança VPC usando o SageMaker console ou o. API

Para usar oAPI, você especifica as sub-redes e o grupo de segurança IDs no NetworkConfig.VpcConfig parâmetro da CreateProcessingJoboperação. SageMaker usa os detalhes da sub-rede e do grupo de segurança para criar as interfaces de rede e as anexa aos contêineres de processamento. As interfaces de rede fornecem aos contêineres de processamento uma conexão de rede dentro do seuVPC. Isso permite que o trabalho de processamento se conecte aos recursos que existem em seuVPC.

Veja a seguir um exemplo do parâmetro VpcConfig incluído na sua chamada para a operação CreateProcessingJob:

VpcConfig: {
    "Subnets": [
        "subnet-0123456789abcdef0",
        "subnet-0123456789abcdef1",
        "subnet-0123456789abcdef2"
    ],    
    "SecurityGroupIds": [
        "sg-0123456789abcdef0"
    ]
}

Configure seu privado VPC para SageMaker processamento

Ao configurar o privado VPC para seus trabalhos SageMaker de processamento, use as diretrizes a seguir. Para obter informações sobre como configurar umVPC, consulte Trabalho com VPCs e sub-redes no Guia VPC do usuário da Amazon.

Garanta que as sub-redes tenham endereços IP suficientes

Suas VPC sub-redes devem ter pelo menos dois endereços IP privados para cada instância em um trabalho de processamento. Para obter mais informações, consulte VPCe Dimensionamento de sub-rede IPv4 no Guia VPC do usuário da Amazon.

Crie um endpoint Amazon S3 VPC

Se você configurar o seu VPC para que os contêineres de processamento não tenham acesso à Internet, eles não poderão se conectar aos buckets do Amazon S3 que contêm seus dados, a menos que você crie um VPC endpoint que permita o acesso. Ao criar um VPC endpoint, você permite que seus contêineres de processamento acessem os buckets onde você armazena seus dados. Recomendamos que você também crie uma política personalizada que permita que somente solicitações de sua conta privada VPC acessem seus buckets do S3. Para obter mais informações, consulte Endpoints para Amazon S3.

Para criar um VPC endpoint S3:

  1. Abra o VPC console da Amazon em https://console.aws.amazon.com/vpc/.

  2. No painel de navegação, selecione Endpoints e Criar endpoint.

  3. Em Nome do serviço, escolha com.amazonaws.region.s3, onde region é o nome da região em que você VPC reside.

  4. Para VPC, escolha o VPC que você deseja usar para esse endpoint.

  5. Para Configurar tabelas de rotas, selecione as tabelas de rotas a serem usadas pelo endpoint. O VPC serviço adiciona automaticamente uma rota a cada tabela de rotas selecionada que aponta qualquer tráfego do S3 para o novo endpoint.

  6. Em Política, escolha Acesso total para permitir acesso total ao serviço S3 por qualquer usuário ou serviço dentro doVPC. Escolha Personalizar para restringir ainda mais o acesso. Para ter mais informações, consulte Use uma política de endpoint personalizada para restringir o acesso ao S3.

Use uma política de endpoint personalizada para restringir o acesso ao S3

A política de endpoint padrão permite acesso total ao S3 para qualquer usuário ou serviço em seu. VPC Para restringir ainda mais o acesso ao S3, crie uma política de endpoint personalizada. Para obter mais informações, consulte Usar políticas de endpoint para o Amazon S3. Você também pode usar uma política de bucket para restringir o acesso aos buckets do S3 somente ao tráfego proveniente da Amazon. VPC Para obter informações, consulte Usar as Políticas do Bucket do Amazon S3.

Restringir a instalação do pacote no contêiner de processamento

A política de endpoint padrão permite que os usuários instalem pacotes dos repositórios do Amazon Linux e do Amazon Linux 2 no contêiner de processamento. Se você não deseja que os usuários instalem pacotes, crie uma política de endpoint personalizada que negue explicitamente o acesso a esses repositórios. Veja a seguir um exemplo de política que nega acesso somente a esses repositórios:

{ 
    "Statement": [ 
      { 
        "Sid": "AmazonLinuxAMIRepositoryAccess",
        "Principal": "*",
        "Action": [ 
            "s3:GetObject" 
        ],
        "Effect": "Deny",
        "Resource": [
            "arn:aws:s3:::packages.*.amazonaws.com/*",
            "arn:aws:s3:::repo.*.amazonaws.com/*"
        ] 
      } 
    ] 
} 

{ 
    "Statement": [ 
        { "Sid": "AmazonLinux2AMIRepositoryAccess",
          "Principal": "*",
          "Action": [ 
              "s3:GetObject" 
              ],
          "Effect": "Deny",
          "Resource": [
              "arn:aws:s3:::amazonlinux.*.amazonaws.com/*" 
              ] 
         } 
    ] 
}

Configurar tabelas de rotas

Use DNS as configurações padrão para sua tabela de rotas de endpoints, para que o Amazon URLs S3 padrão (por exemplohttp://s3-aws-region.amazonaws.com/amzn-s3-demo-bucket,) resolva. Se você não usar DNS as configurações padrão, certifique-se de URLs que as usadas para especificar os locais dos dados em seus trabalhos de processamento sejam resolvidas configurando as tabelas de rotas do endpoint. Para obter informações sobre tabelas de rotas de VPC endpoints, consulte Roteamento para endpoints de gateway no Guia do usuário da Amazon VPC.

Configurar o grupo VPC de segurança

No processamento distribuído, é necessário permitir a comunicação entre os diferentes contêineres no mesmo trabalho de processamento. Para fazer isso, configure uma regra para seu grupo de segurança que permita conexões de entrada entre membros do mesmo grupo de segurança. Para obter mais informações, consulte Regras de grupos de segurança.

Conecte-se a recursos fora do seu VPC

Se você estiver conectando seus modelos a recursos fora dos VPC quais eles estão sendo executados, faça o seguinte:

  • Conecte-se a outros AWS serviços — Se seu modelo precisar acessar um AWS serviço que suporte VPC endpoints de interface da Amazon, crie um endpoint para se conectar a esse serviço. Para obter uma lista de serviços que oferecem suporte a endpoints de interface, consulte AWS serviços que se integram AWS PrivateLink no Guia do AWS PrivateLink usuário. Para obter informações sobre como criar um VPC endpoint de interface, consulte Acessar um AWS serviço usando um VPC endpoint de interface no Guia do AWS PrivateLink usuário.

  • Conecte-se a recursos pela Internet — Se seus modelos estiverem sendo executados em instâncias em uma Amazon VPC que não tenha uma sub-rede com acesso à Internet, os modelos não terão acesso aos recursos na Internet. Se seu modelo precisar acessar um AWS serviço que não ofereça suporte a VPC endpoints de interface ou a um recurso externo AWS, verifique se você está executando seus modelos em uma sub-rede privada que tenha acesso à Internet usando um NAT gateway público em uma sub-rede pública. Depois de executar seus modelos na sub-rede privada, configure seus grupos de segurança e listas de controle de acesso à rede (NACLs) para permitir conexões de saída da sub-rede privada para o NAT gateway público na sub-rede pública. Para obter informações, consulte NATgateways no Guia do VPC usuário da Amazon.

Monitore trabalhos SageMaker de processamento da Amazon com CloudWatch registros e métricas

SageMaker A Amazon fornece CloudWatch registros e métricas da Amazon para monitorar trabalhos de treinamento. CloudWatch fornece métricas de memória CPUGPU, GPU memória e disco e registro de eventos. Para obter mais informações sobre o monitoramento SageMaker dos trabalhos de processamento da Amazon, consulte Métricas para monitorar a Amazon SageMaker com a Amazon CloudWatch SageMaker métricas de tarefas e endpoints e.