Ofrezca a los trabajos de procesamiento de SageMaker IA acceso a los recursos de su Amazon VPC - Amazon SageMaker AI
Configurar un trabajo de procesamiento para el acceso a Amazon VPCConfigure su VPC privada para SageMaker el procesamiento de IA

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Ofrezca a los trabajos de procesamiento de SageMaker IA acceso a los recursos de su Amazon VPC

Para controlar el acceso a sus datos y trabajos de procesamiento, cree una Amazon VPC con subredes privadas. Para obtener información sobre la creación y configuración de una VPC, consulte Introducción a Amazon VPC en la Guía del usuario de Amazon VPC.

Puede supervisar todo el tráfico de red dentro y fuera de sus contenedores de procesamiento mediante registros de flujo de la VPC. Para obtener más información, consulte Logs de flujo de VPC en la Guía del usuario de Amazon VPC.

En este documento se explica cómo agregar configuraciones de Amazon VPC para trabajos de procesamiento.

Configurar un trabajo de procesamiento para el acceso a Amazon VPC

Para configurar el trabajo de procesamiento, especifique las subredes y el grupo de seguridad IDs de la VPC. No es necesario especificar la subred para el contenedor de procesamiento. Amazon SageMaker AI extrae automáticamente el contenedor de procesamiento de Amazon ECR. Para obtener más información sobre los contenedores de procesamiento, consulte Cargas de trabajo de transformación de datos con procesamiento SageMaker .

Al crear un trabajo de procesamiento, puede especificar subredes y grupos de seguridad en su VPC mediante la consola de IA o SageMaker la API.

Para usar la API, debe especificar las subredes y el grupo de seguridad IDs en el NetworkConfig.VpcConfig parámetro de la operación. CreateProcessingJob SageMaker La IA utiliza los detalles de la subred y el grupo de seguridad para crear las interfaces de red y las conecta a los contenedores de procesamiento. Las interfaces de red proporcionan a sus contenedores de procesamiento una conexión de red en su VPC. Esto permite que el trabajo de procesamiento se conecte a los recursos que existen en la VPC.

A continuación se muestra un ejemplo del parámetro VpcConfig incluido en su llamada a la operación CreateProcessingJob:

VpcConfig: {
    "Subnets": [
        "subnet-0123456789abcdef0",
        "subnet-0123456789abcdef1",
        "subnet-0123456789abcdef2"
    ],    
    "SecurityGroupIds": [
        "sg-0123456789abcdef0"
    ]
}

Configure su VPC privada para SageMaker el procesamiento de IA

Al configurar la VPC privada para sus trabajos de procesamiento de SageMaker IA, siga las siguientes pautas. Para obtener información sobre la configuración de una VPC, consulte Trabajo con subredes VPCs y subredes en la Guía del usuario de Amazon VPC.

Cómo asegurar que las subredes dispongan de suficientes direcciones IP

Las subredes de la VPC deben disponer de al menos dos direcciones IP privadas para cada instancia en un trabajo de procesamiento. Para obtener más información, consulte Dimensionamiento de subredes y VPC en la Guía del usuario de IPv4 Amazon VPC.

Creación de un punto de conexión de VPC de Amazon S3

Si configura la VPC de manera que los contenedores de procesamiento no dispongan de acceso a Internet, no se podrán conectar a los buckets de Amazon S3 que contienen sus datos a no ser que cree un punto de conexión de VPC que permita el acceso. Si crea un punto de enlace de la VPC, permite a los contenedores de procesamiento obtener acceso a los buckets en los que almacena los datos. Le recomendamos que también cree una política personalizada que permita solo solicitudes de su VPC privada para obtener acceso a sus buckets de S3. Para obtener más información, consulte Puntos de enlace para Amazon S3.

Para crear un punto de enlace de la VPC de S3:

  1. Abra la consola de Amazon VPC en https://console.aws.amazon.com/vpc/.

  2. En el panel de navegación, elija Endpoints (Puntos de enlace) y, a continuación, elija Create Endpoint (Crear punto de enlace).

  3. Para el nombre del servicio, elija com.amazonaws. region.s3, donde region es el nombre de la región en la que reside la VPC.

  4. En VPC, elija la VPC que desea usar para este punto de conexión.

  5. En Configurar tablas de enrutamiento, seleccione las tablas de enrutamiento que debe usar el punto de conexión. El servicio de VPC añadirá automáticamente una ruta a cada tabla de ruteo que seleccione que dirige cualquier tráfico de S3 al nuevo punto de enlace.

  6. En Policy (Política), elija Full Access (Acceso completo) para permitir acceso completo al servicio de S3 a cualquier usuario o servicio dentro de la VPC. Elija Personalizado para restringir el acceso más. Para obtener más información, consulte Utilizar una política de puntos de enlace personalizados para restringir el acceso a S3.

Utilizar una política de puntos de enlace personalizados para restringir el acceso a S3

La política de puntos de enlace predeterminada permite acceso completo a S3 a cualquier usuario o servicio de la VPC. Para restringir aún más el acceso a S3, cree una política de puntos de enlace personalizada. Para obtener más información, consulte Using Endpoint Policies for Amazon S3. También puede utilizar una política de bucket para restringir el acceso a los buckets de S3 a solo el tráfico que proceda de su Amazon VPC. Para obtener más información, consulte Using Amazon S3 Bucket Policies.

Limitar la instalación de paquetes en el contenedor de procesamiento

La política de punto de enlace predeterminada permite a los usuarios instalar paquetes desde los repositorios de Amazon Linux y Amazon Linux 2 en el contenedor de procesamiento. Si no desea que los usuarios instalen paquetes desde ese repositorio, cree una política de punto de enlace personalizada que deniegue de forma explícita el acceso a los repositorios de Amazon Linux y Amazon Linux 2. A continuación se muestra un ejemplo de una política que deniega el acceso a estos repositorios:

{ 
    "Statement": [ 
      { 
        "Sid": "AmazonLinuxAMIRepositoryAccess",
        "Principal": "*",
        "Action": [ 
            "s3:GetObject" 
        ],
        "Effect": "Deny",
        "Resource": [
            "arn:aws:s3:::packages.*.amazonaws.com/*",
            "arn:aws:s3:::repo.*.amazonaws.com/*"
        ] 
      } 
    ] 
} 

{ 
    "Statement": [ 
        { "Sid": "AmazonLinux2AMIRepositoryAccess",
          "Principal": "*",
          "Action": [ 
              "s3:GetObject" 
              ],
          "Effect": "Deny",
          "Resource": [
              "arn:aws:s3:::amazonlinux.*.amazonaws.com/*" 
              ] 
         } 
    ] 
}

Configurar tablas de ruteo

Utilice la configuración de DNS predeterminada para la tabla de rutas de su punto final, de modo que se resuelva el Amazon S3 estándar URLs (por ejemplohttp://s3-aws-region.amazonaws.com/amzn-s3-demo-bucket). Si no utiliza la configuración de DNS predeterminada, asegúrese de que la URLs que utiliza para especificar las ubicaciones de los datos en sus trabajos de procesamiento se resuelva configurando las tablas de rutas de los puntos finales. Para obtener información sobre las tablas de enrutamiento de punto de conexión de VPC, consulte Routing for Gateway Endpoints en la Guía del usuario de Amazon VPC.

Configurar el grupo de seguridad de la VPC

En el procesamiento distribuido, debe permitir la comunicación entre distintos contenedores en el mismo trabajo de procesamiento. Para ello, configure una regla para el grupo de seguridad que permita conexiones entrantes entre miembros del mismo grupo de seguridad. Para obtener más información, consulte Reglas del grupo de seguridad.

Conexión a recursos fuera de la VPC

Si va a conectar sus modelos a recursos externos a la VPC en la que se ejecutan, realice una de las siguientes acciones:

  • Conéctese a otros AWS servicios: si su modelo necesita acceder a un AWS servicio que admita los puntos de enlace de la interfaz de Amazon VPC, cree un punto de enlace para conectarse a ese servicio. Para obtener una lista de los servicios que admiten los puntos finales de la interfaz, consulte AWS los servicios que se integran AWS PrivateLink en la Guía del AWS PrivateLink usuario. Para obtener información sobre la creación de un punto de enlace de VPC de interfaz, consulte Acceder a un AWS servicio mediante un punto de enlace de VPC de interfaz en la Guía del usuario. AWS PrivateLink

  • Conéctese a los recursos a través de Internet: si sus modelos se ejecutan en instancias de una Amazon VPC que no tiene una subred con acceso a Internet, los modelos no tendrán acceso a los recursos de Internet. Si su modelo necesita acceder a un AWS servicio que no admite puntos finales de VPC de interfaz o a un recurso externo AWS, asegúrese de ejecutar sus modelos en una subred privada que tenga acceso a Internet mediante una puerta de enlace NAT pública en una subred pública. Una vez que haya ejecutado sus modelos en la subred privada, configure los grupos de seguridad y las listas de control de acceso a la red (NACLs) para permitir las conexiones salientes desde la subred privada a la puerta de enlace NAT pública de la subred pública. Para obtener más información, consulte Gateways NAT en la Guía del usuario de Amazon VPC.

Supervisa los trabajos SageMaker de procesamiento de Amazon con CloudWatch registros y métricas

Amazon SageMaker AI proporciona CloudWatch registros y métricas de Amazon para supervisar los trabajos de formación. CloudWatch proporciona métricas de CPU, GPU, memoria, memoria de GPU y disco, y registro de eventos. Para obtener más información sobre la supervisión de los trabajos SageMaker de procesamiento de Amazon, consulta Métricas para monitorizar la SageMaker IA de Amazon con Amazon CloudWatch ySageMaker Trabajos de IA y métricas de puntos finales.