Implementación de un modelo

Cuando implementa un modelo desde JumpStart, SageMaker aloja el modelo e implementa un punto de conexión que puede utilizar para la inferencia. JumpStart también proporciona un cuaderno de ejemplo que puede utilizar para acceder al modelo una vez implementado.

Configuración de implementación de modelos

Tras elegir un modelo, se abre la pestaña del modelo. En el panel Implementar modelo, elija Configuración de implementación para configurar la implementación de su modelo.

El tipo de instancia predeterminado para implementar un modelo depende del modelo. El tipo de instancia es el hardware en el que se ejecuta el trabajo de entrenamiento. En el siguiente ejemplo, la instancia ml.p2.xlarge es la predeterminada para este modelo BERT concreto.

También puede cambiar el nombre del punto de conexión, añadir etiquetas de recursos key;value, activar o desactivar el prefijo jumpstart- de cualquier recurso de JumpStart relacionado con el modelo y especificar un bucket de Amazon S3 para almacenar los artefactos del modelo utilizados por su punto de conexión de SageMaker.

Elija Configuración de seguridad para especificar el rol de AWS Identity and Access Management (IAM), Amazon Virtual Private Cloud (Amazon VPC) y las claves de cifrado del modelo.

Modelado de la seguridad de la implementación

Al implementar un modelo con JumpStart, puede especificar un rol de IAM, Amazon VPC y claves de cifrado para el modelo. Si no especifica ningún valor para estas entradas: el rol de IAM predeterminado es el rol del tiempo de ejecución de Studio Classic; se utiliza el cifrado predeterminado; no se utiliza Amazon VPC.

Rol de IAM

Puede seleccionar un rol de IAM que se asigne como parte de los trabajos de entrenamiento y alojamiento. SageMaker utiliza esta función para acceder a los datos de entrenamiento y a los artefactos del modelo. Si no selecciona un rol de IAM, SageMaker implementa el modelo utilizando su rol en tiempo de ejecución de Studio Classic. Para más información acerca de los roles de IAM, consulte AWS Identity and Access Management para Amazon SageMaker.

El rol que asigne debe tener acceso a los recursos que el modelo necesita y debe incluir todo lo siguiente.

[
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
        "arn:aws:s3:::jumpstart-cache-prod-<region>",
        "arn:aws:s3:::<bucket>/*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
           "cloudwatch:PutMetricData",
           "logs:CreateLogStream",
          "logs:PutLogEvents",
          "logs:CreateLogGroup",
          "logs:DescribeLogStreams",
          "ecr:GetAuthorizationToken"
      ],
      "Resource": [
        "*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "ecr:BatchGetImage",
        "ecr:BatchCheckLayerAvailability",
        "ecr:GetDownloadUrlForLayer"
      ],
      "Resource": [
        "*"
      ]
    },
  ]
}

Búsqueda del rol de IAM

Si selecciona esta opción, debe seleccionar un rol de IAM existente de la lista desplegable.

Rol de IAM de entrada

Si selecciona esta opción, debe introducir manualmente el ARN de un rol de IAM existente. Si su rol de tiempo de ejecución de Studio Classic o Amazon VPC bloquean la llamada a iam:list* , debe emplear esta opción para usar un rol de IAM existente.

Amazon VPC

Todos los modelos de JumpStart se ejecutan en modo de aislamiento de red. Una vez creado el contenedor del modelo, no se pueden realizar más llamadas. Puede seleccionar una Amazon VPC que se asigne como parte de los trabajos de entrenamiento y alojamiento. SageMaker utiliza esta Amazon VPC para enviar y extraer recursos de su bucket de Amazon S3. Esta Amazon VPC es diferente de la Amazon VPC que limita el acceso a la Internet pública desde su instancia de Studio Classic. Para obtener más información acerca de la Amazon VPC de Studio Classic, consulte Conexión de cuadernos de Studio en una VPC a recursos externos.

La Amazon VPC que asigne no necesita acceso a la Internet pública, pero sí a Amazon S3. El punto de conexión de Amazon VPC para Amazon S3 debe permitir el acceso a, como mínimo, los siguientes recursos que necesita el modelo.

{
  "Effect": "Allow",
  "Action": [
    "s3:GetObject",
    "s3:PutObject",
    "s3:ListMultipartUploadParts",
    "s3:ListBucket"
  ],
  "Resources": [
    "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
    "arn:aws:s3:::jumpstart-cache-prod-<region>",
    "arn:aws:s3:::bucket/*"
  ]
}

Si no selecciona una Amazon VPC, no se utilizará ninguna Amazon VPC.

Encontrar VPC

Si selecciona esta opción, debe seleccionar una Amazon VPC existente de la lista desplegable. Tras seleccionar una Amazon VPC, debe seleccionar una subred y un grupo de seguridad para su Amazon VPC. Para obtener más información acerca de las subredes y los grupos de seguridad, consulte Información general sobre VPC y subredes.

Especificar VPC

Si selecciona esta opción, debe seleccionar manualmente la subred y el grupo de seguridad que componen su Amazon VPC. Si su rol de tiempo de ejecución de Studio Classic o Amazon VPC bloquean la llamada a ec2:list*, debe usar esta opción para seleccionar la subred y el grupo de seguridad.

Claves de cifrado

Puede seleccionar una clave AWS KMS que se asigne como parte de los trabajos de entrenamiento y alojamiento. SageMaker utiliza esta clave para cifrar el volumen de Amazon EBS del contenedor y el modelo reempaquetado en Amazon S3 para alojar los trabajos y el resultado de los trabajos de entrenamiento. Para obtener más información acerca de las claves AWS KMS, consulte Claves AWS KMS.

La clave que asigne debe confiar en el rol de IAM que transfiera. Si no especifica un rol de IAM, la clave AWS KMS debe confiar en su función de tiempo de ejecución de Studio Classic.

Si no selecciona una clave AWS KMS, SageMaker proporciona el cifrado predeterminado para los datos del volumen de Amazon EBS y los artefactos de Amazon S3.

Búsqueda de las claves de cifrado

Si selecciona esta opción, debe seleccionar las claves AWS KMS existentes de la lista desplegable.

Especificar las claves de cifrado

Si selecciona esta opción, debe introducir las claves AWS KMS manualmente. Si su rol de ejecución de Studio Classic o Amazon VPC bloquean la llamada a kms:list* , debe usar esta opción para seleccionar las claves AWS KMS existentes.

Configuración de los valores predeterminados para los modelos de JumpStart

Puede configurar los valores predeterminados para parámetros como los roles de IAM, las VPC y las claves KMS para rellenarlos previamente para la implementación y el entrenamiento de modelos de JumpStart. Tras configurar los valores predeterminados, la interfaz de usuario de Studio Classic proporciona automáticamente los ajustes de seguridad y las etiquetas especificados a los modelos de JumpStart para simplificar los flujos de trabajo de implementación y entrenamiento. Los administradores y los usuarios finales pueden inicializar los valores predeterminados especificados en un archivo de configuración en formato YAML.

De forma predeterminada, el SageMaker Python SDK utiliza dos archivos de configuración: uno para el administrador y otro para el usuario. Con el archivo de configuración del administrador, los administradores pueden definir un conjunto de valores predeterminados. Los usuarios finales pueden anular los valores establecidos en el archivo de configuración del administrador y establecer valores predeterminados adicionales mediante el archivo de configuración del usuario final. Para obtener más información, consulte Ubicación del archivo de configuración predeterminado.

En el siguiente ejemplo de código se enumeran las ubicaciones predeterminadas de los archivos de configuración cuando se utiliza el SageMaker Python SDK en Amazon SageMaker Studio Classic.

# Location of the admin config file
/etc/xdg/sagemaker/config.yaml

# Location of the user config file
/root/.config/sagemaker/config.yaml

Los valores especificados en el archivo de configuración del usuario anulan los valores establecidos en el archivo de configuración del administrador. El archivo de configuración es único para cada perfil de usuario de un dominio de Amazon SageMaker. La aplicación de Studio Classic del perfil de usuario está directamente asociada al perfil de usuario. Para obtener más información, consulte Perfiles de usuario del dominio.

Los administradores pueden establecer, de forma opcional, los valores predeterminados de configuración para el entrenamiento y la implementación del modelo de JumpStart mediante configuraciones del ciclo de vida de JupyterServer. Para obtener más información, consulte Creación y asociación de una configuración del ciclo de vida.

SchemaVersion: '1.0'
SageMaker:
  TrainingJob:
    OutputDataConfig:
      KmsKeyId: example-key-id
    ResourceConfig:
      # Training configuration - Volume encryption key
      VolumeKmsKeyId: example-key-id
    # Training configuration form - IAM role
    RoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Training configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Training configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
    # Training configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value
  Model:
    EnableNetworkIsolation: true
    # Deployment configuration - IAM role
    ExecutionRoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Deployment configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Deployment configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
  EndpointConfig:
    AsyncInferenceConfig:
      OutputConfig:
        KmsKeyId: example-key-id
    DataCaptureConfig:
      # Deployment configuration - Volume encryption key
      KmsKeyId: example-key-id
    KmsKeyId: example-key-id
    # Deployment configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value