Implementación de un modelo

Cuando despliega un modelo desde JumpStart, la SageMaker IA lo aloja y despliega un punto final que puede utilizar para realizar inferencias. JumpStart también proporciona un ejemplo de bloc de notas que puede utilizar para acceder al modelo una vez implementado.

Configuración de implementación de modelos

Tras elegir un modelo, se abre la pestaña del modelo. En el panel Implementar modelo, elija Configuración de implementación para configurar la implementación de su modelo.

El tipo de instancia predeterminado para implementar un modelo depende del modelo. El tipo de instancia es el hardware en el que se ejecuta el trabajo de entrenamiento. En el siguiente ejemplo, la instancia ml.p2.xlarge es la predeterminada para este modelo BERT concreto.

También puede cambiar el nombre del punto de conexión, añadir etiquetas de key;value recursos, activar o desactivar el jumpstart- prefijo de cualquier JumpStart recurso relacionado con el modelo y especificar un depósito de Amazon S3 para almacenar los artefactos del modelo utilizados por su punto de conexión de SageMaker IA.

Elija Configuración de seguridad para especificar la función AWS Identity and Access Management (IAM), Amazon Virtual Private Cloud (Amazon VPC) y las claves de cifrado del modelo.

Modelado de la seguridad de la implementación

Al implementar un modelo con JumpStart, puede especificar un rol de IAM, Amazon VPC y claves de cifrado para el modelo. Si no especifica ningún valor para estas entradas: el rol de IAM predeterminado es el rol del tiempo de ejecución de Studio Classic; se utiliza el cifrado predeterminado; no se utiliza Amazon VPC.

rol de IAM

Puede seleccionar un rol de IAM que se apruebe como parte de los trabajos de formación y alojamiento. SageMaker La IA utiliza esta función para acceder a los datos de entrenamiento y modelar artefactos. Si no seleccionas una función de IAM, la SageMaker IA despliega el modelo con tu función de tiempo de ejecución de Studio Classic. Para más información acerca de los roles de IAM, consulte AWS Identity and Access Management para Amazon SageMaker AI.

El rol que asigne debe tener acceso a los recursos que el modelo necesita y debe incluir todo lo siguiente.

[
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
        "arn:aws:s3:::jumpstart-cache-prod-<region>",
        "arn:aws:s3:::<bucket>/*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
           "cloudwatch:PutMetricData",
           "logs:CreateLogStream",
          "logs:PutLogEvents",
          "logs:CreateLogGroup",
          "logs:DescribeLogStreams",
          "ecr:GetAuthorizationToken"
      ],
      "Resource": [
        "*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": [
        "ecr:BatchGetImage",
        "ecr:BatchCheckLayerAvailability",
        "ecr:GetDownloadUrlForLayer"
      ],
      "Resource": [
        "*"
      ]
    },
  ]
}

Búsqueda del rol de IAM

Si selecciona esta opción, debe seleccionar un rol de IAM existente de la lista desplegable.

Rol de IAM de entrada

Si selecciona esta opción, debe introducir manualmente el ARN de un rol de IAM existente. Si su rol de tiempo de ejecución de Studio Classic o Amazon VPC bloquean la llamada a iam:list* , debe emplear esta opción para usar un rol de IAM existente.

Amazon VPC

Todos los JumpStart modelos se ejecutan en modo de aislamiento de red. Una vez creado el contenedor del modelo, no se pueden realizar más llamadas. Puede seleccionar una VPC de Amazon que se apruebe como parte de los trabajos de formación y alojamiento. SageMaker La IA utiliza esta VPC de Amazon para transferir y extraer recursos de su bucket de Amazon S3. Esta Amazon VPC es diferente de la Amazon VPC que limita el acceso a la Internet pública desde su instancia de Studio Classic. Para obtener más información acerca de la Amazon VPC de Studio Classic, consulte Conexión de cuadernos de Studio en una VPC a recursos externos.

La Amazon VPC que asigne no necesita acceso a la Internet pública, pero sí a Amazon S3. El punto de conexión de Amazon VPC para Amazon S3 debe permitir el acceso a, como mínimo, los siguientes recursos que necesita el modelo.

{
  "Effect": "Allow",
  "Action": [
    "s3:GetObject",
    "s3:PutObject",
    "s3:ListMultipartUploadParts",
    "s3:ListBucket"
  ],
  "Resources": [
    "arn:aws:s3:::jumpstart-cache-prod-<region>/*",
    "arn:aws:s3:::jumpstart-cache-prod-<region>",
    "arn:aws:s3:::bucket/*"
  ]
}

Si no selecciona una Amazon VPC, no se utilizará ninguna Amazon VPC.

Encontrar VPC

Si selecciona esta opción, debe seleccionar una Amazon VPC existente de la lista desplegable. Tras seleccionar una Amazon VPC, debe seleccionar una subred y un grupo de seguridad para su Amazon VPC. Para obtener más información sobre las subredes y los grupos de seguridad, consulte Descripción general de las subredes VPCs y subredes.

Especificar VPC

Si selecciona esta opción, debe seleccionar manualmente la subred y el grupo de seguridad que componen su Amazon VPC. Si su rol de tiempo de ejecución de Studio Classic o Amazon VPC bloquean la llamada a ec2:list*, debe usar esta opción para seleccionar la subred y el grupo de seguridad.

Claves de cifrado

Puede seleccionar una AWS KMS clave para pasarla como parte de los trabajos de formación y de alojamiento. SageMaker La IA utiliza esta clave para cifrar el volumen de Amazon EBS del contenedor y el modelo reempaquetado en Amazon S3 para alojar trabajos y el resultado para trabajos de formación. Para obtener más información sobre AWS KMS las claves, consulte claves.AWS KMS

La clave que asigne debe confiar en el rol de IAM que transfiera. Si no especificas una función de IAM, la AWS KMS clave debe confiar en tu función de tiempo de ejecución de Studio Classic.

Si no selecciona una AWS KMS clave, la SageMaker IA proporciona el cifrado predeterminado para los datos del volumen de Amazon EBS y los artefactos de Amazon S3.

Búsqueda de las claves de cifrado

Si selecciona esta opción, debe seleccionar AWS KMS las claves existentes de la lista desplegable.

Especificar las claves de cifrado

Si selecciona esta opción, debe introducir las AWS KMS claves manualmente. Si su función de ejecución de Studio Classic o Amazon VPC bloquean la kms:list* llamada, debe usar esta opción para seleccionar las claves existentes AWS KMS .

Configure los valores predeterminados de los modelos JumpStart

Puede configurar los valores predeterminados para parámetros como las funciones de IAM y las claves de KMS para rellenarlos previamente para la implementación y el entrenamiento JumpStart del modelo. VPCs Tras configurar los valores predeterminados, la interfaz de usuario de Studio Classic proporciona automáticamente las opciones de seguridad y las etiquetas especificadas a los JumpStart modelos para simplificar los flujos de trabajo de despliegue y entrenamiento. Los administradores y los usuarios finales pueden inicializar los valores predeterminados especificados en un archivo de configuración en formato YAML.

De forma predeterminada, el SDK de SageMaker Python usa dos archivos de configuración: uno para el administrador y otro para el usuario. Con el archivo de configuración del administrador, los administradores pueden definir un conjunto de valores predeterminados. Los usuarios finales pueden anular los valores establecidos en el archivo de configuración del administrador y establecer valores predeterminados adicionales mediante el archivo de configuración del usuario final. Para obtener más información, consulte Ubicación del archivo de configuración predeterminado.

En el siguiente ejemplo de código se enumeran las ubicaciones predeterminadas de los archivos de configuración cuando se utiliza el SDK de SageMaker Python en Amazon SageMaker Studio Classic.

# Location of the admin config file
/etc/xdg/sagemaker/config.yaml

# Location of the user config file
/root/.config/sagemaker/config.yaml

Los valores especificados en el archivo de configuración del usuario anulan los valores establecidos en el archivo de configuración del administrador. El archivo de configuración es único para cada perfil de usuario de un dominio de Amazon SageMaker AI. La aplicación de Studio Classic del perfil de usuario está directamente asociada al perfil de usuario. Para obtener más información, consulte Perfiles de usuario del dominio.

Los administradores pueden establecer, de forma opcional, los valores predeterminados de configuración para el entrenamiento y el despliegue de JumpStart modelos a través de las configuraciones JupyterServer del ciclo de vida. Para obtener más información, consulte Creación y asociación de una configuración del ciclo de vida.

SchemaVersion: '1.0'
SageMaker:
  TrainingJob:
    OutputDataConfig:
      KmsKeyId: example-key-id
    ResourceConfig:
      # Training configuration - Volume encryption key
      VolumeKmsKeyId: example-key-id
    # Training configuration form - IAM role
    RoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Training configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Training configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
    # Training configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value
  Model:
    EnableNetworkIsolation: true
    # Deployment configuration - IAM role
    ExecutionRoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
    VpcConfig:
      # Deployment configuration - Security groups
      SecurityGroupIds:
      - sg-1
      - sg-2
      # Deployment configuration - Subnets
      Subnets:
      - subnet-1
      - subnet-2
  EndpointConfig:
    AsyncInferenceConfig:
      OutputConfig:
        KmsKeyId: example-key-id
    DataCaptureConfig:
      # Deployment configuration - Volume encryption key
      KmsKeyId: example-key-id
    KmsKeyId: example-key-id
    # Deployment configuration - Custom resource tags
    Tags:
    - Key: Example-key
      Value: Example-value