Configura tu canalización - Amazon SageMaker

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configura tu canalización

Se recomienda utilizar el archivo de SageMaker configuración para establecer los valores predeterminados de la canalización. Para obtener información sobre el archivo de SageMaker configuración, consulte Configuración y uso de valores predeterminados con SageMaker Python SDK. Cualquier configuración que se añada al archivo de configuración se aplica a todos los pasos de la canalización. Si quieres anular las opciones de alguno de los pasos, proporciona nuevos valores en los argumentos del @step decorador.

La configuración del @step decorador en el archivo de configuración es idéntica a la configuración del @remote decorador. Para configurar el rol de canalización ARN y las etiquetas de canalización en el archivo de configuración, usa la Pipeline sección que se muestra en el siguiente fragmento:

SchemaVersion: '1.0'
SageMaker:
  Pipeline:
    RoleArn: 'arn:aws:iam::555555555555:role/IMRole'
    Tags:
    - Key: 'tag_key'
      Value: 'tag_value'

La mayoría de los valores predeterminados se pueden establecer en el archivo de configuración y también se pueden anular pasando nuevos valores al decorador. @step Por ejemplo, puedes anular el tipo de instancia establecido en el archivo de configuración para el paso de preprocesamiento, como se muestra en el siguiente ejemplo:

@step(instance_type="ml.m5.large")
def preprocess(raw_data):
    df = pandas.read_csv(raw_data)
    ...
    return procesed_dataframe

Algunos argumentos no forman parte de la lista de parámetros del @step decorador; solo se pueden configurar para toda la canalización a través del archivo de configuración. SageMaker Se enumeran de la siguiente manera:

  • sagemaker_session(sagemaker.session.Session): La SageMaker sesión subyacente a la que SageMaker los delegados llaman al servicio. Si no se especifica, se crea una sesión con la siguiente configuración predeterminada:

    SageMaker:
  PythonSDK:
    Modules:
      Session:
        DefaultS3Bucket: 'default_s3_bucket'
        DefaultS3ObjectKeyPrefix: 'key_prefix'

  • custom_file_filter(CustomFileFilter): Un CustomFileFilter objeto que especifica los directorios y archivos locales que se van a incluir en el paso de canalización. Si no se especifica, este valor se establece de forma predeterminada en. None custom_file_filterPara que surta efecto, debe IncludeLocalWorkdir establecerlo en. True El siguiente ejemplo muestra una configuración que ignora todos los archivos del bloc de notas, así como los archivos y directorios nombradosdata.

    SchemaVersion: '1.0'
SageMaker:
  PythonSDK:
    Modules:
      RemoteFunction:
        IncludeLocalWorkDir: true
        CustomFileFilter: 
          IgnoreNamePatterns: # files or directories to ignore
          - "*.ipynb" # all notebook files
          - "data" # folder or file named "data"

    Para obtener más información sobre cómo utilizarla IncludeLocalWorkdir conCustomFileFilter, consulteUso de código modular con el decorador @remote.

  • s3_root_uri (str): la carpeta raíz de Amazon S3 en la que se SageMaker cargan los archivos de código y los datos. Si no se especifica, se utiliza el SageMaker bucket predeterminado.

  • s3_kms_key (str): la clave utilizada para cifrar los datos de entrada y salida. Solo puedes configurar este argumento en el archivo de SageMaker configuración y el argumento se aplica a todos los pasos definidos en la canalización. Si no se especifica, el valor predeterminado es. None Consulte el siguiente fragmento para ver un ejemplo de configuración de clave S3: KMS

    SchemaVersion: '1.0'
SageMaker:
  PythonSDK:
    Modules:
      RemoteFunction:
        S3KmsKeyId: 's3kmskeyid'
        S3RootUri: 's3://amzn-s3-demo-bucket/my-project