Configura la tua pipeline - Amazon SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configura la tua pipeline

Si consiglia di utilizzare il file di SageMaker configurazione per impostare i valori predefiniti per la pipeline. Per informazioni sul file di SageMaker configurazione, consulta Configurazione e utilizzo dei valori predefiniti con Python. SageMaker SDK Qualsiasi configurazione aggiunta al file di configurazione si applica a tutti i passaggi della pipeline. Se desideri sovrascrivere le opzioni per uno qualsiasi dei passaggi, fornisci nuovi valori negli argomenti del @step decoratore. L'argomento seguente descrive come configurare un file di configurazione.

La configurazione del @step decoratore nel file di configurazione è identica alla configurazione del @remote decoratore. Per impostare il ruolo della pipeline ARN e i tag della pipeline nel file di configurazione, usa la Pipeline sezione mostrata nel seguente frammento:

SchemaVersion: '1.0'
SageMaker:
  Pipeline:
    RoleArn: 'arn:aws:iam::555555555555:role/IMRole'
    Tags:
    - Key: 'tag_key'
      Value: 'tag_value'

Per la maggior parte delle impostazioni predefinite che puoi impostare nel file di configurazione, puoi anche sovrascrivere passando nuovi valori al decoratore. @step Ad esempio, potete sovrascrivere il tipo di istanza impostato nel file di configurazione per la fase di preelaborazione, come illustrato nell'esempio seguente:

@step(instance_type="ml.m5.large")
def preprocess(raw_data):
    df = pandas.read_csv(raw_data)
    ...
    return procesed_dataframe

Alcuni argomenti non fanno parte dell'elenco dei parametri del @step decoratore: possono essere configurati per l'intera pipeline solo tramite il file di configurazione. SageMaker Sono elencati come segue:

  • sagemaker_session(sagemaker.session.Session): La SageMaker sessione sottostante a cui SageMaker delega le chiamate di servizio. Se non è specificata, viene creata una sessione utilizzando una configurazione predefinita come segue:

    SageMaker:
  PythonSDK:
    Modules:
      Session:
        DefaultS3Bucket: 'default_s3_bucket'
        DefaultS3ObjectKeyPrefix: 'key_prefix'

  • custom_file_filter(CustomFileFilter): Un CustomFileFilter oggetto che specifica le directory e i file locali da includere nella fase della pipeline. Se non è specificato, il valore predefinito è. None custom_file_filterAffinché abbia effetto, è necessario impostare su. IncludeLocalWorkdir True L'esempio seguente mostra una configurazione che ignora tutti i file del notebook, nonché i file e le directory denominati. data

    SchemaVersion: '1.0'
SageMaker:
  PythonSDK:
    Modules:
      RemoteFunction:
        IncludeLocalWorkDir: true
        CustomFileFilter: 
          IgnoreNamePatterns: # files or directories to ignore
          - "*.ipynb" # all notebook files
          - "data" # folder or file named "data"

    Per ulteriori dettagli su come utilizzare IncludeLocalWorkdir conCustomFileFilter, vedere. Utilizzo del codice modulare con il decoratore @remote

  • s3_root_uri (str): La cartella principale di Amazon S3 in cui vengono SageMaker caricati gli archivi e i dati del codice. Se non specificato, viene utilizzato il SageMaker bucket predefinito.

  • s3_kms_key (str): La chiave utilizzata per crittografare i dati di input e output. È possibile configurare questo argomento solo nel file di SageMaker configurazione e l'argomento si applica a tutti i passaggi definiti nella pipeline. Se non è specificato, il valore predefinito è. None Vedi il seguente frammento per un esempio di configurazione della chiave S3: KMS

    SchemaVersion: '1.0'
SageMaker:
  PythonSDK:
    Modules:
      RemoteFunction:
        S3KmsKeyId: 's3kmskeyid'
        S3RootUri: 's3://amzn-s3-demo-bucket/my-project