Konfigurasikan pipeline Anda - Amazon SageMaker

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasikan pipeline Anda

Anda disarankan untuk menggunakan file SageMaker konfigurasi untuk mengatur default untuk pipeline. Untuk informasi tentang file SageMaker konfigurasi, lihat Mengkonfigurasi dan menggunakan default dengan Python. SageMaker SDK Konfigurasi apa pun yang ditambahkan ke file konfigurasi berlaku untuk semua langkah dalam pipeline. Jika Anda ingin mengganti opsi untuk salah satu langkah, berikan nilai baru dalam argumen @step dekorator. Topik berikut menjelaskan cara menyiapkan file konfigurasi.

Konfigurasi @step dekorator dalam file konfigurasi identik dengan konfigurasi @remote dekorator. Untuk mengatur peran pipeline ARN dan tag pipeline di file konfigurasi, gunakan Pipeline bagian yang ditunjukkan dalam cuplikan berikut:

SchemaVersion: '1.0'
SageMaker:
  Pipeline:
    RoleArn: 'arn:aws:iam::555555555555:role/IMRole'
    Tags:
    - Key: 'tag_key'
      Value: 'tag_value'

Untuk sebagian besar default yang dapat Anda atur dalam file konfigurasi, Anda juga dapat mengganti dengan meneruskan nilai baru ke dekorator. @step Misalnya, Anda dapat mengganti jenis instance yang disetel dalam file konfigurasi untuk langkah preprocessing Anda, seperti yang ditunjukkan pada contoh berikut:

@step(instance_type="ml.m5.large")
def preprocess(raw_data):
    df = pandas.read_csv(raw_data)
    ...
    return procesed_dataframe

Beberapa argumen bukan bagian dari daftar parameter @step dekorator — ini dapat dikonfigurasi untuk seluruh pipeline hanya melalui file konfigurasi. SageMaker Mereka terdaftar sebagai berikut:

  • sagemaker_session(sagemaker.session.Session): SageMaker Sesi yang mendasari panggilan layanan SageMaker delegasi. Jika tidak ditentukan, sesi dibuat menggunakan konfigurasi default sebagai berikut:

    SageMaker:
  PythonSDK:
    Modules:
      Session:
        DefaultS3Bucket: 'default_s3_bucket'
        DefaultS3ObjectKeyPrefix: 'key_prefix'

  • custom_file_filter(CustomFileFilter): CustomFileFilter Objek yang menentukan direktori dan file lokal untuk disertakan dalam langkah pipeline. Jika tidak ditentukan, nilai ini default ke. None custom_file_filterAgar berlaku, Anda harus mengatur IncludeLocalWorkdir keTrue. Contoh berikut menunjukkan konfigurasi yang mengabaikan semua file notebook, dan file dan direktori bernama. data

    SchemaVersion: '1.0'
SageMaker:
  PythonSDK:
    Modules:
      RemoteFunction:
        IncludeLocalWorkDir: true
        CustomFileFilter: 
          IgnoreNamePatterns: # files or directories to ignore
          - "*.ipynb" # all notebook files
          - "data" # folder or file named "data"

    Untuk detail selengkapnya tentang cara menggunakannya IncludeLocalWorkdirCustomFileFilter, lihatMenggunakan kode modular dengan dekorator @remote.

  • s3_root_uri (str): Folder root Amazon S3 yang SageMaker mengunggah arsip kode dan data. Jika tidak ditentukan, SageMaker bucket default digunakan.

  • s3_kms_key (str): Kunci yang digunakan untuk mengenkripsi data input dan output. Anda hanya dapat mengonfigurasi argumen ini di file SageMaker konfigurasi dan argumen berlaku untuk semua langkah yang ditentukan dalam pipeline. Jika tidak ditentukan, nilai default ke. None Lihat cuplikan berikut untuk contoh konfigurasi kunci S3KMS:

    SchemaVersion: '1.0'
SageMaker:
  PythonSDK:
    Modules:
      RemoteFunction:
        S3KmsKeyId: 's3kmskeyid'
        S3RootUri: 's3://amzn-s3-demo-bucket/my-project