パイプラインを設定する - Amazon SageMaker AI

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

パイプラインを設定する

SageMaker AI 設定ファイルを使用してパイプラインのデフォルトを設定することをお勧めします。SageMaker AI 設定ファイルの詳細については、SageMaker Python SDK でのデフォルトの設定と使用」を参照してください。設定ファイルに追加された設定は、パイプライン内のすべてのステップに適用されます。いずれかのステップのオプションを上書きする場合は、@step デコレータ引数に新しい値を指定します。次のトピックでは、設定ファイルをセットアップする方法について説明します。

設定ファイル内の @step デコレータの設定は、@remote デコレータの設定と同じです。設定ファイルでパイプラインロール ARN とパイプラインタグを設定するには、次のスニペットのとおり Pipeline セクションを使用します。

SchemaVersion: '1.0'
SageMaker:
  Pipeline:
    RoleArn: 'arn:aws:iam::555555555555:role/IMRole'
    Tags:
    - Key: 'tag_key'
      Value: 'tag_value'

設定ファイルで指定できるデフォルトのほとんどは、@step デコレータに新しい値を渡すことでオーバーライドすることもできます。例えば、次の例に示されるとおり、前処理ステップの設定ファイルで指定されたインスタンスタイプを上書きできます。

@step(instance_type="ml.m5.large")
def preprocess(raw_data):
    df = pandas.read_csv(raw_data)
    ...
    return procesed_dataframe

いくつかの引数はデ@stepコレータパラメータリストの一部ではありません。これらは SageMaker AI 設定ファイルを介してのみパイプライン全体に設定できます。このような因数は、以下のとおりです。

  • sagemaker_session (sagemaker.session.Session): SageMaker AI がサービスコールを委任する基盤となる SageMaker AI セッション。指定しない場合は、以下のデフォルト設定を使用してセッションが作成されます。

    SageMaker:
  PythonSDK:
    Modules:
      Session:
        DefaultS3Bucket: 'default_s3_bucket'
        DefaultS3ObjectKeyPrefix: 'key_prefix'

  • custom_file_filter (CustomFileFilter): パイプラインステップに含めるローカルディレクトリとファイルを指定する CustomFileFilter オブジェクト。指定しない場合、この値はデフォルトで None になります。custom_file_filter を有効にするには、IncludeLocalWorkdir を True に設定する必要があります。次の例は、すべてのノートブックファイル、data という名前のファイルとディレクトリを無視する設定を説明しています。

    SchemaVersion: '1.0'
SageMaker:
  PythonSDK:
    Modules:
      RemoteFunction:
        IncludeLocalWorkDir: true
        CustomFileFilter: 
          IgnoreNamePatterns: # files or directories to ignore
          - "*.ipynb" # all notebook files
          - "data" # folder or file named "data"

    CustomFileFilter で IncludeLocalWorkdir を使用する方法の詳細については、「モジュラーコードと @remote デコレータの使用」を詳細してください。

  • s3_root_uri (str): SageMaker AI がコードアーカイブとデータをアップロードするルート Amazon S3 フォルダ。指定しない場合、デフォルトの SageMaker AI バケットが使用されます。

  • s3_kms_key (str): 入出力データの暗号化に使用されるキー。この引数は SageMaker AI 設定ファイルでのみ設定でき、引数はパイプラインで定義されたすべてのステップに適用されます。指定しない場合、値はデフォルトで None になります。S3 KMS キー設定の例については、次のスニペットを参照してください。

    SchemaVersion: '1.0'
SageMaker:
  PythonSDK:
    Modules:
      RemoteFunction:
        S3KmsKeyId: 's3kmskeyid'
        S3RootUri: 's3://amzn-s3-demo-bucket/my-project