パイプラインを設定する - Amazon SageMaker

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

パイプラインを設定する

SageMaker 設定ファイルを使用してパイプラインのデフォルトを設定することをお勧めします。 SageMaker 設定ファイルの詳細については、 SageMaker 「Python でのデフォルトの設定と使用SDK」を参照してください。設定ファイルに追加された設定は、パイプライン内のすべてのステップに適用されます。いずれかのステップのオプションを上書きする場合は、@stepデコレータ引数に新しい値を指定します。次のトピックでは、設定ファイルを設定する方法について説明します。

設定ファイル内のデ@stepコレータの設定は、デ@remoteコレータの設定と同じです。設定ファイルでパイプラインロールARNとパイプラインタグを設定するには、次のスニペットに示すPipelineセクションを使用します。

SchemaVersion: '1.0'
SageMaker:
  Pipeline:
    RoleArn: 'arn:aws:iam::555555555555:role/IMRole'
    Tags:
    - Key: 'tag_key'
      Value: 'tag_value'

ほとんどのデフォルトは、設定ファイルで設定でき、新しい値を@stepデコレータに渡すことで上書きすることもできます。例えば、次の例に示すように、前処理ステップの設定ファイルで設定されたインスタンスタイプを上書きできます。

@step(instance_type="ml.m5.large")
def preprocess(raw_data):
    df = pandas.read_csv(raw_data)
    ...
    return procesed_dataframe

いくつかの引数はデ@stepコレータパラメータリストの一部ではありません。これらは、 SageMaker 設定ファイルを介してのみパイプライン全体に設定できます。これらは次のようにリストされます。

  • sagemaker_session (sagemaker.session.Session): がサービスコールを SageMaker 委任する基盤となる SageMaker セッション。指定しない場合、次のようにデフォルト設定を使用してセッションが作成されます。

    SageMaker:
  PythonSDK:
    Modules:
      Session:
        DefaultS3Bucket: 'default_s3_bucket'
        DefaultS3ObjectKeyPrefix: 'key_prefix'

  • custom_file_filter (CustomFileFilter): パイプラインステップに含めるローカルディレクトリとファイルを指定するCustomFileFilterオブジェクト。指定しない場合、この値はデフォルトで になりますNone。を有効にするcustom_file_filterには、 IncludeLocalWorkdir を に設定する必要がありますTrue。次の例は、すべてのノートブックファイル、 という名前のファイルとディレクトリを無視する設定を示していますdata。

    SchemaVersion: '1.0'
SageMaker:
  PythonSDK:
    Modules:
      RemoteFunction:
        IncludeLocalWorkDir: true
        CustomFileFilter: 
          IgnoreNamePatterns: # files or directories to ignore
          - "*.ipynb" # all notebook files
          - "data" # folder or file named "data"

    IncludeLocalWorkdir で を使用する方法の詳細についてはCustomFileFilter、「」を参照してくださいモジュラーコードと @remote デコレータの使用。

  • s3_root_uri (str): がコードアーカイブとデータ SageMaker をアップロードするルート Amazon S3 フォルダ。指定しない場合、デフォルトの SageMaker バケットが使用されます。

  • s3_kms_key (str): 入出力データの暗号化に使用されるキー。この引数は設定 SageMaker ファイルでのみ設定でき、引数はパイプラインで定義されたすべてのステップに適用されます。指定しない場合、値はデフォルトで になりますNone。S3 KMSキー設定の例については、次のスニペットを参照してください。

    SchemaVersion: '1.0'
SageMaker:
  PythonSDK:
    Modules:
      RemoteFunction:
        S3KmsKeyId: 's3kmskeyid'
        S3RootUri: 's3://amzn-s3-demo-bucket/my-project