파이프라인을 구성하세요. - 아마존 SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

파이프라인을 구성하세요.

SageMaker 구성 파일을 사용하여 파이프라인의 기본값을 설정하는 것이 좋습니다. SageMaker 구성 파일에 대한 자세한 내용은 SageMaker SDKPython으로 기본값 구성 및 사용을 참조하십시오. 구성 파일에 추가된 모든 구성은 파이프라인의 모든 단계에 적용됩니다. 모든 단계의 옵션을 재정의하려면 @step 데코레이터 인수에 새 값을 제공하세요.

구성 파일의 @step 데코레이터 구성은 데코레이터 구성과 동일합니다. @remote 구성 파일에서 파이프라인 ARN 역할과 파이프라인 태그를 설정하려면 다음 스니펫에 표시된 Pipeline 섹션을 사용하세요.

SchemaVersion: '1.0'
SageMaker:
  Pipeline:
    RoleArn: 'arn:aws:iam::555555555555:role/IMRole'
    Tags:
    - Key: 'tag_key'
      Value: 'tag_value'

구성 파일에서 설정할 수 있는 대부분의 기본값은 데코레이터에 새 값을 전달하여 재정의할 수도 있습니다. @step 예를 들어, 다음 예제와 같이 전처리 단계의 구성 파일에 설정된 인스턴스 유형을 재정의할 수 있습니다.

@step(instance_type="ml.m5.large")
def preprocess(raw_data):
    df = pandas.read_csv(raw_data)
    ...
    return procesed_dataframe

일부 인수는 @step 데코레이터 매개변수 목록에 포함되지 않습니다. 구성 파일을 통해서만 전체 파이프라인에 맞게 구성할 수 있습니다. SageMaker 목록은 다음과 같습니다.

  • sagemaker_session(sagemaker.session.Session): 서비스 호출을 SageMaker 위임하는 기본 SageMaker 세션입니다. 지정하지 않으면 다음과 같은 기본 구성을 사용하여 세션이 생성됩니다.

    SageMaker:
  PythonSDK:
    Modules:
      Session:
        DefaultS3Bucket: 'default_s3_bucket'
        DefaultS3ObjectKeyPrefix: 'key_prefix'

  • custom_file_filter(CustomFileFilter): 파이프라인 단계에 포함할 로컬 디렉터리 및 파일을 지정하는 CustomFileFilter 객체입니다. 지정되지 않은 경우 이 값의 기본값은 입니다. None custom_file_filter적용하려면 로 IncludeLocalWorkdir 설정해야 합니다. True 다음 예제는 이름이 지정된 모든 노트북 파일, 파일 및 디렉토리를 무시하는 구성을 보여줍니다. data 

    SchemaVersion: '1.0'
SageMaker:
  PythonSDK:
    Modules:
      RemoteFunction:
        IncludeLocalWorkDir: true
        CustomFileFilter: 
          IgnoreNamePatterns: # files or directories to ignore
          - "*.ipynb" # all notebook files
          - "data" # folder or file named "data"

    IncludeLocalWorkdirwith CustomFileFilter 사용 방법에 대한 자세한 내용은 을 참조하십시오. @remote 데코레이터와 함께 모듈식 코드 사용하기

  • s3_root_uri (str): 코드 아카이브 및 데이터를 SageMaker 업로드하는 루트 Amazon S3 폴더입니다. 지정하지 않으면 기본 SageMaker 버킷이 사용됩니다.

  • s3_kms_key (str): 입력 및 출력 데이터를 암호화하는 데 사용되는 키입니다. SageMaker 구성 파일에서만 이 인수를 구성할 수 있으며, 인수는 파이프라인에 정의된 모든 단계에 적용됩니다. 지정되지 않은 경우 기본값은 입니다. None S3 키 구성 예는 다음 스니펫을 참조하십시오. KMS 

    SchemaVersion: '1.0'
SageMaker:
  PythonSDK:
    Modules:
      RemoteFunction:
        S3KmsKeyId: 's3kmskeyid'
        S3RootUri: 's3://amzn-s3-demo-bucket/my-project