파이프라인 구조 및 실행

파이프라인 구조

Amazon SageMaker Pipelines 인스턴스는 name, 및 로 구성됩니다parameterssteps. (account, region) 페어 내 파이프라인 이름은 고유해야 합니다. 단계 정의에 사용되는 모든 파라미터는 파이프라인에서 정의되어야 합니다. 나열된 파이프라인 단계는 서로에 대한 데이터 종속성에 따라 실행 순서를 자동으로 결정합니다. 파이프라인 서비스는 데이터 종속성의 단계 간 관계를 확인하여 실행이 완료되는 일련의 단계를 DAG 생성합니다. 다음은 파이프라인 구조의 예제입니다.

from sagemaker.workflow.pipeline import Pipeline
  
  pipeline_name = f"AbalonePipeline"
  pipeline = Pipeline(
      name=pipeline_name,
      parameters=[
          processing_instance_type, 
          processing_instance_count,
          training_instance_type,
          model_approval_status,
          input_data,
          batch_data,
      ],
      steps=[step_process, step_train, step_eval, step_cond],
  )

병렬 구성을 사용한 파이프라인 실행

기본적으로 파이프라인은 병렬로 실행할 수 있는 모든 단계를 수행합니다. 파이프라인을 생성 또는 업데이트할 때뿐만 아니라 파이프라인 실행을 시작하거나 재시도할 때도 ParallelismConfiguration속성을 사용하여 이 동작을 제어할 수 있습니다.

병렬 구성은 실행별로 적용됩니다. 예를 들어 두 개의 실행이 시작되면 각각 최대 50개의 단계를 동시에 실행할 수 있으므로 총 100개의 동시 실행 단계가 가능합니다. 또한 실행을 시작, 재시도 또는 업데이트할 때 지정한 ParallelismConfiguration은 파이프라인에 정의된 병렬 처리 구성보다 우선합니다.

pipeline = Pipeline(
        name="myPipeline",
        steps=[step_process, step_train]
    )

  pipeline.create(role, parallelism_config={"MaxParallelExecutionSteps": 50})