특성 프로세서 파이프라인의 일정 예약 및 이벤트 기반 실행 - Amazon SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

특성 프로세서 파이프라인의 일정 예약 및 이벤트 기반 실행

Amazon SageMaker 특성 저장소 특성 처리 파이프라인 실행은 사전 구성된 일정에 따라 또는 다른 AWS 서비스 이벤트의 결과로 자동 및 비동기적으로 시작되도록 구성할 수 있습니다. 예를 들어, 특성 처리 파이프라인이 매월 1일에 실행되도록 예약하거나 두 파이프라인을 함께 연결하여 소스 파이프라인 실행이 완료된 후 대상 파이프라인이 자동으로 실행되도록 할 수 있습니다.

일정에 따른 실행

특성 프로세서는 Amazon EventBridge 스케줄러 통합scheduleAPI을 통해 특성 프로세서 파이프라인을 반복적으로 실행할 수 있는 를 SDK 제공합니다. 일정은 Amazon 에서 지원하는 것과 동일한 cron 표현식이 있는 ScheduleExpression 파라미터를 사용하여 atrate, 또는 표현식으로 지정할 수 있습니다 EventBridge. 일정API은 일반적으로 일정이 이미 있는 경우 일정을 업데이트한다는 점에서 업서트 작업입니다. 그렇지 않으면 일정이 생성됩니다. EventBridge 표현식 및 예제에 대한 자세한 내용은 스케줄러 사용 설명서의 EventBridge 스케줄러에서 스케줄 유형을 참조하세요. EventBridge

다음 예제에서는 schedule API, at ratecron 표현식을 사용하여 특성 프로세서 를 사용합니다.

from sagemaker.feature_store.feature_processor import schedule pipeline_name='feature-processor-pipeline' event_bridge_schedule_arn = schedule( pipeline_name=pipeline_name, schedule_expression="at(2020-11-30T00:00:00)" ) event_bridge_schedule_arn = schedule( pipeline_name=pipeline_name, schedule_expression="rate(24 hours)" ) event_bridge_schedule_arn = schedule( pipeline_name=pipeline_name, schedule_expression="cron(0 0-23/1 ? * * 2023-2024)" )

에서 날짜 및 시간 입력의 기본 시간대scheduleAPI는 입니다UTC. EventBridge 스케줄러 스케줄 표현식에 대한 자세한 내용은 EventBridge 스케줄러 API 참조 설명서ScheduleExpression의 섹션을 참조하세요.

예정된 특성 프로세서 파이프라인 실행은 변환 함수에 예약된 실행 시간을 제공하며, 이 시간은 동일 토큰 또는 날짜 범위 기반 입력의 고정 기준점으로 사용할 수 있습니다. 일정을 비활성화(즉, 일시 중지)하거나 다시 활성화하려면 ‘DISABLED’ 또는 를 schedule API 사용하여 의 state 파라미터를 ‘ENABLED’각각 사용합니다.

특성 프로세서에 대한 자세한 내용은 특성 프로세서 SDK 데이터 소스섹션을 참조하세요.

이벤트 기반 실행

AWS 이벤트 발생 시 자동으로 실행되도록 특성 처리 파이프라인을 구성할 수 있습니다. 특성 처리는 소스 이벤트 목록과 대상 파이프라인을 수락하는 put_trigger 함수를 SDK 제공합니다. 소스 이벤트는 파이프라인 및 실행 상태 이벤트를 지정하는 FeatureProcessorPipelineEvent의 인스턴스여야 합니다.

put_trigger 함수는 이벤트를 라우팅하도록 Amazon EventBridge 규칙과 대상을 구성하고 모든 AWS 이벤트에 응답할 EventBridge 이벤트 패턴을 지정할 수 있습니다. 이러한 개념에 대한 자세한 내용은 Amazon EventBridge 규칙 , 대상이벤트 패턴 을 참조하세요.

트리거를 활성화하거나 비활성화할 수 있습니다. EventBridge 는 의 role_arn 파라미터에 제공된 역할을 사용하여 대상 파이프라인 실행을 시작합니다put_triggerAPI. Amazon SageMaker Studio Classic 또는 Notebook 환경에서 이 사용되는 경우 실행 역할SDK이 기본적으로 사용됩니다. 실행 역할을 가져오는 방법에 대한 자세한 내용은 실행 역할 가져오기섹션을 참조하세요.

다음은 설정 예시입니다.

  • to_pipeline 대상 SageMaker 파이프라인 이름(target-pipeline)과 변환 함수()에 API를 사용하는 파이프라인입니다transform. 특성 프로세서 및 변환 함수에 대한 자세한 내용은 특성 프로세서 SDK 데이터 소스섹션을 참조하세요.

  • put_trigger 이벤트 및 대상 파이프라인 이름()에 FeatureProcessorPipelineEvent 대해 API를 가져오는 를 사용하는 트리거입니다target-pipeline.

    FeatureProcessorPipelineEvent는 소스 파이프라인(source-pipeline)의 상태가 Succeeded가 되는 시기의 트리거를 정의합니다. 특성 프로세서 파이프라인 이벤트 함수에 대한 자세한 내용은 특성 저장소에서 설명서 읽기의 FeatureProcessorPipelineEvent섹션을 참조하세요.

from sagemaker.feature_store.feature_processor import put_trigger, to_pipeline, FeatureProcessorPipelineEvent to_pipeline(pipeline_name="target-pipeline", step=transform) put_trigger( source_pipeline_events=[ FeatureProcessorPipelineEvent( pipeline_name="source-pipeline", status=["Succeeded"] ) ], target_pipeline="target-pipeline" )

이벤트 기반 트리거를 사용하여 특성 프로세서 파이프라인의 연속 실행 및 자동 재시도를 만드는 예제는 이벤트 기반 트리거를 사용한 연속 실행 및 자동 재시도섹션을 참조하세요.

이벤트 기반 트리거를 사용하여 연속 스트리밍을 만들고 이벤트 기반 트리거를 사용한 자동 재시도를 만드는 예제는 사용자 지정 데이터 소스 스트리밍 예제을 참조하세요.