ML 워크플로 예약 - Amazon SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

ML 워크플로 예약

Amazon을 사용하면 데이터 세트를 생성하고, 데이터 변환을 수행하고, 데이터에서 모델을 빌드하고, 추론을 위해 모델을 엔드포인트에 배포할 때 전체 ML 워크플로를 관리할 SageMaker 수 있습니다. 워크플로 단계의 하위 집합을 주기적으로 수행하는 경우 일정에 따라 이러한 단계를 실행하도록 선택할 수도 있습니다. 예를 들어 SageMaker Canvas에서 매시간 새 데이터에 대한 변환을 실행하도록 작업을 예약할 수 있습니다. 또 다른 시나리오에서는 배포된 모델의 모델 드리프트를 모니터링하기 위해 주간 작업을 예약할 수 있습니다. 모든 시간 간격의 반복 일정을 지정할 수 있습니다. 1초, 분, 일, 주, 월 또는 매월 3번째 금요일 오후 3시에 반복할 수 있습니다.

다음 시나리오에서는 사용 사례에 따라 사용할 수 있는 옵션을 요약합니다.
  • 사용 사례 1: 코드 없는 환경에서 ML 워크플로를 빌드하고 예약합니다. 초보자 또는 에 처음 가입한 사용자의 경우 Amazon SageMaker Canvas를 사용하여 ML 워크플로를 빌드하고 Canvas UI 기반 스케줄러를 사용하여 예약된 실행을 생성할 SageMaker수 있습니다.

  • 사용 사례 2: 단일 Jupyter 노트북에서 워크플로를 빌드하고 코드 없는 스케줄러를 사용합니다. 숙련된 ML 실무자는 코드를 사용하여 Jupyter 노트북에서 ML 워크플로를 구축하고 노트북 작업 위젯에서 사용할 수 있는 코드 없는 예약 옵션을 사용할 수 있습니다. ML 워크플로가 여러 Jupyter 노트북으로 구성된 경우 사용 사례 3에 SDK 설명된 파이프라인 Python의 예약 기능을 사용할 수 있습니다.

  • 사용 사례 3: 파이프라인을 사용하여 ML 워크플로를 빌드하고 예약합니다. 고급 사용자는 파이프라인에서 사용할 수 있는 Amazon SageMaker Python SDK 또는 Amazon EventBridge 예약 옵션을 사용할 수 있습니다. Amazon 과 같은 다양한 SageMaker 기능 및 AWS 서비스를 사용하는 작업을 포함하는 단계로 구성된 ML 워크플로를 구축할 수 있습니다EMR.

사용 사례 1 사용 사례 2 사용 사례 3
SageMaker 기능 Amazon SageMaker Canvas 데이터 처리 및 ML 워크플로 예약 노트북 작업 일정 위젯(UI) 파이프라인 Python SDK 예약 옵션
설명 Amazon SageMaker Canvas를 사용하면 데이터 처리 단계의 자동 실행과 별도의 절차로 자동 데이터 세트 업데이트를 예약할 수 있습니다. 특정 데이터 세트가 업데이트될 때마다 배치 예측을 실행하는 구성을 설정하여 전체 ML 워크플로를 간접적으로 예약할 수도 있습니다. 자동 데이터 처리 및 데이터 세트 업데이트 모두에 대해 SageMaker Canvas는 시작 시간과 날짜 및 실행 간 시간 간격(또는 데이터 처리 단계를 예약하는 경우 cron 표현식)을 선택하는 기본 양식을 제공합니다. 데이터 처리 단계를 예약하는 방법에 대한 자세한 내용은 섹션을 참조하세요새 데이터를 자동으로 처리하기 위한 일정 생성. 데이터 세트 및 배치 예측 업데이트를 예약하는 방법에 대한 자세한 내용은 섹션을 참조하세요자동화 관리 방법. 단일 Jupyter 노트북에서 데이터 처리 및 파이프라인 워크플로를 구축한 경우 노트북 작업 위젯을 사용하여 필요에 따라 또는 일정에 따라 노트북을 실행할 수 있습니다. 노트북 작업 위젯에는 컴퓨팅 유형, 실행 일정 및 선택적 사용자 지정 설정을 지정하는 기본 양식이 표시됩니다. 시간 기반 간격을 선택하거나 cron 표현식을 삽입하여 실행 일정을 정의합니다. 위젯은 Studio에 자동으로 설치되거나 추가 설치를 수행하여 로컬 JupyterLab 환경에서 이 기능을 사용할 수 있습니다. 노트북 작업에 대한 자세한 내용은 섹션을 참조하세요SageMaker 노트북 작업. 파이프라인으로 ML 워크플로를 SageMaker SDK 구현한 경우 의 예약 기능을 사용할 수 있습니다. 파이프라인에는 미세 조정, 데이터 처리 및 배포와 같은 단계가 포함될 수 있습니다. 파이프라인은 파이프라인을 예약하는 두 가지 방법을 지원합니다. Amazon EventBridge 규칙을 생성하거나 PipelineSchedule 생성기를 사용하여 SageMaker SDK 일정을 정의할 수 있습니다. 파이프라인에서 사용할 수 있는 예약 옵션에 대한 자세한 내용은 섹션을 참조하세요파이프라인 실행 예약.
에 최적화됨 SageMaker Canvas ML 워크플로에 대한 예약 옵션을 제공합니다. Jupyter 노트북 기반 ML 워크플로에 대한 UI 기반 예약 옵션을 제공합니다. ML 워크플로에 대한 또는 EventBridge 예약 옵션을 제공합니다 SageMaker SDK.
고려 사항 Canvas 코드 없는 프레임워크를 사용하여 워크플로를 예약할 수 있지만 데이터 세트 업데이트 및 배치 변환 업데이트는 최대 5GB의 데이터를 처리할 수 있습니다. 동일한 작업에서 UI 기반 예약 양식을 사용하여 하나의 노트북을 예약할 수 있지만 여러 노트북을 예약할 수는 없습니다. 여러 노트북을 예약하려면 사용 사례 3에 설명된 파이프라인 SDK 코드 기반 솔루션을 사용합니다. 파이프라인에서 제공하는 고급(SDK기반) 예약 기능을 사용할 수 있지만 UI 기반 옵션 메뉴에서 선택하는 대신 API 설명서를 참조하여 올바른 옵션을 지정해야 합니다.
권장 환경 Amazon SageMaker Canvas 스튜디오, 로컬 JupyterLab 환경 Studio, 로컬 JupyterLab 환경, 모든 코드 편집기

추가 리소스

SageMaker 는 워크플로를 예약하기 위한 다음과 같은 추가 옵션을 제공합니다.
  • Amazon EventBridge 스케줄러란 무엇입니까? 이 섹션에서 설명하는 예약 옵션에는 SageMaker Canvas, Studio 및 Python 에서 사용할 수 있는 SageMaker 사전 빌드된 옵션이 포함되어 있습니다SDK. 모든 옵션은 Amazon 의 기능을 확장하며 EventBridge를 사용하여 사용자 지정 예약 솔루션을 생성할 수도 있습니다 EventBridge.

  • 특성 프로세서 파이프라인의 일정 예약 및 이벤트 기반 실행. Amazon SageMaker 특성 저장소 특성 처리를 사용하면 일정대로 또는 다른 AWS 서비스 이벤트의 결과로 특성 처리 파이프라인을 실행하도록 구성할 수 있습니다.