캐싱 파이프라인 단계

Amazon SageMaker Pipelines에서는 단계 캐싱을 사용하여 파이프라인을 다시 실행할 때 시간과 리소스를 절약할 수 있습니다. 단계 캐싱은 단계가 동일한 구성 및 입력을 가질 때 (재컴퓨팅 대신) 이전의 성공적인 단계 실행의 출력을 재사용합니다. 이를 통해 동일한 파라미터로 파이프라인 재실행 전반에서 일관된 결과를 얻을 수 있습니다. 다음 주제에서는 파이프라인에 대한 단계 캐싱을 구성하고 활성화하는 방법을 보여줍니다.

단계 서명 캐싱을 사용하는 경우 파이프라인은 특정 속성에 대해 동일한 값을 가진 현재 파이프라인 단계의 이전 실행을 찾으려고 시도합니다. 찾으면 파이프라인은 단계를 다시 계산하는 대신 이전 실행의 출력을 전파합니다. 검사된 속성은 단계 유형별로 다르며 파이프라인 단계 유형별 기본 캐시 키 속성에 나열되어 있습니다.

단계 캐싱은 기본적으로 해제되어 있으므로 반드시 옵트인해야 합니다. 단계 캐싱을 활성화할 때는 제한 시간도 정의해야 합니다. 이 제한 시간은 이전 실행이 재사용 대상으로 남아 있을 수 있는 기간을 정의합니다.

단계 캐싱은 성공한 실행만 고려하며 실패한 실행은 재사용하지 않습니다. 제한 시간 내에 여러 번의 성공적인 실행이 존재하는 경우 파이프라인은 가장 최근에 성공한 실행에 결과를 사용합니다. 제한 시간 동안 일치하는 성공적인 실행이 없으면 파이프라인이 단계를 다시 실행합니다. 실행기가 조건을 충족하지만 아직 진행 중인 이전 실행을 찾은 경우 두 단계 모두 계속 실행되고 성공하면 캐시를 업데이트합니다.

단계 캐싱은 개별 파이프라인에서만 범위가 지정되므로 단계 서명이 일치하더라도 다른 파이프라인의 단계를 재사용할 수 없습니다.

단계 캐싱은 다음 단계 유형에 사용할 수 있습니다.