SageMaker 스마트 체질 작동 방식 - Amazon SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

SageMaker 스마트 체질 작동 방식

SageMaker 스마트 체이프팅의 목표는 훈련 프로세스 중에 훈련 데이터를 체이프레이션하고 모델에 더 많은 정보를 제공하는 샘플만 제공하는 것입니다. 를 사용한 일반적인 훈련 중에 데이터는 이 PyTorch데이터 로드 단계에서 구현되므로 훈련 파이프라인의 업스트림 데이터 사전 처리와는 무관합니다.GPUsPyTorchDataLoader SageMaker 스마트 SageMaker 체이프팅은 모델과 사용자 지정 손실 함수를 사용하여 로드될 때 각 데이터 샘플의 평가 전달 패스를 수행합니다. 저손실 값을 반환하는 샘플은 모델의 학습에 미치는 영향이 적기 때문에 모델이 이미 확신을 가지고 올바르게 예측하기 쉬우므로 훈련에서 제외됩니다. 한편, 이러한 비교적 손실이 높은 샘플은 모델이 여전히 학습해야 하는 것이므로 훈련을 위해 보관됩니다. SageMaker 스마트 체이프팅에 설정할 수 있는 키 입력은 제외할 데이터의 비율입니다. 예를 들어 비율을 25%로 설정하면 손실 분포의 가장 낮은 사분위수에 분포된 샘플(사용자 지정 이전 샘플 수에서 얻은)은 훈련에서 제외됩니다. 고손실 샘플은 정제된 데이터 배치에 누적됩니다. 수정된 데이터 배치는 훈련 루프(전진 및 후진 패스)로 전송되고 모델은 수정된 데이터 배치를 학습하고 훈련합니다.

다음 다이어그램은 SageMaker 스마트 체질 알고리즘이 어떻게 설계되는지에 대한 개요를 보여줍니다.

데이터가 로드될 때 학습 중에 SageMaker 스마트 체이프팅이 작동하는 방식에 대한 아키텍처 다이어그램입니다.

간단히 말해 SageMaker , 스마트 체질은 데이터가 로드될 때 훈련 중에 작동합니다. SageMaker 스마트 체이프팅 알고리즘은 배치에 대한 손실 계산을 실행하고 각 반복의 순방향 및 역방향 통과 전에 개선되지 않는 데이터를 체이프아웃합니다. 그런 다음 개선된 데이터 배치가 순방향 및 역방향 패스에 사용됩니다.

참고

의 스마트 데이터 체이프팅 SageMaker 은 추가 전달 패스를 사용하여 훈련 데이터를 분석하고 필터링합니다. 따라서 영향력이 적은 데이터가 훈련 작업에서 제외되므로 역방향 패스가 줄어듭니다. 이로 인해 길거나 비용이 많이 드는 후진 패스가 있는 모델은 스마트 체이프팅을 사용할 때 가장 큰 효율성 이점을 얻을 수 있습니다. 한편 모델의 순방향 패스가 역방향 패스보다 오래 걸리는 경우 오버헤드로 인해 총 훈련 시간이 늘어날 수 있습니다. 각 패스에 소요된 시간을 측정하기 위해 파일럿 훈련 작업을 실행하고 프로세스 시간을 기록하는 로그를 수집할 수 있습니다. 프로파일링 도구 및 UI 애플리케이션을 제공하는 SageMaker Profiler도 사용하는 것이 좋습니다. 자세한 내용은 Amazon SageMaker Profiler을 참조하십시오.

SageMaker 스마트 체이프팅은 클래식 분산 데이터 병렬 처리가 있는 PyTorch기반 훈련 작업에서 작동하므로 각 GPU 작업자의 모델 복제본을 만들고 를 수행합니다AllReduce. 및 SageMaker 분산 데이터 병렬 라이브러리에서 PyTorch DDP 작동합니다.