분산 훈련 최적화

사용 사례와 데이터에 맞게 하이퍼파라미터를 사용자 지정하여 최고의 스케일링 효율성을 확보하세요. 다음 논의에서는 가장 영향력 있는 훈련 변수 중 일부를 강조하고 구현에 대한 state-of-the-art 참조를 제공하여 옵션에 대해 자세히 알아봅니다. 또한 선호하는 프레임워크의 분산 훈련 문서를 참조하는 것이 좋습니다.

배치 크기

SageMaker AI 분산 툴킷을 사용하면 일반적으로 더 큰 배치에 대해 훈련할 수 있습니다. 예를 들어, 모델이 단일 디바이스 내에 적합하지만 작은 배치 크기로만 훈련할 수 있는 경우 모델 병렬 훈련 또는 데이터 병렬 훈련을 사용하면 더 큰 배치 크기를 실험할 수 있습니다.

배치 크기는 각 반복마다 모델 업데이트의 노이즈 양을 제어하므로 모델 정확도에 직접적인 영향을 미친다는 점에 유의하세요. 배치 크기를 늘리면 기울기 추정의 노이즈 양이 감소하므로 아주 작은 배치 크기에서는 유용하기도 하지만, 배치 크기가 커지면 모델 정확도가 저하될 수 있습니다. 

배치를 늘릴 때 모델 수렴을 양호하게 유지하기 위해 여러 가지 기법이 개발되었습니다.

미니 배치 크기

에서 SGD미니 배치 크기는 그라데이션 추정에 존재하는 노이즈의 양을 정량화합니다. 미니 배치를 작게 만들면 노이즈가 매우 많은 미니 배치 그라데이션이 생성되는데, 이는 데이터세트의 실제 그라데이션을 나타내지 않습니다. 미니 배치의 크기가 크면 미니 배치 그라데이션이 데이터세트의 실제 그라데이션에 가깝고 노이즈가 충분히 발생하지 않아 관련 없는 최소값에 고정될 수 있습니다.

이러한 기법에 대한 자세한 내용은 다음 문서를 참조하세요.