고급 설정 - Amazon SageMaker AI
SageMaker HyperPod 어댑터를 사용하여 자체 모델 생성

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

고급 설정

SageMaker HyperPod 레시피 어댑터는 Nvidia Nemo 및 Pytorch-lightning 프레임워크를 기반으로 구축되었습니다. 이러한 프레임워크를 이미 사용한 경우 사용자 지정 모델 또는 기능을 SageMaker HyperPod 레시피 어댑터에 통합하는 것도 비슷한 프로세스입니다. 레시피 어댑터를 수정하는 것 외에도 자체 사전 훈련 또는 미세 조정 스크립트를 변경할 수 있습니다. 사용자 지정 훈련 스크립트 작성에 대한 지침은 예제를 참조하세요.

SageMaker HyperPod 어댑터를 사용하여 자체 모델 생성

레시피 어댑터 내에서 다음 위치에서 다음 파일을 사용자 지정할 수 있습니다.

  1. collections/data: 데이터 세트 로드를 담당하는 모듈이 포함되어 있습니다. 현재는의 데이터 세트만 지원합니다 HuggingFace. 고급 요구 사항이 있는 경우 코드 구조를 사용하면 동일한 폴더 내에 사용자 지정 데이터 모듈을 추가할 수 있습니다.

  2. collections/model: 다양한 언어 모델의 정의를 포함합니다. 현재 Llama, Mixtral, Mistral과 같은 일반적인 대규모 언어 모델을 지원합니다. 이 폴더 내에 고유한 모델 정의를 유연하게 도입할 수 있습니다.

  3. collections/parts:이 폴더에는 분산 방식으로 모델을 훈련하기 위한 전략이 포함되어 있습니다. 한 가지 예는 여러 액셀러레이터에서 대규모 언어 모델을 샤딩할 수 있는 완전 샤딩된 데이터 병렬(FSDP) 전략입니다. 또한 전략은 다양한 형태의 모델 병렬화를 지원합니다. 또한 모델 훈련을 위한 자체 사용자 지정 훈련 전략을 도입할 수도 있습니다.

  4. utils: 훈련 작업의 관리를 용이하게 하기 위한 다양한 유틸리티를 포함합니다. 자체 도구를 위한 리포지토리 역할을 합니다. 문제 해결 또는 벤치마킹과 같은 작업에 자체 도구를 사용할 수 있습니다. 이 폴더 내에 사용자 지정 PyTorch Lightning 콜백을 추가할 수도 있습니다. PyTorch Lightning 콜백을 사용하여 특정 기능 또는 작업을 훈련 수명 주기에 원활하게 통합할 수 있습니다.

  5. conf: 훈련 작업에서 특정 파라미터를 검증하는 데 사용되는 구성 스키마 정의를 포함합니다. 새 파라미터 또는 구성을 도입하는 경우 사용자 지정 스키마를이 폴더에 추가할 수 있습니다. 사용자 지정 스키마를 사용하여 검증 규칙을 정의할 수 있습니다. 데이터 유형, 범위 또는 기타 파라미터 제약 조건을 검증할 수 있습니다. 사용자 지정 스키마를 정의하여 파라미터를 검증할 수도 있습니다.