미세 조정을 위한 대규모 언어 모델 지원 - Amazon SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

미세 조정을 위한 대규모 언어 모델 지원

Autopilot API을 사용하면 Amazon 에서 구동하는 대형 언어 모델(LLMs)을 미세 조정할 수 있습니다 SageMaker JumpStart.

참고

최종 사용자 라이선스 계약을 수락해야 하는 미세 조정 모델의 경우 AutoML 작업을 생성할 때 EULA 수락을 명시적으로 선언해야 합니다. 사전 학습된 모델을 미세 조정한 후에는 원래 모델의 가중치가 변경되므로 미세 조정된 모델을 배포할 EULA 때 나중에 를 수락할 필요가 없습니다.

AutoML을 사용하여 미세 조정 작업을 생성할 EULA 때 를 수락하는 방법에 대한 자세한 내용은 섹션을 API참조하세요AutoML을 사용하여 모델을 미세 조정할 때 EULA 수락을 설정하는 방법 API.

모델 JumpStart ID를 검색한 다음 소스 열의 링크를 따라가면 각 모델의 전체 세부 정보를 찾을 수 있습니다. 이러한 세부 정보에는 모델이 지원하는 언어, 모델이 나타낼 수 있는 편향, 미세 조정에 사용되는 데이터 세트 등이 포함될 수 있습니다.

다음 표에는 AutoML 작업으로 미세 조정할 수 있는 지원되는 JumpStart 모델이 나열되어 있습니다.

JumpStart 모델 ID BaseModelName API 요청 시 설명
huggingface-textgeneration-dolly-v2-3b-bf16 Dolly3B

Dolly 3B는 pythia-2.8b를 기반으로 하는 28억 개의 파라미터 명령어를 따르는 대형 언어 모델입니다. 데이터 세트 databricks-dolly-15k를 미세 조정하는 지침/응답에 대해 훈련되었으며 브레인스토밍, 분류, 질문 및 답변, 텍스트 생성, 정보 추출 및 요약을 포함한 작업을 수행할 수 있습니다.
huggingface-textgeneration-dolly-v2-7b-bf16 Dolly7B

Dolly 7B는 pythia-6.9b 를 기반으로 하는 69억 개의 파라미터 명령어를 따르는 대형 언어 모델입니다. 데이터 세트 databricks-dolly-15k를 미세 조정하는 지침/응답에 대해 훈련되었으며 브레인스토밍, 분류, 질문 및 답변, 텍스트 생성, 정보 추출 및 요약을 포함한 작업을 수행할 수 있습니다.
huggingface-textgeneration-dolly-v2-12b-bf16 Dolly12B

Dolly 12B는 pythia-12b를 기반으로 하는 120억 개의 파라미터 명령어를 따르는 대형 언어 모델입니다. 데이터 세트 databricks-dolly-15k를 미세 조정하는 지침/응답에 대해 훈련되었으며 브레인스토밍, 분류, 질문 및 답변, 텍스트 생성, 정보 추출 및 요약을 포함한 작업을 수행할 수 있습니다.
huggingface-llm-falcon-7b-bf16 Falcon7B

Falcon 7B는 엄선한 코포라로 향상된 1,500억 개의 토큰에 대해 훈련된 70억 개의 파라미터 인과적 대언어 모델입니다. Falcon-7B는 영어 및 프랑스어 데이터로만 훈련되었으며 다른 언어로 적절하게 일반화되지 않습니다. 이 모델은 대량의 웹 데이터에 대해 훈련되었으므로 일반적으로 온라인에서 발견되는 고정 관념과 편향을 전달합니다.
huggingface-llm-falcon-7b-instruct-bf16 Falcon7BInstruct

Falcon 7B Instruct는 Falcon 7B를 기반으로 구축되고 채팅/지시 데이터 세트가 혼합된 2억 5천만 개의 토큰을 기반으로 미세 조정된 70억 개의 파라미터 인과 대규모 언어 모델입니다. Falcon 7B Instruct는 대부분 영어 데이터에 대한 교육을 받았으며 다른 언어로 적절하게 일반화되지 않습니다. 또한 웹을 대표하는 대규모 기업체에 대해 훈련되므로 온라인에서 흔히 접하는 고정 관념과 편향이 수반됩니다.
huggingface-llm-falcon-40b-bf16 Falcon40B

Falcon 40B는 큐레이팅된 코포라로 향상된 1,000억 개의 토큰에 대해 훈련된 400억 개의 파라미터 인과적 대형 언어 모델입니다. 영어, 독일어, 스페인어, 프랑스어로 대부분 훈련되었으며 이탈리아어, 포르투갈어, 폴란드어, 네덜란드어, 루마니아어, 체코어, 스웨덴어로 기능이 제한됩니다. 다른 언어로는 적절하게 일반화되지 않습니다. 또한 웹을 대표하는 대규모 기업체에 대해 훈련되므로 온라인에서 흔히 접하는 고정 관념과 편향이 수반됩니다.
huggingface-llm-falcon-40b-instruct-bf16 Falcon40BInstruct

Falcon 40B Instruct는 Falcon40B억 개의 파라미터 인과 대규모 언어 모델입니다. 영어 및 프랑스어 데이터에 대해 대부분 훈련되었으며 다른 언어로는 적절하게 일반화되지 않습니다. 또한 웹을 대표하는 대규모 기업체에 대해 훈련되므로 온라인에서 흔히 접하는 고정 관념과 편향이 수반됩니다.
huggingface-text2text-flan-t5-large FlanT5L

은Flan-T5 모델 패밀리는 여러 작업에 대해 미세 조정되고 추가 훈련이 가능한 대규모 언어 모델 세트입니다. 이러한 모델은 언어 번역, 텍스트 생성, 문장 완성, 단어 감각 모호화, 요약 또는 질문 답변과 같은 작업에 적합합니다. Flan T5 L은 다양한 언어로 훈련된 7억 8천만 파라미터 대형 언어 모델입니다. Flan T5 L에서 지원하는 언어 목록은 의 모델 테이블 의 모델 ID로 검색한 JumpStart모델의 세부 정보에서 찾을 수 있습니다.
huggingface-text2text-flan-t5-xl FlanT5XL

은Flan-T5 모델 패밀리는 여러 작업에 대해 미세 조정되고 추가 훈련이 가능한 대규모 언어 모델 세트입니다. 이러한 모델은 언어 번역, 텍스트 생성, 문장 완성, 단어 감각 모호화, 요약 또는 질문 답변과 같은 작업에 적합합니다. Flan T5 XL은 다양한 언어로 훈련된 30억 파라미터 대형 언어 모델입니다. Flan T5 XL에서 지원하는 언어 목록은 의 모델 테이블 에서 모델 ID로 검색한 JumpStart모델의 세부 정보에서 찾을 수 있습니다.
huggingface-text2text-flan-t5-xxll FlanT5XXL

은Flan-T5 모델 패밀리는 여러 작업에 대해 미세 조정되고 추가 훈련이 가능한 대규모 언어 모델 세트입니다. 이러한 모델은 언어 번역, 텍스트 생성, 문장 완성, 단어 감각 모호화, 요약 또는 질문 답변과 같은 작업에 적합합니다. Flan T5XXL는 110억 개의 파라미터 모델입니다. Flan T5에서 지원하는 언어 목록은 의 모델 테이블 XXL 의 모델 ID로 검색한 JumpStart모델의 세부 정보에서 찾을 수 있습니다.
meta-textgeneration-llama-2-7b Llama2-7B

Llama 2는 70억~700억 파라미터 범위의 사전 훈련되고 미세 조정된 생성 텍스트 모델 모음입니다. Llama2-7B는 영어용으로 설계된 70억 파라미터 모델로, 다양한 자연어 생성 작업에 맞게 조정할 수 있습니다.
meta-textgeneration-llama-2-7b-f Llama2-7BChat

Llama 2는 70억~700억 파라미터 범위의 사전 훈련되고 미세 조정된 생성 텍스트 모델 모음입니다. Llama2-7B는 대화 사용 사례에 최적화된 70억 파라미터 채팅 모델입니다.
meta-textgeneration-llama-2-13b Llama2-13B

Llama 2는 70억~700억 파라미터 범위의 사전 훈련되고 미세 조정된 생성 텍스트 모델 모음입니다. Llama2-13B는 영어용으로 설계된 130억 개의 파라미터 모델로, 다양한 자연어 생성 작업에 맞게 조정할 수 있습니다.
meta-textgeneration-llama-2-13b-f Llama2-13BChat

Llama 2는 70억~700억 파라미터 범위의 사전 훈련되고 미세 조정된 생성 텍스트 모델 모음입니다. Llama2-13B는 대화 사용 사례에 최적화된 130억 개의 파라미터 채팅 모델입니다.
huggingface-llm-mistral-7b Mistral7B

Mistral 7B는 70억 파라미터 코드 및 범용 영어 텍스트 생성 모델입니다. 텍스트 요약, 분류, 텍스트 완료 또는 코드 완료 등 다양한 사용 사례에 사용할 수 있습니다.
huggingface-llm-mistral-7b-instruct Mistral7BInstruct

Mistral 7B Instruct는 대화 사용 사례를 위해 Mistral 7B의 미세 조정된 버전입니다. 영어로 공개적으로 사용할 수 있는 다양한 대화 데이터 세트를 사용하여 전문화되었습니다.
huggingface-textgeneration1-mpt-7b-bf16 MPT7B

MPT 7B는 67억 개의 파라미터가 있는 디코더 스타일 변환기 대형 언어 모델로, 1조 개의 영어 텍스트 및 코드 토큰에 대해 처음부터 사전 훈련되었습니다. 긴 컨텍스트 길이를 처리할 준비가 되어 있습니다.
huggingface-textgeneration1-mpt-7b-instruct-bf16 MPT7BInstruct

MPT 7B Instruct는 작업에 따른 단축형 명령의 모델입니다. databricks-dolly-15k에서 파생된 데이터 세트와 Anthropic Helpful and Harmless(HH-RLHF) 데이터 세트에서 MPT 7B를 미세 조정하여 구축됩니다.