사용자 지정 모델을 Amazon Bedrock으로 가져오기 - Amazon Bedrock
지원되는 아키텍처소스 가져오기

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

사용자 지정 모델을 Amazon Bedrock으로 가져오기

Amazon Bedrock Custom Model Import 기능을 사용하여 Amazon SageMaker AI와 같은 다른 환경에서 사용자 지정한 파운데이션 모델을 가져와서 Amazon Bedrock에서 사용자 지정 모델을 생성할 수 있습니다. 예를 들어 Amazon SageMaker AI에서 생성한 모델이 독점 모델 가중치를 가지고 있을 수 있습니다. 이제 해당 모델을 Amazon Bedrock으로 가져온 다음 Amazon Bedrock 기능을 활용하여 모델에 대한 추론 직접 호출을 수행할 수 있습니다.

가져오는 모델을 온디맨드 처리량으로 사용할 수 있습니다. InvokeModel 또는 InvokeModelWithResponseStream 작업을 사용하여 모델에 대한 추론 직접 호출을 수행합니다. 자세한 내용은 를 사용하여 단일 프롬프트 제출 InvokeModel 단원을 참조하십시오.

Amazon Bedrock 사용자 지정 모델 가져오기는 다음 리전에서 지원됩니다(Amazon Bedrock에서 지원되는 리전에 대한 자세한 내용은 Amazon Bedrock 엔드포인트 및 할당량 참조).

  • 미국 동부(버지니아 북부)

  • 미국 서부(오레곤)

참고

Amazon Bedrock에서 모델을 가져오고 사용하는 경우 모델에 적용되는 조건 또는 라이선스를 준수해야 합니다.

Custom Model Import는 다음 Amazon Bedrock 기능과 함께 사용할 수 없습니다.

  • 배치 추론

  • AWS CloudFormation

Custom Model Import를 통해 다음 패턴을 지원하는 사용자 지정 모델을 만들 수 있습니다.

  • 미세 조정 또는 지속적인 사전 훈련 모델 - 독점 데이터를 사용하여 모델 가중치를 사용자 지정하면서 기본 모델의 구성을 유지할 수 있습니다.

  • 적응 - 모델을 일반화하기 어려운 사용 사례를 위해 도메인에 따라 모델을 사용자 지정할 수 있습니다. 도메인 적응을 통해 모델을 수정하여 대상 도메인에 대해 일반화하고 여러 도메인 간의 불일치를 처리할 수 있습니다. 예를 들어, 금융 업계에서 가격 책정에 대해 일반화가 잘 이루어지는 모델을 만들고자 하는 경우가 있습니다. 또 다른 예는 언어 적응입니다. 예를 들어, 포르투갈어 또는 타밀어로 응답을 생성하도록 모델을 사용자 지정할 수 있습니다. 사용 중인 모델의 어휘를 변경하는 작업이 대부분 여기에 해당합니다.

  • 처음부터 사전 훈련 - 모델의 가중치 및 어휘를 사용자 지정하는 것 외에도 어텐션 헤드 수, 숨겨진 계층 또는 컨텍스트 길이와 같은 모델 구성 파라미터를 변경할 수도 있습니다.

주제

지원되는 아키텍처

가져오는 모델은 다음 아키텍처 중 하나에 해당해야 합니다.

  • Mistral - 슬라이딩 윈도우 어텐션(SWA) 및 그룹 쿼리 어텐션(GQA) 옵션이 있는 디코더 전용 트랜스포머 기반 아키텍처입니다. 자세한 내용은 Hugging Face 설명서의 Mistral를 참조하세요.

    참고

    Amazon Bedrock Custom Model Import는 현재 Mistral Nemo를 지원하지 않습니다.

  • Mixtral - 희소형 MoE(Mixture of Experts) 모델이 있는 디코더 전용 트랜스포머 모델입니다. 자세한 내용은 Hugging Face 설명서의 Mixtral을 참조하세요.

  • Flan - 인코더-디코더 기반 트랜스포머 모델인 T5 아키텍처의 향상된 버전입니다. 자세한 내용은 Hugging Face 설명서의 Flan T5를 참조하세요.

  • Llama 2, Llama3, Llama3.1, Llama3.2, Llama 3.3- 그룹화된 쿼리 주의(GQA)를 Llama 사용하여의 개선된 버전입니다. 자세한 내용은 Hugging Face 설명서Llama 3.3의 Llama 2, Llama 3, Llama 3.2, Llama 3.1및 섹션을 참조하세요.

참고

  • 가져온 모델 가중치의 크기는 멀티모달 모델의 경우 100GB 미만, 텍스트 모델의 경우 200GB 미만이어야 합니다.

  • Amazon Bedrock은 트랜스포머 버전 4.45.2만 지원합니다. 모델을 미세 조정할 때는 트랜스포머 버전 4.45.2를 사용해야 합니다.

소스 가져오기

Amazon Bedrock 콘솔 또는 API에서 모델 가져오기 작업을 만든 후 모델을 Amazon Bedrock으로 가져옵니다. 작업에서 모델 파일 소스에 대한 Amazon S3 URI를 지정합니다. 또는 Amazon SageMaker AI에서 모델을 생성한 경우 SageMaker AI 모델을 지정할 수 있습니다. 모델을 훈련하는 과정에서 가져오기 작업은 모델의 아키텍처를 자동으로 감지합니다.

Amazon S3 버킷에서 모델을 가져오는 경우 모델 파일을 Hugging Face 가중치 형식으로 제공해야 합니다. Hugging Face 트랜스포머 라이브러리를 사용하여 파일을 만들 수 있습니다. Llama 모델의 모델 파일을 만들려면 convert_llama_weights_to_hf.py를 참조하세요. Mistral AI 모델의 파일을 만들려면 convert_mistral_weights_to_hf.py를 참조하세요.

Amazon S3에서 모델을 가져오려면 Hugging Face 트랜스포머 라이브러리가 만드는 다음 파일이 반드시 필요합니다.

  • .safetensor - Safetensor 형식의 모델 가중치입니다. Safetensors는 모델 가중치를 텐서로 저장하는 Hugging Face에서 만든 형식입니다. 모델의 텐서는 확장자가 .safetensors인 파일로 저장해야 합니다. 자세한 내용은 Safetensors를 참조하세요. 모델 가중치를 Safetensor 형식으로 변환하는 방법에 대한 자세한 내용은 Convert weights to safetensors를 참조하세요.

    참고

    • 현재 Amazon Bedrock은 FP32, FP16, BF16 정밀도의 모델 가중치만 지원합니다. 다른 정밀도를 제공하는 경우 Amazon Bedrock은 모델 가중치를 거부합니다. Amazon Bedrock 내부에서 FP32 모델은 BF16 정밀도로 변환됩니다.

    • Amazon Bedrock은 양자화된 모델의 가져오기를 지원하지 않습니다.

  • config.json - 예제는 LlamaConfig 및 MistralConfig를 참조하세요.

    참고

    Amazon Bedrock은 다음 값으로 llama3 rope_scaling 값을 재정의합니다.

    • original_max_position_embeddings=8192

    • high_freq_factor=4

    • low_freq_factor=1

    • factor=8

  • tokenizer_config.json 예제는 LlamaTokenizer를 참조하세요.

  • tokenizer.json

  • tokenizer.model

지원되는 토크나이저

Amazon Bedrock Custom Model Import는 다음 토크나이저를 지원합니다. 모든 모델에 이러한 토크나이저를 사용할 수 있습니다.

  • T5Tokenizer

  • T5TokenizerFast

  • LlamaTokenizer

  • LlamaTokenizerFast

  • CodeLlamaTokenizer

  • CodeLlamaTokenizerFast

  • GPT2Tokenizer

  • GPT2TokenizerFast

  • GPTNeoXTokenizer

  • GPTNeoXTokenizerFast

  • PreTrainedTokenizer

  • PreTrainedTokenizerFast