사용자 지정 모델을 Amazon Bedrock으로 가져오기 - Amazon Bedrock
지원되는 아키텍처소스 가져오기모델 가져오기

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

사용자 지정 모델을 Amazon Bedrock으로 가져오기

사용자 지정 모델 가져오기는 Amazon Bedrock에 대한 미리 보기 릴리스 중이며 변경될 수 있습니다.

사용자 지정 모델 가져오기 기능을 사용하여 Amazon과 같은 다른 환경에서 사용자 지정한 파운데이션 모델을 가져와서 Amazon Bedrock에서 사용자 지정 모델을 생성할 수 있습니다 SageMaker. 예를 들어 Amazon에서 생성한 모델이 독점 모델 가중치를 가지고 SageMaker 있을 수 있습니다. 이제 해당 모델을 Amazon Bedrock으로 가져온 다음 Amazon Bedrock 기능을 활용하여 모델에 추론 호출을 수행할 수 있습니다.

온디맨드 처리량으로 가져오는 모델을 사용할 수 있습니다. InvokeModel 또는 InvokeModelWithResponseStream 작업을 사용하여 모델에 추론 호출을 수행합니다. 자세한 내용은 작업과 함께 InvokeModel API 단일 프롬프트 제출 단원을 참조하십시오.

참고

미리 보기 릴리스의 경우 사용자 지정 모델 가져오기는 미국 동부(버지니아 북부) 및 미국 서부(오레곤) AWS 리전에서만 사용할 수 있습니다. 다음 Amazon Bedrock 기능에서는 사용자 지정 모델 가져오기를 사용할 수 없습니다.

  • Amazon Bedrock 에이전트

  • Amazon Bedrock 지식 기반

  • Amazon Bedrock 가드레일

  • 배치 추론

  • AWS CloudFormation

사용자 지정 모델 가져오기를 사용하려면 먼저 할당량에 대한 Imported models per account 할당량 증가를 요청해야 합니다. 자세한 내용은 할당량 증가 요청을 참조하십시오.

사용자 지정 모델 가져오기를 사용하면 다음 패턴을 지원하는 사용자 지정 모델을 생성할 수 있습니다.

  • 미세 조정되거나 지속적인 사전 훈련 모델 - 독점 데이터를 사용하여 모델 가중치를 사용자 지정할 수 있지만 기본 모델의 구성은 유지할 수 있습니다.

  • 적응 모델이 잘 일반화되지 않는 사용 사례에 맞게 모델을 도메인에 사용자 지정할 수 있습니다. 도메인 조정은 모델을 수정하여 대상 도메인에 대해 일반화하고 요금에 대해 잘 일반화하는 모델을 만들고자 하는 금융 산업과 같은 도메인 간의 불일치를 처리합니다. 또 다른 예는 언어 조정입니다. 예를 들어 포르투갈어 또는 타밀어로 응답을 생성하도록 모델을 사용자 지정할 수 있습니다. 가장 자주 사용하는 모델의 어휘가 변경됩니다.

  • 처음부터 미리 학습됨 - 모델의 가중치 및 어휘를 사용자 지정하는 것 외에도 주의 헤드 수, 숨겨진 계층 또는 컨텍스트 길이와 같은 모델 구성 파라미터를 변경할 수도 있습니다.

지원되는 아키텍처

가져오는 모델은 다음 아키텍처 중 하나에 있어야 합니다.

소스 가져오기

Amazon Bedrock 콘솔에서 모델 가져오기 작업을 생성하여 모델을 Amazon Bedrock으로 가져옵니다. 작업에서 모델 파일의 소스에 URI 대한 Amazon S3를 지정합니다. 또는 Amazon 에서 모델을 생성한 경우 SageMaker 모델을 지정할 SageMaker수 있습니다. 모델 훈련 중에 가져오기 작업은 모델의 아키텍처를 자동으로 감지합니다.

Amazon S3 버킷에서 가져오는 경우 에서 모델 파일을 제공해야 합니다.Hugging Face 가중치 형식. Hugging Face 변환기 라이브러리를 사용하여 파일을 생성할 수 있습니다. 에 대한 모델 파일을 생성하려면 Llama convert_llama_weights_to_hf.py를 참조하세요. 에 대한 파일을 생성하려면 Mistral AI convert_mistral_weights_to_hf.py를 참조하세요.

Amazon S3에서 모델을 가져오려면 Hugging Face 변환기 라이브러리에서 생성하는 다음 파일이 최소한으로 필요합니다.

  • .safetensor - Safetensor 형식의 모델 가중치입니다. Safetensor는 에서 생성한 형식입니다.Hugging Face 는 모델 가중치를 텐서로 저장합니다. 모델의 텐서를 확장자가 인 파일에 저장해야 합니다.safetensors. 자세한 내용은 Safetensors 를 참조하세요. 모델 가중치를 Safetensor 형식으로 변환하는 방법에 대한 자세한 내용은 가중치를 Safetensor로 변환을 참조하세요.

    참고

    • 현재 Amazon Bedrock은 , FP32FP16, BF16 정밀도가 있는 모델 가중치만 지원합니다. Amazon Bedrock은 다른 정밀도를 제공하는 경우 모델 가중치를 거부합니다. 내부적으로 Amazon Bedrock은 FP32 모델을 BF16 정밀도로 변환합니다.

    • Amazon Bedrock은 퀀타이즈된 모델의 가져오기를 지원하지 않습니다.

  • config.json — 예제는 LlamaConfig 및 섹션을 참조하세요MistralConfig.

  • tokenizer_config.json - 예제는 섹션을 참조하세요LlamaTokenizer.

  • 토큰화자.json

  • tokenizer.model

모델 가져오기

다음 절차에서는 이미 사용자 지정한 모델을 가져와 사용자 지정 모델을 생성하는 방법을 보여줍니다. 모델 가져오기 작업은 몇 분 정도 걸릴 수 있습니다. 가져오기 작업 중에 Amazon Bedrock은 모델이 호환되는 모델 아키텍처를 사용하는지 확인합니다.

모델 가져오기 작업을 제출하려면 다음 단계를 수행합니다.

  1. 할당량에 대한 Imported models per account 할당량 증가를 요청합니다. 자세한 내용은 할당량 증가 요청을 참조하십시오.

  2. Amazon S3에서 모델 파일을 가져오는 경우 모델을 로 변환합니다.Hugging Face 형식

    1. 모델이 인 경우 Mistral AI convert_mistral_weights_to_hf.py를 사용합니다.

    2. 모델이 인 경우 Llama convert_llama_weights_to_hf.py를 참조하세요.

    3. AWS 계정의 Amazon S3 버킷에 모델 파일을 업로드합니다. 자세한 내용은 버킷에 객체 업로드를 참조하세요.

  3. Amazon Bedrock 권한이 있는 역할을 AWS Management Console 사용하여 에 로그인하고 에서 Amazon Bedrock 콘솔을 엽니다https://console.aws.amazon.com/bedrock/. IAM

  4. 왼쪽 탐색 창의 파운데이션 모델에서 가져온 모델을 선택합니다.

  5. 모델 탭을 선택합니다.

  6. 모델 가져오기를 선택합니다.

  7. 가져온 탭에서 모델 가져오기를 선택하여 모델 가져오기 페이지를 엽니다.

  8. 모델 세부 정보 섹션에서 다음을 수행합니다.

    1. 모델 이름에 모델의 이름을 입력합니다.

    2. (선택 사항) 태그를 모델과 연결하려면 태그 섹션을 확장하고 새 태그 추가를 선택합니다.

  9. 작업 이름 가져오기 섹션에서 다음을 수행합니다.

    1. 작업 이름에 모델 가져오기 작업의 이름을 입력합니다.

    2. (선택 사항) 태그를 사용자 지정 모델과 연결하려면 태그 섹션을 확장하고 새 태그 추가를 선택합니다.

  10. 모델 가져오기 설정 에서 사용하려는 가져오기 옵션을 선택합니다.

    • Amazon S3 버킷에서 모델 파일을 가져오는 경우 Amazon S3 버킷을 선택하고 S3 위치 에 Amazon S3S3 위치를 입력합니다. 선택적으로 S3 찾아보기를 선택하여 파일 위치를 선택할 수 있습니다.

    • Amazon 에서 모델을 가져오는 경우 Amazon SageMaker 모델을 SageMaker선택한 다음 SageMaker 모델 에서 SageMaker 가져올 모델을 선택합니다.

  11. 서비스 액세스 섹션에서 다음 중 하나를 선택합니다.

    • 새 서비스 역할 생성 및 사용 - 서비스 역할의 이름을 입력합니다.

    • 기존 서비스 역할 사용 - 드롭다운 목록에서 서비스 역할을 선택합니다. 기존 서비스 역할에 필요한 권한을 보려면 권한 세부 정보 보기를 선택합니다.

      적절한 권한으로 서비스 역할을 설정하는 방법에 대한 자세한 내용은 섹션을 참조하세요모델 가져오기를 위한 서비스 역할 생성.

  12. 가져오기를 선택합니다.

  13. 사용자 지정 모델 페이지에서 가져온 을 선택합니다.

  14. 작업 섹션에서 가져오기 작업의 상태를 확인합니다. 선택한 모델 이름은 모델 가져오기 작업을 식별합니다. 모델의 상태 값이 완료 이면 작업이 완료된 것입니다.

  15. 다음을 수행하여 모델의 모델 ID를 가져옵니다.

    1. 가져온 모델 페이지에서 모델 탭을 선택합니다.

    2. ARN 열에서 사용하려는 모델의 ARN 를 복사합니다.

  16. 추론 호출에 모델을 사용합니다. 자세한 내용은 작업과 함께 InvokeModel API 단일 프롬프트 제출 단원을 참조하십시오. 온디맨드 처리량으로 모델을 사용할 수 있습니다.

    Amazon Bedrock 텍스트 플레이그라운드 에서 모델을 사용할 수도 있습니다.