SageMaker Canvas의 세대 AI 파운데이션 모델 - Amazon SageMaker

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

SageMaker Canvas의 세대 AI 파운데이션 모델

Amazon SageMaker Canvas는 대화형 채팅을 시작하는 데 사용할 수 있는 생성형 AI 파운데이션 모델을 제공합니다. 이러한 콘텐츠 생성 모델은 대량의 텍스트 데이터를 기반으로 훈련되어 단어 간의 통계적 패턴과 관계를 학습하고, 훈련된 텍스트와 통계적으로 유사한 일관성 있는 텍스트를 생성할 수 있습니다. 이 기능을 사용하여 다음을 수행하여 생산성을 높일 수 있습니다.

  • 문서 개요, 보고서 및 블로그와 같은 콘텐츠 생성

  • 수익 보고 기록, 연간 보고서, 사용자 설명서 장과 같은 방대한 양의 텍스트 요약

  • 회의 노트나 내러티브와 같은 대량의 텍스트 구절에서 통찰력과 주요 요점 추출

  • 텍스트를 개선하고 문법 오류나 오타 확인

파운데이션 모델은 Amazon SageMaker JumpStart 과 Amazon Bedrock 대언어 모델()의 조합입니다LLMs. Canvas는 다음 모델을 제공합니다.

모델 유형 설명

Amazon Titan

Amazon Bedrock 모델

Amazon Titan은 요약, 텍스트 생성(예: 블로그 게시물 생성), 분류, 개방형 Q&A, 정보 추출 등의 작업에 사용할 수 있는 강력한 범용 언어 모델입니다. 이는 대규모 데이터 세트에서 사전 훈련되므로 복잡한 작업과 추론에 적합합니다. 책임감 있는 AI 사용에 대한 모범 사례를 지속적으로 지원하기 위해 Amazon Titan 파운데이션 모델은 데이터에서 유해한 콘텐츠를 감지 및 제거하고, 사용자 입력에서 부적절한 콘텐츠를 거부하고, 부적절한 콘텐츠(예: 증오 발언, 비속어 및 폭력)가 포함된 모델 출력을 필터링하도록 구축되었습니다.

Anthropic Claude Instant

Amazon Bedrock 모델

Anthropic의 Claude Instant는 더 빠르고 비용 효율적이면서도 여전히 뛰어난 성능을 발휘하는 모델입니다. 이 모델은 간단한 대화, 텍스트 분석, 요약, 문서 질문 답변 등 다양한 작업을 처리할 수 있습니다. Claude-2와 마찬가지로 Claude Instant는 각 프롬프트에서 최대 100,000개의 토큰을 지원할 수 있으며, 이는 약 200페이지의 정보에 해당합니다.

Anthropic Claude-2

Amazon Bedrock 모델

Claude-2는 Anthropic의 가장 강력한 모델로, 정교한 대화와 창의적인 콘텐츠 생성부터 자세한 지침 준수에 이르기까지 광범위한 작업에 탁월합니다. Claude-2는 각 프롬프트에서 최대 100,000개의 토큰을 사용할 수 있으며, 이는 약 200페이지의 정보에 해당합니다. 이는 이전 버전에 비해 더 긴 응답을 생성할 수 있습니다. 질문 응답, 정보 추출, 제거PII, 콘텐츠 생성, 다중 선택 분류, 역할극, 텍스트 비교, 요약 및 문서 Q&A와 인용과 같은 사용 사례를 지원합니다.

Falcon-7B-Instruct

JumpStart 모델

Falcon-7B-Instruct에는 70억 개의 파라미터가 있으며 채팅 및 명령 데이터 세트를 혼합하여 세밀하게 조정되었습니다. 이는 가상 어시스턴트로 적합하며 지시를 따르거나 대화에 참여할 때 최고의 성능을 발휘합니다. 이 모델은 대량의 영어 웹 데이터를 기반으로 훈련되었으므로 온라인에서 흔히 볼 수 있는 고정관념과 편견을 지니고 있으며 영어 이외의 언어에는 적합하지 않습니다. Falcon-40B-Instruct와 비교하여 Falcon-7B-Instruct는 약간 더 작고 컴팩트한 모델입니다.

Falcon-40B-Instruct

JumpStart 모델

Falcon-40B-Instruct는 400억 개의 파라미터를 가지고 있으며 채팅 및 명령 데이터 세트를 혼합하여 세밀하게 조정되었습니다. 이는 가상 어시스턴트로 적합하며 지시를 따르거나 대화에 참여할 때 최고의 성능을 발휘합니다. 이 모델은 대량의 영어 웹 데이터를 기반으로 훈련되었으므로 온라인에서 흔히 볼 수 있는 고정관념과 편견을 지니고 있으며 영어 이외의 언어에는 적합하지 않습니다. Falcon-7B-Instruct와 비교하여 Falcon-40B-Instruct는 조금 더 크고 강력한 모델입니다.

Jurassic-2 Mid

Amazon Bedrock 모델

Jurassic-2 Mid는 방대한 텍스트 코퍼스에 대해 훈련된 고성능 텍스트 생성 모델입니다(2022년 중반까지). 이는 매우 다재다능하고 범용적이며 사람처럼 텍스트를 구성하고 질문 응답, 텍스트 분류 등과 같은 복잡한 작업을 해결할 수 있습니다. 이 모델은 제로샷 명령 기능을 제공하므로 예제를 사용하지 않고 자연어만 사용하여 지시할 수 있습니다. 이전 모델인 Jurassic-1 모델보다 최대 30% 더 빠르게 작동합니다.

Jurassic-2 Mid는 AI21의 중간 크기 모델로, 뛰어난 품질과 비용적 여유 사이의 적절한 균형을 이루도록 신중하게 설계되었습니다.

Jurassic-2 Ultra

Amazon Bedrock 모델

Jurassic-2 Ultra는 방대한 텍스트 코퍼스에 대해 훈련된 고성능 텍스트 생성 모델입니다(2022년 중반까지). 이는 매우 다재다능하고 범용적이며 사람처럼 텍스트를 구성하고 질문 응답, 텍스트 분류 등과 같은 복잡한 작업을 해결할 수 있습니다. 이 모델은 제로샷 명령 기능을 제공하므로 예제를 사용하지 않고 자연어만 사용하여 지시할 수 있습니다. 이전 모델인 Jurassic-1 모델보다 최대 30% 더 빠르게 작동합니다.

Jurassic-2 Mid에 비해 Jurassic-2 Ultra는 약간 더 크고 강력한 모델입니다.

Llama-2-7b-Chat

JumpStart 모델

Llama-2-7b-Chat은 의미 있고 일관된 대화에 참여하고, 새 콘텐츠를 생성하고, 기존 노트에서 답변을 추출하는 데 적합한 Meta의 파운데이션 모델입니다. 이 모델은 대량의 영어 인터넷 데이터에 대해 훈련되었기 때문에 일반적으로 온라인에서 발견되는 편향과 제한을 수반하며 영어 작업에 가장 적합합니다.

Llama-2-13B-Chat

Amazon Bedrock 모델

Llama-2-13B-Chat by Meta는 인터넷 데이터에 대한 초기 훈련 후 대화형 데이터에 대해 미세 조정되었습니다. 자연스러운 대화와 매력적인 채팅 기능에 최적화되어 대화 에이전트로 적합합니다. 더 작은 Llama-2-7b-Chat, Llama-2-13B-Chat의 파라미터는 거의 두 배로 많아 컨텍스트를 더 많이 기억하고 미묘한 대화 응답을 더 많이 생성할 수 있습니다. Llama-2-7b-Chat, Llama-2-13B-Chat은 영어 데이터에 대한 교육을 받았으며 영어 작업에 가장 적합합니다.

Llama-2-70B-Chat

Amazon Bedrock 모델

Llama-2-7b-Chat 및 Llama-2-13B-Chat 와 마찬가지로 Meta의 Llama-2-70B-Chat 모델은 자연스럽고 의미 있는 대화에 참여하기에 최적화되어 있습니다. 700억 개의 파라미터가 있는 이 대규모 대화형 모델은 더 컴팩트한 모델 버전과 비교할 때 더 광범위한 컨텍스트를 기억하고 매우 일관된 응답을 생성할 수 있습니다. 그러나 응답 속도가 느려지고 리소스 요구 사항이 늘어납니다. Llama-2-70B-Chat은 대량의 영어 인터넷 데이터에 대한 교육을 받았으며 영어 작업에 가장 적합합니다.

Mistral-7B

JumpStart 모델

Mistral-7B by Mistral.AI 는 텍스트 생성, 요약 및 질문 응답과 같은 다양한 자연어(NLP) 작업에 적합한 우수한 범용 언어 모델입니다. 그룹화된 쿼리 주의(GQA)를 활용하여 추론 속도를 높일 수 있으므로 파라미터가 두 배 또는 세 배 더 많은 모델과 비슷하게 작동합니다. 영어로 된 책, 웹 사이트 및 과학 논문을 비롯한 텍스트 데이터의 혼합에 대해 훈련되었으므로 영어로 된 작업에 가장 적합합니다.

Mistral-7B-Chat

JumpStart 모델

Mistral-7B-Chat은 Mistral.AI Mistral-7B 기반 대화형 모델입니다. Mistral-7B는 일반 NLP 작업에 가장 적합하지만 Mistral-7B-Chat은 대화 데이터를 추가로 미세 조정하여 자연스럽고 매력적인 채팅을 위한 기능을 최적화했습니다. 따라서 Mistral-7B-Chat은 인간과 유사한 응답을 더 많이 생성하고 이전 응답의 컨텍스트를 기억합니다. Mistral-7B 와 마찬가지로 이 모델은 영어 작업에 가장 적합합니다.

MPT-7B-Instruct

JumpStart 모델

MPT-7B-Instruct는 작업 후 장기 명령어를 위한 모델로, 텍스트 요약 및 질문 응답을 포함한 태스크를 작성하는 데 도움이 되어 시간과 노력을 절약할 수 있습니다. 이 모델은 대량의 미세 조정된 데이터를 기반으로 훈련되었으며 복잡한 문서와 같은 대규모 입력을 처리할 수 있습니다. 대량의 텍스트를 처리하거나 모델이 긴 응답을 생성하도록 하려는 경우 이 모델을 사용하세요.

Amazon Bedrock의 파운데이션 모델은 현재 미국 동부(버지니아 북부) 및 미국 서부(오레곤) 리전에서만 제공됩니다. 또한 Amazon Bedrock의 파운데이션 모델을 사용하는 경우 각 모델 공급자가 지정한 입력 토큰 및 출력 토큰의 양을 기준으로 요금이 부과됩니다. 자세한 정보는 Amazon Bedrock 요금 페이지를 참조하세요. JumpStart 파운데이션 모델은 SageMaker 호스팅 인스턴스에 배포되며 사용된 인스턴스 유형에 따라 사용 기간에 대한 요금이 부과됩니다. 다양한 인스턴스 유형의 비용에 대한 자세한 내용은 SageMaker 요금 페이지의 Amazon SageMaker 호스팅: 실시간 추론 섹션을 참조하세요.

문서 쿼리는 Amazon Kendra를 사용하여 인덱스에 저장된 문서를 쿼리하고 해당 문서에서 통찰력을 얻는 데 사용할 수 있는 추가 기능입니다. 이 기능을 사용하면 파운데이션 모델이 훈련된 대량의 데이터에 대한 일반적인 응답과 달리, 해당 문서의 컨텍스트에서 콘텐츠를 생성하고 비즈니스 사용 사례에 맞는 응답을 받을 수 있습니다. Amazon Kendra의 인덱스에 대한 자세한 내용은 Amazon Kendra 개발자 안내서를 참조하세요.

데이터 및 사용 사례에 맞게 사용자 지정된 파운데이션 모델에서 응답을 가져오려면 파운데이션 모델을 미세 조정할 수 있습니다. 자세한 내용은 파운데이션 모델 미세 조정을 참조하십시오.

애플리케이션 또는 웹 사이트를 통해 Amazon SageMaker JumpStart 파운데이션 모델에서 예측을 가져오려면 모델을 SageMaker 엔드포인트 에 배포할 수 있습니다. SageMaker 엔드포인트는 모델을 호스팅하며 애플리케이션 코드를 통해 엔드포인트에 요청을 보내 모델로부터 예측을 수신할 수 있습니다. 자세한 내용은 엔드포인트에 모델 배포 단원을 참조하십시오.