기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
검색: 증강 제너레이션
파운데이션 모델은 일반적으로 오프라인에서 훈련되므로 모델을 훈련한 후 생성되는 모든 데이터에 구애받지 않고 모델을 훈련할 수 있습니다. 또한 파운데이션 모델은 매우 일반적인 도메인 코퍼스를 대상으로 훈련되므로 도메인별 작업에서는 효율성이 떨어집니다. Retrieval Augmented Generation (RAG) 을 사용하여 기초 모델 외부에서 데이터를 검색하고 상황에 맞게 검색된 관련 데이터를 추가하여 프롬프트를 확대할 수 있습니다. RAG모델 아키텍처에 대한 자세한 내용은 지식 집약적 작업을 위한 검색 증강 생성을 참조하십시오. NLP
프롬프트를 강화하는 데 사용되는 외부 데이터는 문서 리포지토리RAG, 데이터베이스 등과 같은 여러 데이터 소스에서 가져올 수 있습니다. APIs 첫 번째 단계는 관련성 검색을 수행하기 위해 문서와 사용자 쿼리를 호환 가능한 형식으로 변환하는 것입니다. 형식이 호환되도록 하기 위해 문서 컬렉션 또는 지식 라이브러리와 사용자가 제출한 쿼리를 임베딩 언어 모델을 사용하여 수치 표현으로 변환합니다. 임베딩은 텍스트를 벡터 공간에 숫자로 표현하는 프로세스입니다. RAG모델 아키텍처는 지식 라이브러리 벡터 내에 포함된 사용자 쿼리를 비교합니다. 그런 다음 원본 사용자 프롬프트에 지식 라이브러리 내 유사한 문서의 관련 컨텍스트가 추가됩니다. 그러면 이 증강 프롬프트가 파운데이션 모델로 전송됩니다. 지식 라이브러리 및 관련 임베딩을 비동기적으로 업데이트할 수 있습니다.
검색된 문서는 프롬프트를 확대하는 데 도움이 되는 유용한 컨텍스트를 포함할 수 있을 만큼 충분히 커야 하지만 프롬프트의 최대 시퀀스 길이에 맞을 만큼 작아야 합니다. 의 General Text Embeddings (GTE) JumpStart 모델과 같은 작업별 모델을 사용하여 프롬프트와 지식 라이브러리 문서에 대한 임베딩을 제공할 수 있습니다. Hugging Face 프롬프트와 문서 임베딩을 비교하여 가장 관련성이 높은 문서를 찾은 후 추가 컨텍스트를 사용하여 새 프롬프트를 구성하십시오. 그런 다음 증강 프롬프트를 선택한 텍스트 생성 모델로 전달하십시오.
예제 노트북
RAG기초 모델 솔루션에 대한 자세한 내용은 다음 예제 노트북을 참조하십시오.
Amazon SageMaker 예제 리포지토리를
