As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
geração aumentada de recuperação
Os modelos de base geralmente são treinados offline, tornando o modelo independente de quaisquer dados criados após o treinamento do modelo. Além disso, os modelos de base são treinados em corpora de domínio muito gerais, tornando-os menos eficazes para tarefas específicas do domínio. Você pode usar o Retrieval Augmented Generation (RAG) para recuperar dados de fora de um modelo básico e aumentar suas solicitações adicionando os dados recuperados relevantes no contexto. Para obter mais informações sobre arquiteturas de RAG modelos, consulte Geração aumentada de recuperação para tarefas intensivas em conhecimento
ComRAG, os dados externos usados para aumentar suas solicitações podem vir de várias fontes de dados, como repositórios de documentos, bancos de dados ou. APIs A primeira etapa é converter seus documentos e quaisquer consultas do usuário em um formato compatível para realizar a pesquisa de relevância. Para tornar os formatos compatíveis, uma coleção de documentos ou biblioteca de conhecimento e consultas enviadas pelo usuário são convertidas em representações numéricas usando modelos de linguagem de incorporação. A incorporação é o processo pelo qual o texto recebe representação numérica em um espaço vetorial. RAGas arquiteturas de modelos comparam as incorporações das consultas do usuário no vetor da biblioteca de conhecimento. O prompt original do usuário é então anexado com o contexto relevante de documentos semelhantes na biblioteca de conhecimento. Essa solicitação aumentada é então enviada para o modelo de base. Você pode atualizar as bibliotecas de conhecimento e suas incorporações relevantes de forma assíncrona.
O documento recuperado deve ser grande o suficiente para conter um contexto útil para ajudar a aumentar o prompt, mas pequeno o suficiente para caber no tamanho máximo da sequência do prompt. Você pode usar JumpStart modelos específicos de tarefas, como o modelo General Text Embeddings () GTE do Hugging Face, para fornecer as incorporações para seus prompts e documentos da biblioteca de conhecimento. Depois de comparar a solicitação e a incorporação do documento para encontrar os documentos mais relevantes, crie uma nova solicitação com o contexto suplementar. Em seguida, passe o prompt aumentado para um modelo de geração de texto de sua escolha.
Cadernos de exemplo
Para obter mais informações sobre soluções de modelos RAG básicos, consulte os seguintes exemplos de cadernos:
Você pode clonar o repositório de SageMaker exemplos da Amazon
