Modelos básicos de IA generativa no Canvas SageMaker - Amazon SageMaker

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Modelos básicos de IA generativa no Canvas SageMaker

O Amazon SageMaker Canvas fornece modelos básicos de IA generativos que você pode usar para iniciar bate-papos conversacionais. Esses modelos de geração de conteúdo são treinados em grandes quantidades de dados de texto para aprender os padrões estatísticos e as relações entre as palavras, e podem produzir um texto coerente que seja estatisticamente semelhante ao texto no qual foram treinados. É possível usar esse recurso para aumentar sua produtividade da seguinte maneira:

  • Gerar conteúdo, como esboços de documentos, relatórios e blogs

  • Resumir o texto de grandes corpus de texto, como transcrições de teleconferências, relatórios anuais ou capítulos de manuais do usuário

  • Extrair informações e conclusões importantes de grandes passagens de texto, como notas de reuniões ou narrativas

  • Melhorar o texto e capturar erros gramaticais ou de digitação

Os modelos básicos são uma combinação dos modelos de linguagem grande da Amazon SageMaker JumpStart e do Amazon Bedrock (LLMs). O Canvas oferece os seguintes modelos:

Modelo Tipo Descrição

Amazon Titan

Modelo Amazon Bedrock

O Amazon Titan é um modelo de linguagem poderoso e de uso geral que você pode usar para tarefas como resumo, geração de texto (como criar uma postagem no blog), classificação, perguntas e respostas abertas e extração de informações. Ele é pré-treinado em grandes conjuntos de dados, o que o torna adequado para tarefas e raciocínios complexos. Para continuar apoiando as melhores práticas no uso responsável da IA, os modelos da Amazon Titan Foundation são criados para detectar e remover conteúdo prejudicial nos dados, rejeitar conteúdo impróprio na entrada do usuário e filtrar saídas de modelos que contêm conteúdo impróprio (como discurso de ódio, palavrões e violência).

Anthropic Claude Instant

Modelo Amazon Bedrock

O Claude Instant da Anthropic é um modelo mais rápido e econômico, mas ainda assim muito capaz. Esse modelo pode lidar com uma variedade de tarefas, incluindo diálogo casual, análise de texto, resumo e resposta a perguntas de documentos. Assim como o Claude-2, o Claude Instant pode suportar até 100.000 tokens em cada solicitação, o equivalente a cerca de 200 páginas de informações.

Anthropic Claude-2

Modelo Amazon Bedrock

O Claude-2 é o modelo mais poderoso da Anthropic, que se destaca em uma ampla variedade de tarefas, desde diálogos sofisticados e geração de conteúdo criativo até o acompanhamento detalhado de instruções. O Claude-2 pode suportar até 100.000 tokens em cada solicitação, o equivalente a cerca de 200 páginas de informações. Ele pode gerar respostas mais longas em comparação com a versão anterior. Ele suporta casos de uso como resposta a perguntas, extração, remoção de informações, geração de conteúdoPII, classificação de múltipla escolha, dramatização, comparação de texto, resumo e perguntas e respostas sobre documentos com citação.

Falcon-7B-Instruct

JumpStart modelo

O Falcon-7B-Instruct tem 7 bilhões de parâmetros e foi ajustado em uma mistura de conjuntos de dados de chat e instruct. Ele serve como assistente virtual e tem melhor desempenho ao seguir instruções ou iniciar uma conversa. Como o modelo foi treinado em grandes quantidades de dados da web em inglês, ele carrega os estereótipos e vieses comumente encontrados on-line e não é adequado para outros idiomas além do inglês. Comparado ao Falcon-40B-Instruct, o Falcon-7B-Instruct é um modelo um pouco menor e mais compacto.

Falcon-40B-Instruct

JumpStart modelo

O Falcon-40B-Instruct tem 40 bilhões de parâmetros e foi ajustado em uma mistura de conjuntos de dados de chat e instruct. Ele serve como assistente virtual e tem melhor desempenho ao seguir instruções ou iniciar uma conversa. Como o modelo foi treinado em grandes quantidades de dados da web em inglês, ele carrega os estereótipos e vieses comumente encontrados on-line e não é adequado para outros idiomas além do inglês. Comparado ao Falcon-7B-Instruct, o Falcon-40B-Instruct é um modelo um pouco maior e mais poderoso.

Jurassic-2 Mid

Modelo Amazon Bedrock

O Jurassic-2 Mid é um modelo de geração de texto de alto desempenho treinado em um grande corpus de texto (atual até meados de 2022). É altamente versátil, de uso geral e capaz de compor textos semelhantes aos humanos e resolver tarefas complexas, como responder a perguntas, classificar textos e muitas outras. Esse modelo oferece recursos de instrução zero, permitindo que ele seja direcionado apenas com linguagem natural e sem o uso de exemplos. Seu desempenho é até 30% mais rápido do que o do seu antecessor, o modelo Jurassic-1.

O Jurassic-2 Mid AI21 é um modelo de tamanho médio, cuidadosamente projetado para encontrar o equilíbrio certo entre qualidade excepcional e preço acessível.

Jurassic-2 Ultra

Modelo Amazon Bedrock

O Jurassic-2 Ultra é um modelo de geração de texto de alto desempenho treinado em um grande corpus de texto (atual até meados de 2022). É altamente versátil, de uso geral e capaz de compor textos semelhantes aos humanos e resolver tarefas complexas, como responder a perguntas, classificar textos e muitas outras. Esse modelo oferece recursos de instrução zero, permitindo que ele seja direcionado apenas com linguagem natural e sem o uso de exemplos. Seu desempenho é até 30% mais rápido do que o do seu antecessor, o modelo Jurassic-1.

Comparado ao Jurassic-2 Mid, o Jurassic-2 Ultra é um modelo um pouco maior e mais poderoso.

Llama-2-7b-Chat

JumpStart modelo

O LLama-2-7b-Chat é um modelo básico da Meta que é adequado para se envolver em conversas significativas e coerentes, gerar novos conteúdos e extrair respostas de notas existentes. Como o modelo foi treinado em grandes quantidades de dados da Internet em inglês, ele carrega os preconceitos e limitações comumente encontrados on-line e é mais adequado para tarefas em inglês.

Llama-2-13B-Chat

Modelo Amazon Bedrock

O Llama-2-13B-Chat da Meta foi aperfeiçoado nos dados de conversação após o treinamento inicial em dados da Internet. Ele é otimizado para diálogos naturais e habilidades de bate-papo envolventes, o que o torna adequado como agente de conversação. Em comparação com o Llama-2-7B-Chat menor, o Llama-2-13B-Chat tem quase o dobro de parâmetros, permitindo que ele se lembre de mais contexto e produza respostas conversacionais com mais nuances. Assim como o Llama-2-7B-Chat, o Llama-2-13B-Chat foi treinado em dados em inglês e é mais adequado para tarefas em inglês.

Llama-2-70B-Chat

Modelo Amazon Bedrock

Assim como o Llama-2-7B-Chat e o Llama-2-13B-Chat, o modelo Llama-2-70B-Chat da Meta é otimizado para engajar um diálogo natural e significativo. Com 70 bilhões de parâmetros, esse grande modelo conversacional pode lembrar um contexto mais extenso e produzir respostas altamente coerentes quando comparado às versões mais compactas do modelo. No entanto, isso tem o custo de respostas mais lentas e maiores requisitos de recursos. O Llama-2-70B-Chat foi treinado em grandes quantidades de dados da Internet em inglês e é mais adequado para tarefas em inglês.

Mistral-7B

JumpStart modelo

O Mistral-7B da Mistral.AI é um excelente modelo de linguagem de uso geral adequado para uma ampla variedade de tarefas de linguagem natural (NLP), como geração de texto, resumo e resposta a perguntas. Ele utiliza atenção de consulta agrupada (GQA), que permite velocidades de inferência mais rápidas, fazendo com que tenha um desempenho comparável a modelos com duas ou três vezes mais parâmetros. Ele foi treinado em uma mistura de dados de texto, incluindo livros, sites e artigos científicos no idioma inglês, por isso é mais adequado para tarefas em inglês.

Mistral-7B-Chat

JumpStart modelo

O Mistral-7B-Chat é um modelo conversacional da Mistral.AI baseado no Mistral-7B. Embora o Mistral-7B seja o melhor para NLP tarefas gerais, o Mistral-7B-Chat foi aprimorado ainda mais nos dados de conversação para otimizar suas habilidades de bate-papo natural e envolvente. Como resultado, o Mistral-7B-Chat gera respostas mais humanas e lembra o contexto das respostas anteriores. Como o Mistral-7B, esse modelo é mais adequado para tarefas em inglês.

MPT-7B-Instruct

JumpStart modelo

MPTO -7B-Instruct é um modelo para instruções longas após tarefas e pode ajudá-lo a escrever tarefas, incluindo resumo de texto e resposta a perguntas, para economizar tempo e esforço. Esse modelo foi treinado em grandes quantidades de dados ajustados e pode lidar com entradas maiores, como documentos complexos. Use esse modelo quando quiser processar grandes corpos de texto ou quiser que o modelo gere respostas longas.

Os modelos básicos da Amazon Bedrock atualmente só estão disponíveis nas regiões Leste dos EUA (Norte da Virgínia) e Oeste dos EUA (Oregon). Além disso, ao usar modelos básicos do Amazon Bedrock, você é cobrado com base no volume de tokens de entrada e tokens de saída, conforme especificado por cada fornecedor de modelo. Para obter mais informações, consulte a página de preços do Amazon Bedrock. Os modelos JumpStart básicos são implantados em instâncias de SageMaker hospedagem e você é cobrado pela duração do uso com base no tipo de instância usada. Para obter mais informações sobre o custo de diferentes tipos de instância, consulte a seção Amazon SageMaker Hosting: Inferência em tempo real na página de SageMaker preços.

A consulta de documentos é um atributo adicional que você pode usar para consultar e obter informações de documentos armazenados em índices usando o Amazon Kendra. Com essa funcionalidade, você pode gerar conteúdo a partir do contexto desses documentos e receber respostas específicas para seu caso de uso comercial, em vez de respostas genéricas às grandes quantidades de dados nos quais os modelos básicos foram treinados. Para obter mais informações sobre índices no Amazon Kendra, consulte o Guia do desenvolvedor do Amazon Kendra.

Se você quiser obter respostas de qualquer um dos modelos básicos personalizados para seus dados e caso de uso, você pode ajustar os modelos básicos. Para saber mais, consulte Aperfeiçoe os modelos de fundação.

Se você quiser obter previsões de um modelo da Amazon SageMaker JumpStart Foundation por meio de um aplicativo ou site, você pode implantar o modelo em um SageMaker endpoint. SageMaker os endpoints hospedam seu modelo e você pode enviar solicitações ao endpoint por meio do código do aplicativo para receber previsões do modelo. Para obter mais informações, consulte Implantar seus modelos em um endpoint.