Gerar respostas no console usando playgrounds

Como usar um playground

1. Caso ainda não tenha feito isso, solicite acesso aos modelos que deseja usar. Para obter mais informações, consulte Acessar modelos de base do Amazon Bedrock.

2. Faça login na função AWS Management Console usando uma função do IAM com as permissões do Amazon Bedrock e abra o console do Amazon Bedrock em. https://console.aws.amazon.com/bedrock/

3. No painel de navegação, em Playgrounds, escolha Chat/texto ou Imagem.

4. Se você estiver no playground Chat/texto, selecione um Modo.

5. Escolha Selecionar modelo e selecione um provedor, um modelo e um throughput a serem usados. Para obter mais informações sobre como aumentar a produtividade, consulte Aumente a produtividade com inferência entre regiões e. Aumentar a capacidade de invocação do modelo com throughput provisionado no Amazon Bedrock

6. Envie as seguintes informações para gerar uma resposta:

   • Prompt: uma ou mais frases de texto que configuram um cenário, uma pergunta ou uma tarefa para um modelo. Para obter informações sobre como criar prompts, consulte Conceitos de engenharia de prompts.

     Se você estiver usando o modo de chat do playground de chat/texto, você pode selecionar Escolher arquivos ou arrastar um arquivo para o campo de texto do prompt para incluir arquivos para complementar seu prompt. Você pode consultar o arquivo no texto do prompt, como Summarize this document for me ou Tell me what's in this image. Você pode incluir os seguintes tipos de arquivo:

     • Documentos: adicione documentos para complementar o prompt. Para obter uma lista dos tipos de arquivo compatíveis, consulte o format campo em DocumentBlock.

       Atenção

       Os nomes de documento são vulneráveis a injeções de prompt, porque o modelo pode interpretá-los inadvertidamente como instruções. Por isso, é recomendável especificar um nome neutro.

     • Imagens: adicione imagens para complementar o prompt, se o modelo der suporte a prompts multimodais. Para obter uma lista dos tipos de arquivo compatíveis, consulte o format campo no ImageBlock.

     nota

     As seguintes restrições se aplicam quando você adiciona arquivos a um prompt:

     • É possível incluir até vinte imagens. O tamanho, a altura e a largura de cada imagem não devem exceder 3,75 MB, 8.000 px e 8.000 px, respectivamente.

     • É possível incluir até cinco documentos. O tamanho de cada documento não deve ser superior a 4,5 MB.

   • Configurações: configurações ajustadas por você para modificar a resposta do modelo. Entre as configurações estão:

     • Parâmetros de inferência: valores que afetam ou limitam a maneira como o modelo gera a resposta. Para obter mais informações, consulte Geração de resposta de influência com parâmetros de inferência.. Para examinar parâmetros de inferência para modelos específicos, consulte Parâmetros de solicitação de inferência e campos de resposta para modelos de base.

     • Prompts de sistema: prompts que dão instruções ou contextualizam para o modelo a tarefa que ele deve realizar ou a persona que ele deve adotar. Eles só estão disponíveis no modo chat do playground de chat/texto. Para obter mais informações e uma lista de modelos compatíveis com prompts do sistema, consulte Conduza uma conversa com o Converse Operações de API.

     • Barreiras de proteção: filtra conteúdo perigoso ou indesejado em prompts e respostas de modelo. Para obter mais informações, consulte Impedir conteúdo prejudicial em modelos usando o Amazon Bedrock Guardrails.

7. (Opcional) se um modelo for compatível com streaming, o comportamento padrão no playground de chat/texto será transmitir as respostas. Você pode desativar o streaming escolhendo o ícone de opções ( ) e modificando a opção Preferência de streaming.

8. (Opcional) No modo chat do playground de chat/texto, você pode comparar respostas de modelos diferentes fazendo o seguinte:

   1. Ative o Modo de comparação.

   2. Escolha Selecionar modelo e selecione um provedor, um modelo e um throughput a serem usados.

   3. Escolha o ícone de configurações ( ) para modificar as configurações a serem usadas.

   4. Para adicionar mais modelos a serem comparados, escolha o ícone + à direita, selecione um modelo e modifique as configurações conforme necessário.

9. (Opcional) Se um modelo oferecer suporte ao cache de solicitações, você poderá abrir o painel Configurações e ativar o cache de solicitações para permitir o armazenamento em cache de suas respostas de entrada e modelo para reduzir o custo e a latência. Para obter mais informações, consulte Cache imediato para inferência mais rápida do modelo.

   nota

   No momento, o cache de prompts do Amazon Bedrock está disponível apenas para um número selecionado de clientes. Para saber mais sobre como participar da prévia, consulte Cache de prompts do Amazon Bedrock.

10. Para executar o prompt, escolha Executar. O Amazon Bedrock não armazena nenhum texto, imagem ou documento que você forneça. Os dados são usados somente para gerar a resposta.

    nota

    Se a resposta violar a política de moderação de conteúdo, o Amazon Bedrock não a exibirá. Se você ativou o streaming, o Amazon Bedrock limpa toda a resposta caso ela gere conteúdo que viole a política. Para obter mais detalhes, acesse o console Amazon Bedrock, selecione Provedores e leia o texto na seção Limitações de conteúdo.

11. O modelo exibe a resposta. Se estiver usando o modo chat do playground de chat/texto, você poderá enviar um prompt para responder à resposta e gerar outra resposta.

12. Depois de gerar uma resposta, você terá as seguintes opções:

    • Para exportar a resposta como um arquivo JSON, escolha o ícone de opções ( ) e selecione Exportar como JSON.

    • Para exibir a solicitação de API feita por você, escolha o ícone de opções ( ) e selecione Visualizar solicitação de API.

    • No modo chat do playground de chat/texto, você pode exibir as métricas na seção Métricas do modelo. As seguintes métricas de modelo estão disponíveis:

      • Latência — O tempo que leva entre o recebimento da solicitação pelo Amazon Bedrock e o momento em que a resposta é retornada (para respostas sem streaming) ou quando o fluxo de respostas é concluído (para respostas de streaming).

      • Contagem de tokens de entrada: o número de tokens que são inseridos no modelo como entrada durante a inferência.

      • Contagem de tokens de saída: o número de tokens gerados em resposta a um prompt. Respostas mais longas e mais coloquiais exigem mais tokens.

      • Custo: o custo de processar a entrada e gerar tokens de saída.

      Para definir critérios de métricas aos quais você deseja que a resposta corresponda, escolha Definir critérios de métricas e defina condições para que o modelo corresponda. Depois que você aplica os critérios, a seção Métricas do modelo mostra quantos e quais critérios foram atendidos pela resposta.

      Se os critérios não forem atendidos, você poderá escolher um modelo diferente, reescrever o prompt ou modificar as configurações e reexecutar o prompt.