Use uma taxa de transferência provisionada - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Use uma taxa de transferência provisionada

Depois de comprar uma taxa de transferência provisionada, você pode usá-la com os seguintes recursos para aumentar sua taxa de transferência:

  • Inferência de modelo — Você pode testar a taxa de transferência provisionada em um playground do console Amazon Bedrock. Quando estiver pronto para implantar a taxa de transferência provisionada, você configura seu aplicativo para invocar o modelo provisionado. Selecione a guia correspondente ao seu método de escolha e siga as etapas.

    Console
    Para usar uma taxa de transferência provisionada no playground do console Amazon Bedrock

    1. Faça login na função AWS Management Console usando uma função do IAM com as permissões do Amazon Bedrock e abra o console do Amazon Bedrock em https://console.aws.amazon.com/bedrock/.

    2. No painel de navegação esquerdo, selecione Chat, Texto ou Imagem em Playgrounds, dependendo do seu caso de uso.

    3. Escolha Selecionar modelo.

    4. No 1. Coluna de categoria, selecione um provedor ou uma categoria de modelo personalizada. Então, no 2. Na coluna Modelo, selecione o modelo ao qual sua taxa de transferência provisionada está associada.

    5. No 3. Na coluna de taxa de transferência, selecione sua taxa de transferência provisionada.

    6. Selecione Apply (Aplicar).

    Para saber como usar os playgrounds do Amazon Bedrock, consulte. Gere respostas em uma interface visual usando playgrounds

    API

    Para executar inferência usando uma taxa de transferência provisionada, envie uma InvokeModelWithResponseStreamsolicitação InvokeModelor (consulte o link para ver os formatos de solicitação e resposta e detalhes do campo) com um endpoint de tempo de execução do Amazon Bedrock. Especifique o ARN do modelo provisionado como o parâmetro modelId. Para ver os requisitos do corpo da solicitação para modelos diferentes, consulteParâmetros de inferência para modelos de base.

    Veja exemplos de código

  • Associe uma taxa de transferência provisionada a um alias de agente — Você pode associar uma taxa de transferência provisionada ao criar ou atualizar um alias de agente. No console do Amazon Bedrock, você escolhe a taxa de transferência provisionada ao configurar o alias ou editá-lo. Na API do Amazon Bedrock, você especifica o provisionedThroughput no routingConfiguration quando envia uma solicitação CreateAgentAliasou UpdateAgentAlias;.