Aumente a capacidade de invocação do modelo com a taxa de transferência provisionada no Amazon Bedrock - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Aumente a capacidade de invocação do modelo com a taxa de transferência provisionada no Amazon Bedrock

A taxa de transferência se refere ao número e à taxa de entradas e saídas que um modelo processa e retorna. Você pode comprar a taxa de transferência provisionada para provisionar um nível mais alto de taxa de transferência para um modelo a um custo fixo. Se você personalizou um modelo, deve comprar o Provisioned Throughput para poder usá-lo.

Você é cobrado por hora pela taxa de transferência provisionada que você compra. Para obter informações detalhadas sobre preços, consulte Amazon Bedrock Pricing. O preço por hora depende dos seguintes fatores:

  1. O modelo que você escolher (para modelos personalizados, o preço é o mesmo do modelo básico a partir do qual ele foi personalizado).

  2. O número de unidades modelo (MUs) que você especifica para a taxa de transferência provisionada. Uma MU fornece um nível de taxa de transferência específico para o modelo especificado. O nível de taxa de transferência de uma MU especifica o seguinte:

    • O número de tokens de entrada que uma MU pode processar em todas as solicitações em um período de um minuto.

    • O número de tokens de saída que uma MU pode gerar em todas as solicitações em um período de um minuto.

    nota

    Para obter mais informações sobre o que uma MU especifica, entre em contato com seu Conta da AWS gerente.

  3. A duração do tempo em que você se compromete a manter a taxa de transferência provisionada. Quanto maior a duração do compromisso, mais descontado se torna o preço por hora. Você pode escolher entre os seguintes níveis de comprometimento:

    • Sem compromisso — você pode excluir a taxa de transferência provisionada a qualquer momento.

    • 1 mês — Você não pode excluir a taxa de transferência provisionada até que o prazo de compromisso de um mês termine.

    • 6 meses — Você não pode excluir a taxa de transferência provisionada até que o prazo de compromisso de seis meses termine.

    nota

    O faturamento continua até que você exclua a taxa de transferência provisionada.

As etapas a seguir descrevem o processo de configuração e uso da taxa de transferência provisionada.

  1. Determine o número MUs que você deseja comprar para uma taxa de transferência provisionada e a quantidade de tempo durante a qual você deseja se comprometer a usar a taxa de transferência provisionada.

  2. Compre taxa de transferência provisionada para um modelo básico ou personalizado.

  3. Depois que o modelo provisionado for criado, você poderá usá-lo para executar a inferência do modelo.

Tópicos