As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Aumente a produtividade para obter resiliência e poder de processamento
A taxa de transferência é definida pelo número e pela taxa de entradas e saídas que um modelo processa e retorna. Quando você invoca um modelo no Amazon Bedrock ou usa um recurso no Amazon Bedrock que invoca um modelo, a taxa de transferência do modelo está sujeita a cotas. As cotas dependem do modelo e da região e incluem os seguintes valores:
-
Solicitações processadas por minuto — O número de solicitações de invocação de modelo que são processadas a cada minuto. A cota considera a soma de InvokeModel, InvokeModelWithResponseStream, Converse e ConverseStreamAPIsolicitações.
-
Tokens processados por minuto — O número de tokens que são processados a cada minuto. A cota considera a soma dos tokens processados para InvokeModel, InvokeModelWithResponseStream, Converse ou ConverseStreamAPIsolicitações.
O Amazon Bedrock oferece os seguintes tipos de taxa de transferência:
-
Taxa de transferência sob demanda — A opção padrão para taxa de transferência. Envolve invocar um modelo em um específico Região da AWS. As cotas são definidas nos endpoints do Amazon Bedrock e as cotas no. Referência geral da AWS
-
Inferência sob demanda entre regiões — envolve a invocação de um perfil de inferência, que é uma abstração de um pool de recursos sob demanda a partir do configurado. Regiões da AWS Um perfil de inferência pode rotear sua solicitação de inferência originada da sua região de origem para outra região configurada no pool. O uso da inferência entre regiões aumenta a produtividade e melhora a resiliência ao rotear dinamicamente as solicitações de invocação do modelo nas regiões definidas no perfil de inferência. Fatores de roteamento no tráfego de usuários, demanda e utilização de recursos. Para obter mais informações, consulte Melhore a resiliência com inferência entre regiões.
-
Taxa de transferência provisionada — envolve a compra de um nível dedicado de taxa de transferência para um modelo específico. Região da AWS As cotas de taxa de transferência provisionada dependem do número de unidades modelo que você compra. Para obter mais informações, consulte Aumente a capacidade de invocação do modelo com a taxa de transferência provisionada no Amazon Bedrock.
Selecione um tópico para saber mais sobre as opções que você tem para aumentar sua produtividade:
Tópicos
