As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Os perfis de inferência são um recurso no Amazon Bedrock que define um modelo e uma ou mais regiões para as quais o perfil de inferência pode encaminhar solicitações de invocação do modelo. Você pode usar perfis de inferência para as seguintes tarefas:
-
Rastreie métricas de uso — configure CloudWatch registros e envie solicitações de invocação de modelo com um perfil de inferência de aplicativo para coletar métricas de uso para invocação de modelo. Você pode examinar essas métricas ao visualizar informações sobre o perfil de inferência e usá-las para embasar suas decisões. Para obter mais informações sobre como configurar CloudWatch registros, consulteMonitore a invocação do modelo usando Logs CloudWatch .
-
Use tags para monitorar custos — anexe tags a um perfil de inferência do aplicativo para rastrear os custos ao enviar solicitações de invocação de modelo sob demanda. Para obter mais informações sobre como usar tags para alocação de custos, consulte Organização e controle de custos usando tags de alocação de AWS custos no guia do AWS Billing usuário.
-
Inferência entre regiões — aumente sua produtividade usando um perfil de inferência que inclui vários. Regiões da AWS O perfil de inferência distribuirá as solicitações de invocação do modelo nessas regiões para aumentar a taxa de transferência e o desempenho. Para obter mais informações sobre inferência entre regiões, consulte. Aumente a produtividade com inferência entre regiões
O Amazon Bedrock oferece os seguintes tipos de perfis de inferência:
-
Perfis de inferência entre regiões (definidos pelo sistema) — Perfis de inferência predefinidos no Amazon Bedrock e que incluem várias regiões para as quais as solicitações de um modelo podem ser encaminhadas.
-
Perfis de inferência de aplicativos — Perfis de inferência que um usuário cria para rastrear custos e usar modelos. Você pode criar um perfil de inferência que roteie as solicitações de invocação do modelo para uma região ou para várias regiões:
-
Para criar um perfil de inferência que rastreie os custos e o uso de um modelo em uma região, especifique o modelo básico na região para a qual você deseja que o perfil de inferência encaminhe as solicitações.
-
Para criar um perfil de inferência que rastreie os custos e o uso de um modelo em várias regiões, especifique o perfil de inferência entre regiões (definido pelo sistema) que define o modelo e as regiões para as quais você deseja que o perfil de inferência encaminhe as solicitações.
-
Você pode usar perfis de inferência com os seguintes recursos para encaminhar solicitações para várias regiões e monitorar o uso e o custo das solicitações de invocação feitas com esses recursos:
-
Inferência de modelo — Use um perfil de inferência ao executar a invocação do modelo escolhendo um perfil de inferência em um playground no console Amazon Bedrock ou especificando o ARN do perfil de inferência ao chamar as operações,, Converse e. InvokeModelInvokeModelWithResponseStreamConverseStream Para obter mais informações, consulte Envie prompts e gere respostas com a inferência de modelo.
-
Incorporação vetorial da base de conhecimento e geração de respostas — Use um perfil de inferência ao gerar uma resposta após consultar uma base de conhecimento ou ao analisar informações não textuais em uma fonte de dados. Para ter mais informações, consulte Testar a base de conhecimento com consultas e respostas e Opções de análise para sua fonte de dados.
-
Avaliação de modelo: é possível enviar um perfil de inferência como um modelo para avaliação ao enviar um trabalho de avaliação de modelo. Para obter mais informações, consulte Avalie o desempenho dos recursos do Amazon Bedrock.
-
Gerenciamento de solicitações — Você pode usar um perfil de inferência ao gerar uma resposta para uma solicitação criada no Gerenciamento de solicitações. Para ter mais informações, consulte Construir e armazenar prompts reutilizáveis com o Gerenciamento de Prompts do Amazon Bedrock
-
Fluxos — você pode usar um perfil de inferência ao gerar uma resposta para um prompt definido em linha em um nó de prompt em um fluxo. Para obter mais informações, consulte Crie um fluxo de trabalho end-to-end generativo de IA com o Amazon Bedrock Flows.
O preço do uso de um perfil de inferência é calculado com base no preço do modelo na região da qual você chama o perfil de inferência. Para obter mais informações sobre preços, consulte Preços do Amazon Bedrock
Para obter mais detalhes sobre a taxa de transferência que um perfil de inferência entre regiões pode oferecer, consulte. Aumente a produtividade com inferência entre regiões
