Use um modelo personalizado - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Use um modelo personalizado

Antes de usar um modelo personalizado, você precisa comprar o Provisioned Throughput para ele. Para obter mais informações sobre a taxa de transferência provisionada, consulte. Aumente a capacidade de invocação do modelo com a taxa de transferência provisionada no Amazon Bedrock Em seguida, você pode usar o modelo provisionado resultante para inferência. Selecione a guia correspondente ao seu método de escolha e siga as etapas:

Console
Para comprar o throughput provisionado para um modelo personalizado.

  1. Faça login no AWS Management Console usando uma IAMfunção com as permissões do Amazon Bedrock e abra o console do Amazon Bedrock em. https://console.aws.amazon.com/bedrock/

  2. No painel de navegação esquerdo, escolha Modelos personalizados em Modelos básicos.

  3. Na guia Modelos, escolha o botão de rádio ao lado do modelo para o qual você deseja comprar Provisioned Throughput ou selecione o nome do modelo para navegar até a página de detalhes.

  4. Selecione Comprar taxa de transferência provisionada.

  5. Para obter mais detalhes, siga as etapas emCompre uma taxa de transferência provisionada para um modelo Amazon Bedrock.

  6. Depois de comprar o Provisioned Throughput para seu modelo personalizado, siga as etapas em. Use uma taxa de transferência provisionada com um recurso Amazon Bedrock

Ao realizar qualquer operação que ofereça suporte ao uso de modelos personalizados, você verá seu modelo personalizado como uma opção no menu de seleção de modelos.

API

Para comprar o Provisioned Throughput para um modelo personalizado, siga as etapas em Compre uma taxa de transferência provisionada para um modelo Amazon Bedrock para enviar uma solicitação CreateProvisionedModelThroughput(consulte o link para formatos de solicitação e resposta e detalhes do campo) com um endpoint do plano de controle Amazon Bedrock. Use o nome ou ARN do seu modelo personalizado como modelId o. A resposta retorna um provisionedModelArn que você pode usar como o modelId ao fazer uma InvokeModelWithResponseStreamsolicitação InvokeModelor.

Veja exemplos de código