Cache imediato para inferência mais rápida do modelo

A API Converse fornece opções avançadas e flexíveis para implementar o cache imediato em conversas de vários turnos. Para obter mais informações sobre os requisitos imediatos de cada modelo, consulte a seção Modelos, regiões e limites compatíveis anterior.

Exemplo de solicitação

Os exemplos a seguir mostram um ponto de verificação de cache definido nos tools campos messagessystem, ou de uma solicitação para o Converse API. Você pode colocar pontos de verificação em qualquer um desses locais para uma determinada solicitação. Por exemplo, ao enviar uma solicitação para o modelo Claude 3.5 Sonnet v2, você pode colocar dois pontos de verificação de cachemessages, um ponto de verificação de cache em e um emsystem. tools Para obter informações mais detalhadas e exemplos de estruturação e envio Converse Solicitações de API, consulteConduza uma conversa com o Converse Operações de API.

A resposta do modelo do Converse A API inclui dois novos campos que são específicos para o cache de solicitações. CacheWriteInputTokensOs valores CacheReadInputTokens e informam quantos tokens foram lidos do cache e quantos tokens foram gravados no cache devido à sua solicitação anterior. Esses são valores pelos quais você é cobrado pelo Amazon Bedrock, a uma taxa menor do que o custo da inferência completa do modelo.

...
"messages": [
   {
        "role": "user",
        "content": [
            {
                "image": {
                    "bytes": "asfb14tscve..."
                }
            },
            {
                "text": "What's is in this image?"
            },
            {
                "cachePoint": {
                    "type": "default"
                }
            }
      ]
  }
]
...

O cache de prompts é ativado por padrão quando você chama a InvokeModelAPI. Você pode definir pontos de verificação de cache em qualquer ponto do corpo da solicitação, semelhante ao exemplo anterior do Converse API.

O exemplo a seguir mostra como estruturar o corpo da sua InvokeModel solicitação para o Anthropic Claude 3.5 Sonnet modelo v2. Observe que o formato e os campos exatos do corpo das InvokeModel solicitações podem variar dependendo do modelo escolhido. Para ver o formato e o conteúdo dos corpos de solicitação e resposta para diferentes modelos, consulteParâmetros de solicitação de inferência e campos de resposta para modelos de base.

body={
        "anthropic_version": "bedrock-2023-05-31",
        "system":"Reply concisely",
        "messages": [
            {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Describe the best way to learn programming."
                },
                {
                    "type": "text",
                    "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
                    "cache_control": {
                        "type": "ephemeral"
                    }
                }
            ]
            }
        ],
        "max_tokens": 2048,
        "temperature": 0.5,
        "top_p": 0.8,
        "stop_sequences": [
            "stop"
        ],
        "top_k": 250
}

Para obter mais informações sobre o envio de uma InvokeModel solicitação, consulteEnvie uma única solicitação com InvokeModel.

body={
        "anthropic_version": "bedrock-2023-05-31",
        "system":"Reply concisely",
        "messages": [
            {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Describe the best way to learn programming."
                },
                {
                    "type": "text",
                    "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
                    "cache_control": {
                        "type": "ephemeral"
                    }
                }
            ]
            }
        ],
        "max_tokens": 2048,
        "temperature": 0.5,
        "top_p": 0.8,
        "stop_sequences": [
            "stop"
        ],
        "top_k": 250
}

Em um playground de bate-papo no console do Amazon Bedrock, você pode ativar a opção de cache imediato, e o Amazon Bedrock cria automaticamente pontos de verificação de cache para você.

Siga as instruções Gerar respostas no console usando playgrounds para começar a fazer solicitações em um playground do Amazon Bedrock. Para modelos compatíveis, o cache imediato é ativado automaticamente no playground. No entanto, se não estiver, faça o seguinte para ativar o cache de prompts:

Depois que suas respostas combinadas de entrada e modelo atingirem o número mínimo necessário de tokens para um ponto de verificação (que varia de acordo com o modelo), o Amazon Bedrock cria automaticamente o primeiro ponto de verificação de cache para você. Conforme você continua conversando, cada alcance subsequente do número mínimo de tokens cria um novo ponto de verificação, até o número máximo de pontos de verificação permitido para o modelo. Você pode visualizar seus pontos de verificação de cache a qualquer momento escolhendo Exibir pontos de verificação de cache ao lado do botão Prompt caching, conforme mostrado na captura de tela a seguir.

Você pode ver quantos tokens estão sendo lidos e gravados no cache devido a cada interação com o modelo visualizando o pop-up de métricas de cache ( ) nas respostas do playground.

Se você desativar o botão de cache de prompts no meio de uma conversa, poderá continuar conversando com a modelo.

Parque infantil

Em um playground de bate-papo no console do Amazon Bedrock, você pode ativar a opção de cache imediato, e o Amazon Bedrock cria automaticamente pontos de verificação de cache para você.

Siga as instruções Gerar respostas no console usando playgrounds para começar a fazer solicitações em um playground do Amazon Bedrock. Para modelos compatíveis, o cache imediato é ativado automaticamente no playground. No entanto, se não estiver, faça o seguinte para ativar o cache de prompts:

1. No painel lateral esquerdo, abra o menu Configurações.

2. Ative o botão Prompt caching.

3. Execute suas instruções.

Depois que suas respostas combinadas de entrada e modelo atingirem o número mínimo necessário de tokens para um ponto de verificação (que varia de acordo com o modelo), o Amazon Bedrock cria automaticamente o primeiro ponto de verificação de cache para você. Conforme você continua conversando, cada alcance subsequente do número mínimo de tokens cria um novo ponto de verificação, até o número máximo de pontos de verificação permitido para o modelo. Você pode visualizar seus pontos de verificação de cache a qualquer momento escolhendo Exibir pontos de verificação de cache ao lado do botão Prompt caching, conforme mostrado na captura de tela a seguir.

Você pode ver quantos tokens estão sendo lidos e gravados no cache devido a cada interação com o modelo visualizando o pop-up de métricas de cache ( ) nas respostas do playground.

Se você desativar o botão de cache de prompts no meio de uma conversa, poderá continuar conversando com a modelo.