提示缓存以加快模型推断速度

Converse API 提供了高级而灵活的选项，用于在多回合对话中实现提示缓存。有关每种型号的提示要求的更多信息，请参阅上一节支持的型号、区域和限制。

示例请求

以下示例显示了在请求的messagessystem、或tools字段中设置的缓存检查点 Converse API。对于给定的请求，您可以将检查点放置在这些位置中的任何一个。例如，如果向 Claude 3.5 Sonnet v2 模型发送请求，则可以在其中放置两个缓存检查点，在中放置一个缓存检查点messages，一个放入system缓存检查点。tools有关结构化和发送的更多详细信息以及示例 Converse API 请求，请参阅与... 进行对话 Converse API 操作。

来自的模型响应 Converse API 包括两个专门用于提示缓存的新字段。CacheReadInputTokens和CacheWriteInputTokens值告诉您由于您之前的请求而从缓存中读取了多少令牌，以及有多少令牌被写入缓存。Amazon Bedrock 会向你收取这些费用，其费率低于完整模型推断的成本。

...
"messages": [
   {
        "role": "user",
        "content": [
            {
                "image": {
                    "bytes": "asfb14tscve..."
                }
            },
            {
                "text": "What's is in this image?"
            },
            {
                "cachePoint": {
                    "type": "default"
                }
            }
      ]
  }
]
...

默认情况下，当您调用 InvokeModelAPI 时，提示缓存处于启用状态。你可以在请求正文中的任何位置设置缓存检查点，类似于前面的示例 Converse API。

以下示例说明如何构造 InvokeModel请求的正文 Anthropic Claude 3.5 Sonnet v2 模型。请注意， InvokeModel 请求正文的确切格式和字段可能会因您选择的模型而异。要查看不同模型的请求和响应正文的格式和内容，请参阅基础模型的推理请求参数和响应字段。

body={
        "anthropic_version": "bedrock-2023-05-31",
        "system":"Reply concisely",
        "messages": [
            {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Describe the best way to learn programming."
                },
                {
                    "type": "text",
                    "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
                    "cache_control": {
                        "type": "ephemeral"
                    }
                }
            ]
            }
        ],
        "max_tokens": 2048,
        "temperature": 0.5,
        "top_p": 0.8,
        "stop_sequences": [
            "stop"
        ],
        "top_k": 250
}

有关发送 InvokeModel 请求的更多信息，请参阅使用以下命令提交单个提示 InvokeModel。

body={
        "anthropic_version": "bedrock-2023-05-31",
        "system":"Reply concisely",
        "messages": [
            {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Describe the best way to learn programming."
                },
                {
                    "type": "text",
                    "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
                    "cache_control": {
                        "type": "ephemeral"
                    }
                }
            ]
            }
        ],
        "max_tokens": 2048,
        "temperature": 0.5,
        "top_p": 0.8,
        "stop_sequences": [
            "stop"
        ],
        "top_k": 250
}

在 Amazon Bedrock 控制台的聊天平台中，你可以打开提示缓存选项，Amazon Bedrock 会自动为你创建缓存检查点。

按照中的说明开始在 使用操场在控制台中生成响应 Amazon Bedrock 游乐场中进行提示。对于支持的机型，Playground 中的提示缓存会自动开启。但是，如果不是，请执行以下操作以打开提示缓存：

在您的输入和模型响应组合达到检查点所需的最低令牌数量（因型号而异）后，Amazon Bedrock 会自动为您创建第一个缓存检查点。当你继续聊天时，每次达到最小数量的代币都会创建一个新的检查点，最多不超过模型允许的最大检查点数量。您可以随时通过选择提示缓存开关旁边的查看缓存检查点来查看缓存检查点，如以下屏幕截图所示。

通过查看 Playground 响应中的 “缓存指标” 弹出窗口 ( )，您可以查看由于每次与模型交互而从缓存中读取和写入缓存的令牌数量。

如果您在对话中关闭提示缓存开关，则可以继续与模特聊天。

游乐场

在 Amazon Bedrock 控制台的聊天平台中，你可以打开提示缓存选项，Amazon Bedrock 会自动为你创建缓存检查点。

按照中的说明开始在 使用操场在控制台中生成响应 Amazon Bedrock 游乐场中进行提示。对于支持的机型，Playground 中的提示缓存会自动开启。但是，如果不是，请执行以下操作以打开提示缓存：

1. 在左侧面板中，打开 “配置” 菜单。

2. 打开提示缓存开关。

3. 运行你的提示。

在您的输入和模型响应组合达到检查点所需的最低令牌数量（因型号而异）后，Amazon Bedrock 会自动为您创建第一个缓存检查点。当你继续聊天时，每次达到最小数量的代币都会创建一个新的检查点，最多不超过模型允许的最大检查点数量。您可以随时通过选择提示缓存开关旁边的查看缓存检查点来查看缓存检查点，如以下屏幕截图所示。

通过查看 Playground 响应中的 “缓存指标” 弹出窗口 ( )，您可以查看由于每次与模型交互而从缓存中读取和写入缓存的令牌数量。

如果您在对话中关闭提示缓存开关，则可以继续与模特聊天。