本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在运行推理之前，通过计算词元来监控您的词元使用情况

运行模型推理时，您在输入中发送的词元数量，会计入到请求的成本中，还会计入到您每分钟和每天可以使用的词元配额中。该 CountTokens API通过返回在推理请求中向模型发送相同输入时使用的令牌数量，帮助您在向基础模型发送请求之前估算令牌使用量。

词元计数特定于模型，因为不同的模型使用不同的词元计算策略。此操作返回的词元计数，与向模型发送相同输入来运行推理时将收费的词元计数相符。

您可以使用 CountTokens API 来执行以下操作：

支持词元计数的模型和区域

要查看哪些型号支持代币计数，请一目了然地访问模型并选择您感兴趣的模型。

使用基岩运行时端点计算代币

要计算推理请求中的输入令牌数量，请使用 Amazon Bedrock 运行时终端节点发送CountTokens请求，在标头中指定模型，并在字段中指定要计算令牌的输入。body该body字段的值取决于你是在计算请求的输入令牌还是 Converse 请求InvokeModel的输入令牌：

示例：计算基准运行时请求的代币

此部分中的示例让您可以对通过 InvokeModel 和 Converse 发出的 Anthropic 和 Claude 3 Haiku 计算词元数量。

要尝试计算InvokeModel请求的代币，请运行以下 Python 代码：

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = json.dumps({
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 500,
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ]
})

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "invokeModel": {
            "body": input_to_count
        }
    }
)

print(response["inputTokens"])

要尝试计算用于 Converse 请求的词元，请运行以下 Python 代码：

import boto3
import json 

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = {
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of France?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The capital of France is Paris."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "What is its population?"
                }
            ]
        }
    ],
    "system": [
        {
            "text": "You're an expert in geography."
        }
    ]
}

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "converse": input_to_count
    }
)

print(response["inputTokens"])

使用 bedrock-mantle 端点计算代币

该bedrock-mantle端点公开了 Anthropic 的 count_tokens API，网址为。/anthropic/v1/messages/count_tokens使用它来计算不支持 CountTokens on 的 Anthropic Claude 模型的输入令牌 bedrock-runtime ——例如，当模型仅通过跨区域推理 (CRIS) 开启时，因此没有 Region-specific 可供目标的终端节点。bedrock-runtime CountTokens 路/anthropic/v1/messages径是 Claude-specific；回归的非人类模型。bedrock-mantle The model 'X' does not support the '/anthropic/v1/messages' API

以下示例curl使用亚马逊 Bedrock API 密钥来计算bedrock-mantle终端节点上的代币：

curl -X POST https://bedrock-mantle.us-east-1.api.aws/anthropic/v1/messages/count_tokens \
  -H "x-api-key: $BEDROCK_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic.claude-opus-4-7",
    "messages": [
        {"role": "user", "content": "How many tokens is this prompt?"}
    ]
  }'

响应包含一个input_tokens字段，其值是所提供输入的令牌数。