Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Supervisión del uso de tokens contando los tokens antes de ejecutar la inferencia

Al realizar una inferencia de modelos, la cantidad de tokens que se envían en la entrada contribuye al costo de la solicitud y a la cuota de tokens que se pueden utilizar por minuto y día. La CountTokens API le ayuda a estimar el uso de los tokens antes de enviar solicitudes a los modelos básicos, ya que devuelve el recuento de tokens que se utilizaría si se enviara la misma entrada al modelo en una solicitud de inferencia.

El recuento de tokens es específico de cada modelo porque los diferentes modelos utilizan diferentes estrategias de tokenización. El recuento de tokens devuelto por esta operación coincidirá con el número de tokens que se cobraría si se enviara la misma entrada al modelo para realizar la inferencia.

Puede utilizar la API CountTokens para hacer lo siguiente:

Modelos y regiones compatibles para el recuento de tokens

Para ver qué modelos admiten el recuento de fichas, consulta los modelos de un vistazo y elige el modelo que te interese.

Cuente los tokens utilizando el punto final bedrock-runtime

Para contar el número de tokens de entrada en una solicitud de inferencia, envíe una CountTokens solicitud con un punto final de ejecución de Amazon Bedrock, especifique el modelo en el encabezado y la entrada para contar los tokens en el campo. body El valor del body campo depende de si está contando los tokens de entrada para una solicitud InvokeModel o para una solicitud de Converse:

Ejemplo: contar los tokens para una solicitud en tiempo de ejecución

Los ejemplos de esta sección le permiten contar los tokens de una solicitud InvokeModel y Converse con Anthropic Claude 3 Haiku.

Para probar a contar los tokens de una InvokeModel solicitud, ejecuta el siguiente código de Python:

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = json.dumps({
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 500,
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ]
})

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "invokeModel": {
            "body": input_to_count
        }
    }
)

print(response["inputTokens"])

Para probar el recuento de tokens para una solicitud Converse, ejecute el siguiente código de Python:

import boto3
import json 

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = {
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of France?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The capital of France is Paris."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "What is its population?"
                }
            ]
        }
    ],
    "system": [
        {
            "text": "You're an expert in geography."
        }
    ]
}

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "converse": input_to_count
    }
)

print(response["inputTokens"])

Cuenta los tokens usando el punto final bedrock-mantle

El bedrock-mantle punto final expone la count_tokens API de Anthropic en. /anthropic/v1/messages/count_tokens Utilízala para contar los tokens de entrada de los modelos de Anthropic Claude que no son compatibles CountTokens con, por ejemplo, cuando el modelo solo se ofrece mediante inferencia interregional (CRIS) bedrock-runtime y, por lo tanto, no tiene un punto final al que apuntar. bedrock-runtime Region-specific CountTokens El /anthropic/v1/messages camino es: modelos no Claude-specific antrópicos a cambio. bedrock-mantle The model 'X' does not support the '/anthropic/v1/messages' API

El siguiente ejemplo se utiliza curl con una clave de API de Amazon Bedrock para contar los tokens en el punto final: bedrock-mantle

curl -X POST https://bedrock-mantle.us-east-1.api.aws/anthropic/v1/messages/count_tokens \
  -H "x-api-key: $BEDROCK_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic.claude-opus-4-7",
    "messages": [
        {"role": "user", "content": "How many tokens is this prompt?"}
    ]
  }'

La respuesta contiene un input_tokens campo cuyo valor es el recuento de fichas de la entrada proporcionada.