Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachen der Tokennutzung, indem die Token vor der Ausführung der Inferenz gezählt werden

Wenn Sie die Modellinferenz ausführen, trägt die Anzahl der Token, die Sie in der Eingabe senden, zu den Kosten der Anforderung und zum Kontingent der Token bei, die Sie pro Minute und pro Tag nutzen können. Die CountTokens API hilft Ihnen dabei, die Token-Nutzung abzuschätzen, bevor Sie Anfragen an Foundation-Modelle senden, indem sie die Token-Anzahl zurückgibt, die verwendet würde, wenn dieselbe Eingabe in einer Inferenzanforderung an das Modell gesendet würde.

Die Tokenzählung ist modellspezifisch, da verschiedene Modelle unterschiedliche Tokenisierungsstrategien verwenden. Die von diesem Vorgang zurückgegebene Tokenanzahl entspricht der Tokenanzahl, für die eine Gebühr berechnet würde, wenn dieselbe Eingabe an das Modell zum Ausführen der Inferenz gesendet würde.

Sie können die API CountTokens für Folgendes verwenden:

Unterstützte Modelle und Regionen für die Tokenzählung

Um zu sehen, welche Modelle die Token-Zählung unterstützen, besuchen Sie bitte Modelle auf einen Blick und wählen Sie das Modell aus, an dem Sie interessiert sind.

Zählen Sie die Token mithilfe des Bedrock-Runtime-Endpunkts

Um die Anzahl der Eingabe-Token in einer Inferenzanforderung zu zählen, senden Sie eine CountTokens Anfrage mit einem Amazon Bedrock-Laufzeitendpunkt. Geben Sie das Modell im Header und die Eingabe, für die die Token gezählt werden sollen, im Feld an. body Der Wert des body Felds hängt davon ab, ob Sie die Eingabe-Token für eine InvokeModel oder eine https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html Converse-Anfrage zählen:

Beispiel: Zähle die Token für eine Bedrock-Runtime-Anfrage

Anhand der Beispiele in diesem Abschnitt können Sie Token für die Anforderung InvokeModel und Converse mit Anthropic Claude 3 Haiku zählen.

Um das Zählen von Token für eine InvokeModel Anfrage auszuprobieren, führen Sie den folgenden Python-Code aus:

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = json.dumps({
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 500,
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ]
})

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "invokeModel": {
            "body": input_to_count
        }
    }
)

print(response["inputTokens"])

Führen Sie den folgenden Python-Code aus, um die Tokenzählung für die Anforderung Converse-Anfrage auszuprobieren:

import boto3
import json 

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = {
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of France?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The capital of France is Paris."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "What is its population?"
                }
            ]
        }
    ],
    "system": [
        {
            "text": "You're an expert in geography."
        }
    ]
}

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "converse": input_to_count
    }
)

print(response["inputTokens"])

Zählen Sie die Token mithilfe des Bedrock-Mantle-Endpunkts

Der bedrock-mantle Endpunkt macht die count_tokens API von Anthropic unter verfügbar. /anthropic/v1/messages/count_tokens Verwenden Sie es, um die Eingabetoken für Anthropic Claude-Modelle zu zählen, die CountTokens On nicht unterstützen bedrock-runtime — zum Beispiel, wenn das Modell nur über Crossregion Inference (CRIS) aktiviert ist bedrock-runtime und es daher keinen Endpunkt für das Ziel gibt. Region-specific CountTokens Der /anthropic/v1/messages Weg ist: Nicht-anthropische Modelle auf dem Weg zurück Claude-specific. bedrock-mantle The model 'X' does not support the '/anthropic/v1/messages' API

Im folgenden Beispiel wird ein Amazon Bedrock-API-Schlüssel verwendetcurl, um Tokens auf dem Endpunkt zu zählen: bedrock-mantle

curl -X POST https://bedrock-mantle.us-east-1.api.aws/anthropic/v1/messages/count_tokens \
  -H "x-api-key: $BEDROCK_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic.claude-opus-4-7",
    "messages": [
        {"role": "user", "content": "How many tokens is this prompt?"}
    ]
  }'

Die Antwort enthält ein input_tokens Feld, dessen Wert die Token-Anzahl für die angegebene Eingabe ist.