Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pantau penggunaan token Anda dengan menghitung token sebelum menjalankan inferensi

Saat Anda menjalankan inferensi model, jumlah token yang Anda kirim dalam input berkontribusi pada biaya permintaan dan terhadap kuota token yang dapat Anda gunakan per menit dan per hari. CountTokensAPI membantu Anda memperkirakan penggunaan token sebelum mengirim permintaan ke model dasar dengan mengembalikan jumlah token yang akan digunakan jika input yang sama dikirim ke model dalam permintaan inferensi.

Penghitungan token bersifat spesifik model karena model yang berbeda menggunakan strategi tokenisasi yang berbeda. Jumlah token yang dikembalikan oleh operasi ini akan cocok dengan jumlah token yang akan dikenakan biaya jika input yang sama dikirim ke model untuk menjalankan inferensi.

Anda dapat menggunakan CountTokens API untuk melakukan hal berikut:

Model dan Wilayah yang didukung untuk penghitungan token

Untuk melihat model mana yang mendukung penghitungan token, silakan kunjungi model sekilas dan pilih model yang Anda minati.

Hitung token menggunakan titik akhir runtime bedrock-

Untuk menghitung jumlah token input dalam permintaan inferensi, kirim CountTokens permintaan dengan titik akhir runtime Amazon Bedrock, Tentukan model di header dan input untuk menghitung token di body lapangan. Nilai body bidang tergantung pada apakah Anda menghitung token input untuk permintaan InvokeModel atau Converse:

Contoh: hitung token untuk permintaan bedrock-runtime

Contoh di bagian ini memungkinkan Anda menghitung token untuk InvokeModel dan Converse meminta dengan AnthropicClaude 3 Haiku.

Untuk mencoba menghitung token untuk InvokeModel permintaan, jalankan kode Python berikut:

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = json.dumps({
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 500,
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ]
})

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "invokeModel": {
            "body": input_to_count
        }
    }
)

print(response["inputTokens"])

Untuk mencoba menghitung token untuk permintaan Converse, jalankan kode Python berikut:

import boto3
import json 

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = {
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of France?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The capital of France is Paris."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "What is its population?"
                }
            ]
        }
    ],
    "system": [
        {
            "text": "You're an expert in geography."
        }
    ]
}

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "converse": input_to_count
    }
)

print(response["inputTokens"])

Hitung token menggunakan titik akhir mantel batuan dasar

Titik bedrock-mantle akhir mengekspos count_tokens API Anthropic di. /anthropic/v1/messages/count_tokens Gunakan untuk menghitung token input untuk model Anthropic Claude yang tidak mendukung CountTokens bedrock-runtime — misalnya, ketika model ditawarkan hanya melalui inferensi lintas wilayah (CRIS) bedrock-runtime dan karenanya tidak memiliki Region-specific titik akhir untuk CountTokens ditargetkan. /anthropic/v1/messagesJalannya adalah Claude-specific; Model non-antropik saat kembali. bedrock-mantle The model 'X' does not support the '/anthropic/v1/messages' API

Contoh berikut digunakan curl dengan kunci API Amazon Bedrock untuk menghitung token pada bedrock-mantle titik akhir:

curl -X POST https://bedrock-mantle.us-east-1.api.aws/anthropic/v1/messages/count_tokens \
  -H "x-api-key: $BEDROCK_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic.claude-opus-4-7",
    "messages": [
        {"role": "user", "content": "How many tokens is this prompt?"}
    ]
  }'

Respons berisi input_tokens bidang yang nilainya adalah jumlah token untuk input yang disediakan.