View a markdown version of this page

Come vengono conteggiati i token in Amazon Bedrock - Amazon Bedrock
Comprendere la gestione delle quote di tokenComprendere l’impatto del parametro max_tokensOttimizzazione del parametro max_tokens

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Come vengono conteggiati i token in Amazon Bedrock

Quando viene eseguita l’inferenza del modello, sono previste quote sul numero di token elaborabili in base al modello Amazon Bedrock in uso. Rivedere la seguente terminologia relativa alle quote dei token:

Termine Definizione
InputTokenCount La metrica di runtime di CloudWatch Amazon Bedrock che rappresenta il numero di token di input elaborati dal modello, esclusi i token memorizzati nella cache. Per determinare il consumo totale di token di input rispetto alla tua quota, somma. InputTokenCount + CacheWriteInputTokenCount
OutputTokenCount La metrica di runtime di CloudWatch Amazon Bedrock che rappresenta il numero di token generati dal modello in risposta a una richiesta.
CacheReadInputTokenCount La metrica di runtime di CloudWatch Amazon Bedrock che rappresenta il numero di token di input che sono stati recuperati con successo da una cache anziché essere rielaborati dal modello. Questo valore è 0 se non si utilizza il caching dei prompt.
CacheWriteInputTokenCount La metrica di runtime di CloudWatch Amazon Bedrock che rappresenta il numero di token di input che sono stati scritti correttamente nella cache. Questo valore è 0 se non si utilizza il caching dei prompt.
Token al minuto (TPM) Una quota impostata AWS a livello di modello sul numero di token (inclusi input e output) che puoi utilizzare in un minuto.
Token al giorno (TPD) Una quota impostata AWS a livello di modello sul numero di token (inclusi input e output) che puoi utilizzare in un giorno. Per impostazione predefinita, questo valore è TPM x 24 x 60. Tuttavia, i nuovi Account AWS hanno quote ridotte.
max_tokens Un parametro fornito nella richiesta per impostare la quantità massima di token di output che il modello può generare.
Tasso di consumo Il tasso con cui i token di input e output vengono convertiti in utilizzo di quote di token per il sistema di limitazione della larghezza di banda della rete.

Il tasso di burndown per i modelli Anthropic Claude versione 4.8 è 15x per i token di output (1 token di output consuma 15 token delle quote) e il tasso di burndown per Anthropic Claude Sonnet 5, Claude Opus 5 e Claude Fable 5.1 è 10x per i token di output. Per tutti gli altri modelli Anthropic versione 4.7 e precedenti, il burndown è di 5 volte per i token di output (1 token di output consuma 5 token dalle quote).

Il tasso di burndown per OpenAI GPT-5.6 Sol, GPT-5.6 Terra e GPT-5.6 Luna sull'bedrock-runtimeendpoint è 10 volte per i token di output (1 token di output consuma 10 token delle quote).

Per tutti gli altri modelli, il tasso di consumo è di 1:1 (1 token di output consuma 1 token della quota).

I tassi di burndown dei token si applicano solo ai modelli disponibili sull'endpoint. bedrock-runtime I modelli disponibili esclusivamente sull'bedrock-mantleendpoint hanno quote separate per i token di input e output, quindi il burndown non si applica.

Comprendere la gestione delle quote di token

Quando viene effettuata una richiesta, i token vengono detratti dalle quote TPM e TPD. I calcoli vengono effettuati nelle seguenti fasi:

  • All'inizio della richiesta: la seguente somma viene detratta dalle quote. La richiesta viene limitata se si supera una quota.

    Total input tokens + max_tokens

  • Durante l’elaborazione: la quota consumata dalla richiesta viene periodicamente adeguata per tenere conto del numero effettivo di token di output generati.

  • Al termine della richiesta: il numero totale di token consumati dalla richiesta verrà calcolato come segue e tutti i token non utilizzati verranno reintegrati nella quota dell’utente:

    InputTokenCount + CacheWriteInputTokenCount + (OutputTokenCount x burndown rate)

    CacheReadInputTokenCountnon contribuiscono a questo calcolo e non vengono conteggiati nella tua quota. Se non utilizzi il prompt caching, entrambi i valori CacheReadInputTokenCount saranno CacheWriteInputTokenCount pari a 0.

Nota

Viene addebitato solo l’utilizzo effettivo del token.

Ad esempio, se viene utilizzato Anthropic Claude Sonnet 4 e viene inviata una richiesta contenente 1.000 token di input che genera una risposta equivalente a 100 token:

  • 1.500 token (1.000 + 100 x 5) verranno dedotti dalle quote TPM e TPD.

  • Verranno fatturati solo 1.100 token.

Comprendere l’impatto del parametro max_tokens

Il valore max_tokens viene detratto dalla quota all’inizio di ogni richiesta. Se il limite delle quote TPM viene raggiunto prima del previsto, provare a ridurle max_tokens per approssimare meglio la dimensione dei completamenti.

Gli scenari seguenti forniscono esempi di come avrebbe funzionato la detrazione delle quote in base alle richieste completate utilizzando un modello con un tasso di consumo 5x per i token di output:

Assumere i seguenti parametri:

  • InputTokenCount: 3.000

  • CacheReadInputTokenCount: 4.000

  • CacheWriteInputTokenCount: 1.000

  • OutputTokenCount: 1.000

  • max_tokens: 32.000

Vengono effettuate le seguenti detrazioni di quote:

  • Deduzione iniziale all'atto della richiesta: 36.000 (= 3.000 + 1.000 + 32.000)

  • Detrazione rettificata finale dopo che viene generata la risposta: 9.000 (= 3.000 + 1.000 + 1.000 x 5)

In questo scenario, è possibile effettuare meno richieste simultanee perché il parametro max_tokens è impostato su un valore troppo elevato. Ciò riduce la concorrenza delle richieste, la velocità effettiva e l'utilizzo delle quote, poiché la capacità della quota TPM verrebbe raggiunta rapidamente.

Assumere i seguenti parametri:

  • InputTokenCount: 3.000

  • CacheReadInputTokenCount: 4.000

  • CacheWriteInputTokenCount: 1.000

  • OutputTokenCount: 1.000

  • max_tokens: 1.250

Vengono effettuate le seguenti detrazioni di quote:

  • Deduzione iniziale all'atto della richiesta: 5.250 (= 3.000 + 1.000 + 1.250)

  • Detrazione rettificata finale dopo che viene generata la risposta: 9.000 (= 3.000 + 1.000 + 1.000 x 5)

In questo scenario, il parametro max_tokens è stato ottimizzato, poiché la detrazione iniziale è solo leggermente superiore alla detrazione rettificata finale. Ciò ha contribuito ad aumentare la concorrenza delle richieste, il throughput e l'utilizzo delle quote.

Ottimizzazione del parametro max_tokens

Ottimizzando il max_tokens parametro, è possibile utilizzare in modo efficiente la capacità di quota allocata. Per aiutarti a prendere una decisione su questo parametro, puoi utilizzare Amazon, che raccoglie automaticamente le metriche dai AWS servizi CloudWatch, inclusi i dati sull'utilizzo dei token in Amazon Bedrock.

I token vengono registrati nelle metriche di runtime InputTokenCount e OutputTokenCount. Per ulteriori metriche, consultare Metriche di runtime Amazon Bedrock.

Per utilizzare il CloudWatch monitoraggio per prendere una decisione in merito al max_tokens parametro, procedi come segue in: Console di gestione AWS

  1. Accedi alla CloudWatch console Amazon all'indirizzo https://console.aws.amazon.com/cloudwatch.

  2. Nel riquadro di navigazione a sinistra seleziona Pannelli di controllo.

  3. Seleziona la scheda Pannelli di controllo automatici.

  4. Seleziona Bedrock.

  5. Nella dashboard Conteggio dei token per modello, seleziona l’icona di espansione.

  6. Seleziona un intervallo di tempo e i parametri dell’intervallo per le metriche in modo da tenere conto dei picchi di utilizzo.

  7. Dal menu a discesa Somma, puoi scegliere diverse metriche per osservare l’utilizzo del token. Esamina queste metriche per orientare la tua decisione in merito all’impostazione del valore max_tokens.