Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Caching dei prompt per un’inferenza del modello più rapida

Il caching dei prompt è una funzionalità facoltativa che si può utilizzare con i modelli supportati in Amazon Bedrock per ridurre la latenza di risposta all’inferenza e i costi dei token di input. Amazon Bedrock supporta due tipi di prompt caching: Implicit Prompt Caching ed Explicit Prompt Caching. Il supporto per ogni tipo varia in base al modello e all'API.

Il caching dei prompt può essere utile quando sono presenti carichi di lavoro con contesti lunghi e ripetuti spesso riutilizzati per più query. Ad esempio, se si dispone di un chatbot in cui gli utenti possono caricare documenti e successivamente porre domande sui documenti stessi, il modello può richiedere molto tempo per elaborare il documento ogni volta che l’utente fornisce un input. Con il caching dei prompt, è possibile memorizzare nella cache il documento in modo che le future query contenenti il documento non debbano elaborarlo nuovamente.

Tipi di memorizzazione nella cache dei prompt

I due tipi differiscono nel modo in cui viene selezionato il contenuto riutilizzabile dei prompt:

Prompt caching implicito

Il Prompt Caching implicito tenta automaticamente di riutilizzare i prefissi di prompt idonei senza richiedere controlli della cache nella richiesta. Mantieni il contenuto statico all'inizio del prompt e il contenuto dinamico alla fine per aumentare la probabilità di una corrispondenza esatta del prefisso.

La memorizzazione nella cache implicita dei prompt è la soluzione migliore. La ripetizione di un prompt identico non garantisce un accesso alla cache e le percentuali di accessi alla cache possono variare.

Memorizzazione esplicita dei prompt nella cache

L'Explicit Prompt Caching consente di identificare i prefissi dei prompt riutilizzabili utilizzando controlli di cache specifici del modello o checkpoint della cache. I checkpoint della cache sono indicatori che definiscono la sottosezione contigua del prompt da memorizzare nella cache. I prefissi dei prompt devono rimanere statici tra le richieste. Le modifiche al prefisso dei prompt nelle richieste successive comportano errori nella cache.

I checkpoint della cache hanno un numero minimo e massimo di token, a seconda del modello. Si può creare un punto di controllo della cache solo se il prefisso totale del prompt soddisfa il numero minimo di token. Ad esempio, Claude Opus 5 richiede almeno 512 token per checkpoint della cache, Claude Sonnet 5 richiede almeno 1.024 token per checkpoint della cache e Claude Haiku 4.5 richiede almeno 4.096 token per checkpoint della cache. Il valore minimo si applica cumulativamente all'intero prefisso del prompt prima di ogni checkpoint, incluso, ove applicabile, il contenuto nei campi, e. tools system messages Non è richiesto un numero minimo di token tra i checkpoint della cache. Per un modello con un minimo di 1.024 token, puoi definire checkpoint aggiuntivi distanti meno di 1.024 token, purché il prefisso totale del prompt prima di ogni checkpoint contenga almeno 1.024 token. Se aggiungete un checkpoint della cache prima che il prefisso totale del prompt soddisfi il numero minimo di token, l'inferenza ha comunque esito positivo, ma il prefisso non viene memorizzato nella cache.

La cache ha un Time To Live (TTL), che si azzera ad ogni accesso riuscito alla cache. Durante questo periodo, il contesto nella cache viene mantenuto. Se non si verificano accessi alla cache nell’intervallo TTL, la cache scade. Molti modelli supportano un TTL di 5 minuti. Controlla la scheda modello del tuo modello per vedere le condizioni TTL esatte.

L'Explicit Prompt Caching consente di controllare quale contenuto del prompt è idoneo per la memorizzazione nella cache. Non garantisce che una richiesta idonea comporti un accesso alla cache.

Fatturazione dei token memorizzati nella cache

Sia per Implicit Prompt Caching che per Explicit Prompt Caching, i token letti correttamente dalla cache vengono segnalati come token memorizzati nella cache e fatturati in base alla velocità di lettura della cache del modello. I token che non vengono letti dalla cache vengono fatturati in base alla tariffa standard dei token di input. A seconda del modello, i token scritti nella cache possono essere fatturati a una tariffa superiore alla tariffa standard dei token di input. Per ulteriori informazioni, consulta la pagina Prezzi di Amazon Bedrock.

Puoi utilizzare il prompt caching quando esegui l'inferenza in Amazon Bedrock con modelli supportati. La disponibilità di ogni tipo di caching dei prompt varia in base al modello e all'API. Il prompt caching è disponibile tramite le seguenti funzionalità di Amazon Bedrock:

Per i modelli che supportano Explicit Prompt Caching, le API forniscono un controllo granulare sulla cache dei prompt. È possibile impostare singoli checkpoint della cache all'interno dei prompt e aggiungere checkpoint fino al massimo consentito per il modello. Per ulteriori informazioni, consulta Modelli supportati, regioni e limiti espliciti di memorizzazione nella cache.

Modelli supportati, regioni e limiti espliciti di memorizzazione nella cache

Il supporto per il caching rapido varia in base al modello e all'API. Le schede modello identificano se un modello supporta Implicit Prompt Caching, Explicit Prompt Caching o entrambi. Il prompt caching è disponibile in tutte le AWS regioni in cui sono disponibili i modelli supportati. Per verificare la disponibilità dei modelli per regione, consultaDisponibilità regionale per modelli.

La tabella seguente elenca i modelli che supportano l'Explicit Prompt Caching, insieme al numero minimo di token, al numero massimo di checkpoint della cache e ai campi che consentono i checkpoint della cache.

Per vedere quali tipi di prompt caching sono supportati da un modello, consultate la sezione Modelli a colpo d'occhio, quindi scegliete il modello che vi interessa.

Per utilizzare l'opzione TTL di 1 ora con i modelli supportati (Claude Fable 5,Claude Opus 5,Claude Opus 4.8,Claude Opus 4.7,Claude Opus 4.6,Claude Opus 4.5,Claude Sonnet 5,Claude Sonnet 4.6, eClaude Haiku 4.5)Claude Sonnet 4.5, specifica il ttl campo nel checkpoint della cache. Nell'API Converse, aggiungi "ttl": "1h" al tuo cachePoint oggetto. Nell' InvokeModel API per i modelli Claude, aggiungili "ttl": "1h" al tuo cache_control oggetto. Se non viene fornito alcun ttl valore, si applica il comportamento di memorizzazione nella cache predefinito di 5 minuti. Il TTL di 1 ora è utile per sessioni più lunghe o scenari di elaborazione in batch in cui si desidera mantenere la cache per periodi prolungati.

Amazon Novaoffre il Prompt Caching implicito per tutti i prompt di testo, inclusi i messaggi. User System Questo meccanismo può offrire vantaggi in termini di latenza quando i prompt iniziano con parti ripetitive, senza una configurazione esplicita. Amazon Novai modelli che supportano l'Explicit Prompt Caching nelle rispettive schede modello consentono inoltre di specificare i checkpoint della cache per un maggiore controllo sull'idoneità della cache.

Prompt caching per i modelli di Anthropic

I modelli Anthropic che supportano il prompt caching su Amazon Bedrock supportano sia il Prompt Caching implicito che il Prompt Caching esplicito. L'implicit Prompt Caching tenta automaticamente di riutilizzare i prefissi di prompt idonei senza richiedere controlli della cache nella richiesta.

Per Explicit Prompt Caching, Amazon Bedrock offre un approccio semplificato alla gestione della cache che riduce la complessità del posizionamento manuale dei checkpoint della cache. Anziché richiedere di specificare le posizioni esatte dei punti di controllo della cache, è possibile utilizzare la gestione automatica della cache con un singolo punto di interruzione al termine del contenuto statico.

Quando si abilita la gestione semplificata della cache, il sistema verifica automaticamente gli accessi alla cache in base ai limiti dei blocchi di contenuto precedenti, analizzando fino a circa 20 blocchi di contenuto dal punto di interruzione specificato. Ciò consente al modello di trovare il prefisso corrispondente più lungo nella cache senza la necessità di prevedere le posizioni ottimali dei punti di controllo. A tale scopo, posizionare un singolo punto di controllo della cache al termine del contenuto statico, prima di qualsiasi contenuto dinamico o variabile. Il sistema trova automaticamente la migliore corrispondenza nella cache.

Per un controllo più granulare, è comunque possibile utilizzare più punti di controllo della cache (fino a 4 per i modelli Claude) per specificare i limiti esatti della cache. È necessario utilizzare più punti di controllo della se si memorizzano nella cache sezioni che cambiano con frequenze diverse o se si desidera un maggiore controllo su ciò che viene esattamente memorizzato nella cache.

Le migliori pratiche per l'utilizzo della gestione della cache in Anthropic Models

Se hai prompt che vengono utilizzati a cadenza regolare (ad esempio, prompt di sistema che vengono utilizzati più frequentemente di ogni 5 minuti), continua a utilizzare la cache di 5 minuti, poiché continuerà ad essere aggiornata senza costi aggiuntivi.

La cache da 1 ora viene utilizzata al meglio nei seguenti scenari:

Puoi utilizzare i controlli della cache di 1 ora e di 5 minuti nella stessa richiesta, ma con un vincolo importante: le voci della cache con un TTL più lungo devono apparire prima dei TTL più brevi (ad esempio, una voce della cache di 1 ora deve apparire prima di qualsiasi voce della cache di 5 minuti).

Prompt caching per i modelli di OpenAI

I modelli OpenAI su Amazon Bedrock supportano il Prompt Caching implicito tramite l'API Responses. GPT-5.6 i modelli supportano anche l'Explicit Prompt Caching. L'API Responses è disponibile sia sugli endpoint che sugli endpointbedrock-runtime. bedrock-mantle

GPT-5.6 modelli

GPT-5.6 Sol (openai.gpt-5.6-sol), Terra (openai.gpt-5.6-terra) e Luna (openai.gpt-5.6-luna) supportano sia l'Implicit Prompt Caching che l'Explicit Prompt Caching. I punti di interruzione espliciti della cache dei prompt consentono di controllare con precisione quali parti del prompt sono idonee per la memorizzazione nella cache. Ciò è particolarmente utile per i flussi di lavoro agentici in cui le istruzioni di sistema, le definizioni degli strumenti e i file di riferimento si ripetono in molte chiamate mentre solo gli ultimi input vengono modificati.

Caratteristiche principali:

Comprensione della risposta

L'oggetto di utilizzo nella risposta include due campi specifici della cache:

Quando cached_tokens è maggiore di zero e cache_write_tokens pari a zero, la richiesta corrisponde completamente a una voce della cache esistente: non si sono verificate nuove scritture e si è ottenuto il massimo risparmio sui costi.

Procedure consigliate per l'utilizzo della gestione della cache nei modelli GPT 5.6

GPT-5.5 e modelli precedenti

Per i modelli OpenAI precedenti GPT-5.6 (come openai.gpt-5.5 eopenai.gpt-5.4), l'Implicit Prompt Caching è automatico. Non è necessario aggiungere parametri speciali. Il sistema tenta automaticamente di memorizzare nella cache i prefissi di prompt idonei pari o superiori a 1.024 token. Le scritture nella cache non comportano costi aggiuntivi su questi modelli.

Caratteristiche principali:

Procedure GPT-5.5 consigliate per l'utilizzo della gestione della cache nei modelli precedenti e precedenti

Nozioni di base

Le sezioni seguenti mostrano una breve panoramica su come utilizzare la funzionalità di caching dei prompt per ogni metodo di interazione con i modelli tramite Amazon Bedrock.