Memorizzazione rapida nella cache per un'inferenza più rapida del modello

L'API Converse offre opzioni avanzate e flessibili per implementare il prompt caching nelle conversazioni a più turni. Per ulteriori informazioni sui requisiti di prompt per ogni modello, consulta la sezione precedente. Modelli, regioni e limiti supportati

Richiesta di esempio

Gli esempi seguenti mostrano un checkpoint della cache impostato nei tools campimessages,system, o di una richiesta a Converse API. È possibile posizionare punti di controllo in una qualsiasi di queste posizioni per una determinata richiesta. Ad esempio, se si invia una richiesta al modello Claude 3.5 Sonnet v2, è possibile inserire due checkpoint nella cachemessages, un checkpoint nella cache e uno in entrata. system tools Per informazioni più dettagliate ed esempi di strutturazione e invio Converse Richieste API, vediEffettuare una conversazione con Converse Operazioni API.

La risposta del modello di Converse L'API include due nuovi campi specifici per la memorizzazione nella cache dei prompt. CacheWriteInputTokensI valori CacheReadInputTokens and indicano quanti token sono stati letti dalla cache e quanti token sono stati scritti nella cache a causa della richiesta precedente. Questi sono i valori che ti vengono addebitati da Amazon Bedrock, a una tariffa inferiore al costo dell'inferenza completa del modello.

...
"messages": [
   {
        "role": "user",
        "content": [
            {
                "image": {
                    "bytes": "asfb14tscve..."
                }
            },
            {
                "text": "What's is in this image?"
            },
            {
                "cachePoint": {
                    "type": "default"
                }
            }
      ]
  }
]
...

La memorizzazione nella cache dei prompt è abilitata per impostazione predefinita quando si chiama l'InvokeModelAPI. È possibile impostare i checkpoint della cache in qualsiasi punto del corpo della richiesta, in modo analogo all'esempio precedente per Converse API.

L'esempio seguente mostra come strutturare il corpo della InvokeModel richiesta per Anthropic Claude 3.5 Sonnet modello v2. Tieni presente che il formato e i campi esatti del corpo delle InvokeModel richieste possono variare a seconda del modello scelto. Per visualizzare il formato e il contenuto dei corpi di richiesta e risposta per i diversi modelli, vedereParametri della richiesta di inferenza e campi di risposta per i modelli di base.

body={
        "anthropic_version": "bedrock-2023-05-31",
        "system":"Reply concisely",
        "messages": [
            {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Describe the best way to learn programming."
                },
                {
                    "type": "text",
                    "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
                    "cache_control": {
                        "type": "ephemeral"
                    }
                }
            ]
            }
        ],
        "max_tokens": 2048,
        "temperature": 0.5,
        "top_p": 0.8,
        "stop_sequences": [
            "stop"
        ],
        "top_k": 250
}

Per ulteriori informazioni sull'invio di una InvokeModel richiesta, vedereInvia una sola richiesta con InvokeModel.

body={
        "anthropic_version": "bedrock-2023-05-31",
        "system":"Reply concisely",
        "messages": [
            {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Describe the best way to learn programming."
                },
                {
                    "type": "text",
                    "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
                    "cache_control": {
                        "type": "ephemeral"
                    }
                }
            ]
            }
        ],
        "max_tokens": 2048,
        "temperature": 0.5,
        "top_p": 0.8,
        "stop_sequences": [
            "stop"
        ],
        "top_k": 250
}

In un ambiente di chat nella console Amazon Bedrock, puoi attivare l'opzione di memorizzazione rapida nella cache e Amazon Bedrock crea automaticamente i checkpoint della cache per te.

Segui le istruzioni Genera risposte nella console utilizzando i parchi giochi per iniziare a creare suggerimenti in un parco giochi Amazon Bedrock. Per i modelli supportati, la memorizzazione dei prompt nella cache viene attivata automaticamente nel parco giochi. Tuttavia, in caso contrario, procedi come segue per attivare la memorizzazione dei prompt nella cache:

Dopo che le risposte combinate di input e modello hanno raggiunto il numero minimo richiesto di token per un checkpoint (che varia in base al modello), Amazon Bedrock crea automaticamente il primo checkpoint della cache per te. Man mano che continui a chattare, ogni successivo raggiungimento del numero minimo di token crea un nuovo checkpoint, fino al numero massimo di checkpoint consentito per il modello. Puoi visualizzare i checkpoint della cache in qualsiasi momento selezionando Visualizza i checkpoint della cache accanto all'interruttore Prompt caching, come mostrato nella schermata seguente.

Puoi vedere quanti token vengono letti e scritti nella cache a seguito di ogni interazione con il modello visualizzando il pop-up Caching metrics () nelle risposte del playground.

Se disattivi l'opzione di memorizzazione dei prompt nella cache mentre sei nel bel mezzo di una conversazione, puoi continuare a chattare con la modella.

Parco giochi

In un ambiente di chat nella console Amazon Bedrock, puoi attivare l'opzione di memorizzazione rapida nella cache e Amazon Bedrock crea automaticamente i checkpoint della cache per te.

Segui le istruzioni Genera risposte nella console utilizzando i parchi giochi per iniziare a creare suggerimenti in un parco giochi Amazon Bedrock. Per i modelli supportati, la memorizzazione dei prompt nella cache viene attivata automaticamente nel parco giochi. Tuttavia, in caso contrario, procedi come segue per attivare la memorizzazione dei prompt nella cache:

1. Nel pannello laterale sinistro, apri il menu Configurazioni.

2. Attiva l'interruttore Prompt caching.

3. Esegui le tue istruzioni.

Dopo che le risposte combinate di input e modello hanno raggiunto il numero minimo richiesto di token per un checkpoint (che varia in base al modello), Amazon Bedrock crea automaticamente il primo checkpoint della cache per te. Man mano che continui a chattare, ogni successivo raggiungimento del numero minimo di token crea un nuovo checkpoint, fino al numero massimo di checkpoint consentito per il modello. Puoi visualizzare i checkpoint della cache in qualsiasi momento selezionando Visualizza i checkpoint della cache accanto all'interruttore Prompt caching, come mostrato nella schermata seguente.

Puoi vedere quanti token vengono letti e scritti nella cache a seguito di ogni interazione con il modello visualizzando il pop-up Caching metrics () nelle risposte del playground.

Se disattivi l'opzione di memorizzazione dei prompt nella cache mentre sei nel bel mezzo di una conversazione, puoi continuare a chattare con la modella.