Promptes Caching für schnellere Modellinferenz

Die Converse-API bietet erweiterte und flexible Optionen für die Implementierung von Prompt-Caching in Multi-Turn-Konversationen. Weitere Informationen zu den Anforderungen an die Eingabeaufforderung für jedes Modell finden Sie im vorherigen Abschnitt. Unterstützte Modelle, Regionen und Beschränkungen

Beispielanforderung

Die folgenden Beispiele zeigen einen Cache-Checkpointmessages, der in den tools Feldernsystem, oder einer Anfrage an die Converse API. Sie können an jedem dieser Orte Checkpoints für eine bestimmte Anfrage platzieren. Wenn Sie beispielsweise eine Anfrage an das Modell Claude 3.5 Sonnet v2 senden, könnten Sie zwei Cache-Checkpoints platzierenmessages, einen Cache-Checkpoint in und einen insystem. tools Für detailliertere Informationen und Beispiele zum Strukturieren und Senden Converse API-Anfragen finden Sie unterFühren Sie ein Gespräch mit dem Converse API-Operationen.

Die Modellantwort von Converse Die API enthält zwei neue Felder, die speziell für das Zwischenspeichern von Eingabeaufforderungen bestimmt sind. Die CacheWriteInputTokens Werte CacheReadInputTokens und geben an, wie viele Token aus dem Cache gelesen wurden und wie viele Token aufgrund Ihrer vorherigen Anfrage in den Cache geschrieben wurden. Dies sind Werte, die Ihnen von Amazon Bedrock in Rechnung gestellt werden, und zwar zu einem Preis, der unter den Kosten für die vollständige Modellinferenz liegt.

...
"messages": [
   {
        "role": "user",
        "content": [
            {
                "image": {
                    "bytes": "asfb14tscve..."
                }
            },
            {
                "text": "What's is in this image?"
            },
            {
                "cachePoint": {
                    "type": "default"
                }
            }
      ]
  }
]
...

Prompt-Caching ist standardmäßig aktiviert, wenn Sie die InvokeModelAPI aufrufen. Sie können Cache-Checkpoints an jeder beliebigen Stelle in Ihrem Anfragetext festlegen, ähnlich wie im vorherigen Beispiel für Converse API.

Das folgende Beispiel zeigt, wie Sie den Hauptteil Ihrer InvokeModel Anfrage für die strukturieren Anthropic Claude 3.5 Sonnet v2-Modell. Beachten Sie, dass das genaue Format und die Felder des Hauptteils für InvokeModel Anfragen je nach ausgewähltem Modell variieren können. Format und Inhalt der Anfrage- und Antworttexte für verschiedene Modelle finden Sie unterInferenzanforderungsparameter und Antwortfelder für Foundation-Modelle.

body={
        "anthropic_version": "bedrock-2023-05-31",
        "system":"Reply concisely",
        "messages": [
            {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Describe the best way to learn programming."
                },
                {
                    "type": "text",
                    "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
                    "cache_control": {
                        "type": "ephemeral"
                    }
                }
            ]
            }
        ],
        "max_tokens": 2048,
        "temperature": 0.5,
        "top_p": 0.8,
        "stop_sequences": [
            "stop"
        ],
        "top_k": 250
}

Weitere Informationen zum Senden einer InvokeModel Anfrage finden Sie unterSenden Sie eine einzelne Aufforderung mit InvokeModel.

body={
        "anthropic_version": "bedrock-2023-05-31",
        "system":"Reply concisely",
        "messages": [
            {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Describe the best way to learn programming."
                },
                {
                    "type": "text",
                    "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
                    "cache_control": {
                        "type": "ephemeral"
                    }
                }
            ]
            }
        ],
        "max_tokens": 2048,
        "temperature": 0.5,
        "top_p": 0.8,
        "stop_sequences": [
            "stop"
        ],
        "top_k": 250
}

In einem Chat-Spielplatz in der Amazon Bedrock-Konsole können Sie die Option zum Zwischenspeichern von Eingabeaufforderungen aktivieren, sodass Amazon Bedrock automatisch Cache-Checkpoints für Sie erstellt.

Folgen Sie den Anweisungen unterGenerieren Sie Antworten in der Konsole mithilfe von Playgrounds, um mit den Eingabeaufforderungen auf einem Amazon Bedrock-Spielplatz zu beginnen. Bei unterstützten Modellen wird das Zwischenspeichern von Eingabeaufforderungen auf dem Playground automatisch aktiviert. Ist dies jedoch nicht der Fall, gehen Sie wie folgt vor, um das Zwischenspeichern der Eingabeaufforderung zu aktivieren:

Nachdem Ihre kombinierten Eingabe- und Modellantworten die für einen Checkpoint erforderliche Mindestanzahl an Tokens erreicht haben (die je nach Modell unterschiedlich ist), erstellt Amazon Bedrock automatisch den ersten Cache-Checkpoint für Sie. Während Sie weiter chatten, wird bei jedem weiteren Erreichen der Mindestanzahl an Tokens ein neuer Checkpoint erstellt, bis zu der für das Modell maximal zulässigen Anzahl von Checkpoints. Sie können sich Ihre Cache-Checkpoints jederzeit ansehen, indem Sie neben der Option Zwischenspeicherung bei Aufforderung die Option Cache-Checkpoints anzeigen auswählen, wie im folgenden Screenshot gezeigt.

Sie können sehen, wie viele Token aufgrund jeder Interaktion mit dem Modell aus dem Cache gelesen und in den Cache geschrieben werden, indem Sie das Popup-Fenster mit den Caching-Metriken ( ) in den Playground-Antworten aufrufen.

Wenn Sie während einer Konversation die Option zum Zwischenspeichern der Eingabeaufforderung deaktivieren, können Sie den Chat mit dem Model fortsetzen.

Spielplatz

In einem Chat-Spielplatz in der Amazon Bedrock-Konsole können Sie die Option zum Zwischenspeichern von Eingabeaufforderungen aktivieren, sodass Amazon Bedrock automatisch Cache-Checkpoints für Sie erstellt.

Folgen Sie den Anweisungen unterGenerieren Sie Antworten in der Konsole mithilfe von Playgrounds, um mit den Eingabeaufforderungen auf einem Amazon Bedrock-Spielplatz zu beginnen. Bei unterstützten Modellen wird das Zwischenspeichern von Eingabeaufforderungen auf dem Playground automatisch aktiviert. Ist dies jedoch nicht der Fall, gehen Sie wie folgt vor, um das Zwischenspeichern der Eingabeaufforderung zu aktivieren:

1. Öffnen Sie in der linken Seitenleiste das Konfigurationsmenü.

2. Schalten Sie den Schalter Prompt-Caching ein.

3. Führen Sie Ihre Eingabeaufforderungen aus.

Nachdem Ihre kombinierten Eingabe- und Modellantworten die für einen Checkpoint erforderliche Mindestanzahl an Tokens erreicht haben (die je nach Modell unterschiedlich ist), erstellt Amazon Bedrock automatisch den ersten Cache-Checkpoint für Sie. Während Sie weiter chatten, wird bei jedem weiteren Erreichen der Mindestanzahl an Tokens ein neuer Checkpoint erstellt, bis zu der für das Modell maximal zulässigen Anzahl von Checkpoints. Sie können sich Ihre Cache-Checkpoints jederzeit ansehen, indem Sie neben der Option Zwischenspeicherung bei Aufforderung die Option Cache-Checkpoints anzeigen auswählen, wie im folgenden Screenshot gezeigt.

Sie können sehen, wie viele Token aufgrund jeder Interaktion mit dem Modell aus dem Cache gelesen und in den Cache geschrieben werden, indem Sie das Popup-Fenster mit den Caching-Metriken ( ) in den Playground-Antworten aufrufen.

Wenn Sie während einer Konversation die Option zum Zwischenspeichern der Eingabeaufforderung deaktivieren, können Sie den Chat mit dem Model fortsetzen.