더 빠른 모델 추론을 위한 프롬프트 캐싱

Converse API는 멀티턴 대화에서 프롬프트 캐싱을 구현하기 위한 유연하고 고급 옵션을 제공합니다. 각 모델의 프롬프트 요구 사항에 대한 자세한 내용은 이전 섹션을 참조하세요지원되는 모델, 리전 및 제한.

요청 예제

다음 예제에서는 Converse API에 대한 요청의 messages, system또는 tools 필드에 있는 캐시 체크포인트 세트를 보여줍니다. 지정된 요청에 대해 이러한 위치에 체크포인트를 배치할 수 있습니다. 예를 들어 Claude 3.5 Sonnet v2 모델에 요청을 보내는 경우에 캐시 체크포인트 2개,에 캐시 체크포인트 messages1개system,에 캐시 체크포인트 1개를 배치할 수 있습니다tools. Converse API 요청 구성 및 전송에 대한 자세한 내용과 예제는 섹션을 참조하세요Converse API 작업과 대화 수행.

Converse API의 모델 응답에는 프롬프트 캐싱과 관련된 두 개의 새 필드가 포함되어 있습니다. CacheReadInputTokens 및 CacheWriteInputTokens 값은 캐시에서 읽은 토큰 수와 이전 요청으로 인해 캐시에 기록된 토큰 수를 알려줍니다. 이는 전체 모델 추론 비용보다 낮은 요금으로 Amazon Bedrock에서 청구하는 값입니다.

...
"messages": [
   {
        "role": "user",
        "content": [
            {
                "image": {
                    "bytes": "asfb14tscve..."
                }
            },
            {
                "text": "What's is in this image?"
            },
            {
                "cachePoint": {
                    "type": "default"
                }
            }
      ]
  }
]
...

InvokeModel API를 호출하면 프롬프트 캐싱이 기본적으로 활성화됩니다. Converse API에 대한 이전 예제와 마찬가지로 요청 본문의 어느 시점에서든 캐시 체크포인트를 설정할 수 있습니다.

다음 예제에서는 Anthropic Claude 3.5 Sonnet v2 모델에 대한 InvokeModel 요청의 본문을 구성하는 방법을 보여줍니다. InvokeModel 요청에 대한 본문의 정확한 형식과 필드는 선택한 모델에 따라 다를 수 있습니다. 다양한 모델에 대한 요청 및 응답 본문의 형식과 내용을 보려면 섹션을 참조하세요파운데이션 모델의 추론 요청 파라미터 및 응답 필드.

body={
        "anthropic_version": "bedrock-2023-05-31",
        "system":"Reply concisely",
        "messages": [
            {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Describe the best way to learn programming."
                },
                {
                    "type": "text",
                    "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
                    "cache_control": {
                        "type": "ephemeral"
                    }
                }
            ]
            }
        ],
        "max_tokens": 2048,
        "temperature": 0.5,
        "top_p": 0.8,
        "stop_sequences": [
            "stop"
        ],
        "top_k": 250
}

InvokeModel 요청 전송에 대한 자세한 내용은 섹션을 참조하세요InvokeModel을 사용하여 단일 프롬프트 제출.

body={
        "anthropic_version": "bedrock-2023-05-31",
        "system":"Reply concisely",
        "messages": [
            {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Describe the best way to learn programming."
                },
                {
                    "type": "text",
                    "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.",
                    "cache_control": {
                        "type": "ephemeral"
                    }
                }
            ]
            }
        ],
        "max_tokens": 2048,
        "temperature": 0.5,
        "top_p": 0.8,
        "stop_sequences": [
            "stop"
        ],
        "top_k": 250
}

Amazon Bedrock 콘솔의 채팅 플레이그라운드에서 프롬프트 캐싱 옵션을 켤 수 있으며 Amazon Bedrock은 자동으로 캐시 체크포인트를 생성합니다.

의 지침에 따라 Amazon Bedrock 플레이그라운드에서 프롬프트를 플레이그라운드를 사용하여 콘솔에서 응답 생성 시작합니다. 지원되는 모델의 경우 플레이그라운드에서 프롬프트 캐싱이 자동으로 켜집니다. 그러나 그렇지 않은 경우 다음을 수행하여 프롬프트 캐싱을 켭니다.

결합된 입력 및 모델 응답이 체크포인트에 필요한 최소 토큰 수(모델에 따라 다름)에 도달하면 Amazon Bedrock이 자동으로 첫 번째 캐시 체크포인트를 생성합니다. 채팅을 계속하면 최소 토큰 수에 도달할 때마다 모델에 허용되는 최대 체크포인트 수까지 새 체크포인트가 생성됩니다. 다음 스크린샷과 같이 프롬프트 캐싱 토글 옆에 있는 캐시 체크포인트 보기를 선택하여 언제든지 캐시 체크포인트를 볼 수 있습니다.

플레이그라운드 응답에서 캐싱 지표 팝업( )을 보면 모델과의 각 상호 작용으로 인해 캐시에서 읽고 쓰는 토큰 수를 볼 수 있습니다.

대화 중에 프롬프트 캐싱 토글을 끄면 모델과 계속 채팅할 수 있습니다.

플레이그라운드

Amazon Bedrock 콘솔의 채팅 플레이그라운드에서 프롬프트 캐싱 옵션을 켤 수 있으며 Amazon Bedrock은 자동으로 캐시 체크포인트를 생성합니다.

의 지침에 따라 Amazon Bedrock 플레이그라운드에서 프롬프트를 플레이그라운드를 사용하여 콘솔에서 응답 생성 시작합니다. 지원되는 모델의 경우 플레이그라운드에서 프롬프트 캐싱이 자동으로 켜집니다. 그러나 그렇지 않은 경우 다음을 수행하여 프롬프트 캐싱을 켭니다.

1. 왼쪽 패널에서 구성 메뉴를 엽니다.

2. 프롬프트 캐싱 토글을 켭니다.

3. 프롬프트를 실행합니다.

결합된 입력 및 모델 응답이 체크포인트에 필요한 최소 토큰 수(모델에 따라 다름)에 도달하면 Amazon Bedrock이 자동으로 첫 번째 캐시 체크포인트를 생성합니다. 채팅을 계속하면 최소 토큰 수에 도달할 때마다 모델에 허용되는 최대 체크포인트 수까지 새 체크포인트가 생성됩니다. 다음 스크린샷과 같이 프롬프트 캐싱 토글 옆에 있는 캐시 체크포인트 보기를 선택하여 언제든지 캐시 체크포인트를 볼 수 있습니다.

플레이그라운드 응답에서 캐싱 지표 팝업( )을 보면 모델과의 각 상호 작용으로 인해 캐시에서 읽고 쓰는 토큰 수를 볼 수 있습니다.

대화 중에 프롬프트 캐싱 토글을 끄면 모델과 계속 채팅할 수 있습니다.