지연 시간에 대한 모델 추론 최적화

의 파운데이션 모델에 대한 지연 시간 최적화 추론은 AI 애플리케이션에 더 빠른 응답 시간과 향상된 응답성을 Amazon Bedrock 제공합니다. Anthropic의 Claude 3.5 Haiku 모델과 Meta의 Llama 3.1 405B 및 70B 모델의 최적화된 버전은 정확도를 저하시키지 않고 지연 시간을 크게 줄입니다.

지연 시간 최적화 기능에 액세스하려면 추가 설정이나 모델 미세 조정이 필요하지 않으므로 응답 시간이 빨라 기존 애플리케이션을 즉시 개선할 수 있습니다. Bedrock 런타임을 호출하는 동안 “지연” 파라미터를 “최적화됨”으로 설정할 수 있습니다API. 호출 옵션으로 “표준”을 선택하면 요청이 표준 추론을 통해 제공됩니다. 기본적으로 모든 요청은 “표준”을 통해 로 라우팅됩니다.

“performanceConfig” : {
    “latency” : “standard | optimized” 
}

모델의 지연 시간 최적화에 대한 사용량 할당량에 도달하면 표준 지연 시간으로 요청을 처리하려고 시도합니다. 이 경우 요청에 표준 지연 시간이 부과됩니다. 제공된 요청에 대한 지연 시간 구성은 API 응답 및 AWS CloudTrail 로그에 표시됩니다. 또한 "model-id+latency-optimized"에서 Amazon CloudWatch 로그의 지연 시간 최적화 요청에 대한 지표를 볼 수 있습니다.

지연 시간 최적화 추론은 교차 리전 추론을 통해 미국 동부(오하이오) 리전의 Anthropic의 Claude 3.5 Haiku뿐만 아니라 Meta의 Llama 3.1 70B 및 405B에 사용할 수 있습니다. 요금에 대한 자세한 내용은 요금 페이지를 참조하세요.