View a markdown version of this page

範例：使用 Application Signals 對與 Amazon Bedrock 模型互動的生成式 AI 應用程式進行疑難排解 - Amazon CloudWatch
精細指標與追蹤OpenTelemetry GenAI 屬性支援

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

範例：使用 Application Signals 對與 Amazon Bedrock 模型互動的生成式 AI 應用程式進行疑難排解

您可以使用 Application Signals 來疑難排解與 Amazon Bedrock 模型互動的生成式 AI 應用程式。Application Signals 可提供即用型遙測資料，讓您更深入了解應用程式與 LLM 模型之間的互動，從而簡化此流程。它有助於解決關鍵使用案例，例如：

  • 模型組態問題

  • 模型使用成本

  • 模型延遲

  • 模型回應產生停止的原因

透過 LLM/GenAI 可觀測性啟用 Application Signals，可讓您即時檢視應用程式與 Amazon Bedrock 服務的互動。Application Signals 會自動產生並關聯 Amazon Bedrock API 呼叫的效能指標和追蹤。

Application Signals 目前支援來自 Amazon Bedrock的以下 LLM 模型。

  • AI21 Jamba

  • Amazon Titan

  • Anthropic Claude

  • Cohere Command

  • Meta Llama

  • Mistral AI

  • Nova

精細指標與追蹤

對於每個 Amazon Bedrock API 呼叫，Application Signals 會在資源層級產生詳細的效能指標，包括：

  • 模型 ID

  • 防護機制 ID

  • 知識庫 ID

  • Bedrock 代理程式 ID

此外，同一層級的相互關聯追蹤範圍有助於提供請求執行和相依項的全面視圖。

使用 Application Signals 的效能指標。

OpenTelemetry GenAI 屬性支援

Application Signals 會為具有 OpenTelemetry 語意慣例的 Amazon Bedrock API 呼叫產生下列 GenAI 屬性。這些屬性有助於分析模型使用情況、成本和回應品質；可以透過 Transaction Search 利用該等屬性，以取得更深入的見解。

  • gen_ai.system

  • gen_ai.request.model

  • gen_ai.request.max_tokens

  • gen_ai.request.temperature

  • gen_ai.request.top_p

  • gen_ai.usage.input_tokens

  • gen_ai.usage.output_tokens

  • gen_ai.response.finish_reasons

使用 Application Signals 的 GenAI 屬性。

例如，您可以利用 Transaction Search 的分析功能，比較不同 LLM 模型在相同提示詞下的權杖使用情況與成本，從而選取有成本效益的模型。

使用 Application Signals 的 GenAI 屬性。

如需詳細資訊，請參閱改善 CloudWatch Application Signals 的可 Amazon Bedrock 觀測性。