本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 生成式 AI 可觀測性
<a name="GenAI-observability"></a>

透過 Amazon CloudWatch，您可以觀測生成式 AI 工作負載 (包括 [Amazon Bedrock AgentCore 代理程式](https://aws.amazon.com/bedrock/agentcore/))，並深入了解 AI 效能、運作狀態和準確性。CloudWatch 提供預先設定的 AI 工作負載延遲、用量和錯誤檢視，助您更快速地偵測模型和代理程式等元件中的問題。端對端提示追蹤功能可協助您快速識別知識庫、工具、模型等元件中的問題。CloudWatch 的 AI 監控功能與熱門的生成式 AI 協同運作架構相容，例如 [AWS Strands](https://strandsagents.com/latest/)、LangChain 和 LangGraph，提供您選擇的架構彈性。

透過 CloudWatch 生成式 AI 可觀測性功能，您可以：
+ 透過自動化監控大規模評估 AI 應用程式品質和準確性，透過擷取模型輸出、回應品質指標和最終使用者互動來降低手動檢閱需求
+ 監控模型調用、代理程式 (受管、自我託管和第三方)、知識庫、防護機制和工具
+ 從代理程式實驗階段逐步推進至創新型 GenAI 應用程式的生產階段，同時確保卓越的品質、效能與可靠性。如需更多資訊，請參閱[什麼是 Amazon Bedrock AgentCore？](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/what-is-genesis.html)
+ 透過端對端提示追蹤、精心設計的指標與日誌，快速識別錯誤來源
+ 對整個 GenAI 應用程式和底層基礎結構的問題進行疑難排解，利用現有的 CloudWatch 觀測工具，例如 [Application Signals](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch-Application-Monitoring-Sections.html)、[警示](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Alarms.html)、[儀表板](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Dashboards.html)、[敏感資料保護](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/cloudwatch-logs-data-protection-policies.html)和 [Logs Insights](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AnalyzingLogData.html)
+ 使用 Amazon Bedrock 時存取提示追蹤，並藉助 ADOT SDK 將第三方模型的結構化追蹤傳送至 CloudWatch。如需將可觀測性新增至 Amazon Bedrock AgentCore 代理程式或工具的詳細資訊，請參閱 [Amazon Bedrock AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/what-is-genesis.html)

CloudWatch 生成式 AI 可觀測性提供兩種預先建置的功能：

**注意**  
您可以使用 Amazon Bedrock 中推論的任何模型，來使用**模型調用**儀表板。
+ **模型調用** – 有關模型用量、字符使用量和精選調用日誌表的詳細指標儀表板，用於檢視模型推論的詳細輸入和輸出內容
+ **Amazon Bedrock AgentCore 代理**程式 – Amazon Bedrock AgentCore 基本功能的效能和決策指標，例如代理程式、記憶體、內建工具、閘道和身分

這些儀表板中可用的關鍵指標包括：
+ 調用總數和平均數
+ 字符用量 (總計、每個查詢的平均數、輸入、輸出)
+ 延遲 (平均值、P90、P99)
+ 錯誤率和限流事件
+ 依應用程式、使用者角色或特定使用者的成本歸因

**Topics**
+ [模型調用](model-invocations.md)
+ [Amazon Bedrock AgentCore](AgentCore-Agents.md)