View a markdown version of this page

例: Application Signals を使用して、Amazon Bedrock モデルとやり取りする生成 AI アプリケーションのトラブルシューティングを行う - Amazon CloudWatch
きめ細かいメトリクスとトレースOpenTelemetry 生成 AI 属性のサポート

例: Application Signals を使用して、Amazon Bedrock モデルとやり取りする生成 AI アプリケーションのトラブルシューティングを行う

Amazon Bedrock モデルとやり取りする生成 AI アプリケーションのトラブルシューティングには、Application Signals を使用できます。Application Signals は追加設定なしのテレメトリデータを提供することでこのプロセスを合理化し、LLM モデルとのアプリケーションのやり取りに関するより深いインサイトを提供します。これは、次のような主要なユースケースに対処するのに役立ちます。

  • モデル設定の問題

  • モデルの使用コスト

  • モデルのレイテンシー

  • モデルレスポンス生成の停止理由

LLM/GenAI Observability で Application Signals を有効にすると、Amazon Bedrock サービスとのアプリケーションのやり取りをリアルタイムで可視化できます。Application Signals は、Amazon Bedrock API コールのパフォーマンスメトリクスとトレースを自動的に生成して関連付けます。

Application Signals は現在、Amazon Bedrock の次の LLM モデルをサポートしています。

  • AI21 Jamba

  • Amazon Titan

  • Anthropic Claude

  • Cohere Command

  • Meta Llama

  • Mistral AI

  • Nova

きめ細かいメトリクスとトレース

Amazon Bedrock API コールごとに、Application Signals はリソースレベルで次のような詳細なパフォーマンスメトリクスを生成します。

  • モデル ID

  • ガードレール ID

  • ナレッジベース ID

  • Bedrock エージェント ID

さらに、同じレベルで相関トレーススパンを使用すると、リクエストの実行と依存関係を包括的に把握できます。

Application Signals を使用したパフォーマンスメトリクス。

OpenTelemetry 生成 AI 属性のサポート

Application Signals は、OpenTelemetry セマンティック規則を使用した Amazon Bedrock API コールに対して次の生成 AI 属性を生成します。これらの属性は、モデルの使用状況、コスト、レスポンス品質の分析に役立ち、トランザクション検索を通じて活用してより深いインサイトを得ることができます。

  • gen_ai.system

  • gen_ai.request.model

  • gen_ai.request.max_tokens

  • gen_ai.request. temperature

  • gen_ai.request.top_p

  • gen_ai.usage.input_tokens

  • gen_ai.usage.output_tokens

  • gen_ai.response.Finish_reasons

Application Signals を使用した 生成 AI 属性。

例えば、トランザクション検索の分析機能を活用して、同じプロンプトの異なる LLM モデル間でトークンの使用量とコストを比較できるため、コスト効率の高いモデルを選択できます。

Application Signals を使用した 生成 AI 属性。

詳細については、「Improve Amazon Bedrock Observability with CloudWatch Application Signals」を参照してください。