# 例: Application Signals を使用して、Amazon Bedrock モデルとやり取りする生成 AI アプリケーションのトラブルシューティングを行う
<a name="Services-example-scenario-GenerativeAI"></a>

Amazon Bedrock モデルとやり取りする生成 AI アプリケーションのトラブルシューティングには、Application Signals を使用できます。Application Signals は追加設定なしのテレメトリデータを提供することでこのプロセスを合理化し、LLM モデルとのアプリケーションのやり取りに関するより深いインサイトを提供します。これは、次のような主要なユースケースに対処するのに役立ちます。
+ モデル設定の問題
+ モデルの使用コスト
+ モデルのレイテンシー
+ モデルレスポンス生成の停止理由

LLM/GenAI Observability で [Application Signals を有効にする](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch-Application-Signals-Enable.html)と、Amazon Bedrock サービスとのアプリケーションのやり取りをリアルタイムで可視化できます。Application Signals は、Amazon Bedrock API コールのパフォーマンスメトリクスとトレースを自動的に生成して関連付けます。

Application Signals は現在、Amazon Bedrock の次の LLM モデルをサポートしています。
+ AI21 Jamba
+ Amazon Titan
+ Anthropic Claude
+ Cohere Command
+ Meta Llama
+ Mistral AI
+ Nova

## きめ細かいメトリクスとトレース
<a name="Services-example-scenario-GenerativeAI-metricandtraces"></a>

Amazon Bedrock API コールごとに、Application Signals はリソースレベルで次のような詳細なパフォーマンスメトリクスを生成します。
+ モデル ID
+ ガードレール ID
+ ナレッジベース ID
+ Bedrock エージェント ID

さらに、同じレベルで相関トレーススパンを使用すると、リクエストの実行と依存関係を包括的に把握できます。

![Application Signals を使用したパフォーマンスメトリクス。](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/AppSignalsAIExample.png)


## OpenTelemetry 生成 AI 属性のサポート
<a name="Services-example-scenario-GenerativeAI-OpenTelemetryAISupport"></a>

Application Signals は、OpenTelemetry セマンティック規則を使用した Amazon Bedrock API コールに対して次の生成 AI 属性を生成します。これらの属性は、モデルの使用状況、コスト、レスポンス品質の分析に役立ち、[トランザクション検索](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch-Transaction-Search.html)を通じて活用してより深いインサイトを得ることができます。
+ gen\_ai.system
+ gen\_ai.request.model
+ gen\_ai.request.max\_tokens
+ gen\_ai.request. temperature
+ gen\_ai.request.top\_p
+ gen\_ai.usage.input\_tokens
+ gen\_ai.usage.output\_tokens
+ gen\_ai.response.Finish\_reasons

![Application Signals を使用した 生成 AI 属性。](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/AppSignalsAIExample_1.png)


例えば、トランザクション検索の分析機能を活用して、同じプロンプトの異なる LLM モデル間でトークンの使用量とコストを比較できるため、コスト効率の高いモデルを選択できます。

![Application Signals を使用した 生成 AI 属性。](http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/images/AppSignalsAIExample_2.png)


詳細については、「[Improve Amazon Bedrock Observability with CloudWatch Application Signals](https://aws.amazon.com/blogs/mt/improve-amazon-bedrock-observability-with-amazon-cloudwatch-appsignals/)」を参照してください。