Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Beispiel: Verwenden Sie Anwendungssignale, um Fehler bei generativen KI-Anwendungen zu beheben, die mit Amazon Bedrock Modellen interagieren
Sie können Anwendungssignale verwenden, um Fehler bei Ihren generativen KI-Anwendungen zu beheben, die mit Amazon Bedrock Modellen interagieren. Application Signals optimiert diesen Prozess, indem es out-of-the-box Telemetriedaten bereitstellt und so tiefere Einblicke in die Interaktionen Ihrer Anwendung mit LLM-Modellen bietet. Das ist unter anderem für folgende Anwendungsfälle hilfreich:
Probleme mit der Konfiguration von Modellen
Kosten der Modellnutzung
Modell-Latenz
Generierung von Modellantworten wurde beendet
Durch die Aktivierung von Anwendungssignalen mit LLM/GenAI Observability erhalten Sie in Echtzeit Einblick in die Interaktionen Ihrer Anwendung mit den Amazon Bedrock-Services. Application Signals generiert automatisch Leistungskennzahlen und Traces für Amazon Bedrock API-Aufrufe und korreliert diese.
Application Signals unterstützt derzeit die folgenden LLM-Modelle in Amazon Bedrock.
AI21 Jamba
Amazon Titan
Anthropic Claude
Cohere Command
Meta Llama
Mistral AI
Nova
Detaillierte Metriken und Traces
Für jeden Amazon Bedrock API-Aufruf generiert Application Signals detaillierte Leistungskennzahlen auf Ressourcenebene, darunter:
Modell-ID
Integritätsschutz-ID
Wissensdatenbank-ID
Bedrock-Agent-ID
Darüber hinaus bieten korrelierte Trace-Spans auf derselben Ebene einen umfassenden Überblick über die Ausführung von Anforderungen und ihre Abhängigkeiten.
OpenTelemetry Unterstützung von GenAI-Attributen
Application Signals generiert die folgenden GenAI-Attribute für Amazon Bedrock API-Aufrufe mit OpenTelemetry semantischer Konvention. Diese Attribute helfen bei der Analyse der Modellnutzung, der Kosten und der Antwortqualität und können über die Transaktionssuche genutzt werden, um tiefere Einblicke zu erhalten.
gen_ai.system
gen_ai.request.model
gen_ai.request.max_tokens
gen_ai.request.temperature
gen_ai.request.top_p
gen_ai.usage.input_tokens
gen_ai.usage.output_tokens
gen_ai.response.finish_reasons
Sie können beispielsweise die Analysefunktionen der Transaktionssuche verwenden, um die Token-Nutzung und die Kosten verschiedener LLM-Modelle für denselben Prompt zu vergleichen, was eine kosteneffiziente Modellauswahl ermöglicht.
Weitere Informationen finden Sie unter Verbessern Sie die Amazon Bedrock Beobachtbarkeit mit CloudWatch
