Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Esempio: utilizza Application Signals per risolvere i problemi delle applicazioni di intelligenza artificiale generativa che interagiscono con i modelli Amazon Bedrock
Puoi utilizzare Application Signals per risolvere i problemi delle tue applicazioni di intelligenza artificiale generativa che interagiscono con i modelli. Amazon Bedrock Application Signals semplifica questo processo fornendo dati di out-of-the-box telemetria e offrendo informazioni più approfondite sulle interazioni dell'applicazione con i modelli LLM. Aiuta a risolvere casi d'uso chiave come:
Problemi di configurazione del modello
Costi di utilizzo del modello
Latenza del modello
Motivi dell'interruzione nella generazione delle risposte del modello
L'abilitazione di Application Signals with LLM/GenAI Observability offre visibilità in tempo reale sulle interazioni dell'applicazione con i servizi Amazon Bedrock. Application Signals genera e correla automaticamente i parametri e le tracce delle prestazioni per le chiamate API. Amazon Bedrock
Application Signals attualmente supporta i seguenti modelli LLM di Amazon Bedrock.
AI21 Jamba
Amazon Titan
Anthropic Claude
Cohere Command
Meta Llama
Mistral AI
Nova
Metriche e tracce granulari
Per ogni chiamata Amazon Bedrock API, Application Signals genera metriche dettagliate sulle prestazioni a livello di risorsa, tra cui:
ID modello
ID guardrail
ID Knowledge Base
ID dell'agente Bedrock
Inoltre, gli intervalli di traccia correlati allo stesso livello aiutano a fornire una visione completa dell'esecuzione delle richieste e delle dipendenze.
OpenTelemetry Supporto per gli attributi GenAI
Application Signals genera i seguenti attributi GenAI per le chiamate Amazon Bedrock API con convenzione OpenTelemetry semantica. Questi attributi aiutano ad analizzare l'utilizzo del modello, i costi e la qualità della risposta e possono essere impiegati con Transaction Search per ottenere informazioni più approfondite.
gen_ai.system
gen_ai.request.model
gen_ai.request.max_tokens
gen_ai.request.temperature
gen_ai.request.top_p
gen_ai.usage.input_tokens
gen_ai.usage.output_tokens
gen_ai.response.finish_reasons
Ad esempio, è possibile sfruttare la capacità analitica di Transaction Search per confrontare l'utilizzo e il costo dei token tra diversi modelli LLM per lo stesso prompt, consentendo di selezionare i modelli in base all'efficienza in termini di costi.
Per ulteriori informazioni, consulta Migliorare l' Amazon Bedrock osservabilità con CloudWatch
