Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Informazioni sull'esecuzione e il monitoraggio di un esperimento
L'esecuzione di un esperimento in produzione richiede un attento monitoraggio e una pianificazione operativa. Aumentare gradualmente l'esposizione, convalidare l'implementazione e monitorare le prestazioni può aiutare a ridurre i rischi e migliorare l'affidabilità dei risultati degli esperimenti.
Considerazioni operative
Inizia con un'esposizione bassa o pari allo 0% e aumenta gradualmente l'esposizione
Prima di esporre gli utenti ai trattamenti:
Convalida la resa del trattamento
Conferma la valutazione della feature flag
Verifica le metriche e la registrazione
Testate la strumentazione utilizzando le sostituzioni all'assegnazione del trattamento
Iniziare con un'esposizione dello 0% aiuta a rilevare i problemi di implementazione prima che influiscano sugli utenti. È quindi possibile aumentare gradualmente l'esposizione e quindi limitare l'impatto delle regressioni in caso di problemi. Convalidando il comportamento dell'esperimento sotto carico crescente, puoi monitorare i risultati degli esperimenti e le metriche operative prima di esporre l'intero pubblico ai cambiamenti.
Definisci le procedure di rollback
Prima di iniziare l'esecuzione di un esperimento, stabilite:
Quando la corsa deve essere interrotta
Quali metriche indicano un comportamento inaccettabile
Come disattivare i trattamenti
Puoi configurare gli allarmi in CloudWatch strumenti di monitoraggio di terze parti come Datadog, New Relic o Dynatrace per monitorare metriche chiave come il tempo di caricamento della pagina, il tasso di conversione o i tassi di errore durante un esperimento. Se si attiva un allarme, valuta l'impatto e decidi se interrompere l'esecuzione dell'esperimento o continuare. Per ulteriori informazioni sulla configurazione degli allarmi, vedere. Monitoraggio delle implementazioni per il rollback automatico
Coordinare le distribuzioni
Evita di introdurre importanti modifiche alle applicazioni durante l'esecuzione di un esperimento attivo. Le modifiche alla logica dei flag delle funzionalità, ai sistemi di backend o ai flussi utente possono invalidare i risultati degli esperimenti o complicare l'analisi. Se sono necessarie modifiche, interrompi l'esecuzione corrente e avviane una nuova dopo aver applicato gli aggiornamenti.
Inoltre, limita gli esperimenti sovrapposti che riguardano gli stessi utenti o funzionalità. Gli esperimenti sovrapposti possono alterare i risultati e introdurre comportamenti contrastanti. In breve, coordina attentamente gli esperimenti quando i segmenti di pubblico si sovrappongono.
Per informazioni dettagliate su come l'applicazione recupera un trattamento assegnato da AWS AppConfig Agent, incluse le Context intestazioni Entity-Id e, vedere. Recupero dei trattamenti sperimentali
Considerazioni sulle prestazioni
Quando avvii un esperimento, monitora le prestazioni dell'applicazione monitorando le metriche operative durante l'esecuzione. In particolare, monitora:
Latenza
Tassi di errore
Throughput
Utilizzo delle risorse
Un trattamento può influire sul comportamento del sistema anche se le metriche dell'esperimento appaiono positive. L'esposizione graduale aiuta a identificare questi problemi in modo sicuro.
Convalida le prestazioni sul lato client
Per gli esperimenti sull'interfaccia utente, monitora:
Tempo di caricamento della pagina
Prestazioni di rendering
Client-side errori
Device-specific comportamento
Trattamenti diversi possono influire in modo diverso sulle prestazioni del frontend.
Principi operativi
Mentre un esperimento è in corso, tieni presente i seguenti principi operativi:
- Considerate gli esperimenti come cambiamenti di produzione
-
Anche piccoli esperimenti possono influire sulla stabilità delle applicazioni, sulle prestazioni, sull'esperienza utente e sulla qualità dei dati. Un monitoraggio accurato e un'esposizione graduale aiutano a ridurre i rischi migliorando al contempo la fiducia nei risultati degli esperimenti.
- Mantenere la coerenza del trattamento
-
Gli utenti dovrebbero ricevere lo stesso trattamento per tutta la durata del trattamento. Per ulteriori informazioni sulla progettazione del trattamento, vedereInformazioni su controlli e trattamenti.
- Convalidare la strumentazione
-
Prima di aumentare l'esposizione, verificate che le metriche siano registrate correttamente e che i registri includano le informazioni sul trattamento.
- Monitora le metriche specifiche dell'esperimento
-
Oltre alle metriche operative, monitora le metriche direttamente correlate all'esperimento, ad esempio:
Tasso di conversione
Coinvolgimento delle funzionalità
Click-through tasso
Frequenza di errore
Mantenimento degli utenti
Scegli metriche in linea con l'obiettivo dell'esperimento.
