Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Misurazione dell'impatto delle raccomandazioni con i test A/B
L'esecuzione di un test A/B consiste nell'eseguire un esperimento con più varianti e nel confrontare i risultati. L'esecuzione di test A/B con i consigli di Amazon Personalize implica mostrare a diversi gruppi di utenti diversi tipi di consigli e quindi confrontare i risultati. Puoi utilizzare i test A/B per confrontare e valutare diverse strategie di raccomandazione e misurare l'impatto dei consigli.
Ad esempio, potresti utilizzare i test A/B per vedere se i consigli di Amazon Personalize aumentano la percentuale di clic. Per testare questo scenario, potresti mostrare a un gruppo di utenti consigli non personalizzati, come i prodotti in evidenza. E potresti mostrare a un altro gruppo consigli personalizzati generati da Amazon Personalize. Man mano che i tuoi clienti interagiscono con gli articoli, puoi registrare i risultati e vedere quale strategia genera la percentuale di clic più elevata.
Il flusso di lavoro per eseguire test A/B con i consigli di Amazon Personalize è il seguente:
-
Pianifica il tuo esperimento: definisci un'ipotesi quantificabile, identifica gli obiettivi aziendali, definisci le varianti dell'esperimento e determina la tempistica dell'esperimento.
-
Dividi gli utenti: dividi gli utenti in due o più gruppi, con un gruppo di controllo e uno o più gruppi di esperimenti.
-
Esegui l'esperimento: mostra agli utenti del gruppo di esperimenti consigli modificati. Mostra le raccomandazioni agli utenti del gruppo di controllo senza modifiche. Registra le loro interazioni con consigli per tenere traccia dei risultati.
-
Valuta i risultati: analizza i risultati dell'esperimento per determinare se la modifica ha apportato una differenza statisticamente significativa per il gruppo sperimentale.
Puoi usare Amazon CloudWatch Evidently per eseguire test A/B con i consigli di Amazon Personalize. Con CloudWatch Evidently, puoi definire il tuo esperimento, tenere traccia degli indicatori chiave di prestazione (KPIs), indirizzare il traffico delle richieste di raccomandazione verso la risorsa Amazon Personalize pertinente e valutare i risultati dell'esperimento. Per ulteriori informazioni, consulta Test A/B con CloudWatch Evidently.
Best practice per i test A/B
Utilizza le seguenti best practice per aiutarti a progettare e gestire test A/B per i consigli di Amazon Personalize.
-
Identifica un obiettivo aziendale quantificabile. Verifica che i diversi consigli che desideri confrontare siano entrambi in linea con questo obiettivo aziendale e non siano correlati a obiettivi diversi o non quantificabili.
-
Definite un'ipotesi quantificabile che sia in linea con il vostro obiettivo aziendale. Ad esempio, potresti prevedere che una promozione per i tuoi contenuti personalizzati genererà il 20% in più di clic su questi articoli. La vostra ipotesi determina la modifica da apportare al gruppo di esperimenti.
-
Definite gli indicatori chiave di performance pertinenti (KPIs) relativi alla vostra ipotesi. Lo usi KPIs per misurare il risultato dei tuoi esperimenti. Questi potrebbero essere i seguenti:
-
Percentuale di clic
-
Tempo di visualizzazione
-
Prezzo totale
-
-
Verifica che il numero totale di utenti partecipanti all'esperimento sia sufficientemente ampio da ottenere un risultato statisticamente significativo, a seconda dell'ipotesi.
-
Definisci la tua strategia di suddivisione del traffico prima di iniziare l'esperimento. Evita di modificare la suddivisione del traffico mentre l'esperimento è in corso.
-
Mantieni la stessa esperienza utente dell'applicazione o del sito Web sia per il gruppo di esperimento che per il gruppo di controllo, ad eccezione delle modifiche relative all'esperimento (ad esempio, il modello). Le variazioni nell'esperienza utente, come l'interfaccia utente o la latenza, possono portare a risultati fuorvianti.
-
Controlla i fattori esterni, come le festività, le campagne di marketing in corso e le limitazioni del browser. Questi fattori esterni possono portare a risultati fuorvianti.
-
Evita di modificare i consigli di Amazon Personalize a meno che non siano direttamente correlati alla tua ipotesi o ai requisiti aziendali. Modifiche come l'applicazione di un filtro o la modifica manuale dell'ordine possono portare a risultati fuorvianti.
-
Quando valuti i risultati, assicurati che siano statisticamente significativi prima di trarre conclusioni. Lo standard di settore è un livello di significatività del 5%.
