Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Metriche di valutazione del modello ML di AWS Clean Rooms
Clean Rooms ML calcola il punteggio di richiamo e pertinenza per determinare le prestazioni del modello. Recall confronta la somiglianza tra i dati simili e i dati di addestramento. Il punteggio di pertinenza viene utilizzato per decidere quanto deve essere numeroso il pubblico, non se il modello ha buone prestazioni.
Il richiamo è una misura imparziale della somiglianza del segmento simile ai dati di addestramento. Il richiamo è la percentuale degli utenti più simili (per impostazione predefinita, il 20% più simile) ricavata da un campione di dati di formazione inclusi nella sezione seed audience by the audience job. I valori vanno da 0 a 1, valori più alti indicano un pubblico migliore. Un valore di richiamo approssimativamente uguale alla percentuale massima di bin indica che il modello di audience è equivalente alla selezione casuale.
Riteniamo che questa sia una metrica di valutazione migliore rispetto all'accuratezza, alla precisione e ai punteggi F1, perché Clean Rooms ML non ha etichettato con precisione i veri utenti negativi durante la creazione del modello.
Segment-level il punteggio di pertinenza è una misura della somiglianza con valori che vanno da -1 (meno simile) a 1 (il più simile). Clean Rooms ML calcola una serie di punteggi di pertinenza per segmenti di varie dimensioni per aiutarti a determinare la dimensione del segmento migliore per i tuoi dati. I punteggi di pertinenza diminuiscono in modo monotono all'aumentare della dimensione del segmento, quindi all'aumentare della dimensione del segmento può essere meno simile ai dati iniziali. Quando il punteggio di pertinenza a livello di segmento raggiunge 0, il modello prevede che tutti gli utenti del segmento lookalike appartengano alla stessa distribuzione dei dati iniziali. Se si aumenta la dimensione dell'output, è probabile che nel segmento lookalike vengano inclusi utenti che non appartengono alla stessa distribuzione dei dati iniziali.
I punteggi di pertinenza sono normalizzati all'interno di una singola campagna e non devono essere utilizzati per il confronto tra le campagne. I punteggi di pertinenza non devono essere utilizzati come prova univoca per qualsiasi risultato aziendale, poiché sono influenzati da diversi fattori complessi oltre alla pertinenza, come la qualità dell'inventario, il tipo di inventario, la tempistica della pubblicità e così via.
I punteggi di pertinenza non devono essere utilizzati per giudicare la qualità del seme, ma piuttosto se può essere aumentata o diminuita. Considerare i seguenti esempi:
-
Tutti punteggi positivi: ciò indica che ci sono più utenti di output previsti simili rispetto a quelli inclusi nel segmento dei lookalike. Questo è comune per i dati sulle sementi che fanno parte di un grande mercato, ad esempio chiunque abbia acquistato dentifricio nell'ultimo mese. Consigliamo di esaminare dati più piccoli sui semi, ad esempio su tutti coloro che hanno acquistato dentifricio più di una volta nell'ultimo mese.
-
Tutti i punteggi sono negativi o negativi per la dimensione del segmento simile desiderata: ciò indica che Clean Rooms ML prevede che non ci siano abbastanza utenti simili nella dimensione del segmento simile desiderata. Ciò può essere dovuto al fatto che i dati iniziali sono troppo specifici o che il mercato è troppo piccolo. Consigliamo di applicare meno filtri ai dati iniziali o di ampliare il mercato. Ad esempio, se i dati iniziali originari riguardavano clienti che hanno acquistato un passeggino e un seggiolino auto, potresti espandere il mercato ai clienti che hanno acquistato più prodotti per bambini.
I fornitori di dati di formazione determinano se i punteggi di pertinenza sono esposti e i cestini in cui vengono calcolati i punteggi di pertinenza.
