View a markdown version of this page

Bewertungsmetriken für das AWS Clean Rooms ML-Modell - AWS Clean Rooms

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bewertungsmetriken für das AWS Clean Rooms ML-Modell

Clean Rooms ML berechnet den Erinnerungs - und Relevanzwert, um zu ermitteln, wie gut Ihr Modell abschneidet. Recall vergleicht die Ähnlichkeit zwischen den Lookalike-Daten und den Trainingsdaten. Der Relevanzwert wird verwendet, um zu entscheiden, wie groß das Publikum sein sollte, und nicht, ob das Modell gut abschneidet.

Der Erinnerungswert ist ein unvoreingenommenes Maß dafür, wie ähnlich das Lookalike-Segment den Trainingsdaten ist. Bei der Erinnerung handelt es sich um den Prozentsatz der Nutzer, die sich am ähnlichsten sind (standardmäßig die 20%, die sich am ähnlichsten sind), bezogen auf eine Stichprobe der Trainingsdaten, die nach dem Auftrag zur Zielgruppengenerierung in die Startzielgruppe aufgenommen wurden. Die Werte reichen von 0 bis 1, größere Werte deuten auf eine bessere Zielgruppe hin. Ein Erinnerungswert, der ungefähr dem maximalen Prozentsatz an Bin-Werten entspricht, gibt an, dass das Zielgruppenmodell einer zufälligen Auswahl entspricht.

Wir halten dies für eine bessere Bewertungsmetrik als Genauigkeit, Präzision und F1-Werte, da Clean Rooms ML bei der Modellerstellung keine genau benannten echten negativen Nutzer hat.

Segment-level Der Relevanzwert ist ein Maß für die Ähnlichkeit mit Werten im Bereich von -1 (am wenigsten ähnlich) bis 1 (am ähnlichsten). Clean Rooms ML berechnet eine Reihe von Relevanzwerten für verschiedene Segmentgrößen, um Ihnen zu helfen, die beste Segmentgröße für Ihre Daten zu ermitteln. Die Relevanzwerte nehmen monoton ab, wenn die Segmentgröße zunimmt. Wenn die Segmentgröße zunimmt, kann es daher sein, dass die Segmentgröße den Ausgangsdaten weniger ähnlich ist. Wenn der Relevanzwert auf Segmentebene 0 erreicht, prognostiziert das Modell, dass alle Benutzer im Lookalike-Segment aus derselben Verteilung stammen wie die Startdaten. Wenn Sie die Ausgabegröße erhöhen, werden wahrscheinlich auch Benutzer aus dem Lookalike-Segment einbezogen, die nicht aus derselben Verteilung wie die Startdaten stammen.

Die Relevanzwerte werden innerhalb einer einzelnen Kampagne normalisiert und sollten nicht für kampagnenübergreifende Vergleiche verwendet werden. Relevanzwerte sollten nicht als Einzelnachweis für Geschäftsergebnisse verwendet werden, da diese neben der Relevanz auch von mehreren komplexen Faktoren beeinflusst werden, wie z. B. Inventarqualität, Art des Inventars, Zeitpunkt der Werbung usw.

Relevanzwerte sollten nicht dazu verwendet werden, die Qualität des Saatguts zu beurteilen, sondern vielmehr, ob sie erhöht oder verringert werden kann. Betrachten Sie die folgenden Beispiele:

  • Alle positiven Ergebnisse — Dies deutet darauf hin, dass es mehr Output-Nutzer gibt, die als ähnlich prognostiziert werden, als im Lookalike-Segment enthalten sind. Das ist häufig bei Saatgutdaten der Fall, die Teil eines großen Marktes sind, wie etwa alle, die im letzten Monat Zahnpasta gekauft haben. Wir empfehlen, sich kleinere Saatgutdaten anzusehen, z. B. alle, die im letzten Monat mehr als einmal Zahnpasta gekauft haben.

  • Alle Ergebnisse negativ oder negativ für Ihre gewünschte Lookalike-Segmentgröße — Dies deutet darauf hin, dass Clean Rooms ML prognostiziert, dass es in der gewünschten Lookalike-Segmentgröße nicht genügend ähnliche Benutzer gibt. Dies kann daran liegen, dass die Startdaten zu spezifisch sind oder der Markt zu klein ist. Wir empfehlen, entweder weniger Filter auf die Saatgutdaten anzuwenden oder den Markt zu erweitern. Wenn es sich bei den ursprünglichen Startdaten beispielsweise um Kunden handelte, die einen Kinderwagen und einen Autositz gekauft haben, könnten Sie den Markt auf Kunden ausdehnen, die mehrere Babyprodukte gekauft haben.

Die Anbieter von Trainingsdaten legen fest, ob die Relevanzwerte veröffentlicht werden, und legen fest, in welchen Behältern die Relevanzwerte berechnet werden.