Unterschied bei der bedingten Akzeptanz () DCAcc - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Unterschied bei der bedingten Akzeptanz () DCAcc

Diese Metrik vergleicht die beobachteten Kennzeichnungen mit den vom Modell vorhergesagten Kennzeichnungen und bewertet, ob diese Werte bei vorhergesagten positiven Ergebnissen für alle Facetn gleich sind. Diese Metrik ahmt menschliche Verzerrungen insofern sehr nach, als sie quantifiziert, wie viele positive Ergebnisse ein Modell für eine bestimmte Facet vorhergesagt hat (mit 'y' bezeichnet), verglichen mit den Ergebnissen, die im Trainingsdatensatz beobachtet wurden (Bezeichnungen y). Wenn beispielsweise im Trainingsdatensatz für Kreditanträge für eine Gruppe mittleren Alters (Facet a) mehr Akzeptanz festgestellt wurde (ein positives Ergebnis) als von dem auf Qualifikationen basierenden Modell vorhergesagt wurde als in der Facet, die andere Altersgruppen umfasst (Facet d), könnte dies auf mögliche Verzerrungen bei der Kreditvergabe zugunsten der Gruppe mittleren Alters hindeuten.

Die Formel für den Unterschied in der bedingten Akzeptanz lautet wie folgt:

        DCAcc= c a — c d

Wobei gilt:

  • ca = na(1)/ n'a(1) ist das Verhältnis der beobachteten Anzahl positiver Ergebnisse mit dem Wert 1 (Akzeptanz) von Facet a zur vorhergesagten Anzahl positiver Ergebnisse (Akzeptanz) für Facet a.

  • cd = nd(1)/ n'd(1) ist das Verhältnis der beobachteten Anzahl positiver Ergebnisse mit dem Wert 1 (Akzeptanz) der Facet d zur prognostizierten Anzahl der vorhergesagten positiven Ergebnisse (Akzeptanz) für Facet d.

Mit der DCAcc Kennzahl können sowohl positive als auch negative Verzerrungen erfasst werden, die auf eine bevorzugte Behandlung aufgrund von Qualifikationen schließen lassen. Betrachten Sie die folgenden Fälle altersbedingter Vorurteile bei der Annahme von Krediten.

Beispiel 1: Positive Verzerrung

Nehmen wir an, wir haben einen Datensatz mit 100 Personen mittleren Alters (Facet a) und 50 Personen aus anderen Altersgruppen (Facet d), die Kredite beantragt haben, wobei das Modell empfahl, 60 Personen aus Facet a und 30 aus Facet d Kredite zu vergeben. Die prognostizierten Anteile sind also in Bezug auf die DPPL Metrik unvoreingenommen, aber die beobachteten Kennzeichnungen zeigen, dass 70 von Facette a und 20 von Facette d Kredite gewährt wurden. Mit anderen Worten, das Modell gewährte Kredite an 17% weniger Personen im mittleren Alter, als es die beobachteten Angaben in den Trainingsdaten nahelegen (70/60 = 1,17), und es wurden 33% mehr Personen aus anderen Altersgruppen Kredite gewährt, als es die beobachteten Beschriftungen vermuten ließen (20/30 = 0,67). Die Berechnung des DCAcc Werts ergibt Folgendes:

        DCAcc= 70/60 - 20/30 = 1/2

Der positive Wert weist darauf hin, dass ein potenzieller Bias gegenüber der Facet a mittleren Alters mit einer niedrigeren Akzeptanzrate als der anderen Facet d besteht, als es die beobachteten Daten (als unvoreingenommen betrachtet) vermuten lassen.

Beispiel 2: Negativer Bias

Nehmen wir an, wir haben einen Datensatz mit 100 Personen mittleren Alters (Facet a) und 50 Personen aus anderen Altersgruppen (Facet d), die Kredite beantragt haben, wobei das Modell empfahl, 60 Personen aus Facet a und 30 aus Facet d Kredite zu vergeben. Die prognostizierten Anteile sind also in Bezug auf die DPPL Metrik unvoreingenommen, aber die beobachteten Werte zeigen, dass 50 von Facette a und 40 von Facette d Kredite gewährt wurden. Mit anderen Worten, das Modell gewährte Kredite an 17% weniger Personen im mittleren Alter, als die beobachteten Bezeichnungen in den Trainingsdaten vermuten ließen (50/60 = 0,83), und an 33% mehr Kredite aus anderen Altersgruppen als die beobachteten Beschriftungen vermuten ließen (40/30 = 1,33). Die Berechnung des DCAcc Werts ergibt Folgendes:

        DCAcc= 50/60 - 40/30 = -1/2

Der negative Wert weist darauf hin, dass ein potenzieller Bias gegenüber der Facet d mit einer niedrigeren Akzeptanzrate als bei der Facet a mittleren Alters vorliegt, als es die beobachteten Daten (als unvoreingenommen betrachtet) vermuten lassen.

Beachten Sie, dass Sie es verwenden können, DCAcc um potenzielle (unbeabsichtigte) Verzerrungen zu erkennen, die durch Menschen verursacht werden, die die Modellvorhersagen in einer Umgebung überwachen. human-in-the-loop Nehmen wir zum Beispiel an, dass die Vorhersagen y' durch das Modell unvoreingenommen waren, aber die letztendliche Entscheidung wird von einem Menschen getroffen (möglicherweise mit Zugriff auf zusätzliche Funktionen), der die Modellvorhersagen ändern kann, um eine neue und endgültige Version von y zu generieren. Die zusätzliche Verarbeitung durch den Menschen kann dazu führen, dass ungewollt Kredite an eine unverhältnismäßige Anzahl von Personen aufgrund einer Facet verweigert werden. DCAcckann dabei helfen, solche potenziellen Verzerrungen zu erkennen.

Der Wertebereich für Unterschiede in der bedingten Akzeptanz für binäre, mehrkategoriale Facetnbezeichnungen und kontinuierliche Beschriftungen ist (-∞, +∞).

  • Positive Werte liegen vor, wenn das Verhältnis der beobachteten Anzahl von Annahmen zu den vorhergesagten Annahmen für Facet a höher ist als das gleiche Verhältnis für Facet d. Diese Werte deuten auf eine mögliche Voreingenommenheit gegenüber den qualifizierten Bewerbern aus Facet a hin. Je größer der Unterschied zwischen den Verhältnissen ist, desto extremer ist die scheinbare Verzerrung.

  • Werte nahe Null liegen vor, wenn das Verhältnis der beobachteten Anzahl von Annahmen zu den vorhergesagten Annahmen für Facet a dem Verhältnis für Facet d entspricht. Diese Werte deuten darauf hin, dass die prognostizierten Annahmequoten mit den beobachteten Werten in den gekennzeichneten Daten übereinstimmen und dass qualifizierte Bewerber aus beiden Facetn auf ähnliche Weise aufgenommen werden.

  • Negative Werte liegen vor, wenn das Verhältnis der beobachteten Anzahl von Annahmen zu den prognostizierten Annahmen für Facet a geringer ist als das Verhältnis für Facet d. Diese Werte deuten auf eine mögliche Voreingenommenheit gegenüber den qualifizierten Bewerbern aus Facet d hin. Je negativer der Unterschied in den Verhältnissen ist, desto extremer ist die offensichtliche Verzerrung.