Misura dei bias pre-addestramento

Misurare i bias nei modelli ML è un primo passo per mitigare i bias. Ogni misura di bias corrisponde a una diversa nozione di equità. Anche la considerazione di semplici concetti di equità porta a molte misure diverse applicabili in vari contesti. Si consideri, ad esempio, l'equità rispetto all'età e, per semplicità, che le due fasce demografiche rilevanti, denominate facet, siano gli individui di mezza età e il resto della popolazione. Nel caso di un modello di ML per l'erogazione di prestiti, potremmo volere che i prestiti alle piccole imprese vengano emessi a un numero uguale di entrambi i gruppi demografici. Oppure, quando elaboriamo i candidati per un lavoro, potremmo voler vedere un numero uguale di membri di ogni gruppo demografico assunti. Tuttavia, questo approccio può presupporre che per questi lavori si candidino lo stesso numero di persone di entrambe le fasce d'età, quindi potremmo decidere di stabilire una condizione per il numero di candidature. Inoltre, potremmo voler considerare non se si candidi lo stesso numero di persone, ma se abbiamo lo stesso numero di candidati qualificati. In alternativa, possiamo considerare l'equità come un uguale tasso di accettazione di candidati qualificati in entrambe le fasce di età, oppure un uguale tasso di rifiuto dei candidati, o entrambi. È possibile utilizzare set di dati con proporzioni diverse di dati sugli attributi di interesse. Questo squilibrio può confondere la misura di bias scelta. I modelli potrebbero essere più accurati nella classificazione di un facet rispetto all'altro. Pertanto, è necessario scegliere metriche di bias concettualmente appropriate per l'applicazione e la situazione.

Utilizziamo la seguente notazione per discutere le metriche di bias. Il modello concettuale qui descritto riguarda la classificazione binaria, in cui gli eventi sono etichettati come aventi solo due esiti possibili nel loro spazio di esempio, indicati come positivo (con valore 1) e negativo (con valore 0). Questo framework è generalmente estensibile alla classificazione multicategoria in modo semplice o ai casi che comportano esiti con valori continui quando necessario. Nel caso della classificazione binaria, le etichette positive e negative vengono assegnate agli esiti registrati in un set di dati non elaborati per un facet favorito a e per un facet sfavorito d. Queste etichette y vengono chiamate etichette osservate per distinguerle dalle etichette previste y' che vengono assegnate da un modello di machine learning durante le fasi di addestramento o inferenza del ciclo di vita ML. Queste etichette vengono utilizzate per definire le distribuzioni di probabilità P_a(y) e P_d(y) per i rispettivi esiti facet.

I modelli addestrati su dati di parte rispetto a disparità demografiche potrebbero apprenderle e persino aggravarle. Per identificare le distorsioni nei dati prima di spendere risorse per addestrare modelli su di essi, SageMaker Clarify fornisce metriche di distorsione dei dati che puoi calcolare su set di dati grezzi prima dell'addestramento. Tutte le metriche pre-addestramento sono indipendenti dal modello perché non dipendono dagli output del modello e quindi sono valide per qualsiasi modello. La prima metrica di bias esamina lo squilibrio tra i facet, ma non gli esiti. Determina la misura in cui la quantità di dati di addestramento è rappresentativa tra i diversi facet, come richiesto per l'applicazione. Le restanti metriche di bias confrontano la distribuzione delle etichette degli esiti in vari modi per i facet a e d nei dati. Le metriche che analizzano i valori negativi possono rilevare bias negativi. La tabella seguente contiene una guida con istruzioni rapide e collegamenti alle metriche di bias pre-addestramento.

Metriche di bias pre-addestramento

Per ulteriori informazioni sulle metriche di bias, consulta Misure di equità per il machine learning nella finanza.