Divergência de Kullback-Leibler (KL)

A divergência de Kullback-Leibler (KL) mede o quanto a distribuição observada do rótulo da faceta a, P_a(y) diverge da distribuição da faceta d, P_d(y). Também é conhecida como entropia relativa de P_a(y) em relação a P_d(y) e quantifica a quantidade de informação perdida ao passar de P_a(y) para P_d(y).

A fórmula para a divergência de Kullback-Leibler é a seguinte:

        KL(P_a || P_d) = ∑_yP_a(y)_*log[P_a(y)/P_d(y)]

É a expectativa da diferença logarítmica entre as probabilidades P_a(y) e P_d(y), onde a expectativa é ponderada pelas probabilidades P_a(y). Essa não é uma distância real entre as distribuições, pois é assimétrica e não satisfaz a desigualdade triangular. A implementação usa logaritmos naturais, fornecendo KL em unidades de nats. O uso de bases logarítmicas diferentes fornece resultados proporcionais, mas em unidades diferentes. Por exemplo, usar a base 2 fornece KL em unidades de bits.

Por exemplo, suponha que um grupo de solicitantes de empréstimos tenha uma taxa de aprovação de 30% (faceta d) e que a taxa de aprovação de outros solicitantes (faceta a) seja de 80%. A fórmula de Kullback-Leibler fornece a divergência de distribuição de rótulos da faceta a da faceta d da seguinte forma:

        KL = 0,8*ln(0,8/0,3) + 0,2*ln(0,2/0,7) = 0,53

Há dois termos na fórmula aqui porque os rótulos são binários neste exemplo. Essa medida pode ser aplicada a vários rótulos, além dos binários. Por exemplo, em um cenário de admissão em faculdades, suponha que um candidato possa receber um dos três rótulos de categoria: y_i = {y₀, y₁, y₂} = {rejeitado, em lista de espera, aceito}.

Intervalo de valores da métrica KS para resultados binários, multicategóricos e contínuos: [0, +∞).