Divergencia de Kullback-Leibler (KL)

La divergencia de Kullback-Leibler (KL) mide en qué medida la distribución de etiquetas observadas de la faceta a, P_a(y), diverge de la distribución de la faceta d, P_d(y). También se conoce como entropía relativa de P_a(y) con respecto a P_d(y) y cuantifica la cantidad de información que se pierde al pasar de P_a(y) a P_d(y).

La fórmula de la divergencia de Kullback-Leibler es la siguiente:

        KL(P_a || P_d) = ∑_yP_a(y)_*log[P_a(y)/P_d(y)]

Es la expectativa de la diferencia logarítmica entre las probabilidades P_a(y) y P_d(y), donde la expectativa se pondera con las probabilidades P_a(y). No se trata de una distancia real entre las distribuciones, ya que es asimétrica y no satisface la desigualdad triangular. La implementación usa logaritmos naturales, dando KL en unidades de nats. Si se utilizan diferentes bases logarítmicas, se obtienen resultados proporcionales pero en unidades diferentes. Por ejemplo, si se utiliza la base 2, se obtiene KL en unidades de bits.

Por ejemplo, supongamos que un grupo de solicitantes de préstamos tiene una tasa de aprobación del 30 % (faceta d) y que la tasa de aprobación de otros solicitantes (faceta a) es del 80 %. La fórmula de Kullback-Leibler proporciona la divergencia de distribución de etiquetas entre la faceta a y la faceta d de la siguiente manera:

        KL = 0,8*ln(0,8/0,3) + 0,2*ln(0,2/0,7) = 0,53

Aquí hay dos términos en la fórmula porque las etiquetas son binarias en este ejemplo. Esta medida se puede aplicar a varias etiquetas además de a las binarias. Por ejemplo, en un escenario de admisión a la universidad, supongamos que a un candidato se le puede asignar una de las tres categorías siguientes: y_i = {y₀, y₁, y₂} = {rechazado, en lista de espera, aceptado}.

El rango de valores de la métrica KL para los resultados binarios, multicategoría y continuos es [0, +∞).