Regresión logística

Cómo predecir categorías (sí/no) convirtiendo una combinación de variables en una probabilidad mediante la función sigmoide. El clasificador de referencia.

La regresión logística se usa cuando lo que queremos predecir no es un número, sino una categoría: ¿el correo es spam o no?, ¿el paciente tiene la enfermedad o no?, ¿el cliente comprará o no? En vez de una recta, ajusta una curva que entrega probabilidades entre 0 y 1.

¿Por qué no usar regresión lineal?

Si intentáramos predecir una etiqueta de "sí (1) / no (0)" con una recta, tarde o temprano la recta entregaría valores absurdos como $1, 7$ o $- 0, 3$ , que no son probabilidades válidas. Necesitamos una función que comprima cualquier número real al rango $[0, 1]$ . Esa función es la sigmoide.

La función sigmoide

σ (z) = \frac{1}{1 + e ^{- z}}

Tiene forma de "S": para valores muy negativos de $z$ tiende a $0$ , para valores muy positivos tiende a $1$ , y en $z = 0$ vale exactamente $0, 5$ .

$z$	$σ (z)$
$- 4$	$0, 018$
$0$	$0, 5$
$+ 4$	$0, 982$

La sigmoide convierte cualquier valor real z en una probabilidad entre 0 y 1; en z = 0 vale exactamente 0,5.

El modelo

Primero combinamos las variables de entrada de forma lineal, igual que en la regresión lineal:

z = β_{0} + β_{1} x_{1} + β_{2} x_{2} + \dots + β_{p} x_{p}

Luego pasamos ese resultado por la sigmoide para obtener la probabilidad de que la respuesta sea "sí" ( $y = 1$ ):

p = P (y = 1 ∣ x) = σ (z) = \frac{1}{1 + e ^{- (β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p})}}

Para decidir la categoría final aplicamos un umbral, normalmente $0, 5$ :

\overset{y}{^} = {10 si p \geq 0, 5 si p < 0, 5

Interpretando los coeficientes: los odds

Aquí aparece la magia del modelo. Si reordenamos la ecuación, obtenemos que la combinación lineal equivale al logaritmo de la razón de probabilidades (log-odds):

ln (\frac{p}{1 - p}) = β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p}

Esto significa que cada coeficiente $β_{j}$ tiene una lectura concreta: al aumentar $x_{j}$ en una unidad, los odds se multiplican por $e^{β_{j}}$ . Por eso la regresión logística es muy popular en medicina y economía, donde la interpretación importa tanto como la predicción.

Un ejemplo con números

Imagina un modelo que predice si un paciente desarrollará cierta enfermedad a partir de su edad, con $β_{1} = 0, 04$ . Entonces $e^{0, 04} \approx 1, 041$ : cada año adicional multiplica los odds por 1,041, es decir, los aumenta un ~4%. Si además el modelo entrega para un paciente $z = 0, 5$ , su probabilidad estimada es:

p = σ (0, 5) = \frac{1}{1 + e ^{- 0, 5}} \approx 0, 62

Como $0, 62 \geq 0, 5$ , el modelo lo clasifica como caso positivo, pero con una confianza moderada: no es lo mismo un $0, 62$ que un $0, 98$ .

¿Cómo se entrena?

A diferencia de la regresión lineal, aquí no hay fórmula cerrada. Buscamos los coeficientes que hacen más probables los datos observados, maximizando la verosimilitud. En la práctica se minimiza su versión negativa, llamada entropía cruzada binaria (log loss):

L (β) = - \frac{1}{n} i = 1 \sum n [y_{i} ln (p_{i}) + (1 - y_{i}) ln (1 - p_{i})]

La intuición: si la etiqueta real es $1$ , el término activo es $ln (p_{i})$ , que castiga fuertemente cuando el modelo asigna una probabilidad baja a algo que sí ocurrió. La minimización se hace con métodos iterativos como el descenso de gradiente:

β_{j} \leftarrow β_{j} - η \frac{\partial L}{\partial β _{j}}

donde $η$ es la tasa de aprendizaje, que controla el tamaño de cada paso.

Midiendo el desempeño

Como predecimos categorías, no usamos el MSE sino métricas de clasificación. A partir de la matriz de confusión (verdaderos/falsos positivos y negativos) calculamos, por ejemplo:

Precisi \overset{o}{ˊ} n = \frac{V P}{V P + F P}, Exhaustividad (recall) = \frac{V P}{V P + F N}

F_{1} = 2 \cdot \frac{Precisi o ˊ n \cdot Recall}{Precisi o ˊ n + Recall}

El umbral de $0, 5$ no es sagrado: subirlo o bajarlo equilibra la precisión frente a la exhaustividad según lo que cueste cada tipo de error. La curva ROC y su área bajo la curva (AUC) resumen ese equilibrio para todos los umbrales posibles de un vistazo.

Más allá de dos clases: softmax

La regresión logística clásica es binaria (sí/no), pero se generaliza a varias categorías con la función softmax, que reparte la probabilidad entre $K$ clases de modo que sumen $1$ :

P (y = k ∣ x) = \frac{e ^{z_{k}}}{\sum _{j = 1}^{K} e ^{z_{j}}}

A esta versión se le llama regresión logística multinomial (o softmax regression), y es exactamente la capa final que usan muchas redes neuronales para clasificar entre múltiples etiquetas.

Regularización

Igual que en la regresión lineal, podemos añadir una penalización $L_{1}$ (Lasso) o $L_{2}$ (Ridge) a la función de costo para evitar el sobreajuste cuando hay muchas variables. En la práctica de librerías como scikit-learn, este control aparece como el hiperparámetro $C$ (inverso de la fuerza de regularización): valores pequeños de $C$ regularizan más y producen coeficientes más conservadores.

Tabla resumen

Concepto	Fórmula	Qué representa
Combinación lineal	$z = β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p}$	Mezcla de las variables de entrada
Sigmoide	$σ (z) = \frac{1}{1 + e ^{- z}}$	Comprime $z$ al rango $[0, 1]$
Probabilidad	$p = σ (z)$	Probabilidad de la clase "sí" ( $y = 1$ )
Log-odds	$ln \frac{p}{1 - p} = z$	Lectura interpretable de los coeficientes
Función de costo	$- \frac{1}{n} \sum_{i} [y_{i} ln p_{i} + (1 - y_{i}) ln (1 - p_{i})]$	Entropía cruzada que se minimiza
Decisión	$\overset{y}{^} = 1$ si $p \geq 0, 5$	Conversión de probabilidad a categoría

Aspecto	Regresión lineal	Regresión logística
Qué predice	Un número continuo	Una probabilidad / categoría
Salida	$(- \infty, + \infty)$	$[0, 1]$
Función de enlace	Ninguna (identidad)	Sigmoide
Función de costo	Error cuadrático (MSE)	Entropía cruzada (log loss)
Entrenamiento	Fórmula cerrada	Iterativo (descenso de gradiente)
Métrica típica	$R^{2}$ , MSE	Precisión, recall, $F_{1}$

En código

En scikit-learn cambia una sola palabra respecto a la regresión lineal, y además podemos pedir la probabilidad, no solo la clase:

from sklearn.linear_model import LogisticRegression

modelo = LogisticRegression().fit(X_train, y_train)

modelo.predict(X_test)               # la clase predicha: 0 o 1
modelo.predict_proba(X_test)[:, 1]   # la probabilidad de la clase 1

Por defecto, predict usa el umbral de $0, 5$ ; si un problema exige más cautela (por ejemplo, un diagnóstico), se puede subir o bajar ese umbral sobre predict_proba.

Para llevar

La regresión logística es una regresión lineal "envuelta" en una sigmoide. Convierte una combinación de variables en una probabilidad, es fácil de interpretar mediante los odds, y constituye la base conceptual de las redes neuronales: una neurona artificial es, en esencia, una regresión logística.