Regresión lineal

La regresión lineal busca la línea recta que mejor describe la relación entre una variable que queremos predecir y una o más variables que usamos como pistas. Es el "hola mundo" del aprendizaje automático: simple, transparente y sorprendentemente útil.

Un ejemplo cotidiano

Imagina que queremos predecir el precio de una casa ($y$) a partir de sus metros cuadrados ($x$). Si dibujamos muchas casas como puntos en un gráfico, notaremos que, en general, a más metros, mayor precio. La regresión lineal traza la recta que pasa "por el medio" de esa nube de puntos.

El modelo

Con una sola variable, el modelo es la ecuación de una recta:

$$\hat{y}={\beta }_0+{\beta }_{1}x$$

donde:

• $\hat{y}$ es el valor predicho (el "sombrero" indica predicción),
• ${\beta }_0$ es el intercepto (el valor de $y$ cuando $x=0$),
• ${\beta }_1$ es la pendiente (cuánto cambia $y$ por cada unidad de $x$).

Cuando tenemos varias pistas ($x_1,x_2,\dots ,x_p$) hablamos de regresión lineal múltiple:

$$\hat{y}={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_p{x}_p$$

¿Qué significa "la mejor" recta?

Para cada casa real comparamos su precio verdadero $y_i$ con el que predice la recta ${\hat{y}}_i$. La diferencia es el error o residuo:

$$e_i=y_i-{\hat{y}}_i$$

La recta ideal es la que hace esos errores lo más pequeños posible en conjunto. Para medirlo usamos el error cuadrático medio (MSE, por sus siglas en inglés):

$$\text{MSE}=\frac{1}{n}\sum _{i=1}^n{\left(y_i-{\hat{y}}_i\right)}^2$$

Elevamos al cuadrado por dos razones: así los errores positivos y negativos no se cancelan, y penalizamos más los errores grandes.

Encontrar los coeficientes

"Entrenar" el modelo significa elegir ${\beta }_0$ y ${\beta }_1$ que minimizan el MSE. A este método se le llama mínimos cuadrados. Para el caso de una variable, la solución tiene una fórmula cerrada elegante:

$${\beta }_1=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2},{\beta }_0=\bar{y}-{\beta }_1\bar{x}$$

donde $\bar{x}$ y $\bar{y}$ son los promedios de $x$ e $y$. Fíjate que la pendiente no es otra cosa que la covarianza entre $x$ e $y$ dividida por la varianza de $x$.

En la práctica, con muchas variables, se resuelve en forma matricial:

$$\mathbf{\beta }=(X^{\top }X{)}^{-1}{X}^{\top }\mathbf{y}$$

¿Qué tan buena es la recta? El $R^2$

El coeficiente de determinación $R^2$ nos dice qué fracción de la variación de los datos logra explicar el modelo:

$$R^2=1-\frac{{\sum }_i(y_i-{\hat{y}}_i{)}^2}{{\sum }_i(y_i-\bar{y}{)}^2}$$

Vale entre $0$ y $1$. Un $R^2=0,85$ significa que el modelo explica el 85% de la variabilidad observada; el 15% restante queda como ruido o factores que no medimos.

Un ejemplo numérico paso a paso

Supongamos cinco casas, con sus metros cuadrados ($x$) y su precio en millones ($y$):

$x$ (m²)	$y$ (millones)
50	60
70	78
90	95
110	118
130	139

Los promedios son $\bar{x}=90$ y $\bar{y}=98$. Aplicando la fórmula de mínimos cuadrados:

$${\beta }_1=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x}{)}^2}=\frac{3960}{4000}=0,99,{\beta }_0=\bar{y}-{\beta }_1\bar{x}=98-0,99\cdot 90=8,9$$

El modelo queda $\hat{y}=8,9+0,99x$. La lectura es directa: cada metro cuadrado adicional agrega ≈ 0,99 millones al precio estimado. Para una casa de $100{\text{m}}^2$ predecimos $\hat{y}=8,9+0,99\cdot 100=107,9$ millones.

En código

Con scikit-learn, reproducir exactamente este ejemplo son tres líneas:

from sklearn.linear_model import LinearRegression
import numpy as np

X = np.array([[50], [70], [90], [110], [130]])  # metros cuadrados
y = np.array([60, 78, 95, 118, 139])            # precio en millones

modelo = LinearRegression().fit(X, y)

print(modelo.intercept_, modelo.coef_[0])  # ≈ 8.9  y  0.99
print(modelo.predict([[100]]))             # ≈ 107.9 millones
print(modelo.score(X, y))                  # R², cercano a 1

intercept_ es ${\beta }_0$, coef_ son las pendientes ${\beta }_j$ y score devuelve el $R^2$.

Cuando la fórmula cerrada no alcanza: descenso de gradiente

La solución matricial $(X^{\top }X{)}^{-1}{X}^{\top }\mathbf{y}$ es exacta, pero invertir la matriz se vuelve costoso (o inestable) con muchísimas variables. En esos casos se ajustan los coeficientes de forma iterativa, dando pasos en la dirección que más reduce el error:

$${\beta }_j\leftarrow {\beta }_j-\eta \frac{\partial \text{MSE}}{\partial {\beta }_j}$$

donde $\eta$ es la tasa de aprendizaje. Es el mismo motor que entrena a las redes neuronales, solo que aquí la función a minimizar es especialmente simple (convexa, con un único mínimo).

Regularización: cuando sobran variables

Con muchas variables el modelo puede sobreajustarse: memoriza el ruido de los datos de entrenamiento y generaliza mal. La regularización añade una penalización al tamaño de los coeficientes para mantenerlos "a raya":

• Ridge ($L_2$) penaliza ${\sum }_j{\beta }_j^2$: encoge todos los coeficientes hacia cero sin eliminarlos.
• Lasso ($L_1$) penaliza ${\sum }_j|{\beta }_j|$: puede llevar coeficientes exactamente a cero, haciendo selección de variables automática.

$${\mathcal{L}}_{\text{Ridge}}=\text{MSE}+\lambda \sum _{j=1}^p{\beta }_j^2$$

El hiperparámetro $\lambda$ controla cuánta penalización aplicar: $\lambda =0$ recupera la regresión clásica, y valores grandes producen modelos más simples y robustos.

Supuestos que conviene recordar

La regresión lineal asume, entre otras cosas, que:

1. La relación entre $x$ e $y$ es aproximadamente lineal.
2. Los errores tienen media cero y varianza constante (homocedasticidad).
3. Las observaciones son independientes entre sí.

Cuando estos supuestos se violan demasiado, las predicciones pierden confiabilidad y conviene revisar los datos o probar otros modelos.

Tabla resumen

Concepto	Fórmula	Qué representa
Modelo	$\hat{y}={\beta }_0+{\beta }_{1}x$	La recta que predice $y$ a partir de $x$
Intercepto	${\beta }_0$	Valor de $y$ cuando $x=0$
Pendiente	${\beta }_1$	Cambio en $y$ por cada unidad de $x$
Residuo	$e_i=y_i-{\hat{y}}_i$	Error de una predicción individual
Función de costo	$\text{MSE}=\frac{1}{n}{\sum }_i(y_i-{\hat{y}}_i{)}^2$	Lo que el modelo minimiza
Solución	$\mathbf{\beta }=(X^{\top }X{)}^{-1}{X}^{\top }\mathbf{y}$	Mínimos cuadrados en forma matricial
Bondad de ajuste	$R^2=1-\frac{{\sum }_i(y_i-{\hat{y}}_i{)}^2}{{\sum }_i(y_i-\bar{y}{)}^2}$	Fracción de la variación explicada (0 a 1)

Cuándo usarla	Cuándo evitarla
La salida es un número continuo (precio, temperatura, ventas)	La salida es una categoría → usa regresión logística
La relación es aproximadamente lineal	La relación es claramente curva o compleja
Quieres un modelo interpretable y rápido	Hay muchas interacciones no lineales entre variables

Para llevar

La regresión lineal traza la recta que minimiza la suma de los errores al cuadrado. Es interpretable —cada coeficiente tiene un significado claro— y por eso sigue siendo la primera herramienta que todo científico de datos prueba antes de complicar el modelo.