Máquinas de Vectores de Soporte (SVM)

Una Máquina de Vectores de Soporte (SVM, Support Vector Machine) busca la frontera que separa dos clases dejando el mayor margen posible a ambos lados. No cualquier línea que separe: la que se aleja lo más posible de los ejemplos más difíciles.

El margen: separar con holgura

Imagina puntos de dos colores en un plano. Muchas rectas los separan, pero intuitivamente la mejor es la que pasa más lejos de los puntos de cada clase. Esa distancia se llama margen, y la SVM lo maximiza.

La frontera de decisión es un hiperplano definido por un vector de pesos $\mathbf{w}$ y un sesgo $b$:

$${\mathbf{w}}^{\top }\mathbf{x}+b=0$$

Un punto se clasifica según el signo de ${\mathbf{w}}^{\top }\mathbf{x}+b$. Maximizar el margen equivale a minimizar la norma de $\mathbf{w}$:

$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2\text{sujeto a}{y}_i({\mathbf{w}}^{\top }{\mathbf{x}}_i+b)\ge 1$$

donde $y_i\in \{-1,+1\}$ es la etiqueta de cada ejemplo.

Los vectores de soporte

Solo unos pocos puntos —los que quedan justo sobre el borde del margen— determinan dónde va la frontera. Esos son los vectores de soporte. Si movieras cualquier otro punto lejano, la frontera no cambiaría; si mueves un vector de soporte, sí. De ahí el nombre.

Margen blando: tolerar errores

Los datos reales rara vez se separan de forma perfecta. La SVM introduce variables de holgura ${\xi }_i$ que permiten algunas violaciones del margen, penalizadas por un parámetro $C$:

$$\underset{\mathbf{w},b,\xi }{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _i{\xi }_i$$

• Un $C$ grande castiga mucho los errores: frontera ajustada, riesgo de sobreajuste.
• Un $C$ pequeño tolera más errores: frontera más suave, mejor generalización.

El truco del kernel

¿Y si las clases no se separan con una recta? El truco del kernel proyecta los datos a un espacio de mayor dimensión donde sí son separables, sin calcular esa proyección explícitamente. Basta con una función $K({\mathbf{x}}_i,{\mathbf{x}}_j)$ que mide similitud. El más popular es el RBF (gaussiano):

$$K({\mathbf{x}}_i,{\mathbf{x}}_j)=\exp \left(-\gamma \Vert {\mathbf{x}}_i-{\mathbf{x}}_j{\Vert }^2\right)$$

Esto permite fronteras curvas y complejas manteniendo la matemática del margen intacta.

En código

Con scikit-learn se elige el kernel y el parámetro $C$ directamente:

from sklearn.svm import SVC

# kernel="rbf" habilita fronteras no lineales; C regula la tolerancia a errores.
modelo = SVC(kernel="rbf", C=1.0, gamma="scale").fit(X_train, y_train)

modelo.predict(X_test)
print(modelo.support_vectors_.shape)  # cuántos vectores de soporte se usaron

Conviene escalar las variables antes de entrenar una SVM (con StandardScaler), porque el margen depende de las distancias entre puntos.

Para llevar

La SVM separa clases maximizando el margen, apoyándose solo en los ejemplos más difíciles (los vectores de soporte). Con el truco del kernel maneja fronteras no lineales. Es potente en espacios de muchas dimensiones, aunque escala mal con conjuntos de datos enormes. En la próxima lección empezamos con otra familia, desde su unidad básica: los árboles de decisión.