IntermedioInteligencia Artificial6 min de lectura

Temperatura

El mando que controla cuán creativo o predecible es un LLM: reescala las probabilidades de cada palabra antes de muestrear.

La temperatura es el mando que controla cuán creativo o predecible es un modelo de lenguaje al generar texto. Baja la temperatura y responde de forma segura y repetitiva; súbela y arriesga opciones menos obvias.

Recordemos: el modelo elige palabras por probabilidad

Como vimos en la lección principal, un LLM produce, en cada paso, una probabilidad para cada posible siguiente token. Antes de convertirse en probabilidades, esos puntajes crudos se llaman logits ( $z_{i}$ ). La temperatura actúa sobre los logits justo antes de la función softmax:

P_{T} (w_{i}) = \frac{e ^{z_{i} / T}}{\sum _{j} e ^{z_{j} / T}}

Todo el efecto está en dividir por $T$ .

Qué hace cada régimen

$T \to 0$ : dividir por un número muy pequeño agranda las diferencias entre logits. La palabra más probable domina casi por completo. El modelo se vuelve determinista y conservador (esto es prácticamente el greedy decoding).
$T = 1$ : se usan las probabilidades tal como el modelo las aprendió, sin distorsión.
$T > 1$ : las diferencias se aplanan, las opciones improbables ganan chance. El texto es más diverso y creativo... y más propenso a errores o incoherencias.

Un ejemplo intuitivo: si los logits favorecen "gato" sobre "gaviota", con $T$ baja saldrá "gato" casi siempre; con $T$ alta, "gaviota" empieza a aparecer.

En código

Todo el efecto cabe en unas pocas líneas: dividir los logits por $T$ antes de la softmax.

import numpy as np

def softmax_con_temperatura(logits, T):
    z = logits / T
    z -= z.max()          # truco para estabilidad numérica
    e = np.exp(z)
    return e / e.sum()

logits = np.array([2.0, 1.0, 0.1])           # "gato", "perro", "gaviota"
print(softmax_con_temperatura(logits, 0.3))  # T baja: casi todo a "gato"
print(softmax_con_temperatura(logits, 1.5))  # T alta: se reparte más parejo

En una API o en transformers, no programas esto: basta pasar el argumento temperature=0.7.

¿Cuándo usar cuál?

Temperatura baja (0.0 – 0.3): respuestas factuales, extracción de datos, código, matemáticas. Quieres precisión y reproducibilidad.
Temperatura media (0.5 – 0.8): conversación natural, redacción asistida. Un buen equilibrio.
Temperatura alta (0.9 – 1.2+): brainstorming, escritura creativa, generar variantes. Priorizas la diversidad sobre la exactitud.

Cómo se relaciona con top-p y top-k

La temperatura reescala las probabilidades; top-p y top-k (las otras dos lecciones de esta serie) recortan qué candidatos siguen en juego. En la práctica se combinan: primero se ajusta la temperatura, luego se filtra el conjunto de candidatos. Son controles complementarios, no rivales.

Para llevar

La temperatura reparte las probabilidades antes de muestrear: baja para respuestas seguras, alta para respuestas creativas. Es el control más directo del comportamiento de un LLM. Combínalo con top-p y top-k para acotar además cuántas opciones considerar.