Regresión lineal simple

La idea

Si dos variables están correlacionadas, el siguiente paso es modelar una en función de la otra. La regresión lineal simple busca la recta ŷ = b₀ + b₁x que mejor describe la nube de puntos. «Mejor» se define con el criterio de mínimos cuadrados: se elige la recta que hace mínima la suma de los cuadrados de los residuos eᵢ = yᵢ − ŷᵢ, las distancias verticales de cada punto a la recta. Derivando esa suma respecto a b₀ y b₁ e igualando a cero se obtienen fórmulas cerradas: la pendiente es la covarianza dividida por la varianza de x, y la recta pasa siempre por el punto (x̄, ȳ).

La calidad del ajuste se mide con el coeficiente de determinación R², que en el caso simple coincide con r². Se interpreta como la fracción de la varianza de y que la recta explica: R² = 0,81 significa que el 81 % de la variabilidad de y se atribuye a su relación lineal con x y el 19 % restante queda en los residuos. Examinar los residuos es obligatorio: si muestran una curva o su dispersión crece con x, el modelo lineal no es adecuado aunque R² parezca alto.

La recta permite predecir y para un x nuevo, con dos cautelas. La interpolación dentro del rango observado suele ser fiable; la extrapolación lejos de los datos es arriesgada, porque nada garantiza que la relación siga siendo lineal. Y la pendiente b₁ tiene una lectura directa: es el cambio esperado en y por cada unidad adicional de x, lo que la convierte en el parámetro más informativo del modelo.

Fórmulas clave

• Modeloŷ = b₀ + b₁ x
• Pendienteb₁ = Σ(xᵢ − x̄)(yᵢ − ȳ) / Σ(xᵢ − x̄)² = r · s_y / s_x
• Ordenadab₀ = ȳ − b₁ x̄
• Residuoeᵢ = yᵢ − ŷᵢ, SCE = Σ eᵢ²
• Coeficiente de determinaciónR² = 1 − SCE / SCT, SCT = Σ (yᵢ − ȳ)²
• Error típico de la estimacións_e = √[SCE / (n − 2)]

Dónde se aplica

En economía, la relación entre gasto publicitario y ventas, o entre renta y consumo, se estima con regresiones cuyas pendientes son las elasticidades que guían las decisiones. En ciencias experimentales, la recta de calibrado de un instrumento (señal frente a concentración conocida) permite leer concentraciones desconocidas a partir de la señal medida. Y en aprendizaje automático, la regresión lineal es el modelo de referencia con el que se compara cualquier algoritmo más complejo, además de la base del descenso de gradiente y las redes neuronales.

Con programación (Python)

x = [1, 2, 3, 4, 5, 6, 7, 8]
y = [2.1, 3.9, 6.2, 7.8, 10.1, 12.2, 13.8, 16.1]
n = len(x)
mx, my = sum(x) / n, sum(y) / n
sxy = sum((a - mx) * (b - my) for a, b in zip(x, y))
sxx = sum((a - mx) ** 2 for a in x)
b1 = sxy / sxx
b0 = my - b1 * mx
print(f"Recta: y = {b0:.4f} + {b1:.4f} x")

pred = [b0 + b1 * a for a in x]
sce = sum((b - p) ** 2 for b, p in zip(y, pred))
sct = sum((b - my) ** 2 for b in y)
print(f"R² = {1 - sce / sct:.4f}   SCE = {sce:.4f}")
for a, b, p in zip(x, y, pred):
    print(f"x={a}  y={b:5.1f}  y_est={p:6.2f}  residuo={b - p:6.2f}")
print("Predicción para x = 10:", round(b0 + b1 * 10, 3))

La versión en JavaScript, editable y ejecutable en el navegador, está en la página interactiva del tema.

Temas relacionados

Correlación · Mínimos cuadrados · La recta en el plano · Descenso del gradiente