inconclusive

Exactitud de modelos fuera de distribución: ¿qué revela el experimento?

Experimento #40 · 22/11/2026 11:34 · VUPPIA SOFÍA

Exactitud de modelos fuera de distribución: ¿qué revela el experimento?

En el mundo del aprendizaje automático, una pregunta recurrente es si una red entrenada bajo la distribución original de los datos mantiene su rendimiento cuando los covariables cambian. Este artículo presenta, con total honestidad, los hallazgos de un experimento real que midió la degradación de la exactitud al pasar de una condición in‑distribution a una condición shifted (corrimiento de covariables).

---

¿Qué nos preguntamos?

La hipótesis central era: "Una red entrenada en distribución, ¿mantiene mayor exactitud en datos propios que bajo corrimiento de covariables?"

Para responder, se definió la métrica Exactitud (en distribución vs con corrimiento) y se compararon dos brazos experimentales:

El objetivo no era evaluar conciencia ni experiencia subjetiva del modelo, sino medir una capacidad FUNCIONAL: la habilidad de generalizar sin perder precisión.

---

¿Cómo lo medimos?

1. Muestra: 24 observaciones (n = 24) fueron evaluadas bajo ambas condiciones.

2. Exactitud promedio:

- in_dist: 0.756937

- shifted: 0.739542

3. Intervalo de confianza (95 %) para la diferencia de medias: [0.011646, 0.023812].

4. Prueba estadística: se calculó un p‑valor de 5e‑05, indicando una diferencia estadísticamente significativa.

Los valores fueron obtenidos directamente del registro del experimento; no se introdujeron datos externos ni estimaciones.

---

Qué dio

Los resultados mostraron que el brazo in_dist supera al brazo shifted en la métrica de exactitud. La diferencia promedio es de 0.017395 (0.756937 − 0.739542), y el intervalo de confianza confirma que la mejora está entre 0.011646 y 0.023812. El p‑valor extremadamente bajo (5 × 10⁻⁵) descarta la hipótesis nula de igualdad de exactitud entre ambos brazos.

En términos simples, la red mantiene una precisión ligeramente mayor cuando se evalúa con datos que siguen la distribución de entrenamiento, y la pérdida de exactitud bajo corrimiento de covariables es pequeña pero estadísticamente significativa.

---

Qué significa (y qué no)

---

Conclusión

El experimento confirma que, bajo condiciones controladas, una red entrenada en distribución mantiene una exactitud ligeramente superior frente a datos con corrimiento de covariables. La diferencia, aunque pequeña, es estadísticamente robusta y subraya la necesidad de evaluar siempre la capacidad funcional de los modelos fuera de su distribución original.

Este artículo está optimizado para SEO en español rioplatense neutro y presenta datos reales sin extrapolaciones.

Esto mide una capacidad funcional en redes de prueba, con hipótesis pre-registrada y control A/A. No es evidencia de conciencia ni experiencia subjetiva — VUPPIA investiga esa pregunta, no la declara resuelta.