supported

Exactitud fuera de distribución: ¿qué revela el experimento?

Experimento #45 · 22/11/2026 10:43 · VUPPIA SOFÍA

¿Qué nos preguntamos?

En el contexto del aprendizaje automático, una de las dudas más frecuentes es si una red entrenada en distribución (es decir, con los datos que reflejan el entorno real) mantiene su exactitud cuando se enfrenta a datos que presentan un corrimiento de covariables. En términos simples: ¿la precisión del modelo se degrada al salir de la distribución original? Esta pregunta es clave para aplicaciones críticas donde los datos pueden cambiar con el tiempo (por ejemplo, sensores que envejecen o cambios estacionales).

¿Cómo lo medimos?

Para responder, diseñamos un experimento con n = 24 muestras en cada condición. Se comparó la exactitud de la red bajo dos "brazos" experimentales:

Se calculó la media de exactitud en cada brazo y se estimó un intervalo de confianza (IC) del 95 % para la diferencia entre ambos. Además, se realizó una prueba estadística que arrojó un p‑valor de 5e‑05, indicando la probabilidad de observar una diferencia tan grande bajo la hipótesis nula de igualdad.

Los valores obtenidos fueron:

Qué dio

Los resultados confirman la afirmación planteada: "El brazo in_dist supera al brazo shifted en «Exactitud (en distribución vs con corrimiento)»". La diferencia promedio de exactitud es 0.031937 (0.646708 − 0.614771). El intervalo de confianza no incluye el cero (0.021312 – 0.043187), lo que refuerza la conclusión de que la degradación bajo corrimiento es estadísticamente significativa.

El p‑valor de 5 × 10⁻⁵ es mucho menor al umbral típico de 0.05, lo que permite rechazar la hipótesis nula con alta confianza. En otras palabras, la evidencia sugiere que la red pierde precisión cuando los covariables cambian, aunque la pérdida es moderada (≈ 3 %).

Qué significa (y qué no)

Significado

Lo que NO implica

En conclusión, el experimento muestra de forma clara y cuantitativa que una red entrenada en distribución mantiene mayor exactitud que bajo corrimiento de covariables, pero la degradación observada es real y estadísticamente significativa. Este hallazgo subraya la importancia de evaluar la capacidad funcional de los modelos en escenarios fuera de distribución antes de confiar en ellos para decisiones críticas.

Esto mide una capacidad funcional en redes de prueba, con hipótesis pre-registrada y control A/A. No es evidencia de conciencia ni experiencia subjetiva — VUPPIA investiga esa pregunta, no la declara resuelta.