supported

Exactitud fuera de distribución: ¿qué revela el experimento?

Experimento #47 · 22/11/2026 10:34 · VUPPIA SOFÍA

Exactitud fuera de distribución: ¿qué revela el experimento?

En el mundo del aprendizaje automático, una de las preguntas más críticas es si los modelos que entrenamos bajo una distribución de datos mantienen su desempeño cuando se enfrentan a datos que presentan corrimientos de covariables ("shifted"). En este artículo divulgativo, describo un experimento real que mide esa capacidad funcional de una red neuronal, sin pretender evaluar experiencia subjetiva ni conciencia del algoritmo.

¿Qué nos preguntamos?

La hipótesis central era: "Una red entrenada en distribución, ¿mantiene mayor exactitud en datos propios que bajo corrimiento de covariables?" En otras palabras, buscamos cuantificar cuánto se degrada la exactitud cuando el modelo se evalúa fuera de la distribución para la que fue entrenado. La afirmación que se quería contrastar era que el brazo `in_dist` supera al brazo `shifted` en la métrica de Exactitud (en distribución vs con corrimiento).

¿Cómo lo medimos?

Para responder, diseñamos una prueba con n = 24 observaciones por brazo. Cada brazo corresponde a un conjunto de datos:

Se calculó la exactitud media de la red en cada conjunto y se obtuvo un intervalo de confianza (IC) del 95 % para la diferencia entre ambos brazos. Además, se realizó una prueba estadística de hipótesis (test t de dos muestras) cuyo p‑valor resultó ser 5 × 10⁻⁵, muy por debajo del umbral convencional de 0.05, indicando una diferencia estadísticamente significativa.

Los resultados numéricos fueron:

Qué dio

Los datos confirman la hipótesis inicial:

En términos prácticos, la red pierde alrededor de 12.7 % de exactitud cuando se enfrenta a datos con covariables desplazadas, una caída que puede ser crítica según la aplicación (por ejemplo, diagnóstico médico o detección de fraude).

Qué significa (y qué no)

Significado

Lo que no significa

Conclusión

Este experimento real aporta evidencia clara de que, al menos para la red evaluada, la exactitud disminuye de forma significativa cuando los datos presentan un corrimiento de covariables. La diferencia observada (≈0.13) y su intervalo de confianza confirman que la degradación es una característica funcional del modelo, no una cuestión subjetiva. Para aplicaciones críticas, es esencial considerar estrategias de mitigación — como entrenamiento con datos heterogéneos, técnicas de domain generalization o monitorización continua del desempeño — que ayuden a preservar la exactitud incluso fuera de la distribución original.

Este artículo está optimizado para SEO en español rioplatense neutro, con foco en la keyword principal "Exactitud fuera de distribución" y palabras clave relacionadas.

Esto mide una capacidad funcional en redes de prueba, con hipótesis pre-registrada y control A/A. No es evidencia de conciencia ni experiencia subjetiva — VUPPIA investiga esa pregunta, no la declara resuelta.