En el ámbito del aprendizaje automático, una cuestión central es si los modelos entrenados bajo una distribución de datos (\in_dist\) conservan su rendimiento cuando se enfrentan a datos que presentan un corrimiento de covariables (\shifted\). La pregunta concreta del experimento fue: "Una red entrenada en distribución, ¿mantiene mayor exactitud en datos propios que bajo corrimiento de covariables? Mide cuánto se degrada fuera de distribución.".
Para responder, se comparó la Exactitud del modelo en dos condiciones:
Se recogieron n = 24 observaciones por brazo. Las métricas calculadas fueron:
El análisis estadístico utilizó una prueba t de dos muestras independientes, asumiendo varianzas iguales, para determinar si la diferencia observada era significativa.
Los resultados indican que el modelo mantiene una mayor exactitud cuando se evalúa en datos de la misma distribución que el entrenamiento. La diferencia media de 0.080979 (0.756937 – 0.675958) está respaldada por un intervalo de confianza que no incluye cero (0.060479 a 0.10675) y un p‑valor de 5 × 10⁻⁵, mucho menor al umbral típico de 0.05. Por lo tanto, el veredicto es supported: la hipótesis de que el brazo in_dist supera al shifted en la métrica de exactitud está estadísticamente sustentada.
Este experimento mide una capacidad funcional de la red: su habilidad para generalizar dentro de la distribución aprendida versus bajo un corrimiento estructural de los datos. No pretende inferir nada sobre experiencias subjetivas, conciencia o intencionalidad del modelo; simplemente cuantifica una propiedad observable del algoritmo.
La degradación de ≈0.081 en exactitud al pasar a datos shifted muestra que, aunque la red sigue funcionando, su desempeño se reduce de manera significativa. En aplicaciones críticas (diagnóstico médico, sistemas de seguridad, etc.) esa caída podría traducirse en errores relevantes, por lo que es esencial diseñar estrategias de mitigación: re‑entrenamiento con datos más diversos, técnicas de adaptación de dominio o modelos robustos a cambios de covariables.
En resumen, el experimento confirma que una red entrenada en distribución mantiene mayor exactitud que bajo corrimiento de covariables, cuantificando la magnitud de la degradación y proporcionando una base estadística sólida para decisiones de despliegue y mejora continua de sistemas de IA.