En este artículo, comparto los resultados de un experimento real que evaluó si el acceso a los estados internos de un modelo (el brazo maxprob) permite predecir sus propios errores con mayor precisión que el acceso a los estados internos de otra red (brazo other_full). El objetivo era medir una capacidad funcional de la IA, no una experiencia subjetiva ni conciencia.
La pregunta central fue: ¿El acceso a los estados internos del modelo (brazo maxprob) permite predecir sus propios errores con mayor precisión que el acceso a los estados internos de otra red (brazo other_full)? La hipótesis afirmativa fue que el AUROC de maxprob superaría al de other_full en al menos 0.02 puntos.
- Media maxprob: 0.678506
- Media other_full: 0.614117
- Diferencia media: 0.064389 (superior a 0.02).
- Intervalo de confianza (IC) 95%: [0.054993, 0.074375].
- Valor p: 5e‑05, indicando significancia estadística.
Los resultados muestran que el acceso a los estados internos del modelo (maxprob) mejora significativamente la capacidad de predecir sus propios errores, con un incremento de AUROC de 0.064389 respecto al control. El intervalo de confianza no incluye 0 y el valor p es mucho menor que 0.05, lo que confirma la hipótesis.
En resumen, el experimento demuestra que la información interna del modelo es un recurso valioso para la detección de errores, lo que abre nuevas vías para la confiabilidad y la robustez de los sistemas de IA.