Serie AI-Native · Verificación de investigación

Mi IA atrapó las citas falsas. Luego nombró sus propios puntos ciegos.

Construí una herramienta que decide si una afirmación de investigación es confiable. Luego la apunté hacia dos artículos reales e inéditos — y la hice calificarse a sí misma. ~7 min.

La demo que todos corren es la que te miente

Toda herramienta de IA se ve brillante con el ejemplo que su creador eligió. La única prueba que importa es aquella donde la realidad elige la entrada. Así que tomé una herramienta que construí — un verificador de investigación cuyo único trabajo es decidir cuándo una afirmación escrita por IA es confiable — y la apunté hacia dos artículos de IA reales e inéditos que un colega estaba redactando. Con su permiso, dejé que operara directamente sobre el proyecto en vivo.

La regla que impone la herramienta es deliberadamente aburrida: una afirmación está "verificada" solo si su cita realmente resuelve y su evidencia realmente respalda la fuerza de la afirmación. De lo contrario, se degrada a ⚪ no comprobado — nunca se sube de categoría a escondidas. Los casos de prueba demuestran que algo funciona. Los artículos reales demuestran si es útil.

Lo que detectó (en minutos)

Ambos borradores tenían exactamente las fallas que erosionan silenciosamente la confianza en la investigación asistida por IA:

• 8 citas fabricadas. Marcadores de posición como [cite: 611] que parecían referencias pero no apuntaban a nada — un agujero con forma de dato. La compuerta detecta toda cita que no resuelve; reemplacé las ocho por un marcador visible de [CITATION NEEDED] .
• Una métrica estelar sin sustento. Ambos resúmenes anunciaban un "índice de coherencia temporal de 0.92" — pero no había ninguna tabla de resultados en ningún lado que produjera ese número. La compuerta la degradó a ⚪ no comprobado. Lo reescribí en el código fuente como objetivo pendiente de validación — no fabriqué un resultado, y tampoco borré en silencio la afirmación de alguien.
• Extralimitación sobre la autonomía. Las afirmaciones de que los "agentes en paralelo" realizaban trabajo de alta autonomía quedaron limitadas automáticamente, porque ahí la verdad de fondo es discutible — no puedes afirmar conducción autónoma donde no puedes verificar la respuesta a bajo costo.

Luego, las correcciones se confirmaron y se subieron al proyecto en vivo (commit y push), cada una como un diff revisable. No es una presentación de diapositivas — es un cambio en el código fuente, reversible en el historial.

El modelo mental que hasta un adolescente de 15 años entendería

Dale a cada afirmación una cita, y luego hazla subir por una escalera corta. ¿La cita resuelve? No → sin comprobar. ¿El tipo de evidencia respalda la fuerza de lo que se afirma? Un número que observaste en un experimento puede ser "verificado"; un número que una IA simplemente afirmó no puede serlo — se queda sin comprobar hasta que algo externo al modelo lo respalde. Solo una afirmación que supera cada peldaño se gana el nivel máximo. Todo lo demás queda etiquetado con honestidad, no descartado.

Ese es todo el truco, y es el mismo truco que ya usa la buena ciencia. La herramienta solo lo vuelve mecánico — para que un "confía en mí" no pueda colarse disfrazado de "verificado".

Lo que no pudo hacer — y por qué ese es el verdadero resultado

Aquí está la parte que la mayoría de las demos de herramientas se saltan. El primer principio de la propia herramienta es nombra tus puntos ciegos — así que la obligué a aplicárselo a sí misma. Tres fallos honestos:

• Todavía no puede leer un artículo académico y convertirlo en afirmaciones. Tuve que extraer las afirmaciones a mano para que las evaluara. Filtra afirmaciones; todavía no ingiere un documento para producirlas.
• Su verificación de citas es offline. Confirma que una referencia existe en la bibliografía del propio artículo — todavía no puede salir a confirmar una fuente activa en la web abierta.
• "Operar sobre el sitio en vivo" funcionó gracias a la infraestructura, no a la herramienta. La vía confiable de entrada fue el sistema git del proyecto, no la herramienta en sí — un hallazgo que vale más de lo que habría valido un éxito impecable.

Así que hice lo obvio: construí la pieza que faltaba — un lector de manuscritos que escanea un borrador en busca de secciones sin escribir, marcadores de citas falsas y métricas sin respaldo, y que alimenta las afirmaciones candidatas directo a la misma compuerta. Salió con tests el mismo día. El vacío se convirtió en una función; la función nombró su propia limitación siguiente (el extractor todavía es demasiado ansioso). Ese ciclo — encontrar el fallo, cerrarlo, admitir el nuevo límite, y ese es el punto.

Por qué los fallos son la victoria

Un verificador en el que no puedes confiar para que sea honesto consigo mismo es peor que ningún verificador: infla artificialmente la confianza. Lo más importante que demostró esta prueba no fue que atrapó ocho citas falsas. Fue que, cuando le pedí que calificara a su propio creador, produjo un marcador con una columna izquierda y una columna derecha. Confía en el artefacto, no en la etiqueta. La columna derecha es de donde realmente viene la confianza.

Si estás construyendo algo que juzga calidad —revisión de código, verificaciones de investigación, un banco de pruebas de evaluación—, la prueba no es "¿pasa su propia demo?". Es "¿te dice lo que no puede ver?". Construye el que falla en voz alta.

Más en la serie AI-Native

• No Puedes Autoemitirte Reputación — reclamado → observado → atestiguado; por qué un artefacto autogenerado se detiene un peldaño antes de la confianza.
• El Bucle del Arquitecto — diseñar el juego que produce el resultado, en lugar de ordenar el resultado.
• Graph Engineering OS — afirmaciones con niveles de evidencia y un copiloto que no farolea.

Todo esto vive en la sección de Writing en la página de inicio.

Parte de la serie AI-Native. El verificador aplicó su propia regla sobre sí mismo — verifica, no improvises; nombra tus puntos ciegos. Tú tienes el control del botón de Publicar.