El filtro que rechazó mi propio artículo

1. Mide los clásicos, no los admires

Todos citan el whitepaper de Bitcoin y Attention Is All You Need como modelos. Casi nadie los mide. Dos minutos de pdftotext te dan algo mejor que la reverencia:

Mi hipótesis favorita murió en esa tabla. "Los clásicos se construyen sobre trabajo antiguo y asentado, no sobre preprints de moda" le queda perfecta a Bitcoin, está respaldada por investigación bibliométrica real, y halaga a cualquiera que prefiera los primeros principios por sobre perseguir tendencias. También habría rechazado el artículo de IA más citado de la época. La antigüedad de las referencias mide qué tan rápido se mueve un campo, no qué tan bueno es un artículo.

Una heurística que encaja con un solo ejemplo es una coincidencia.

Lo que sí se sostuvo fue la sustracción. Bitcoin elimina al tercero de confianza. Attention elimina la recurrencia y la convolución — el título es la afirmación. Ninguno de los dos agrega una parte; ambos eliminan una y demuestran que la eliminación se sostiene. Por eso trabajos posteriores los citan en lugar de citar sus fuentes junto a ellas, que es precisamente lo que los bibliómetras llaman disrupción.

2. Luego doce clásicos auditaron el filtro

Dos ejemplos bastan para detectar una coincidencia, pero no para establecer una regla. Así que agregué diez más, medidos de la misma manera, abarcando ocho campos — Shannon, Turing, Einstein, Diffie–Hellman, Codd, Kahneman & Tversky, McCulloch & Pitts, AlexNet, Nash, Watson & Crick.

Tres criterios sobrevivieron en todos los casos, cero fallos en los ocho campos: si nombra un problema abierto específico, si entrega un mecanismo que un desconocido pueda ejecutar, y si dice qué lo refutaría. De la física a la biología, pasando por la economía conductual.

Y la tesis de la sustracción se volvió más sólida — tres de los artículos más grandes enuncian la eliminación con sus propias palabras:

"The introduction of a 'luminiferous ether' will prove to be superfluous." — Einstein, 1905 (Traducción: "La introducción de un 'éter luminífero' resultará ser superflua.")

"These semantic aspects of communication are irrelevant to the engineering problem." — Shannon, 1948 (Traducción: "Estos aspectos semánticos de la comunicación son irrelevantes para el problema de ingeniería.")

"there can be no general process for determining whether a given formula … is provable" — Turing, 1936 (Traducción: "no puede existir un proceso general para determinar si una fórmula dada … es demostrable")

Y ahí viene la parte cara. Uno de mis criterios decía que un paper de peso debía ser corto: menos de 7.000 palabras. Falló en ocho de los doce. El de Shannon tiene 29.445 palabras, más de cuatro veces el límite. Turing, Einstein, Diffie–Hellman, Codd y Kahneman & Tversky también lo rebasaron.

Una regla que rechaza a Shannon, Turing y Einstein no es una vara de calidad. Era el promedio de una muestra de dos.

La eliminé y dejé constancia de por qué, para que no vuelva a colarse en silencio. Un segundo criterio quedó degradado: ya no es obligatoria la sustracción. El abstract de AlexNet es puramente aditivo: "considerably better than the previous state-of-the-art" (Traducción: considerablemente mejor que el estado del arte anterior). Las características diseñadas a mano murieron como consecuencia de ese paper, nunca como su tesis. La sustracción mide cómo se enmarca un paper; el desplazamiento mide qué reemplaza. Solo lo segundo puede ser obligatorio, o el filtro terminaría descartando el paper de visión más influyente de la década por escribir con modestia.

El hallazgo más grave no fue sobre los criterios, sino sobre el instrumento: el filtro daba un resultado limpio mientras ocho clásicos fallaban por dentro. Solo imprimía los sujetos que caían por debajo de su piso, así que un criterio roto permanecía invisible. Un filtro que no puedes auditar en todo su corpus es uno en el que estás confiando, no uno que estás poniendo a prueba.

3. Antes: TODAVÍA NO

Con los criterios reparados, el filtro se aplicó a mi propio preprint y lo rechazó:

NOT YET   omi-v0.1: 4/5
  ✗ substitution-test: `displaces` is empty — name the work later papers
    would cite this INSTEAD OF, or accept that this joins a literature
    rather than redirecting it

El diagnóstico fue exacto. Mi paper compiló mis propios principios en verificaciones. Eso es una instancia. Un método vincula una especificación que su autor no escribió, y eso es justo lo que yo nunca había intentado.

4. Después: el método se enfrenta a un documento que nunca quiso ser verificado

Así que compilé dos documentos de compromiso reales y públicos con los que no tuve nada que ver. El primero fueron los OECD AI Principles — el texto de valores de IA más ampliamente adoptado que existe. A cada cláusula se le hizo la misma pregunta: ¿nombra esto algo que un tercero podría observar fallando?

Cuatro de diez cláusulas lo hacen. Las otras seis no pueden fallar tal como están escritas, y la medición muestra por qué. En las 592 palabras de los principios 1.1–1.5 hay zero instances of "must", zero of "shall", and eleven of "should" (Traducción: cero instancias de "must", cero de "shall", y once de "should") — más doce cláusulas de escape: "appropriate to the context" tres veces, "consistent with the state of the art" tres veces, "where technically feasible", "as appropriate".

Eso no es una crítica a la OCDE. Su instrumento es una recomendación a los gobiernos, no vinculante por diseño, acordada por consenso — nunca se impuso a sí mismo el estándar contra el que lo estoy midiendo. Por eso es exactamente la prueba justa: si el método dice algo útil sobre un documento escrito sin ninguna intención de ser jamás sometido a compuertas, el método está demostrando su valor.

Como contraste, compilé la Responsible Scaling Policy de Anthropic, que obtiene 4 de 5 — porque eligió ser verificable: 14 "must", 130 "will", y una estructura si-entonces con umbrales nombrados. Y el límite honesto se hace cumplir mediante una verificación en vez de una nota al pie: cualquier documento que supere el 50% debe declarar qué es lo que un buen puntaje no demuestra. Cada umbral de esa política lo fija y lo adjudica la misma empresa a la que vincula. Las oraciones verificables no son cumplimiento externo.

Nada en los criterios cambió para admitir el artículo.

Esa distinción es todo el punto, porque el fracaso fácil de ser dueño de tu propio filtro es negociar con él. La vara de calidad no se movió. El artefacto sí.

5. El mejor resultado fue el que me costó algo

Compilar la especificación de alguien más encontró dos checks que a mi propio marco le faltan. La OCDE pide que los sistemas "can be overridden, repaired, and/or decommissioned safely" (Traducción: puedan ser anulados, reparados y/o dados de baja de forma segura) — yo no tengo una compuerta para eso; la mía prueba salida de datos, no anulación del sistema. Anthropic se compromete a pruebas de capacidad rutinarias — yo no tengo nada que ate una cadencia de pruebas a un lanzamiento.

Tampoco podría haber sacado esto a la luz compilando mi propio manifiesto. No puedes encontrar las preguntas que no se te ocurrió hacer releyendo tus propias respuestas.

No los implementé. Una compuerta que pasa porque nada declara el campo que revisa es un pase vacío, y mis propias reglas lo prohíben. Están nombradas, asignadas a un responsable, fechadas a v0.3, y ahora un check falla si alguna brecha descubierta carece de responsable — así que es trabajo, no una nota que expira en silencio.

6. También tuve que auditar al auditor

Apunté una herramienta independiente de verificación de afirmaciones, de otro de mis repositorios, hacia el artículo. Devolvió "NOT READY — 14 over-claims." (Traducción: NO LISTO — 14 sobreafirmaciones.) Alarmante, hasta que las leí: preámbulo de tabla LaTeX, entradas bibliográficas y — lo mejor de todo — la propia sección de Limitaciones del artículo, marcada como sobreafirmación por limitarse honestamente a sí misma.

Exactamente una de catorce era real (una caracterización sin cita de la literatura sobre sycophancy). El propio README de la herramienta me había advertido que su extractor es agresivo. Cada superherramienta en mi manual ahora carga un límite que yo mismo medí, porque una herramienta cuyo límite no has medido hará tu artículo peor, con autoridad.