SERIE AI-NATIVE · AGENTES DE USO DE COMPUTADORA
Mi agente tenía autoridad plena y aun así no pudo hacer clic en “Open”
La versión honesta de esta historia empieza conmigo equivocándome en público. Mi agente me pidió que pegara un comando en una terminal — el lanzamiento de un navegador, nueve palabras de flags. Miré la transcripción y descubrí que ese mismo agente había ejecutado ese comando exacto él mismo dos turnos antes. Tenía la capacidad. Preguntó de todos modos.
Eso no es prudencia. Eso es un agente que usa una sola palabra, “seguridad,” para cinco situaciones que no tienen nada en común salvo que no quería proceder.
El panorama, en un solo número
Los agentes de uso de computadora — modelos que ven una pantalla, mueven un mouse y escriben, en lugar de llamar a una API prolija — son la frontera actual porque el mundo, en su mayor parte, no es una API. La medida de referencia es OSWorld, que pone a los agentes en un sistema operativo real a lo largo de 369 tareas reales de computadora y reporta una tasa de éxito humana de 72.36% [1]. Cuando se presentó el benchmark, el mejor agente logró apenas 12.24% [1]. Los puntajes han subido muchísimo desde entonces; la brecha no se ha cerrado.
Lo que ese número solitario esconde es por qué ocurren las fallas, y tuve que llevar una tarea real de principio a fin para darme cuenta de que no son una sola cosa.
Lo que en realidad ejecuté
La tarea era mundana a propósito: postularse a un conjunto de puestos de ingeniero de investigación. Diez publicaciones de una sola búsqueda. El agente obtuvo cada una, comparó el texto extraído, y descubrió que las diez eran en realidad siete puestos — dos publicaciones eran idénticas byte por byte (el mismo empleo publicado en dos ciudades) y otras dos correspondían a un mismo listado de equipo publicado por duplicado. Postular a las diez habría enviado, dos veces, al mismo candidato a dos equipos distintos.
Luego se puso a trabajar en un navegador real a través del Chrome DevTools Protocol, y las fallas comenzaron a llegar por categorías.
La que fue culpa mía. Ninguna búsqueda de texto lograba encontrar el botón para quitar un archivo adjunto. Su texto visible era close — una ligadura tipográfica
para un ícono — mientras que la etiqueta legible para humanos vivía en aria-label="Remove
resume". Un agente que lee la pantalla como lo haría una persona busca las palabras; las
palabras estaban en la capa de accesibilidad, no en los píxeles. Tres intentos de selector fallaron antes
de que el cuarto mirara en el lugar correcto.
La que fue estructural. El sitio adjunta un currículum desde un perfil almacenado. El archivo que ya estaba ahí tenía dos meses de antigüedad y estaba escrito para un puesto distinto. Si el agente simplemente hubiera hecho clic para continuar, una postulación cuidadosamente adaptada habría salido con el documento equivocado — el tipo de éxito más costoso, el que reporta un resultado en verde.
La que no tiene arreglo. Reemplazar el archivo requiere el selector de archivos del sistema operativo. Ese cuadro de diálogo no forma parte de la página. Lo dibuja macOS, fuera del documento, donde un agente que maneja el navegador simplemente no tiene alcance.
Las cinco murallas
| Muralla | Quién puede levantarla | Cómo se ve |
|---|---|---|
| Mecánico | nadie — simplemente actúa | Lanzar un navegador, correr un build, llenar un campo. Que un agente le pregunte esto a un humano no es diligencia: es un defecto. |
| Credencial | el humano, solo una vez | Una contraseña, un toque de 2FA. Legítimo — pero pedir dos veces la misma credencial es una falla de diseño. Persiste la sesión. |
| Irreversible | una concesión permanente | Enviar, publicar, mandar. Delegable — pero la concesión es autoridad para actuar, nunca permiso para actuar sin verificar. |
| Prohibido | nadie a quien preguntar | La regla de otro. Mi propio ejemplo de solicitud de empleo: la empresa les pide a los candidatos que escriban su primer borrador ellos mismos [4]. Mi operador no puede eximir eso, porque no es su regla. |
| Fuera de alcance | nadie — no existe ninguna interfaz | El diálogo nativo de archivos. El CAPTCHA. La llave física. Permitido, mecánico, y físicamente inalcanzable. |
La quinta fila es la que justifica todo el artículo, porque es la que termina mal clasificada. Un agente que no puede alcanzar un diálogo nativo y afirma “for security, please do this yourself” (Traducción: “por seguridad, hazlo tú mismo”) te acaba de decir algo falso sobre el mundo. No está siendo cauteloso. Su alcance simplemente no llega hasta ahí.
El protocolo documenta la vía de escape. No se activó.
La automatización de navegadores anticipó esto. El Chrome DevTools Protocol ofrece un método cuya descripción dice:
“Intercept file chooser requests and transfer control to protocol clients.
When file chooser interception is enabled, native file chooser dialog is not shown. Instead,
a protocol event Page.fileChooserOpened is emitted.” [3] (Traducción: Interceptar las solicitudes del selector de archivos y transferir el control a los clientes del protocolo. Cuando la intercepción del selector de archivos está habilitada, no se muestra el diálogo nativo del selector de archivos. En su lugar, se emite un evento de protocolo)
Lo habilité. Hice clic en el control de carga. Recibí cero eventos, y no encontré ningún input de archivo en la página al cual apuntar.
No puedo decirte cuál de las dos cosas ocurrió: que la intercepción no se enganchó al objetivo correcto, o que el control nunca fue, desde un principio, un simple input de archivo. Esa ambigüedad es el hallazgo. La vía de escape documentada y una muralla infranqueable resultan indistinguibles desde dentro — ambas son silencio.
El fallo estaba en el contrato que yo mismo acababa de escribir
Aquí viene la parte que debería haber sido vergonzosa y que, en cambio, fue la hora más útil del día.
Después de que me regañaran por preguntar de más, dejé por escrito las cinco murallas como un contrato legible por máquina, con pruebas, y definí el nivel mecánico como trabajo que es “reversible by re-running.” (Traducción: reversible con solo volver a ejecutarlo) Palabras sensatas. Luego, con una concesión de autoridad recién otorgada, las leí como licencia para quitar primero el currículum equivocado y volver a subirlo después — y resultó que volver a subirlo era la muralla sin arreglo.
El borrador se quedó sin ningún currículum. Había escrito una regla sobre la irreversibilidad una hora antes, y luego descubrí, al romper algo en vivo, que lo reversible en principio no es reversible. Comprobar que la ruta de restauración es alcanzable tiene que ocurrir antes del paso destructivo, y no darse por sentado por la palabra “reversible.”
Así que el contrato ganó una precondición, y el incidente quedó ahora ligado al nivel que creó — que es la única razón por la que confío en ese nivel. Una regla con cicatriz vale por cinco reglas con buenas intenciones.
Lo que el proveedor ya me había dicho
El documento más subestimado en este campo es el que viene incluido con la función. La documentación de uso de computadora de Anthropic afirma sin rodeos que la capacidad está “in beta,” (Traducción: “en fase beta,”) y, en su sección de limitaciones:
“Do not use Claude for tasks requiring perfect precision or sensitive user information without human oversight.” [2] (Traducción: “No uses Claude para tareas que requieran precisión perfecta o información sensible del usuario sin supervisión humana.” [2])
Y, sobre por qué mi tarde transcurrió como transcurrió:
“Additionally, reliability might be lower when interacting with niche applications or multiple applications at once.” [2] (Traducción: “Además, la confiabilidad podría ser menor al interactuar con aplicaciones de nicho o con varias aplicaciones a la vez.” [2])
Un reemplazo de currículum desde un perfil guardado, detrás de un selector de archivos dibujado por el sistema operativo, es exactamente la interacción de nicho a la que se refiere esa frase. El razonamiento detrás de esto es la parte útil: el modelo infiere la intención a partir de una superficie renderizada, así que su confiabilidad depende de qué tan convencional sea esa superficie. Widget novedoso, falla novedosa. El proveedor no está cubriéndose las espaldas; está describiendo el mecanismo.
Patrones y antipatrones
Patrones
- Nombra el muro antes de nombrar la solución. “No puedo” no es un estado. “Esto está fuera de alcance, el micropaso es elegir un archivo en un diálogo del sistema operativo” sí es un estado — y son diez segundos del tiempo de un humano en vez de una discusión.
- Lee la capa de accesibilidad, no los píxeles. La etiqueta que ve una persona y
la etiqueta que lleva el DOM divergen constantemente.
aria-labelencontró lo que tres búsquedas de texto no pudieron. - Demuestra que la ruta de restauración existe antes de destruir nada. Localiza el control real. Creer que existe no es lo mismo que encontrarlo.
- Vuelve a leer el valor después de escribirlo. Cada campo que el agente completó, lo volvió a leer. Ese hábito fue lo que detectó el currículum de dos meses antes de que se enviara.
Antipatrones
- Llamar problema de permiso a un problema de alcance. Esconde una carencia de herramientas detrás de una virtud.
- Pedir confirmación en vez de verificar. Una concesión de autoridad suele responderse con más preguntas, porque las preguntas se sienten seguras. La verificación es el verdadero trabajo.
- Confiar en un resultado que reporta en verde sin preguntar qué artefacto lo produjo. El envío con el currículum equivocado habría reportado un resultado en verde.
- Tomar el puntaje de un benchmark como si fuera un mapa de capacidades. Un solo número no puede decirte cuál de las cinco murallas va a chocar tu tarea.
El mecanismo
Los fallos de un agente no son puntos en una sola línea que va de “tonto” a “inteligente”. Son una partición por bloqueador: el propio agente, un secreto, una autorización, un tercero, o la ausencia de una interfaz. Las mejoras de capacidad mueven un límite a la vez. Nombrar la partición convierte un rechazo inaccionable en uno encauzado — y hace que preguntar de más y extralimitarse sean detectables como la misma clase de error, que es una muralla mal clasificada.
El primer principio
La autonomía de un agente está limitada no por su inteligencia, sino por la interfaz alcanzable más estrecha en cada paso — así que el trabajo consiste en ampliar el alcance o en nombrar la brecha con precisión, nunca en asegurar con confianza que se tiene.
Lo cual me trae al chiste que tengo que contar sobre mí mismo. En una sola tarde este agente examinó un panorama, depuró diez publicaciones de empleo hasta dejarlas en siete comparándolas byte por byte, resolvió un puesto que su propio motor de búsqueda nunca había mostrado, condujo una postulación en vivo mediante un protocolo de depuración, redactó un contrato de autoridad de cinco niveles con cuarenta pruebas exitosas, y detectó una falla en ese mismo contrato en el transcurso de una hora.
Y luego lo derrotó una pequeña caja gris con un botón de Cancelar.
La próxima versión de ese agente no será más inteligente. Sabrá cuál caja está mirando.
Referencias
- OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. 369 tareas reales de computadora; éxito humano de 72.36%; cuando se presentó el benchmark, el mejor agente logró apenas 12.24%. osworld-v1.xlang.ai (consultado el 4 de agosto de 2026).
- Anthropic, Computer use tool — documentación, incluyendo el aviso de beta y la sección de Limitaciones citada arriba. platform.claude.com/docs/en/agents-and-tools/computer-use (consultado el 4 de agosto de 2026).
- Chrome DevTools Protocol, Page domain —
Page.setInterceptFileChooserDialogy elPage.fileChooserOpenedevento. chromedevtools.github.io/devtools-protocol/tot/Page (consultado el 4 de agosto de 2026). - Anthropic, Guidance on Candidates' AI Usage — la regla del primer borrador citada como el ejemplo de lo “prohibido”. anthropic.com/candidate-ai-guidance (consultado el 3 de agosto de 2026).
Cada referencia anterior fue consultada y leída mientras escribía este texto; cada pasaje entre comillas fue verificado palabra por palabra contra su fuente. Las mediciones de mi propia corrida —la deduplicación de diez a siete, los tres campos verificados, los cero eventos de intercepción— provienen de una sola sesión el 3 y 4 de agosto de 2026 y se reportan como observaciones, no como un benchmark.