SERIE AI-NATIVE · DINÁMICAS HUMANAS EN LA IA AGÉNTICA, PARTE 1 DE 4

Principios que apenas cambian: el lado humano de la IA agéntica

Por Paul Jialiang Wu · agentic-portfolio-lovat.vercel.app · 2026-10-14 · 6 min de lectura

Cómo leer las etiquetas: EVIDENCE tiene una fuente, DESIGN describe cómo está diseñada la práctica, OPEN aún no se ha probado, y LENS es mi propia convicción.

Le delegas trabajo a agentes de IA. Seis principios humanos, observados en pilotos, operadores de planta y gerentes décadas antes de la IA, predicen dónde se rompe esa entrega. También predicen algo que la gente suele entender mal: a medida que los agentes mejoran, la parte humana del trabajo se vuelve más importante, y más difícil de mantener afilada.

Qué cubre esta serie: las dinámicas humanas de la IA agéntica, en tres capas

La mayoría de lo que se escribe sobre agentes de IA habla de los agentes: de lo que pueden hacer este mes. Esta serie habla de las personas a su alrededor, en tres capas que se mueven a velocidades distintas. Los principios apenas cambian; regían antes de las computadoras y seguirán rigiendo después de los agentes. Buenas prácticas evolucionan despacio, unas pocas veces por década. Tendencias emergentes cambian cada trimestre, y sus cifras caducan rápido. La parte 4 aplica las tres capas a una sola pregunta: cómo pueden ganar al mismo tiempo ejecutivos, startups e ingenieros con el mismo trabajo.

Es para líderes que deciden cuánto confiar en los agentes, y para los ingenieros que tendrán que vivir con esa decisión.

Primero, haz una apuesta

El piloto automático de un avión comercial se vuelve el doble de confiable. ¿El trabajo del piloto se vuelve más fácil o más difícil?

• A. Más fácil: hay menos que hacer.
• B. Sin cambios: el piloto sigue volando las partes difíciles.
• C. Más difícil: el piloto hace menos, así que está menos preparado para el momento en que el piloto automático le devuelva el control.

Quédate con tu respuesta.

Principio 1: mientras más automatizas, más importa el humano

EVIDENCE En 1983, la psicóloga de ingeniería Lisanne Bainbridge nombró las ironies of automation. Su idea central: "the more advanced a control system is, so the more crucial may be the contribution of the human operator." (Traducción: mientras más avanzado es un sistema de control, más crucial puede ser la contribución del operador humano.) Y la frase más incisiva: "a formerly experienced operator who has been monitoring an automated process may now be an inexperienced one" (Traducción: un operador antes experimentado que ha estado monitoreando un proceso automatizado puede ahora ser uno inexperto) (Bainbridge, Automatica 1983).

LENS Bainbridge escribía sobre control de procesos, no sobre cabinas de avión, pero su argumento predice lo mismo que ocurre con los agentesC. La automatización elimina la práctica rutinaria que mantenía al humano listo para el caso difícil y poco frecuente, y luego le entrega al humano exactamente ese caso. LENS Todo agente que "simplemente se encarga" está formando a un operador que algún día no sabrá cómo hacerlo.

Principio 2: la confianza hay que calibrarla, no maximizarla

EVIDENCE Raja Parasuraman y Victor Riley clasificaron en cuatro las formas en que la gente se equivoca con la automatización: uso, mal uso, abandono y abuso. "El mal uso se refiere al exceso de confianza en la automatización, que puede provocar fallas de supervisión o sesgos de decisión." (Traducción: "Misuse refers to over reliance on automation, which can result in failures of monitoring or decision biases.") El abuso es el pecado del diseñador y del gestor: automatizar "sin la debida consideración de las consecuencias para el desempeño humano" (Traducción: "without due regard for the consequences for human performance") (Parasuraman y Riley, Human Factors 1997).

La meta nunca fue la confianza máxima. Es la confianza adecuada: apoyarte en el agente donde es confiable y revisarlo donde no lo es. John Lee y Katrina See convirtieron eso en la definición estándar del campo hace dos décadas, y nada de lo que traen los agentes la cambia.

Principio 3: la delegación es un contrato, y los contratos tienen fugas

EVIDENCE Michael Jensen y William Meckling definieron una relación de agencia como "un contrato bajo el cual una o más personas (el principal o los principales) contratan a otra persona (el agente) para que realice algún servicio en su nombre, lo que implica delegar cierta autoridad de decisión en el agente" (Traducción: "a contract under which one or more persons (the principal(s)) engage another person (the agent) to perform some service on their behalf which involves delegating some decision making authority to the agent."). Su advertencia viene con una condición: "Si ambas partes de la relación maximizan su utilidad, hay buenas razones para creer que el agente no siempre actuará en el mejor interés del principal" (Traducción: "If both parties to the relationship are utility maximizers there is good reason to believe that the agent will not always act in the best interests of the principal") (Jensen y Meckling, Journal of Financial Economics 1976).

Ellos escribían sobre gerentes y accionistas. LENS Un agente de IA rompe su premisa: no maximiza utilidad propia alguna. Pero la brecha regresa por otro camino. El agente optimiza exactamente lo que especificaste, que rara vez es exactamente lo que querías decir, y esa brecha la pagas en supervisión, igual que cualquier principal lo ha hecho siempre. Un agente nunca infla sus gastos; simplemente te reserva el vuelo más barato que técnicamente autorizaste.

Principio 4: los sistemas copian la organización que los construye

EVIDENCE En 1968 Melvin Conway observó que "las organizaciones que diseñan sistemas (en el sentido amplio aquí usado) están obligadas a producir diseños que son copias de las estructuras de comunicación de dichas organizaciones" (Traducción: "organizations which design systems (in the broad sense used here) are constrained to produce designs which are copies of the communication structures of these organizations") (Conway, Datamation 1968).

DESIGN Un sistema multiagente es un sistema exactamente en ese sentido amplio. Si tres equipos tienen cada uno su propio agente y no se hablan entre sí, vas a terminar con tres agentes que se pasan el trabajo mal unos a otros: el organigrama, ahora con claves de API. La solución está antes del código: decide quién habla con quién, y después diseña a los agentes.

Principio 5: una medida que se vuelve meta deja de medir

Charles Goodhart hizo la observación sobre los objetivos monetarios; la antropóloga Marilyn Strathern le dio después su forma general, hoy conocida: en cuanto una medida se convierte en objetivo, deja de ser una buena medida. LENS Los agentes hacen que esta ley muerda más fuerte, no menos. Una persona que manipula una métrica termina aburrida o culpable. Un agente nunca llega a eso, y busca con más empeño que cualquier persona la manera más barata de alcanzar el número. Pídele a un agente que cierre tickets de soporte más rápido y, a menos que especifiques lo contrario, cerrarlos será la forma más rápida de lograrlo.

Principio 6: las personas necesitan competencia, autonomía, vinculación y seguridad para hablar sin miedo

EVIDENCE La teoría de la autodeterminación nombra "three innate psychological needs--competence, autonomy, and relatedness--which when satisfied yield enhanced self-motivation" (Traducción: tres necesidades psicológicas innatas —competencia, autonomía y vinculación— que, al ser satisfechas, producen una automotivación mayor) (Ryan & Deci, American Psychologist 2000). Amy Edmondson añadió la condición a nivel de equipo: "Team psychological safety is defined as a shared belief that the team is safe for interpersonal risk taking" (Traducción: la seguridad psicológica del equipo se define como una creencia compartida de que el equipo es un espacio seguro para asumir riesgos interpersonales) (Edmondson, Administrative Science Quarterly 1999).

Entregar trabajo a los agentes toca las cuatro cosas a la vez. Competencia: ¿en qué sigo siendo bueno? Autonomía: ¿quién decide ahora? Vinculación: ¿con quién trabajo? Seguridad: ¿puedo decir que el agente se equivocó cuando fue mi jefe quien lo eligió? LENS Es probable que un despliegue de agentes que ignore esto consiga cumplimiento en la superficie y, por debajo, soluciones alternativas calladas.

Un marco que lo une todo: juicio, no solo control

LENS "Humano en el bucle" se usa para todo. EVIDENCE La política estadounidense sobre armas es la que define la idea con más precisión. Su estándar no es el control por el control mismo; es "appropriate levels of human judgment over the use of force," con sistemas "human on the loop" definidos como aquellos "in which operators have the ability to monitor and halt" (Traducción: "niveles apropiados de juicio humano sobre el uso de la fuerza", con sistemas "humano sobre el bucle" definidos como aquellos en los que los operadores tienen la capacidad de monitorear y detener) (DoD Directive 3000.09, revisada el 2023-01-25, según resume el Congressional Research Service, actualizado el 2025-01-02).

LENS Para los agentes, la pregunta útil no es "¿hay un humano en el bucle?". Un humano puede sentarse en el bucle y aprobarlo todo sin leer nada, que es justo el mal uso del Principio 2, pero con firma incluida. La pregunta es dónde se necesita juicio, y si la persona que está ahí puede ejercerlo. Eso nos devuelve al piloto automático: puede ejercerlo solo si ha seguido en práctica. Nadie quiere que le devuelvan los controles por primera vez en medio de una tormenta.

Las seis, en una página

| Principio | Quién lo nombró | Qué predice para los agentes (mi lectura, no evidencia) | |---|---|---| | Cuanto más automatizas, más importa el humano | Bainbridge, 1983 | la persona que revisa al agente pierde práctica | | Calibrar la confianza | Parasuraman & Riley, 1997; Lee & See, 2004 | el exceso y el defecto de confianza salen caros por igual | | La delegación es un contrato | Jensen & Meckling, 1976 | pagas por supervisar la brecha entre la especificación y la intención | | Los sistemas copian a la organización | Conway, 1968 | los agentes se pasan el trabajo entre sí tan mal como lo hacen sus equipos | | Las medidas se vuelven objetivos | Goodhart; Strathern, 1997 | los agentes manipulan las métricas más que las personas | | Competencia, autonomía, vinculación, seguridad | Ryan & Deci, 2000; Edmondson, 1999 | los despliegues que los ignoran generan soluciones alternativas silenciosas |

Lo que no sabemos

OPEN Algunas leyes antiguas podrían no sobrevivir intactas a los agentes. Fred Brooks descubrió que añadir personas a un proyecto de software retrasado lo retrasa más, por el tiempo que se gasta en coordinar. Si añadir agentes se comporta de la misma manera es una pregunta abierta: los agentes suman costo de coordinación, pero no los meses de incorporación. Todavía no lo sabemos, y quien diga que sí está adivinando.

Cómo podría fallar esto

1. Los principios como adorno. Seis principios en una diapositiva no cambian nada. Cada uno necesita una verificación en el plan de despliegue.
2. "Humano en el bucle" como sello de goma. Si las aprobaciones son rápidas y nunca se rechazan, el humano es parte de la automatización, no un control sobre ella.
3. Tratar los principios como anti-agente. Ninguno de ellos dice que no automatices. Dicen que automatices sabiendo qué le hace eso a las personas.

Tu tarea de esta semana

Elige una tarea que tu equipo le haya delegado a un agente de IA. Hazte tres preguntas: ¿cuándo fue la última vez que una persona la hizo a mano (Principio 1)? ¿Quién revisa el resultado, y con qué frecuencia lo rechaza (Principio 2)? ¿Qué número está optimizando el agente, y qué lo manipularía (Principio 5)? Dos respuestas son señal de problema: "nadie la ha hecho a mano este trimestre", y una tasa de rechazo de cero, lo que significa que la revisión no revisa nada. Si alguna respuesta es "no lo sé", ese es tu primer arreglo.

Próximamente

Los principios apenas se mueven. La Parte 2 trata sobre la capa que sí lo hace, lentamente: las prácticas que las organizaciones han ido adoptando para trabajar con agentes, y por qué dos laboratorios de IA competidores dieron casi el mismo consejo.

Fuentes

• Bainbridge, L. (1983). Ironies of automation (Traducción: Las ironías de la automatización). Automatica, 19(6). https://ckrybus.com/static/papers/Bainbridge_1983_Automatica.pdf
• Parasuraman, R. & Riley, V. (1997). Humans and automation: use, misuse, disuse, abuse (Traducción: Humanos y automatización: uso, mal uso, desuso, abuso). Human Factors, 39(2). https://doi.org/10.1518/001872097778543886
• Lee, J. D. & See, K. A. (2004). Trust in automation: designing for appropriate reliance. Human Factors, 46(1). (Descrito, no citado.)
• Jensen, M. C. & Meckling, W. H. (1976). Theory of the firm. Journal of Financial Economics, 3(4). https://josephmahoney.web.illinois.edu/BA549_Fall%202010/Session%205/Jensen_Meckling%20%281976%29.pdf
• Conway, M. E. (1968). How do committees invent? Datamation. https://www.melconway.com/Home/Committees_Paper.html
• Strathern, M. (1997). 'Improving ratings': audit in the British University system. European Review. (Descrito, no citado.)
• Ryan, R. M. & Deci, E. L. (2000). Self-determination theory. American Psychologist, 55(1). https://selfdeterminationtheory.org/SDT/documents/2000_RyanDeci_SDT.pdf
• Edmondson, A. (1999). Psychological safety and learning behavior in work teams. ASQ, 44(2). https://web.mit.edu/curhan/www/docs/Articles/15341_Readings/Group_Performance/Edmondson%20Psychological%20safety.pdf
• Congressional Research Service (actualizado el 2025-01-02). Defense primer: U.S. policy on lethal autonomous weapon systems (DoDD 3000.09, revisado el 2023-01-25). https://www.congress.gov/crs_external_products/IF/PDF/IF11150/IF11150.14.pdf
• Brooks, F. P. (1975). The Mythical Man-Month. (Descrito, no citado.)

Relacionado

• Parte 2 — Buenas prácticas que evolucionan lento: trabajar con agentes hoy
• Parte 3 — Tendencias emergentes que cambian rápido: viejos principios, medidos de nuevo
• Parte 4 — Ganar-ganar-ganar: ejecutivos, startups e ingenieros en un mismo bucle