Paul Jialiang Wu agentic-portfolio English 中文 한국어 日本語✉️ Lista gratuita
← Volver al portafolio

Serie AI-Native · Control para sistemas agénticos

La comanda

Por Paul Jialiang Wu · futuremake.io · 2026-08-24 · Episodio 1 de 4

Cover: white ground with a black left rail. Eyebrow AI-NATIVE SERIES · CONTROL FOR AGENTS above the serif title The Order Ticket, then two grey lines reading 'You cannot enter the kitchen. You control one thing: what is written on the slip.' Below, two rows of three grey cards: THE SLIP / one call / instructions, examples, format; THE WINDOW / one completion / your entire observation channel; THE GAP / variance / what prompt work rarely measures; then SURVEYED / arXiv:2401.14423 / the mature layer; PROMPTWARE / arXiv:2503.02400 / process, not better wording; THE LIMIT / no memory of after / the plate already left.
La restricción no es una metáfora. Una invocación, una comanda.

Resumen en 1 minuto — lo que te vas a llevar

La ingeniería de prompts es la única capa de las cuatro con cobertura real de encuestas, y la temporada arranca aquí para hacerle justicia. Su unidad de trabajo es una sola llamada al modelo, que también es su límite: ningún cambio de redacción permite que un prompt observe qué pasó después de que se devolvió la respuesta. El hallazgo más interesante en la literatura de prompts no es una técnica — es Promptware Engineering y su argumento de que los prompts necesitan versionado, pruebas y responsables claros. Eso no es un consejo sobre cómo redactar mejor. Es una recomendación sobre el proceso que rodea esa redacción, que será el tema del próximo episodio.

Inicio en seco

Una cocina en pleno ajetreo. No puedes entrar. No puedes tocar una sartén, probar una salsa ni pedirle al cocinero que repita el plato. Solo tienes una forma de influir: una comanda en papel que deslizas por una ranura.

Mesa 7. Pollo. Sin cacahuates. Picante medio. Veinte minutos.

Todo lo que puedes modificar debe caber en esa comanda. Eso es la ingeniería de prompts, y la restricción no es una metáfora: es la interfaz tal cual. Una llamada al modelo, una comanda.

Este episodio es el primero y es breve porque esta es la capa madura. Es la que cuenta con literatura, encuestas y métodos consolidados. El resto de la temporada explora qué sucede cuando la comanda deja de ser suficiente.

El universo narrativo

La cocina tiene una regla que marca toda la temporada: tú estás afuera. No controlas el proceso del cocinero, solo lo que escribes y lo que vuelve por la ventanilla. Cada episodio posterior es un intento de ganar más control sin poder entrar: primero reconstruyendo la cocina (Episodio 2), luego observando los platos que regresan y enviando nuevas comandas (Episodio 3), y finalmente operando varias cocinas a la vez (Episodio 4).

Mapa técnico 1:1

CocinaNombre técnicoQué controlas realmente
La comanda en papelel promptinstrucciones, ejemplos, formato de salida, encuadre de rol
"Sin cacahuates"una restricciónun requisito estricto declarado en el propio mensaje
"Picante medio"un campo poco especificadola principal fuente de variación
Dos platos de ejemplo en la barraejemplos de pocos disparos (few-shot)aprendizaje en contexto
"Veinte minutos"un presupuestola única condición de parada disponible en este nivel
La ventana por la que regresa el platouna completacióntu único canal de observación

Las afirmaciones, por categoría

[DEF] La ingeniería de prompts es el diseño de la instrucción, los ejemplos, el contrato de salida y el encuadre de roles para una invocación de modelo o una interacción breve (arXiv:2401.14423, Prompt Design and Engineering). Su unidad de trabajo es una sola llamada.

[EVIDENCE] Esta es la capa que sí cuenta con literatura basada en encuestas reales. Prompt Design and Engineering (arXiv:2401.14423) cubre los métodos principales y llega hasta técnicas cercanas al mundo de los agentes como ReAct, ReWOO y DERA — lo cual es relevante, porque significa que el material sobre el "bucle de agente" ya se consideraba parte de la literatura de prompts antes de tener su propia etiqueta.

[DESIGN] Promptware Engineering (arXiv:2503.02400) da el paso clave para esta temporada: sostiene que los prompts deberían contar con el aparato estándar del software — requisitos, pruebas, control de versiones, mantenimiento. Observa bien el enfoque de ese argumento. No dice que los prompts necesiten mejor redacción. Dice que los prompts necesitan disciplina de procesos en torno a ellos. Eso ya es dar un paso fuera de la cocina y acercarse al harness.

[OPEN] ¿Cuánto de lo que atribuimos a la calidad del prompt es en realidad mérito del harness — recuperación, ensamblaje de contexto, disponibilidad de herramientas? En la literatura práctica, esa distinción rara vez está clara. Cuando un “mejor prompt” se publica junto con una ventana de contexto modificada, la atribución queda sin resolver.

Compuerta de Predicción

Antes de seguir, comprométete con una respuesta. Escríbela; la gracia es que puedes equivocarte.

Un equipo mejora el éxito de tareas de un agente del 61% al 78%. Cambiaron dos cosas en la misma semana: reescribieron el system prompt y añadieron un paso de recuperación de archivos del repositorio.

Apuesta: ¿cuál de los dos cambios aportó la mayor parte de la mejora, y qué experimento único lo aclararía?

La mayoría apuesta por el prompt, porque es lo que pueden leer. El experimento decisivo es una ablación: lanzar la recuperación con el old prompt. ¿Por qué casi nadie lo hace? Porque nadie quiere pasar una semana demostrando que su propia prosa no era tan importante.

Sala de Fallos

Rompe esto a propósito: elimina el contrato de salida y deja todo lo demás.

Toma un prompt que devuelva resultados de forma confiable {"status": ..., "retryable": ...} y borra la línea del esquema, dejando solo la descripción de la tarea. El modelo sigue haciendo la tarea. El texto sigue describiéndola. Lo que falla es todo lo que viene después — el parser, la lógica de reintentos, el evaluador que lee retryable.

El diagnóstico importa más que el fallo: en esta capa, un error de formato es indistinguible de un error de capacidad hasta que algo después intenta leer la salida. Ese es el primer síntoma de la capa ausente de la que trata esta temporada. El slip estaba bien. La cocina estaba bien. Nadie estaba vigilando la ventana.

Laboratorio — 15 minutos

Trata un prompt como una especificación bajo prueba.

  1. Toma un prompt en el que confíes. Escribe, como afirmaciones, qué debe cumplir su salida: campos presentes, tipos, valores de enumeración, límites de longitud.
  2. Ejecuta el prompt 20 veces con temperatura 0 y cuenta los fallos respecto a esas afirmaciones. Luego haz lo mismo 20 veces con la temperatura que usas en producción.
  3. Ahora cambia exactamente una palabra de la instrucción (no del esquema) y repite el proceso.

Estás midiendo lo que casi nunca se mide en el trabajo con prompts: varianza, no calidad. Un prompt con mejor promedio pero peor varianza suele ser peor para un sistema que tiene que analizar su salida.

Misión realidad

Identifica el prompt con más tráfico en algo que administres. Asígnale un número de versión, un archivo de pruebas y una persona responsable. Esa es toda la recomendación de Promptware Engineering (arXiv:2503.02400) condensada en una tarde, y es el mayor beneficio duradero y fácil de implementar en esta capa.

Reto de investigación

Usa un agente para hacer el estudio de atribución que nadie suele realizar. Toma un harness público de benchmarks de agentes, fija el prompt y elimina el paso de ensamblado de contexto; luego fija el contexto y elimina el prompt. Reporta ambos deltas uno junto al otro. La hipótesis a probar: en un sistema con retrieval y herramientas, las modificaciones al prompt explican menos de la varianza de lo que los practicantes suelen asumir. Eso por ahora está [OPEN], y es medible.

Prueba final

Puedes pasar al siguiente episodio cuando puedas responder las tres sin mirar:

  1. ¿Cuál es la unidad de trabajo en esta capa? (one model invocation)
  2. Nombra la única cosa que esta capa no puede hacer, por bien escrito que esté el papel. (observe what happened after the plate left the window)
  3. ¿Qué propuso realmente Promptware Engineering — mejor redacción, o disciplina de proceso alrededor de los prompts?

Cliffhanger

La comanda es tan buena como puede ser. El esquema se respeta, las restricciones son explícitas, el presupuesto está claro. Y aun así, el cocinero no puede leer el archivo que querías, no puede ejecutar la prueba que te importa y no puede decirte por qué el plato regresó mal.

Así que dejas de escribir mejores comandas y empiezas a construir la cocina. Ahí es donde el vocabulario también empieza a cambiar — porque la siguiente palabra a la que todos recurren es harness, y su definición más citada dice algo que en silencio desarma el diagrama ordenado que todos dibujamos.

→ Episodio 2 — El cuerpo que le das

Sigue leyendo

Episodio 1 de Intelligence Engineering Adventures, Temporada 6 — El Motor Gobernador. Las afirmaciones en la fuente de la serie están clasificadas por tipo — definición, derivación, evidencia, decisión de ingeniería, pregunta abierta — y una metáfora puede introducir una afirmación pero nunca sirve como evidencia. La temporada toma el diagrama de las cuatro etiquetas lo bastante en serio como para contrastarlo con sus fuentes primarias, y ahí no resiste: la definición de Anthropic convierte el harness en el bucle, no en una capa superior. Cada afirmación está etiquetada por tipo, y el único problema realmente abierto se declara como tal — nadie ha publicado un criterio de estabilidad para un bucle de control de LLM. Este artículo no contiene material de ningún empleador ni cliente. — Paul Jialiang Wu · futuremake.io

Referencias

  1. Prompt Design and Engineering: Introduction and Advanced Methods — arXiv:2401.14423. Revisión de métodos de prompts, incluyendo ReAct, ReWOO y DERA. Verificado el 24-08-2026 vía arXiv.
  2. Promptware Engineering: Software Engineering for Prompt-Enabled Systems — arXiv:2503.02400. Nota: el resumen que motivó esta temporada citaba este trabajo como "Software Engineering for LLM Prompt Development"; el ID es correcto, pero el título no lo es. Título verificado como aparece arriba.
  3. Anthropic, Building Effective AI Agents — diferencia entre la orquestación predefinida ("workflows") y los sistemas donde el modelo controla de forma dinámica el proceso y el uso de herramientas ("agents"). https://www.anthropic.com/engineering/building-effective-agents