SERIE AI-NATIVE · MODELOS DEL MUNDO DESDE CS229, EPISODIO 1 DE 1 · A LOS 20

Modelos del mundo en seis líneas de CS229: Aprende del lobo, protege el rebaño (a los 20)

Por Paul Jialiang Wu · agentic-portfolio-lovat.vercel.app · 2026-10-16 · 18 min de lectura

La pregunta central: ¿Qué es un world model lo bastante compacto para construir, ejecutar y entender, y cómo lleva de ahí a Dreamer, MuZero y Genie?

Este texto NO enseña todo el curso de CS229 ni entrena un world model neuronal; construye el modelo tabular de la sección 19.3 y traza el camino hacia arriba. El ejercicio familiar que propone para niños forma parte de Shepherd's Academy of War, parte 5.

De qué va este ensayo: world models, empezando desde seis líneas

Este es un ensayo sobre world models: una versión pequeña y aprendida de cómo se comporta el mundo, que una máquina usa para planear antes de actuar. Está dirigido a ingenieros jóvenes que quieren investigar en world models, no solo leer sobre ellos. Solo necesitas un navegador, Python y media hora.

Muchos laboratorios apuestan a que la robótica, los juegos y la IA física funcionarán sobre world models. La plataforma Cosmos de NVIDIA lo plantea de forma directa: un sistema de IA física necesita "a digital twin of the world, the world model" (Traducción: un gemelo digital del mundo, el world model)" (NVIDIA (2025), Cosmos World Foundation Model Platform for Physical AI, arXiv 2501.03575). La mayoría de las explicaciones empiezan por lo grande, con modelos de video de 11 mil millones de parámetros. Esta empieza por lo pequeño, con seis líneas en las notas de clase de CS229 de Stanford por Tengyu Ma y Andrew Ng (Ma & Ng, CS229 Lecture Notes (Stanford, Spring 2026)). En la sección 19.3, "Learning a model for an MDP", esas seis líneas contienen un world model completo: observa, cuenta, planea, actúa, repite.

El ensayo se armó con playbook-math, a partir de una selección manual de un 278paquete de notas de unas 30 páginas. Cada una se evaluó según tres criterios: cuánto impulsa a un ingeniero hacia la investigación, cuánto aporta a los world models y si es apta para jugar en familia.

La base práctica de todo esto es el Shepherd's World Model, una página gratuita donde un pastor aprende los hábitos secretos de un lobo para proteger dos rebaños. La imagen viene de Shepherd's Academy of War, una escuela familiar donde los niños exploran cómo funciona un ataque para poder defenderse. El lobo es solo un animal: ninguna persona es el enemigo.

Actividad 1 · Primero, inventa el método del pastor

Las seis líneas

La sección 19.3 de CS229 parte de un proceso de decisión de Markov (MDP): estados, acciones, recompensas y probabilidades de transición que indican a dónde suele llevar cada acción. Normalmente, esas probabilidades no vienen dadas: tienes que estimarlas a partir de la experiencia, y las notas proponen hacerlo como un cociente (ec. 19.5). Cada probabilidad de transición —la posibilidad de llegar a s′ tras tomar la acción a en el estado s— es el número de veces que eso ocurrió, dividido entre el "#times we took action a in state s" (Ma & Ng, CS229 Lecture Notes, eq. 19.5 (p. 233)). Si nunca se ha probado un par, se asume una probabilidad uniforme.

Después, las notas unen el aprendizaje y la planificación en un ciclo de pocas líneas:

1. Empieza con cualquier política.
2. Repite: - (a) ejecútala durante algunos episodios; - (b) actualiza los conteos de transiciones; - (c) ejecuta iteración de valores sobre el modelo estimado; - (d) cambia a la política codiciosa según los nuevos valores.

El paso (c) es la parte de planificación, así que aquí va directo. El valor V(s) de un estado es la recompensa que puedes esperar desde ahí en adelante. La iteración de valores repite una actualización hasta que los números dejan de cambiar (§19.2): V(s) ← R(s) + γ · máximo sobre acciones a de Σ sobre siguientes estados s′ de P̂_sa(s′) · V(s′). Aquí γ (0.95 en el demo) descuenta el futuro. Una política es una regla para decidir qué acción tomar en cada estado, y la política codiciosa simplemente elige la acción con el mayor valor. En la primera noche, el pastor que no sabe nada supone que todos los movimientos del lobo son igual de probables, así que protege todas las casillas por igual, lo que equivale a no proteger ninguna.

Eso es el modelo del mundo completo. Un world model es una copia pequeña y aprendida de cómo se comporta el mundo, construida a partir de lo que observaste y usada para planear antes de actuar. Este tiene memoria de lo que ocurrió (los conteos), un modelo construido con esa memoria (los cocientes), y un planificador que usa el modelo antes de actuar (iteración de valores).

Actividad 2 · Mira cómo aprende el pastor

Con la semilla 1, el pastor que nunca aprende sigue planeando eternamente como si “cada movimiento fuera igual de probable”. Así se compara con el pastor que sí aprende, durante los últimos 30 de 60 turnos nocturnos. Ese es el segundo clic: la puntuación después de 60 noches menos la de 30, dividido entre 30. (Calculado; abre la página con la semilla 1 para comprobarlo.)

La última fila es la lección dentro de la lección. Un errante casi no tiene hábito que aprender, así que el world model tiene poco que aportar. Frente a él, un pastor que aprende lo hace casi igual de bien que uno que asume que todos los movimientos del lobo son igual de probables y nunca actualiza (93% frente a 88%). Aprender no puede inventar un patrón que el lobo no tiene. Un world model solo es tan útil como la estructura que haya en el mundo que modela. Esa frase vale una carrera de investigación. En mi opinión, gran parte de la discusión sobre si los modelos grandes “tienen world models” en realidad es una discusión sobre cuánta estructura los datos de entrenamiento les obligaron a capturar. Eso es una opinión, no un hallazgo.

El camino: de seis líneas a world foundation models

Los trabajos posteriores conservan algunas líneas de este ciclo y cambian otras. El filtro de Kalman asume que el modelo ya está dado y no aprende nada. Genie aprende un simulador pero no planifica. MuZero solo aprende las partes que la planificación necesita. La tabla indica qué parte conserva cada uno y la advertencia que aún arrastra.

Creencia en vez de posición.

• El pastor ve al lobo. La mayoría de los robots no; solo reciben pistas ruidosas.
• La sección 20.4 de CS229 (LQG) resuelve esto: mantiene una creencia sobre el estado oculto con un filtro de Kalman, y luego controla con LQR. El artículo de Kalman 1960 lo resume en una sola frase: “The filtering problem is shown to be the dual of the noise-free regulator problem.” (Traducción: El problema de filtrado resulta ser el dual del problema del regulador sin ruido)." (Kalman (1960), A New Approach to Linear Filtering and Prediction Problems, J. Basic Eng. 82).
• Estimar y actuar resultan ser imágenes en espejo. Ese es el tipo de sorpresa que hace que alguien quiera dedicarse a la investigación.

Aprender y planificar, entrelazados.

• Dyna de Sutton (1991) es este ciclo convertido en arquitectura, décadas antes de estas notas. En sus palabras: “Planning is incremental and can use the probabilistic and ofttimes incorrect world models generated by learning processes.” (Traducción: La planificación es incremental y puede usar los world models probabilísticos y a menudo incorrectos generados por procesos de aprendizaje)." (Sutton (1991), Dyna, ACM SIGART Bulletin 2).
• "Ofttimes incorrect" es la verdad incómoda del campo. Las primeras tablas del pastor también están equivocadas.

Soñar dentro del modelo.

• Ha y Schmidhuber (2018) cambiaron la tabla por redes neuronales y escribieron: "We can even train our agent entirely inside of its own hallucinated dream generated by its world model, and transfer this policy back into the actual environment. (Traducción: Incluso podemos entrenar a nuestro agente completamente dentro de su propio sueño alucinado generado por su world model, y transferir esa política de vuelta al entorno real)." (Ha & Schmidhuber (2018), World Models, arXiv 1803.10122).
• En la demo, la iteración de valores sobre la tabla aprendida es justo eso: el pastor entrena su plan dentro de su propio modelo del lobo. El botón de soñar simplemente muestra una de esas noches imaginadas, donde el lobo gris se mueve como el pastor imagina que se mueve. Un sueño solo es tan bueno como el modelo: los primeros sueños del pastor están equivocados.

Aprende solo lo que la planificación necesita.

• MuZero (2020) "aprende un modelo iterable que produce predicciones relevantes para la planificación" (Schrittwieser et al. (2020), MuZero, Nature 588): política, valor y recompensa, no una imagen completa del mundo.
• No aprendió las reglas del ajedrez. Aprendió lo que necesitaba para ganar.

Una receta para muchos dominios.

• DreamerV3, publicado en Nature en 2025, usó una sola receta de world model en tareas muy distintas. Se describió como el primer algoritmo, "to our knowledge", en recolectar diamantes en Minecraft desde cero, sin datos humanos ni currículos (Hafner et al. (2025), Mastering diverse control tasks through world models, Nature 640).
• No olvides la salvedad cuando la repitas.

World models fundacionales.

• Genie de Google DeepMind tiene "11B" parámetros y sus autores lo describen como un foundation world model (Bruce et al. (2024), Genie, arXiv 2402.15391).
• Genie 3 se mantiene coherente durante "a few minutes" (Traducción: unos pocos minutos)" en tiempo real (Google DeepMind (2025), Genie 3 blog), pero no indefinidamente.
• OpenAI presentó la generación de video como "a promising path towards building general purpose simulators of the physical world" (Traducción: un camino prometedor hacia la construcción de simuladores de propósito general del mundo físico)" (OpenAI (2024), Video generation models as world simulators, abstract as given on the MIT CSAIL seminar page). Eso es una apuesta de investigación, no un simulador del mundo ya demostrado, y el modelo de video no toma decisiones ni acciones.

Las notas de CS229 también incluyen los dos motores que están dentro de estos modelos grandes:

• el autoencoder variacional (sección 11.5; Kingma y Welling, arXiv 1312.6114, Kingma & Welling (2013), Auto-Encoding Variational Bayes), que comprime lo que percibe el agente en un código compacto;
• modelos de difusión (sección 14; Ho, Jain y Abbeel, arXiv 2006.11239, Ho, Jain & Abbeel (2020), Denoising Diffusion Probabilistic Models), que generan los fotogramas de los simuladores de video del mundo.

Son los siguientes escalones, no el de aquí.

Actividad 3 · Escribe tú mismo la parte de conteo y luego complétala

import random
random.seed(1)
N, SHEEP = 7, 6                       # a corridor of 7 cells; the sheep are in the last one
def wolf_step(w):                     # the TRUE habit, hidden from the shepherd
    return min(w + 1, SHEEP) if random.random() > 0.2 else max(w - 1, 0)
counts = [[0] * N for _ in range(N)]  # counts[w][w2]: how often the wolf went from w to w2
visits = [0] * N
def p_hat(w, w2):                     # CS229 eq. 19.5; never seen -> uniform over the wolf's moves
    if visits[w] == 0:
        return 0.5 if abs(w2 - w) == 1 or (w in (0, SHEEP) and w2 == w) else 0.0
    return counts[w][w2] / visits[w]
for night in range(200):              # watch the wolf and count
    w = 0
    while w != SHEEP:
        w2 = wolf_step(w)
        counts[w][w2] += 1
        visits[w] += 1
        w = w2
for w in range(SHEEP):
    print(w, "-> forward", round(p_hat(w, w + 1), 2), " back", round(p_hat(w, max(w - 1, 0)), 2))
E = [0.0] * N                         # plan: how many steps until the wolf reaches the sheep? (the shepherd's deadline)
for _ in range(500):                  # value iteration on expected steps-to-sheep under P-hat
    E = [0.0 if w == SHEEP else 1 + sum(p_hat(w, w2) * E[w2] for w2 in range(N)) for w in range(N)]
print("expected steps for the wolf to reach the sheep from cell 0:", round(E[0], 2))

Imprime probabilidades aprendidas hacia adelante entre 0.77 y 0.84 para un valor real de 0.8, y un promedio esperado de 9.32 pasos desde la primera casilla (calculado con semilla 1). Sé claro sobre lo que hace: el conteo es la ec. 19.5 de CS229. El último ciclo evalúa la cadena aprendida, que es la fase de planificación sin opciones. Si le das al pastor acciones (quedarse, avanzar hacia el lobo) y eliges la mejor en cada ronda, eso se convierte en iteración de valores: ese es tu ejercicio, y es el motor de la demo. Luego rómpelo a propósito:

• cambia el 0.2 por 0.5;
• pruébalo con solo 5 noches en vez de 200;
• haz que el hábito del lobo cambie según la noche.

Cada cambio es una pregunta de investigación en miniatura. ¿Cuántos datos necesita realmente un world model? ¿Qué ocurre cuando el mundo cambia bajo tus pies? ¿Cuánto cuesta planear con un modelo equivocado?

Por eso aquí arranca la investigación

Las páginas más inspiradoras de CS229 para quien quiere lanzarse a investigar ni siquiera hablan de world models. Son la sección 8.2, sobre double descent. Durante décadas, el libro de texto decía que, pasado cierto punto, los modelos más grandes sobreajustan y el error de prueba sube. Luego las mediciones mostraron lo contrario, más allá de otro punto. Belkin y colegas reportaron que "increasing model capacity beyond the point of interpolation results in improved performance" (Traducción: aumentar la capacidad del modelo más allá del punto de interpolación mejora el desempeño)" (Belkin, Hsu, Ma & Mandal (2019), Reconciling modern machine-learning practice and the classical bias-variance trade-off, PNAS 116 (arXiv 1812.11118)). Nakkiran y colegas titularon su seguimiento Deep Double Descent: Where Bigger Models and More Data Hurt" (Traducción: Donde los modelos más grandes y más datos empeoran el resultado) (Nakkiran et al. (2019), Deep Double Descent, arXiv 1912.02292), porque más datos incluso pueden empeorar las cosas por un tiempo.

Ese es el movimiento de investigación en su versión más pura: ejecuta el experimento, mide, déjate sorprender, reconstruye la teoría. El demo del pastor es tan compacto que puedes hacerlo esta misma noche. La fila del wanderer de arriba ya es una sorpresa digna de explicación.

Misma historia, cinco caminos de salida

Verdad, amor y belleza en este ensayo

• Verdad: cada número se puede reproducir. El demo está sembrado, el código imprime sus resultados, y cada afirmación sobre un paper famoso lleva su propio matiz ("to our knowledge", "a few minutes", "a promising path").
• Amor: el ensayo te pone a enseñar a un niño y a hacer un ejercicio familiar. Responde a las creencias a medias sobre world models reconociendo lo que sí acertaron.
• Belleza: seis líneas contienen toda la idea. Los world models posteriores conservan una o más de esas líneas y cambian la tabla por una red miles de millones de veces más grande.

Una perspectiva es la mía, y la marco como tal. Shepherd's Academy of War toma su imagen del informe de David a Saúl: "Your servant was keeping his father’s sheep; and when a lion or a bear came, and took a lamb out of the flock, I went out after him, and struck him, and rescued it out of his mouth…" (1 Samuel 17:34–35, WEB). Un pastor que aprende los hábitos del depredador para proteger al rebaño es, en mi fe, una imagen del amor que hace la tarea. La lista de comprobación anterior se sostiene incluso sin esa creencia.

Errores que son medio ciertos

• "Un world model es un generador de video." Algunos world models generan video, pero el de CS229 es una tabla de conteos y un planificador. Lo que lo define es planificar con un modelo aprendido, no con imágenes.
• "Los world models más grandes siempre ayudan." Solo si el mundo tiene estructura que capturar. La fila del wanderer es la prueba en pequeño: recuerda al pastor que nunca aprendió y aun así obtuvo 88%.
• "MuZero aprendió el juego." Aprendió lo que la planificación necesitaba (política, valor, recompensa), que es menos, y más inteligente.

Ahora enséñalo

Por qué importa: los cinco porqués

El problema: un ingeniero quiere trabajar en world models y no sabe por dónde empezar, porque la mayoría de los papers destacados parten de miles de millones de parámetros.

1. ¿Por qué los papers destacados empiezan tan grandes? Los resultados principales se logran a gran escala: los parámetros de Genie 11B (Bruce et al. (2024), Genie, arXiv 2402.15391), y DreamerV3 en Nature (Hafner et al. (2025), Mastering diverse control tasks through world models, Nature 640).
2. ¿Por qué empezar en grande dificulta entender? A esa escala no puedes distinguir qué parte hace el trabajo: el modelo, el planificador o los datos.
3. ¿Por qué? Porque las partes están entrelazadas en una sola red. En el ciclo de CS229 son líneas separadas que puedes desactivar una por una (Ma & Ng, CS229 Lecture Notes, eq. 19.5 (p. 233)).
4. ¿Por qué importa poder desactivar partes? Así es como descubres qué es lo que realmente importa. La línea base que nunca aprende y la fila del wanderer son justo ese tipo de experimento, y Dyna señala la advertencia honesta: los modelos aprendidos son "ofttimes incorrect" (Traducción: a menudo incorrectos) (Sutton (1991), Dyna, ACM SIGART Bulletin 2).
5. Causa raíz: los world models se enseñan de arriba hacia abajo. La solución es construir uno pequeño y completo, medirlo contra una línea base, romperlo a propósito y luego subir por la genealogía sabiendo qué añadió cada paso.

Ponte manos a la obra: ejecútalo esta semana

1. Lee la consigna de preparación para enseñar.
2. Haz un esquema en papel del método del pastor (Actividad 1, 5 minutos).
3. Abre el Shepherd's World Model con los cuatro hábitos y completa tu propia versión de la tabla (10 minutos).
4. Ejecuta la parte de conteo en Python, agrégale las acciones del pastor y luego modifícala a propósito para que falle (15 minutos).
5. Realiza la dinámica familiar con un niño y comparte el resultado.

Cómo saber si funcionó

• Puedes recitar de memoria el ciclo de la sección 19.3 de CS229 en cuatro pasos.
• Puedes explicar por qué la fila del wanderer apenas mejora.
• Cambiando una suposición en el código, puedes decir qué falló y por qué.

El aprendizaje basado en simulaciones tiene evidencia sólida en educación superior: g = 0.85 en 145 estudios (Chernikova et al. (2020), Simulation-based learning in higher education, Review of Educational Research 90). Eso aplica a estudiantes que usan simulaciones, no a niños, y no a construir una, así que toma la dinámica familiar como una prueba, no como una promesa. Los estudios sugieren que los niños pequeños construyen mapas causales de su entorno: "2- to 4-year-old children construct new causal maps" (Traducción: Niños de 2 a 4 años construyen nuevos mapas causales)" (Gopnik et al. (2004), A theory of causal learning in children, Psychological Review 111). El ejercicio pregunta si eso se refleja cuando intentan predecir al lobo.

Feedforward: trampas y alertas, decididas desde ahora

• Si tu modelo aprendido supera la línea base por menos que el ruido entre semillas, todavía no has aprendido nada. Prueba con más semillas antes de afirmar un resultado, y revisa siempre si el pastor que nunca aprende ya gana.
• Si llamas a algo world model, di explícitamente qué línea ejecuta. Contar, planear, soñar o generar video son afirmaciones distintas.
• Si citas un resultado famoso sin su matiz, vuelve a ponerle el matiz ("to our knowledge", "a few minutes").

Autoevaluación 5S

Fuentes

1. Ma, T. & Ng, A. CS229 Lecture Notes, Stanford, primavera de 2026 (sección 19.3, pp. 232–234; 20.4; 11.5; 14; 8.2). cs229.stanford.edu
2. Craik, K. (1943). The Nature of Explanation, citado en Quanta Magazine (2025). quantamagazine.org
3. Kalman, R. E. (1960). A New Approach to Linear Filtering and Prediction Problems. J. Basic Eng. 82. Crossref
4. Sutton, R. S. (1991). Dyna. ACM SIGART Bulletin 2. OpenAlex
5. Ha, D. & Schmidhuber, J. (2018). World Models. arXiv:1803.10122
6. Schrittwieser, J. et al. (2020). MuZero. Nature 588. nature.com
7. Hafner, D. et al. (2025). Mastering diverse control tasks through world models. Nature 640. nature.com
8. Bruce, J. et al. (2024). Genie: Generative Interactive Environments. arXiv:2402.15391
9. Google DeepMind (2025). Genie 3. deepmind.google
10. NVIDIA (2025). Cosmos World Foundation Model Platform for Physical AI. arXiv:2501.03575
11. OpenAI (2024). Video generation models as world simulators (abstract via MIT CSAIL). csail.mit.edu
12. Kingma, D. P. & Welling, M. (2013). Auto-Encoding Variational Bayes. arXiv:1312.6114
13. Ho, J., Jain, A. & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. arXiv:2006.11239
14. Belkin, M., Hsu, D., Ma, S. & Mandal, S. (2019). Reconciling modern machine-learning practice and the classical bias–variance trade-off. arXiv:1812.11118
15. Nakkiran, P. et al. (2019). Deep Double Descent. arXiv:1912.02292
16. Chernikova, O. et al. (2020). Simulation-based learning in higher education. Review of Educational Research 90. doi:10.3102/0034654320933544
17. Gopnik, A. et al. (2004). A theory of causal learning in children. Psychological Review 111. PubMed
18. Kobayashi, K. (2024). Interactive learning effects of preparing to teach and teaching. Educational Psychology Review. ERIC EJ1414484
19. 1 Samuel 17:34–36, World English Bible. bible-api.com

Relacionado