Ruta de agentes · El agente acumula habilidades reutilizables en vez de contexto: memoria procedimental que no se borra al terminar la tarea.
Nivel: L3 · Motor: voyager · Notebook: P32_voyager.ipynb
· Anexo: complejidad y coste
| Campo | Valor |
|---|---|
| Título original | Voyager: An Open-Ended Embodied Agent with Large Language Models |
| Autoría | Guanzhi Wang, Yuqi Xie, Yunfan Jiang, Ajay Mandlekar, Chaowei Xiao, Yuke Zhu, Linxi Fan, Anima Anandkumar |
| Año | 2023 |
| Venue | arXiv:2305.16291 |
| Fuente primaria | arXiv:2305.16291 |
| Acceso | Abierto |
| Fecha de consulta | 2026-08-16 |
Un agente que resuelve cada tarea desde cero no mejora con la experiencia. Y la solución inmediata —guardar lo aprendido como texto en el contexto— choca con dos muros: el contexto es finito, y el texto no es ejecutable.
Además faltaba la otra mitad: en un entorno de final abierto, nadie dice qué hacer a continuación. Sin objetivos, un agente competente no hace nada.
Tres componentes que se realimentan:
- Currículo automático: el agente propone su siguiente tarea en función de lo que ya sabe y de lo que observa, buscando el punto en que sea alcanzable pero no trivial.
- Biblioteca de habilidades: cada solución verificada se guarda como código ejecutable con nombre y descripción, e indexada para poder recuperarla. Las habilidades se componen unas con otras.
- Bucle iterativo de prompting: se escribe código, se ejecuta en el entorno, y los errores del intérprete y la retroalimentación del juego alimentan el siguiente intento.
Se demuestra en Minecraft, un entorno de final abierto sin objetivo terminal.
Aprender a cocinar no es recordar cada vez la receta entera: es que «hacer un sofrito» pase a ser una sola cosa que sabes hacer. Voyager guarda habilidades, no anécdotas.
Dónde deja de funcionar la analogía: una persona generaliza una habilidad a situaciones parecidas. Aquí una habilidad es código concreto: si el entorno cambia lo suficiente, deja de funcionar y no hay adaptación automática.
No hay ecuación; hay una estructura de composición:
habilidad := [ primitiva | habilidad ]*
conseguir_madera = [talar, recoger] → 2 primitivas
fabricar_mesa = [conseguir_madera, fabricar] → 3 primitivas
fabricar_pico = [conseguir_madera, fabricar_mesa, fabricar] → 6 primitivas
El factor de compresión —primitivas equivalentes dividido entre pasos declarados— crece con el currículo. Eso es lo que significa acumular capacidad, frente a acumular texto: cada nivel esconde más trabajo bajo el mismo número de pasos.
Tip
Puente matemático. Esta sección da por sabido lo siguiente. Si algo no te suena, léelo primero: está explicado una sola vez, en un solo sitio, y sirve para todas las fichas.
| Dónde | Qué necesitas de ahí |
|---|---|
| A05 §1 · Notación O(): qué dice y qué no | reutilizar una habilidad cambia el orden de crecimiento del problema |
flowchart TD
E["🌍 entorno"] --> C["📋 currículo automático<br/>«¿qué tarea toca ahora?»"]
B[("📚 biblioteca<br/>de habilidades")] --> C
C --> P["✍️ escribir código<br/>(puede invocar habilidades)"]
P --> X["▶️ ejecutar en el entorno"]
X -->|"error / fallo"| P
X -->|"✅ verificado"| B
B -.->|"componer"| P
style X fill:#1a3a2a,stroke:#3fb950,color:#f0f6fc
La flecha que importa es la de verificación: solo entra en la biblioteca lo que se ejecutó y funcionó.
- Cómo se genera el currículo: qué información recibe el modelo para proponer la siguiente tarea y cómo se evita que proponga cosas imposibles.
- El formato de las habilidades —código con descripción— y cómo se recuperan cuando hacen falta.
- Las ablaciones: sin biblioteca, sin currículo, sin bucle iterativo. Ahí se ve qué aporta cada pieza.
- Las curvas de progreso: número de ítems distintos obtenidos y distancia recorrida frente a las líneas base. Es un entorno sin puntuación única, así que las métricas son necesariamente indirectas.
Evaluación en Minecraft frente a líneas base de agentes con modelos de lenguaje, midiendo descubrimiento de ítems, progresión en el árbol tecnológico del juego y capacidad de generalizar a mundos nuevos reutilizando la biblioteca.
Las cifras concretas y las ablaciones están en el artículo. Verificarlas allí, y tener presente que es un preprint sin revisión por pares y que las métricas de un entorno de final abierto son discutibles por construcción.
La miniatura de este eje aísla la composición: la quinta tarea se declara en tres pasos pero equivale a once acciones primitivas, y una habilidad rota sin verificar contamina las cuatro que la componen.
- Popularizó la biblioteca de habilidades como forma de memoria de agente, distinta de la episódica de Generative Agents.
- Puso el foco en el aprendizaje de final abierto: qué hace un agente cuando nadie le da objetivos.
- Reforzó la idea de que el código es una buena representación de una capacidad: es ejecutable, componible, verificable y legible.
- Depende de un entorno con retroalimentación programática rica: errores de intérprete, estado consultable. Casi ningún dominio real lo tiene igual de limpio.
- Una habilidad no verificada contamina todas las que la compongan.
- Sin generalización: el código es concreto; un cambio en el entorno lo rompe.
- Coste alto en llamadas al modelo por el bucle iterativo.
- La biblioteca crece y recuperar la habilidad correcta se vuelve un problema de búsqueda.
- Preprint sin revisión por pares, y las métricas de un mundo abierto son difíciles de comparar entre trabajos.
| Error | Corrección |
|---|---|
| «El agente aprende como un humano» | Acumula funciones ejecutables verificadas. No generaliza ni transfiere por analogía. |
| «La biblioteca es memoria» | Es memoria procedimental. No recuerda qué pasó, sino qué sabe hacer. |
| «Basta con guardar lo que funcionó» | Sin verificación en el entorno, se guarda código que solo parece correcto y se propaga. |
| «Es un agente autónomo» | Opera dentro de un entorno concreto, con primitivas dadas y un objetivo implícito (explorar). |
| «Sirve para cualquier dominio» | Necesita ejecución verificable. Sin ella, el bucle no cierra. |
- P13 ReAct (2022) — el bucle de acción y observación.
- P14 Toolformer (2023) — aprender a usar herramientas; aquí se crean herramientas nuevas.
- P30 Reflexion (2023) — el bucle de reintento con retroalimentación.
- P33 AutoGen (2023) — de un agente que acumula a varios que se coordinan.
- P16 Sistemas agentic — la síntesis operativa.
- Agentes de programación (2023+) — la biblioteca de habilidades como base de código que el agente mantiene.
Qué implementa: la composición de habilidades con su factor de compresión, el experimento de la habilidad rota que contamina a las que dependen de ella, y el contrato de entrada a la biblioteca.
Qué NO implementa: las habilidades son listas de nombres, no programas. No hay entorno, así que nada se ejecuta ni puede fallar — que es exactamente donde está la dificultad real.
ai-evolution paper-lab P32 --seed 7| Nivel | Actividad |
|---|---|
| Recordar | Enumera los tres componentes y di qué hace cada uno. |
| Explicar | Explica la diferencia entre memoria episódica y procedimental. |
| Aplicar | Ejecuta el notebook y calcula el factor de compresión de cada tarea. |
| Analizar | ¿Cuántas tareas se rompen si falla una habilidad de nivel 1? Cuéntalo en el grafo. |
| Evaluar | ¿Qué dominio de tu trabajo cumple el requisito de ejecución verificable? |
| Crear | Escribe el contrato de entrada a una biblioteca de habilidades para tu dominio. |
- ¿Qué problema resuelve la biblioteca que el contexto no puede resolver?
- ¿Por qué el código es una buena representación de una habilidad?
- ¿Para qué sirve el currículo automático?
- ¿Qué pasa si se guarda una habilidad sin verificar?
- ¿Qué requisito del entorno es imprescindible?
- ¿Qué significa el factor de compresión?
- ¿En qué se diferencia de Toolformer?
- La persistencia y el coste: el contexto es finito y se pierde al terminar; la biblioteca crece sin ocupar contexto y se invoca por nombre.
- Porque es ejecutable (se puede verificar), componible (se puede invocar desde otra), legible (se puede auditar) y persistente.
- Para que el agente tenga objetivos en un entorno sin objetivo terminal, y que esos objetivos estén en el punto justo de dificultad dado lo que ya sabe.
- Se propaga a todas las habilidades que la compongan: un fallo de nivel 1 rompe todo lo que dependa de él, directa o indirectamente.
- Retroalimentación programática verificable: poder ejecutar y saber si funcionó.
- Cuántas acciones primitivas esconde cada paso declarado. Crece con el currículo, y es la medida de que se está acumulando capacidad y no texto.
- Toolformer aprende cuándo llamar a herramientas que ya existen; Voyager crea las herramientas y las guarda.
- Wang, G. et al. (2023). Voyager: An Open-Ended Embodied Agent with Large Language Models. arXiv:2305.16291 · consultado 2026-08-16.
- Schick, T. et al. (2023). Toolformer. arXiv:2302.04761 · consultado 2026-08-16.
⬅️ Anterior: P31 Generative Agents · 📇 Índice · 📝 Evaluación · 🏫 Clase 147 · Proyecto: agente que actúa con límites · ➡️ Siguiente: P33 AutoGen