Skip to content

Latest commit

 

History

History
44 lines (30 loc) · 2.05 KB

File metadata and controls

44 lines (30 loc) · 2.05 KB

🎒 Ficha de estudio — P145 · Superar el olvido catastrófico en redes neuronales

Generado por python scripts/generate_papers.py. Tu bitácora personal va en BITACORA.md.

Paper: Overcoming catastrophic forgetting in neural networks (2017) Nivel: L3 · Notebook: P145_ewc.ipynb

En una frase

Frena selectivamente los pesos que importaban para las tareas anteriores y deja libres los demás, con una penalización derivada de la información de Fisher.

Ruta de trabajo (en este orden)

  1. Lee la pasada 1 de la ficha: título, resumen, figuras. 10 minutos, sin fórmulas.
  2. Responde por escrito: ¿qué problema resolvía? Compáralo con: «El olvido catastrófico llevaba treinta años documentado y sin remedio práctico. Reentrenar con todos los datos anteriores resuelve el problema y exige conservarlos, que es justo lo que no siempre se puede.»
  3. Abre el notebook y escribe tu predicción (sección 7) antes de ejecutar nada.
  4. Ejecuta y contrasta. Si acertaste, explica por qué; si fallaste, explica qué supusiste mal.
  5. Haz el anti-patrón (sección 11) y su corrección. Es la parte que más se evalúa.
  6. Escribe una limitación de la miniatura y una del paper. No las copies de la ficha.

Checklist de «lo entendí»

  • Sé qué se hacía antes de este paper y por qué no bastaba.
  • Puedo dibujar el mecanismo sin mirar.
  • Ejecuté la miniatura e interpreté su salida sin repetir el texto de la ficha.
  • Sé nombrar una cosa que el paper no demostró.
  • Sé qué idea de las que suelen atribuírsele llegó en realidad después.
  • Puedo conectar este hito con el siguiente en una frase.

Conceptos que debes poder definir

  • aprendizaje continuo
  • información de Fisher
  • penalización elástica
  • plasticidad
  • olvido

Fuentes primarias


⬅️ Fichas de estudio · Ficha completa del paper