Aprendizaje profundo generativo, 2ª edición

Capítulo 12. Modelos mundiales

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Objetivos del capítulo

En este capítulo:

• Recorre los fundamentos del aprendizaje por refuerzo (RL).

• Comprender cómo puede utilizarse el modelado generativo dentro de un enfoque de modelo del mundo para la RL.

• Mira cómo entrenar un autoencoder variacional (VAE) para capturar observaciones del entorno en un espacio latente de baja dimensión.

• Recorre el proceso de entrenamiento de una red neuronal de densidad de mezcla-recurrente (MDN-RNN) que predice la variable latente.

• Utiliza la estrategia de evolución de adaptación de la matriz de covarianza (CMA-ES) para entrenar un controlador que pueda realizar acciones inteligentes en el entorno.

• Comprender cómo la propia MDN-RNN entrenada puede utilizarse como entorno, permitiendo al agente entrenar al controlador dentro de sus propios sueños alucinados, en lugar de en el entorno real.

Este capítulo presenta una de las aplicaciones más interesantes de los modelos generativos en los últimos años, a saber, su uso dentro de los llamados modelos del mundo.

Introducción

En de marzo de 2018, David Ha y Jürgen Schmidhuber publicaron su artículo "World Models".¹ El artículo mostraba cómo es posible entrenar un modelo que puede aprender a realizar una tarea concreta mediante la experimentación dentro de su propio entorno onírico generado, en lugar de dentro del entorno real. Es un ejemplo ...