Как работают мировые модели
Классическая архитектура World Models, предложенная Дэвидом Ха (David Ha) и Юргеном Шмидхубером (Jürgen Schmidhuber) в 2018 году, состоит из трёх компонентов, которые обучаются отдельно, а затем работают вместе.
Задача: сжимать визуальную информацию (кадры видео) в компактное латентное представление — «мысль» нейросети о том, что она видит.
Технология: Вариационный автоэнкодер (Variational Autoencoder, VAE). Он сжимает изображение 64×64 пикселя до вектора размером, например, 32 числа.
Задача: предсказывать, как изменится состояние мира под действием действий агента. Это «мозг» world model — он учится динамике среды.
Технология: Рекуррентная нейронная сеть (RNN) с выходом через MDN (Mixture Density Network) — она предсказывает не одно точное значение, а распределение вероятностей следующего состояния.
Задача: принимать решения — выбирать действия, которые максимизируют награду в симулированном мире.
Технология: Простая нейронная сеть или более сложный reinforcement learning агент (PPO, SAC). Главное — она обучается не в реальном мире, а внутри скрытого пространства world model.
Самое интересное: после обучения world model может симулировать тысячи возможных будущих без реального взаимодействия с внешней средой. Агент «спит» и видит сны, в которых тренируется. Потом эти навыки переносятся в реальный мир (zero-shot transfer).