En 2018, les chercheurs David Ha et Jürgen Schmidhuber ont publié un article qui a changé notre perception de l'apprentissage des IA. Leur idée était simple en apparence, mais profonde : et si un agent pouvait apprendre un modèle interne de son monde, puis utiliser ce modèle pour s'entraîner entièrement dans un "rêve" généré ?

Cette approche, nommée "World Models" (Modèles du Monde), s'articule autour d'une architecture élégante en trois parties : Vision (V), Mémoire (M), et Contrôleur (C).

L'ensemble du système apprend en deux phases distinctes. D'abord, il observe l'environnement pour construire son modèle interne. Ensuite, il utilise ce modèle pour apprendre une stratégie, un peu comme un athlète visualise une course avant de la courir.

La première étape est de voir. Mais les observations brutes, comme les pixels d'un écran, sont trop complexes et redondantes. Le composant Vision (V) utilise un Auto-encodeur Variationnel (VAE) pour résoudre ce problème. Son rôle est de compresser chaque image de l'environnement en un petit ensemble de nombres : un vecteur dans un "espace latent" que nous appelons $z$.

Une fois que le monde est représenté par une série de vecteurs $z$, le composant Mémoire (M) entre en jeu. Son travail est d'être le "moteur physique" du monde rêvé. C'est un Réseau de Neurones Récurrent (RNN) qui apprend les dynamiques temporelles de l'environnement.

Concrètement, il prend le vecteur latent actuel $z_t$ et l'action que l'agent a choisie $a_t$, puis il prédit le prochain vecteur latent $z_{t+1}$. Pour gérer le fait que le monde peut être imprévisible, le modèle utilise une couche MDN (Mixture Density Network), lui permettant de prédire une distribution de probabilités des futurs possibles, plutôt qu'un seul futur déterministe.

Avec le VAE et le RNN entraînés, l'agent possède désormais un simulateur complet et rapide de son monde. Il peut générer des séquences d'événements futurs sans jamais avoir besoin de consulter à nouveau l'environnement réel, qui est souvent lent à simuler.

La dernière pièce du puzzle est le Contrôleur (C). C'est la partie qui prend les décisions. Ha et Schmidhuber ont fait un choix surprenant : ils ont utilisé un contrôleur extrêmement simple, une petite fonction linéaire. Pourquoi ? Pour prouver que si le modèle du monde (V et M) est assez bon, la prise de décision n'a pas besoin d'être complexe.

La fonction du contrôleur est de prendre l'état actuel du monde rêvé (le vecteur $z$ et l'état caché du RNN $h$) et de produire une action $a$.

C'est ici que la magie opère. L'agent n'interagit plus avec l'environnement réel. À la place, il "rêve". Le RNN génère un état futur, le contrôleur choisit une action, le RNN génère l'état suivant, et ainsi de suite. Des milliers de trajectoires sont simulées en un clin d'œil à l'intérieur de ce monde appris.

L'objectif du contrôleur est d'apprendre une politique qui maximise la récompense totale attendue au cours de ces épisodes imaginés. Parce que cette simulation interne est rapide et entièrement différentiable, des algorithmes d'optimisation efficaces peuvent être utilisés pour trouver rapidement une bonne stratégie.

Ce découplage entre la perception/prédiction et le contrôle est la clé de voûte des Modèles du Monde. Il permet à un agent d'apprendre un modèle complexe et riche de son environnement, puis de l'exploiter efficacement pour apprendre des comportements complexes avec un contrôleur étonnamment simple.