Vous savez déjà comment un neurone artificiel fonctionne et comment les couches s'empilent pour former un réseau de base. Il est temps d'aller plus loin. Les architectures avancées ne se contentent pas d'ajouter des couches ; elles introduisent des mécanismes spécialisés pour traiter des types de données spécifiques, comme les images, le texte ou les séries temporelles.

Les Réseaux de Neurones Convolutionnels (CNN) excellent dans le traitement des données qui ont une structure de grille, comme les images. Au lieu de connecter chaque neurone d'entrée à chaque neurone de la couche suivante, les CNN utilisent des filtres, ou noyaux, qui glissent sur l'image pour détecter des caractéristiques spécifiques : des bords, des coins, des textures, puis des motifs plus complexes comme des yeux ou des roues.

Deux opérations sont au cœur des CNN :

1. La Convolution : C'est l'application du filtre. Imaginez une petite loupe qui scanne l'image pixel par pixel. Cette loupe (le filtre) est entraînée à reconnaître un motif. Chaque fois qu'elle le trouve, elle active un neurone dans la couche suivante, créant une "carte de caractéristiques" (feature map).

2. Le Pooling (ou sous-échantillonnage) : Après la convolution, la carte de caractéristiques est souvent immense. Le pooling la réduit en taille tout en conservant les informations les plus importantes. L'opération la plus courante, le "Max Pooling", consiste à prendre la valeur maximale d'une petite zone, ce qui rend le modèle moins sensible à la position exacte de la caractéristique dans l'image.

En empilant ces couches, les CNN construisent une hiérarchie de caractéristiques, des plus simples aux plus complexes, ce qui leur permet de reconnaître des objets entiers avec une grande précision.

Lorsque les données sont séquentielles, comme le texte ou les cours de la bourse, l'ordre est crucial. Les Réseaux de Neurones Récurrents (RNN) ont été conçus pour cela. Ils possèdent une "mémoire" interne, une boucle qui permet à l'information de persister d'une étape à l'autre de la séquence. Un RNN traitant une phrase se souviendra des mots précédents pour mieux comprendre le mot actuel.

Cependant, les RNN de base ont une mémoire à court terme. Ils peinent à retenir des informations sur de longues distances, un problème connu sous le nom de "disparition du gradient".

Pour y remédier, des architectures plus sophistiquées ont été créées : le LSTM (Long Short-Term Memory) et le GRU (Gated Recurrent Unit). Ces modèles utilisent un système de "portes" (gates) pour contrôler le flux d'informations. Imaginez un gestionnaire de mémoire qui décide activement quelles informations :

• Oublier : la porte d'oubli (forget gate) supprime les informations non pertinentes de l'état précédent.
• Mémoriser : la porte d'entrée (input gate) décide quelles nouvelles informations stocker.
• Produire : la porte de sortie (output gate) détermine quelle partie de la mémoire utiliser pour la prédiction actuelle.

Les GRU sont une version simplifiée des LSTM, avec moins de portes, ce qui les rend plus rapides à entraîner tout en étant très performants sur de nombreuses tâches. Ces architectures ont longtemps dominé le traitement du langage naturel.

Malgré l'efficacité des LSTM, leur nature séquentielle (traiter un mot après l'autre) les rend lents et difficiles à paralléliser. En 2017, un article intitulé "Attention Is All You Need" a présenté l'architecture Transformer, qui a changé la donne.

Les Transformers abandonnent la récurrence au profit d'un mécanisme appelé auto-attention (self-attention). Au lieu de traiter la séquence mot par mot, l'auto-attention permet au modèle de regarder tous les mots de la phrase en même temps et de déterminer lesquels sont les plus importants les uns pour les autres.

Par exemple, dans la phrase "Le robot a ramassé la balle parce qu'il était trop lourd", le mécanisme d'attention peut connecter "il" à "robot" et non à "balle". Il calcule un score d'attention entre chaque paire de mots.

Le calcul de l'attention se fait via trois vecteurs appris pour chaque mot : la Requête (Query), la Clé (Key) et la Valeur (Value).

1. Pour un mot donné, sa Requête est comparée à la Clé de tous les autres mots de la séquence. Le résultat de cette comparaison est un score.
2. Ces scores sont passés à travers une fonction softmax pour obtenir des poids (qui somment à 1).
3. Chaque poids est multiplié par la Valeur du mot correspondant. La somme de ces produits donne le nouveau vecteur de représentation du mot, enrichi de son contexte.

La formule qui résume cette opération est la suivante :

Pour rendre ce mécanisme encore plus puissant, les Transformers utilisent l'attention multi-têtes (multi-head attention). Le modèle n'apprend pas un seul jeu de vecteurs Q, K, V, mais plusieurs en parallèle. Chaque "tête" d'attention peut se spécialiser sur différents types de relations entre les mots (syntaxiques, sémantiques, etc.). Les résultats de toutes les têtes sont ensuite combinés.

L'architecture complète d'un Transformer est généralement composée d'un encodeur et d'un décodeur. L'encodeur lit et comprend la séquence d'entrée (par exemple, une phrase en français). Le décodeur utilise cette compréhension pour générer la séquence de sortie (la traduction en anglais). Chaque bloc de l'encodeur et du décodeur contient une couche d'attention multi-têtes et un réseau de neurones feed-forward simple.

Au sein de ces architectures complexes, deux composants jouent un rôle crucial pour l'efficacité de l'entraînement : les fonctions d'activation et les couches de normalisation.

Si ReLU est la fonction d'activation la plus courante, des variantes plus performantes ont émergé. La GELU (Gaussian Error Linear Unit), par exemple, pondère les entrées en fonction de leur magnitude, ce qui donne une courbe plus lisse que ReLU. Elle est devenue un standard dans les Transformers comme BERT ou GPT.

La normalisation de couche (Layer Normalization) est une autre technique essentielle. Au lieu de normaliser les données sur l'ensemble du batch (comme le fait la Batch Normalization), elle normalise les activations de chaque exemple de données individuellement à travers les caractéristiques d'une même couche. Cela rend l'entraînement beaucoup plus stable, en particulier pour les Transformers et les RNN, où la longueur des séquences peut varier.

Chaque architecture a ses forces. Les CNN sont les rois de la vision par ordinateur, les LSTM/GRU restent utiles pour certaines tâches séquentielles, et les Transformers dominent le monde du langage grâce à leur capacité à capturer des dépendances complexes de manière parallèle et efficace.

Testez vos connaissances sur ces architectures neuronales.

Comprendre ces différentes briques architecturales est la clé pour concevoir et adapter des modèles d'apprentissage profond à n'importe quel problème.