En Juin 2017, huit chercheurs de Google publient un article de 15 pages qui propose de traiter le langage sans récurrence ni convolution, mais avec un seul mécanisme : l'attention.
Plutôt que de lire les mots les uns après les autres (récurrence) ou de regarder des petits groupes de mots, l'équipe suggère que chaque mot peut regarder les autres mots pour déterminer lesquels sont importants. Cette architecture a été baptisé le Transformer.
Celle-ci a été présenté en 2017, à l'occasion du NeurIPS, conférence annuelle, dédiée aux échanges autour de l'IA et des neurosciences computationelles. L'évènement se déroule tous les ans vers le mois de décembre depuis 1987.
Le Transformer est progressivement devenu le coeur de presque tous les modèles d'IA actuels : GPT, Claude, Gemini.
Les limites de l'approche de récurrence (RNN)
Avant 2017, le traitement de langage naturel reposait essentiellement sur la lecture d'un seul mot à la fois. Néanmoins cette méthode rencontrait deux problèmes majeurs.
D'une part, le processus était très lent. Pour calculer l'état d'un mot, il fallait d'abord déterminer celui du précédent et ainsi de suite pour les mots suivants. Par conséquent, les étapes est dépendante les une des autres et l'entrainement est donc fortement ralentie.
Par exemple, sur une phrase de 100 mots, le processus contient 100 étapes dépendantes pour parcourir la phrase.
D'autre part, une architecture RNN a la mémoire courte : L'information doit traverser toute la chaîne pour relier deux mots. Celle-ci se dilue en route et est mal captée.
L'idée centrale : Chaque mot regarde tous les autres
Dans le cadre d'une approche self-attention, chaque mot va déterminer sa dépendance par rapport à chacun des autres mots. Ils vont ensuite construire une représentation qui vont permettre de se relier entre eux.
Prenons l’exemple de la phrase : « Le chat que j’ai vu hier chez ma voisine dormait. »
Un RNN doit conserver en mémoire le mot « chat » tout au long de la phrase pour comprendre qu’il est le sujet du verbe « dormait ». Cependant, il risque de perdre cette information au fil des mots. À l’inverse, le mécanisme d’attention permet au modèle de relier directement les deux mots, même s’ils sont éloignés l’un de l’autre.
Tout se calcule en une multiplication de matrices pour toute la phrase : c'est exactement ce que les GPU font le mieux. Deux mots, même éloignés, sont reliés en une seule étape.
L'impact business et métier
Pour les entreprises, le transformer a déplacé la manière dont les projets d'IA étaient développés. Avant 2017, chaque cas d'usage demandait un modèle dédié, des milliers d'exemples annotés et une équipe data pour l'entrainer.
Avec des modèles pré-entraînés sur d'énormes corpus puis adaptés, ou simplement sollicités en langage naturel, une même brique couvre la rédaction, la synthèse, la recherche documentaire, le support client ou l'aide au code.
Le goulot d'étranglement n'est plus technique mais organisationnel : identifier les bons cas d'usage, maîtriser la qualité et la confidentialité des données, et accompagner les équipes métier dans l'évolution de leurs pratiques. C'est là que se joue aujourd'hui l'essentiel de la valeur.
Limites et conclusion
Le Transformer a un talon d'Achille : la self-attention compare chaque mot à tous les autres. Il y a donc un impact en termes de coût et de financements : Plus le contexte est long, plus le calcul de l'attention est coûteux et complexe.