Vignette (© Niklas Elmehed – Nobel Prize Outreach).

John J. Hopfield et Geoffrey E. Hinton sont deux figures emblématiques de l’intelligence artificielle. Le terme « intelligence artificielle » est utilisé pour désigner des algorithmes d’apprentissage automatique permettant de réaliser des tâches complexes, notamment en utilisant des réseaux de neurones artificiels [ 1 – 3 ] ( → ).

(→) Voir m/s n° 3, 2024, page 283, m/s n° 11, 2020, page 1059 et m/s , n° 10, octobre 2020, page 919

Les travaux de ces deux chercheurs ont permis d’améliorer significativement la compréhension et l’utilisation des réseaux neuronaux artificiels dans de nombreux domaines, dont la physique, en proposant les bases théoriques de nombreux algorithmes actuels. En recevant le prix Nobel de Physique en 2024, ils rejoignent les 225 autres lauréats physiciens de cette prestigieuse récompense, mais avec la particularité d’être récompensés pour un sujet qui est habituellement associé à la science informatique.

Cet article retrace le parcours de ces deux chercheurs et explore l’impact de leurs travaux dans le domaine biomédical, notamment le développement de l’algorithme Alpha Fold [ 4 ] ( → ) dont les fondateurs furent également récompensés du prix Nobel de chimie cette même année.

(→) Voir m/s , n° 10, octobre 2024, page 725

John Joseph Hopfield, est né le 15 juillet 1933 à Chicago et a obtenu, en 1958, son Doctorat de Sciences à l’université Cornell (États-Unis) où il s’est intéressé aux cristaux [ 5 ]. Il a ensuite passé deux ans dans le groupe théorique des Laboratoires Bell ¹ , puis un an à l’école normale supérieure d’Ulm à Paris. Après avoir été professeur de chimie et de biologie au California Institute of Technology (États-Unis) entre 1980 et 1996, il est depuis 1997 professeur de biologie moléculaire à l’université de Princeton. Aujourd’hui âgé de 91 ans, sa conférence devant le comité Nobel à Stockholm revenait sur sa contribution essentielle, le réseau de Hopfield [ 6 ], qui sera détaillé plus bas.

Geoffrey Everest Hinton est né le 6 décembre 1947 à Londres et a obtenu son Doctorat de Sciences à l’université d’Édimbourg (Écosse) en 1978 après une licence de psychologie à Cambridge (Angleterre). Il poursuit son doctorat par des postes d’enseignement et de recherche à l’université du Sussex, toujours en Angleterre, puis à l’université de Californie à San Diego et à l’université Carnegie-Mellon, aux États-Unis. Depuis 1987, il est professeur d’informatique à l’université de Toronto (où Yann Le Cun ² a effectué son post-doctorat). Ses travaux sur les machines de Bolztmann [ 7 ], qui sont les précurseurs des réseaux de neurones profonds, l’ont amené à être surnommé le « père de l’apprentissage profond ».

Hopfield et Hinton ont utilisé des outils et concepts issus de la physique, notamment de la physique statistique ³ , pour concevoir une théorie de réseaux de neurones artificiels qui optimisent leur état en minimisant leurs pertes. Tout comme certains systèmes physiques tendent naturellement vers leur état d’énergie minimal, les modèles de réseaux neuronaux qu’ils ont progressivement proposés convergent vers une configuration optimale en réduisant une fonction de coût. La fonction de coût mesure l’écart entre les prédictions d’un modèle et les valeurs réelles attendues. Plus cet écart est grand, plus le coût est élevé. Cette analogie avec la physique leur a permis de proposer des solutions innovantes aux problèmes que posaient l’apprentissage automatique dans les années 1980 [ 8 ].

En effet, au cours de cette décennie, les processeurs offraient une puissance de calcul très modeste et se posait alors l’enjeu d’établir une architecture de réseau la plus efficiente possible pour le traitement des données. Leur intérêt commun pour la modélisation des processus cognitifs (Hinton a effectué une licence en psychologie expérimentale), et l’application de principes physiques (Hopfield a effectué sa thèse en physique des particules) aux réseaux de neurones les a amenés à proposer des solutions issues de la neurobiologie et de la thermodynamique permettant d’optimiser les performances des réseaux dans un contexte de puissance computationnelle limitée, en utilisant des modèles de neurones à partir de ceux décrits initialement par le neurophysiologiste Warren McCulloch et le mathématicien Walter Pitts, dans leur article fondateur dans The Bulletin of mathematical biophysics [ 9 ], capables de faire du calcul booléen (sur des 0 et des 1).

Cette interaction étroite entre plusieurs disciplines, de la neurobiologie à la physique-chimie, appliquée à l’informatique théorique, explique ce double prix Nobel de physique, et son association, la même année, avec le prix Nobel de chimie qui a été décerné à Demis Hassabis et John Jumper [ 10 ]. Ces deux derniers font partie des chercheurs qui ont créé AlphaFold [ 11 , 12 ] ( → ) une architecture d’apprentissage profond capable de prédire la structure des protéines avec une précision inégalée.

(→) Voir m/s n° 6-7, 2005, page 609 et m/s n° 2, 2021, page 197

Si ces réseaux de neurones sont très utiles en biochimie, par exemple dans la découverte de nouveaux médicaments [ 13 ] ( → ), le comité Nobel rappelle également que les réseaux de neurones sont employés depuis longtemps en physique et en astronomie. Cette méthode de traitement des données a été utilisée dans des champs de recherche tel que celui sur le boson de Higgs [ 14 ]. Ils sont aussi utilisés pour détecter et identifier des fluctuations de luminosité trahissant des transits planétaires, comme ce fut le cas avec la mission Kepler de la NASA [ 15 ].

(→) Voir m/s n° 4, avril 2024, page 369

En 1982, en se basant sur les travaux de McChulloch et Pitts ⁴ , Hopfield introduit une architecture de réseau neuronal récurrent permettant de stocker, de restructurer la donnée et d’en tirer une abstraction de manière automatisée [ 16 ]. À partir de cette abstraction, ce motif, le réseau de Hopfield va pouvoir associer un motif d’entrée à un des motifs stockés. Ce « réseau de Hopfield » est donc une sorte de mémoire associative. Inspiré de la physique statistique [ 17 ], il utilise le concept de minimisation d’énergie pour optimiser et stabiliser l’état global du réseau. Hopfield reprend le terme de « neurone » et le combine avec les propriétés des circuits électriques pour établir le terme de « réseau de neurones ».

Plus spécifiquement, dans le modèle standard de Hopfield, chaque neurone est connecté à tous les autres, et les connexions sont symétriques ( i.e. w _ij = w _ji ). Il est entraîné pour trouver des valeurs de connexions entre les nœuds de telle sorte que l’état final du réseau ait une faible énergie. Lorsqu’on introduit un état déformé ^5, dans le réseau de Hopfield, celui-ci travaille méthodiquement à travers les nœuds et met à jour leurs valeurs pour que l’énergie du réseau diminue et retrouve une configuration mémorisée, de façon séquentielle ou asynchrone. Le réseau fonctionne ainsi par étapes pour revenir dans un état de faible énergie. Il peut donc servir de modèle pour la mémoire associative et le traitement parallèle distribué ⁶ , puisque la minimisation de la fonction d’énergie permet au réseau de converger vers des états stables qui correspondent aux souvenirs ou aux motifs stockés [ 18 ]. Il est important de noter que cette méthodologie est déterministe : on n’est pas encore dans de l’apprentissage probabiliste (qui sera introduit par Hinton quelques années plus tard) ⁷ .

Le réseau de Hopfield a représenté une avancée majeure car il a démontré comment un système neuronal artificiel pouvait stocker et récupérer des informations de manière robuste, même en présence de données incomplètes ou bruitées.

Le comité du prix Nobel reconnaît aujourd’hui l’importance du changement de paradigme réalisé par John Hopfield. Il a utilisé des concepts de la physique fondamentale pour modéliser une architecture de réseau de neurones permettant de mimer la mémoire associative cérébrale, ouvrant la voie aux progrès de l’apprentissage automatique.

En s’inspirant des avancées dans le domaine de l’apprentissage automatique dans les années 1960 et 1970, ainsi que des travaux de Hopfield, Geoffrey Hinton propose une nouvelle architecture de réseaux neuronaux, cette fois-ci probabiliste. En effet, un des problèmes des réseaux de Hopfield est qu’ils peuvent parfois, en fonction de leur configuration initiale, être bloqués dans des états stables mais sous-optimaux. Afin de contrecarrer cela, Hinton propose d’introduire une composante de fluctuation probabiliste permettant de s’échapper de ces états sous-optimaux : ce sont les machines de Boltzmann ^8, , décrites par Hinton en 1985 [ 8 ].

Dans les années suivantes, Hinton fut l’un des auteurs, avec Paul Werbos, David Rumelhart, Ronald Williams, d’une méthodologie qui optimise l’apprentissage des algorithmes de manière radicale pour l’époque : la rétropropagation [ 19 ]. Cette technique est présentée comme une solution pratique pour ajuster les poids des réseaux de neurones et minimiser l’erreur de sortie de manière itérative. Elle consiste à mettre à jour les poids de chaque neurone de la dernière couche vers la première (d’où le terme “rétro”).

Dans le modèle originel de Hopfield (celui de 1982), il n’y a, en effet, pas de rétropropagation. À la place, les poids synaptiques sont déterminés par une règle de calcul déterministe : ils sont calculés en combinant les motifs à mémoriser sous forme de matrices, obtenues en multipliant chaque motif par lui-même. En additionnant ces matrices, le réseau construit progressivement une représentation qui permet d’associer un motif d’entrée au motif stocké le plus proche en termes de similarité.

La rétropropagation a été une percée significative car elle a démontré des performances bien plus élevées comparativement aux techniques antérieures, et a donné naissance à des modèles capables de reconnaître des motifs de plus en plus complexes dans des données de plus en plus volumineuses. Ces modèles ont été utilisés pour l’apprentissage non supervisé ⁹ , les tâches de classification et de prédictions, ainsi que la génération de nouvelles données, ouvrant la voie à des outils comme AlphaFold .

Dans les années 2010, accompagnés de ses étudiants Ilya Sutskever ¹⁰ et Alex Krizhevsky, Hinton a développé AlexNet [ 20 ], une architecture de réseau de neurones qui marquera un tournant majeur dans le domaine de la reconnaissance d’image. L’innovation clé d’AlexNet résidait dans l’utilisation de processeurs graphiques (GPU) pour paralléliser les calculs, permettant ainsi d’entraîner un réseau profond avec beaucoup plus de couches qu’habituellement et de manière plus efficiente [ 21 ].

Les travaux de Hopfield et Hinton ont eu un impact majeur en recherche biomédicale [ 22 ]. Les réseaux de Hopfield ont été utilisés pour modéliser des processus biologiques complexes, tels que les interactions protéiques, les réseaux de régulation génétique et la dynamique des populations cellulaires [ 23 ]. La capacité de ces réseaux à converger vers des états stables a été exploitée pour comprendre comment les cellules maintiennent leur état différencié ou répondent à des signaux externes [ 24 ].

L’apprentissage profond, développé par Hinton notamment, est largement utilisé pour l’analyse des données de santé. Les réseaux neuronaux convolutifs, par exemple, sont utilisés dans tous les pans de la médecine : que ce soit en anatomopathologie pour prédire la réponse aux immunothérapies [ 25 ] ou en cardiologie pour analyser les coupes d’échographie trans-thoracique [ 26 ], ces réseaux augmentent les performances diagnostiques, thérapeutiques et pronostiques.

Ces avancées théoriques et méthodologiques ont également jeté les bases de développements majeurs d’outils tels qu’ AlphaFold , un outil qui a grandement impacté la biologie structurale en permettant la prédiction précise de la structure tridimensionnelle des protéines. Depuis son lancement, AlphaFold est largement utilisé par grand nombre de biologistes. Il facilite l’étude des mécanismes moléculaires et l’élaboration de nouvelles stratégies thérapeutiques, notamment dans la recherche de cibles médicamenteuses et la conception de protéines sur mesure.

Les contributions de John J. Hopfield et Geoffrey E. Hinton ont profondément influencé le domaine de l’intelligence artificielle et ont conduit à des avancées significatives en santé. Leur utilisation innovante des concepts physiques pour modéliser des réseaux neuronaux plus performants a non seulement enrichi notre compréhension théorique, mais a également engendré des applications pratiques qui améliorent la santé humaine. Leur travail continue d’inspirer de nouvelles recherches et applications, consolidant leur place parmi les pionniers de l’intelligence artificielle.

Nous remercions le Dr Pierre Bauvin et le Pr Xavier Tannier pour leur encadrement technique et scientifique .

Les auteurs déclarent n’avoir aucun lien d’intérêt concernant les données publiées dans cet article .