Ce médecin s'efforce de créer une IA scientifiquement informée.
En formant des modèles d'apprentissage automatique avec des exemples de sciences fondamentales, Miles Cranmer espère accélérer le rythme des découvertes scientifiques.
La physique a ébloui Miles Cranmer dès son plus jeune âge, il recevait des livres sur le sujet de la part de son grand-père, professeur de physique à l'université de Toronto, et ses parents l'emmenaient à des journées portes ouvertes dans des universités proches de chez eux, dans le sud de l'Ontario, au Canada. L'Institut Perimeter de physique théorique était l'un de ses préférés. "Je me souviens que quelqu'un parlait de l'infini quand j'étais très jeune, et c'était tellement cool pour moi", a déclaré Cranmer. Au lycée, il a fait un stage à l'Institut d'informatique quantique de l'université de Waterloo, " le meilleur été de ma vie à ce moment-là ". Il a rapidement commencé à étudier la physique en tant qu'étudiant de premier cycle à l'université McGill.
Puis, un soir, au cours de sa deuxième année, Cranmer, alors âgé de 19 ans, a lu une interview de Lee Smolin dans Scientific American. qui disait qu'il faudrait " des générations " pour réconcilier la théorie quantique et la relativité. « Cela a déclenché quelque chose dans mon cerveau », a déclaré Cranmer. " Je ne peux pas accepter cela, il faut que ça aille plus vite. " Et pour lui, le seul moyen d'accélérer la chronologie des progrès scientifiques était d'utiliser l'intelligence numérique artificielle. " Cette nuit-là, j'ai décidé : "Nous devons faire de l'IA pour la science." Il a commencé à étudier l'apprentissage automatique , qu'il a finalement fusionné avec ses recherches doctorales en astrophysique à l'université de Princeton.
Près d'une décennie plus tard, Cranmer (aujourd'hui à l'Université de Cambridge) a vu l'IA commencer à transformer la science, mais pas autant qu'il l'imaginait. Des systèmes à usage unique comme AlphaFold peuvent générer des prédictions. scientifiques avec une précision révolutionnaire, mais les chercheurs manquent toujours de " modèles de base " conçus pour la découverte scientifique générale. Ces modèles fonctionneraient davantage comme une version scientifiquement précise de ChatGPT, générant de manière flexible des simulations et des prédictions dans plusieurs domaines de recherche. En 2023, Cranmer et plus de deux douzaines d'autres scientifiques ont lancé l'initiative IA polymathique visant à commencer à développer ces modèles de fondation.
La première étape consiste à doter le modèle des compétences scientifiques qui échappent encore à la plupart des systèmes d'IA de pointe. "Certaines personnes voulaient créer un modèle de langage pour l'astrophysique, mais j'étais vraiment sceptique à ce sujet", se souvient Cranmer. "Si on simule des systèmes fluides massifs, en étant mauvais en traitement numérique généralisé" - comme le sont sans doute les grands modèles de langage - "ce n'est pas satisfaisant". s'entraînent.
Pourtant, Cranmer estime que ces obstacles sont surmontables. " Je suis loin d'être aussi intelligent qu'Einstein ou d'autres grands scientifiques ", at-il déclaré. " Donc, si je réfléchis à ce que je peux faire pour accélérer le rythme de la recherche, c'est vraiment en faisant progresser l'apprentissage automatique. C'est ce que je peux apporter. "
Quanta a discuté avec Cranmer de la possibilité de doter l'IA d'une mémoire scientifique, d'extraire des informations à partir de réseaux neuronaux et de ce que les scientifiques et les programmeurs pourraient bientôt avoir en commun. Cet entretien a été condensé et édité pour plus de clarté.
- Les chercheurs en IA ont remporté deux prix Nobel l'année dernière. N'avons-nous pas déjà une "IA pour la science" ? Que manque-t-il ?
Le plus grand défi, si l'on fait abstraction de tout, c'est que l'apprentissage automatique est mauvais pour la prédiction " hors distribution ". Cela signifie que si vous avez un nouveau point de données qui ne ressemble à rien de ce que vous avez vu auparavant, un modèle d'apprentissage automatique aura tendance à mal fonctionner. C'est la principale faiblesse de l'apprentissage automatique, par rapport à la science traditionnelle.
Pensez à la relativité générale d'Einstein. Les médecins n'avaient aucune idée de l'existence d'un trou noir en 1915. Les mathématiques produisent simplement cette prédiction de manière logique. Et nous pouvons voir des preuves qui la confirment plus d'un siècle plus tard. C'est quelque chose que l'apprentissage automatique ne pourrait pas faire – ce genre d'extrapolation est tout simplement hors de question.
J'ai toujours été très intéressé par l'amélioration de cette partie de l'apprentissage automatique, car je pense que c'est la pièce manquante.
- Mais les réseaux neuronaux ne sont eux aussi que des équations. Comment se fait-il que les mathématiques d'Einstein nous donnent des modèles de l'univers, alors que celles de l'IA ne le peuvent pas ?
Je dirais que ce deuxième type de mathématiques, l'apprentissage automatique, n'a pas de mémoire, alors que le premier type en a. Dans les sciences physiques, si vous proposez une nouvelle théorie, toutes les observations précédentes doivent toujours être satisfaites par le nouveau cadre. Nous devons obéir aux mêmes règles que celles que nous avons découvertes auparavant. Alors que dans l'apprentissage automatique, vous repartez de zéro à chaque fois que vous entraînez un modèle.
Comment intégrer la mémoire, dans ce sens abstrait d'"accumulation de connaissances", dans l'apprentissage automatique ? L'une des méthodes consiste à utiliser des règles symboliques, qui nous permettent d'imposer les modèles qui apparaissent dans les cadres physiques. Par exemple, je sais que si j'entre dans une autre pièce, le physique ne change pas. Un modèle d’apprentissage automatique ne sait pas.
- Comment faire pour qu'un réseau neuronal joue selon ces règles ?
- J'ai passé les quatre dernières années à travailler sur un logiciel appelé PySR. Il s'agit d'une bibliothèque de régression symbolique qui apprend des équations correspondantes à un ensemble de données. Plutôt que de cacher une prédiction dans un réseau neuronal, cela permet de traduire le comportement du réseau neuronal en une équation symbolique dans un langage plus familier aux scientifiques. Forcer le modèle d'apprentissage automatique à utiliser des mathématiques symboliques est essentiellement un moyen de lui donner un biais en faveur des idées existantes à partir desquelles nous avons construit le physique.
Ca présente de nombreux avantages. Les équations obtenues sont très interprétables et ont tendance à se généraliser pour vous donner de bonnes prédictions hors distribution. L'inconvénient est que ces algorithmes sont très coûteux en termes de calcul. Si vous disposez de ressources infinies, ce serait parfait.
- Et les " modèles fondamentaux " scientifiques sur lesquels vous travaillez contournent-ils ce problème ?
- Avec la régression symbolique, on donne à un réseau neuronal les symboles que les scientifiques utilisent, comme une bibliothèque de concepts avec laquelle il peut construire des choses. Une autre façon de procéder est beaucoup plus axée sur les données : fournir une bibliothèque d'exemples. Notre approche dans Polymathic AI consiste à prendre un modèle et à l'entraînement sur toutes les données scientifiques qu'on peut obtenir. Vous partez toujours de zéro, mais vous lui avez donné tellement de données que vous ancrez en quelque sorte ses prédictions.
Je pense que c'est la raison pour laquelle les modèles de langage comme ChatGPT semblent efficaces dans les scénarios hors distribution : ils ont en quelque sorte transformé tout en un problème de prédiction dans la distribution, car ils ont été pré-entraînés sur de nombreux éléments différents. Lorsque ChatGPT est sorti, nous étions tous très enthousiastes à l'idée de réfléchir à la manière dont ce type d'outil pourrait être utilisé dans le domaine scientifique. Et au fil de nos discussions, cette idée s'est cristallisée : pré-entraîner un modèle non pas sur le langage, mais sur des ensembles de données numériques scientifiques.
C'était le défi le plus difficile pour nous. Obtenir des données scientifiques de haute qualité, comme des spectres d'étoiles, n'est pas aussi simple que de simplement lancer des robots sur Internet pour extraire des sites Web de données d'entraînement, comme le font les entreprises d'IA. Heureusement, en astronomie, une grande partie des données est accessible au public. Il suffit de les mettre dans un format uniforme. Nous avons publié deux ensembles de données : le Wellpour les simulations de physique numérique et l'univers multimodal pour les observations astronomiques. Ces ensembles de données offrent une quantité massive de données scientifiques comme base pour construire ces modèles fondamentaux.
- Vont-ils " halluciner " – inventer en toute confiance de fausses réponses – comme le font d'autres modèles d'IA ?
La raison principale de cette préformation est de se faire une idée de ce qui est physiquement raisonnable. Si le modèle se retrouve dans une situation nouvelle qu'il n'a jamais vue auparavant, plutôt que de faire une prédiction insensée, il va faire quelque chose de physiquement raisonnable.
(image : Miles Cranmer est assis à un bureau et regarde un tableau noir avec des équations, il utilise des règles symboliques pour inculquer aux machines une meilleure compréhension des découvertes passées, les aidant à traiter de nouvelles données et à produire des résultats plus compréhensibles.)
Ca n'élimine pas le problème, mais on va vers une grande. Je pense que c'est là que la régression symbolique pourrait également intervenir : traduire des parties du modèle en expressions mathématiques analytiques permettant de fournir des garanties.
Que pensez-vous que les scientifiques puissent faire avec ce type de fondation ?
- L'apprentissage automatique est très efficace pour résoudre des problèmes impliquant des volumes de données considérables, mais il est moins efficace pour les problèmes comportant très peu d'exemples. C'est pourquoi je suis vraiment enthousiaste à l'idée d'utiliser ce genre de modèle de base, car il nous permet d'aborder des types de problèmes à faible volume de données. On peut entraîner le modèle sur des simulations, ce qui lui permet d'intégrer la majeure partie du physique. Mais il suffit ensuite d'ajouter quelques expériences pour affiner ses prédictions. Ce ne sera pas parfait, mais ce sera mieux qu'un modèle d'apprentissage automatique formé à partir de zéro. Ainsi, à partir de quelques points de données du monde réel, vous pouvez extraire plus de données scientifiques qu'auparavant. C'est l'idée.
- Cela pourrait-il aboutir à automatiser le travail des scientifiques ?
- Je pense vraiment que ce type d'outil permettra d'automatiser de nombreuses tâches. Mon objectif est de rendre tous les scientifiques capables de faire beaucoup, beaucoup plus. Cela pourrait changer la définition de ce qu'est un scientifique, mais je pense que cette définition a déjà changé au cours de l'histoire.
C'est pareil avec les modèles de langage. Ils ne remplacent pas les programmeurs, ils modifient simplement la définition de ce qu'est la programmation, de la même manière qu'écrire en Python ne remplace pas quelqu'un qui écrit des compilateurs. Il s'agit simplement de niveaux d'abstraction différents.
En ce sens, je ne crains pas qu'une quelconque forme d'IA remplace les scientifiques. Elle nous permet simplement de faire plus avec le même laps de temps. C'est ce qui m'enthousiasme vraiment. Comprendre l'univers n'a pas vraiment de fin. Cela va continuer et nous allons continuer à en apprendre toujours plus.