Les phénomènes de la nature sont très souvent enveloppés de tant de circonstances étranges avec un si grand nombre de causes perturbatrices qui y mêlent leur influence, qu'il est très difficile de les reconnaître. Nous ne pouvons y arriver qu'en multipliant les observations ou les expériences, de sorte que les effets étranges finissent par se détruire mutuellement.

Nous pouvons nous rendre compte de l'influence inattendue que peuvent avoir sur la science physique des parties obscures des mathématiques pures en nous rappelant que Fresnel a obtenu l'une des confirmations les plus curieuses de la théorie (les lois de la polarisation circulaire par réflexion) en interprétant une expression algébrique qui, selon la signification conventionnelle originale des symboles, impliquait une quantité impossible à calculer.

Dans mon propre domaine, la cristallographie aux rayons X, nous avions l'habitude d'élaborer la structure des minéraux à l'aide de diverses astuces que nous n'avons jamais pris la peine d'écrire, nous nous contentions de les utiliser. Puis Linus Pauling a débarqué au laboratoire, a vu ce que nous faisions et a rédigé ce que nous appelons aujourd'hui les règles de Pauling. Nous avions tous utilisé les règles de Pauling pendant trois ou quatre ans avant que Pauling ne nous dise en quoi elles consistaient.

En réalité, chaque fois que l'énergie est transmise d'un corps à un autre dans un temps donné, il doit y avoir un milieu ou une substance dans lequel l'énergie passe après avoir quitté un corps et avant d'atteindre l'autre... et si nous admettons cet intermédiaire comme une hypothèse, je pense qu'il devrait occuper une place prépondérante dans nos recherches, et que nous devrions nous efforcer de construire une représentation mentale de tous les détails de son action. Voilà ce que j'ai constamment cherché à faire dans ce traité.

Tout au contraire [d’Aristote], renonçant à saisir le sens du mouvement, Galilée le considère comme un état (il n’a donc plus besoin d’explication) et le déploie dans un système abstrait de coordonnées spatio-temporelles dépourvues de toute organisation hiérarchique. Le biais par lequel s’opère la fermeture épistémique du concept de corps (qui se trouve réduit à son centre de gravité et défini désormais par la notion de "point matériel") n’est donc pas tant un processus d’abstraction qui ne retiendrait que certains caractères de l’objet empirique et en rejetterait d’autres, qu’un processus de construction, par lequel Galilée définit un "corps idéel". Il y a ainsi identité de nature entre le concept et son objet puisque celui-ci est aussi un concept, alors que dans la connaissance philosophique le concept n’est que le moyen par lequel l’objet est connu : essentiellement transitif, il demeure ainsi ontologiquement ouvert. L’univers galiléen est donc un univers d’objets-concepts qui se meuvent eux-mêmes dans un espace-temps conçu. La géométrisation de l’espace entraîne la déchéance de toute distinction qualitative.

Illustrer l'apprentissage par renforcement à partir de commentaires humains (RLHF*)

Les modèles de langage ont montré des capacités impressionnantes au cours des dernières années en générant des textes variés et convaincants à partir d'entrées humaines. Cependant, il est difficile de définir ce qu'est un "bon" texte, car c'est subjectif et ça dépend du contexte. Il existe de nombreuses applications telles que l'écriture d'histoires où l'on recherche la créativité, des textes informatifs qui doivent être véridiques, ou des extraits de code que l'on veut exécutables.

Rédiger une fonction de perte** pour capturer ces attributs semble impossible et la plupart des modèles de langage sont encore entraînés avec une simple perte de prédiction du prochain jeton (par exemple, l'entropie croisée). Pour compenser les lacunes de la perte elle-même, les gens définissent des métriques conçues pour mieux capturer les tropismes humains, telles que BLEU ou ROUGE. Bien qu'elles soient mieux adaptées que la fonction de perte elle-même pour mesurer les performances, ces mesures comparent simplement le texte généré à des références avec des règles simples et sont donc également limitées. Ne serait-il pas formidable d'utiliser le retour d'information humain sur le texte généré comme mesure de la performance ou d'aller encore plus loin et d'utiliser ce retour d'information comme perte pour optimiser le modèle ? C'est l'idée de l'apprentissage par renforcement à partir du feedback humain (RLHF)

Le RLHF a permis aux modèles de langage de commencer à aligner un modèle formé sur un corpus général de données textuelles sur celui de valeurs humaines complexes.

Le succès le plus récent de RLHF a été son utilisation dans ChatGPT. Compte tenu des capacités impressionnantes de ChatGPT, nous lui avons demandé de nous expliquer la RLHF :  

- Peux-tu m'expliquer comment le RL (reinforcement learning) avec retour d'information humain usant un modèle linguistique comme si j'avais 5 ans.

- Bien sûr, imagine que j'ai un robot nommé Rufus qui veut apprendre à parler comme un humain.  Rufus a un modèle linguistique qui l'aide a comprendre les mots et les phrases.

Tout d'abord Rufus va dire quelque chose en usant d'un modèle de langage, par exemple en disant :  - je suis un robot

Ensuite un humain va écouter ce qu'il a dit et va donner un avis pour dire si la réponse ressemble à langage naturel d'humain. Il pourra dire, par exemple. C'est pas très bon Rufus, un humain ne dit pas de manière générale "je suis un robot" mais plutôt "j'suis un robot" ou "je suis une machine".

Rufus va prendre en compte ce retour et l'utuiliser pour améliorer son modèle de langage, il va essayer de redire la phrase en utilisant  cette correction et va dire "j'suis un robot".

Ensuite l'humain va continuer de donner des retours de ce genre et petit à petit Rufus va commencer à s'exprimer comme un humain le fait en général.

Ici Chatgtp se débrouille étonnamment bien, mais ne couvre pas tout. Nous nous chargeons de combler ces lacunes !  (La suite sur le site en Info)

Ce médecin s'efforce de créer une IA scientifiquement informée.

En formant des modèles d'apprentissage automatique avec des exemples de sciences fondamentales, Miles Cranmer espère accélérer le rythme des découvertes scientifiques.

La physique a ébloui Miles Cranmer dès son plus jeune âge, il recevait des livres sur le sujet de la part de son grand-père, professeur de physique à l'université de Toronto, et ses parents l'emmenaient à des journées portes ouvertes dans des universités proches de chez eux, dans le sud de l'Ontario, au Canada. L'Institut Perimeter de physique théorique était l'un de ses préférés. "Je me souviens que quelqu'un parlait de l'infini quand j'étais très jeune, et c'était tellement cool pour moi", a déclaré Cranmer. Au lycée, il a fait un stage à l'Institut d'informatique quantique de l'université de Waterloo, " le meilleur été de ma vie à ce moment-là ". Il a rapidement commencé à étudier la physique en tant qu'étudiant de premier cycle à l'université McGill.

Puis, un soir, au cours de sa deuxième année, Cranmer, alors âgé de 19 ans, a lu une interview de Lee Smolin dans Scientific American. qui disait qu'il faudrait " des générations " pour réconcilier la théorie quantique et la relativité. « Cela a déclenché quelque chose dans mon cerveau », a déclaré Cranmer. " Je ne peux pas accepter cela, il faut que ça aille plus vite. " Et pour lui, le seul moyen d'accélérer la chronologie des progrès scientifiques était d'utiliser l'intelligence numérique artificielle. " Cette nuit-là, j'ai décidé : "Nous devons faire de l'IA pour la science." Il a commencé à étudier l'apprentissage automatique , qu'il a finalement fusionné avec ses recherches doctorales en astrophysique à l'université de Princeton.

Près d'une décennie plus tard, Cranmer (aujourd'hui à l'Université de Cambridge) a vu l'IA commencer à transformer la science, mais pas autant qu'il l'imaginait. Des systèmes à usage unique comme AlphaFold peuvent générer des prédictions. scientifiques avec une précision révolutionnaire, mais les chercheurs manquent toujours de " modèles de base " conçus pour la découverte scientifique générale. Ces modèles fonctionneraient davantage comme une version scientifiquement précise de ChatGPT, générant de manière flexible des simulations et des prédictions dans plusieurs domaines de recherche. En 2023, Cranmer et plus de deux douzaines d'autres scientifiques ont lancé l'initiative IA polymathique visant à commencer à développer ces modèles de fondation.

La première étape consiste à doter le modèle des compétences scientifiques qui échappent encore à la plupart des systèmes d'IA de pointe. "Certaines personnes voulaient créer un modèle de langage pour l'astrophysique, mais j'étais vraiment sceptique à ce sujet", se souvient Cranmer. "Si on simule des systèmes fluides massifs, en étant mauvais en traitement numérique généralisé" - comme le sont sans doute les grands modèles de langage - "ce n'est pas satisfaisant". s'entraînent.

 Pourtant, Cranmer estime que ces obstacles sont surmontables. " Je suis loin d'être aussi intelligent qu'Einstein ou d'autres grands scientifiques ", at-il déclaré. " Donc, si je réfléchis à ce que je peux faire pour accélérer le rythme de la recherche, c'est vraiment en faisant progresser l'apprentissage automatique. C'est ce que je peux apporter. "

Quanta a discuté avec Cranmer de la possibilité de doter l'IA d'une mémoire scientifique, d'extraire des informations à partir de réseaux neuronaux et de ce que les scientifiques et les programmeurs pourraient bientôt avoir en commun. Cet entretien a été condensé et édité pour plus de clarté.

- Les chercheurs en IA ont remporté deux prix Nobel l'année dernière. N'avons-nous pas déjà une "IA pour la science" ? Que manque-t-il ?

Le plus grand défi, si l'on fait abstraction de tout, c'est que l'apprentissage automatique est mauvais pour la prédiction " hors distribution ". Cela signifie que si vous avez un nouveau point de données qui ne ressemble à rien de ce que vous avez vu auparavant, un modèle d'apprentissage automatique aura tendance à mal fonctionner. C'est la principale faiblesse de l'apprentissage automatique, par rapport à la science traditionnelle.

Pensez à la relativité générale d'Einstein. Les médecins n'avaient aucune idée de l'existence d'un trou noir en 1915. Les mathématiques produisent simplement cette prédiction de manière logique. Et nous pouvons voir des preuves qui la confirment plus d'un siècle plus tard. C'est quelque chose que l'apprentissage automatique ne pourrait pas faire – ce genre d'extrapolation est tout simplement hors de question.

J'ai toujours été très intéressé par l'amélioration de cette partie de l'apprentissage automatique, car je pense que c'est la pièce manquante.

- Mais les réseaux neuronaux ne sont eux aussi que des équations. Comment se fait-il que les mathématiques d'Einstein nous donnent des modèles de l'univers, alors que celles de l'IA ne le peuvent pas ?

Je dirais que ce deuxième type de mathématiques, l'apprentissage automatique, n'a pas de mémoire, alors que le premier type en a. Dans les sciences physiques, si vous proposez une nouvelle théorie, toutes les observations précédentes doivent toujours être satisfaites par le nouveau cadre. Nous devons obéir aux mêmes règles que celles que nous avons découvertes auparavant. Alors que dans l'apprentissage automatique, vous repartez de zéro à chaque fois que vous entraînez un modèle.



Comment intégrer la mémoire, dans ce sens abstrait d'"accumulation de connaissances", dans l'apprentissage automatique ? L'une des méthodes consiste à utiliser des règles symboliques, qui nous permettent d'imposer les modèles qui apparaissent dans les cadres physiques. Par exemple, je sais que si j'entre dans une autre pièce, le physique ne change pas. Un modèle d’apprentissage automatique ne sait pas.

- Comment faire pour qu'un réseau neuronal joue selon ces règles ?

- J'ai passé les quatre dernières années à travailler sur un logiciel appelé PySR. Il s'agit d'une bibliothèque de régression symbolique qui apprend des équations correspondantes à un ensemble de données. Plutôt que de cacher une prédiction dans un réseau neuronal, cela permet de traduire le comportement du réseau neuronal en une équation symbolique dans un langage plus familier aux scientifiques. Forcer le modèle d'apprentissage automatique à utiliser des mathématiques symboliques est essentiellement un moyen de lui donner un biais en faveur des idées existantes à partir desquelles nous avons construit le physique.

Ca présente de nombreux avantages. Les équations obtenues sont très interprétables et ont tendance à se généraliser pour vous donner de bonnes prédictions hors distribution. L'inconvénient est que ces algorithmes sont très coûteux en termes de calcul. Si vous disposez de ressources infinies, ce serait parfait.

- Et les " modèles fondamentaux " scientifiques sur lesquels vous travaillez contournent-ils ce problème ?

- Avec la régression symbolique, on donne à un réseau neuronal les symboles que les scientifiques utilisent, comme une bibliothèque de concepts avec laquelle il peut construire des choses. Une autre façon de procéder est beaucoup plus axée sur les données : fournir une bibliothèque d'exemples. Notre approche dans Polymathic AI consiste à prendre un modèle et à l'entraînement sur toutes les données scientifiques qu'on peut obtenir. Vous partez toujours de zéro, mais vous lui avez donné tellement de données que vous ancrez en quelque sorte ses prédictions.

Je pense que c'est la raison pour laquelle les modèles de langage comme ChatGPT semblent efficaces dans les scénarios hors distribution : ils ont en quelque sorte transformé tout en un problème de prédiction dans la distribution, car ils ont été pré-entraînés sur de nombreux éléments différents. Lorsque ChatGPT est sorti, nous étions tous très enthousiastes à l'idée de réfléchir à la manière dont ce type d'outil pourrait être utilisé dans le domaine scientifique. Et au fil de nos discussions, cette idée s'est cristallisée : pré-entraîner un modèle non pas sur le langage, mais sur des ensembles de données numériques scientifiques.

C'était le défi le plus difficile pour nous. Obtenir des données scientifiques de haute qualité, comme des spectres d'étoiles, n'est pas aussi simple que de simplement lancer des robots sur Internet pour extraire des sites Web de données d'entraînement, comme le font les entreprises d'IA. Heureusement, en astronomie, une grande partie des données est accessible au public. Il suffit de les mettre dans un format uniforme. Nous avons publié deux ensembles de données : le Wellpour les simulations de physique numérique et l'univers multimodal pour les observations astronomiques. Ces ensembles de données offrent une quantité massive de données scientifiques comme base pour construire ces modèles fondamentaux.

- Vont-ils " halluciner " – inventer en toute confiance de fausses réponses – comme le font d'autres modèles d'IA ?

La raison principale de cette préformation est de se faire une idée de ce qui est physiquement raisonnable. Si le modèle se retrouve dans une situation nouvelle qu'il n'a jamais vue auparavant, plutôt que de faire une prédiction insensée, il va faire quelque chose de physiquement raisonnable.

(image : Miles Cranmer est assis à un bureau et regarde un tableau noir avec des équations, il utilise des règles symboliques pour inculquer aux machines une meilleure compréhension des découvertes passées, les aidant à traiter de nouvelles données et à produire des résultats plus compréhensibles.)

Ca n'élimine pas le problème, mais on va vers une grande. Je pense que c'est là que la régression symbolique pourrait également intervenir : traduire des parties du modèle en expressions mathématiques analytiques permettant de fournir des garanties.

Que pensez-vous que les scientifiques puissent faire avec ce type de fondation ?

- L'apprentissage automatique est très efficace pour résoudre des problèmes impliquant des volumes de données considérables, mais il est moins efficace pour les problèmes comportant très peu d'exemples. C'est pourquoi je suis vraiment enthousiaste à l'idée d'utiliser ce genre de modèle de base, car il nous permet d'aborder des types de problèmes à faible volume de données. On peut entraîner le modèle sur des simulations, ce qui lui permet d'intégrer la majeure partie du physique. Mais il suffit ensuite d'ajouter quelques expériences pour affiner ses prédictions. Ce ne sera pas parfait, mais ce sera mieux qu'un modèle d'apprentissage automatique formé à partir de zéro. Ainsi, à partir de quelques points de données du monde réel, vous pouvez extraire plus de données scientifiques qu'auparavant. C'est l'idée.

- Cela pourrait-il aboutir à automatiser le travail des scientifiques ?

- Je pense vraiment que ce type d'outil permettra d'automatiser de nombreuses tâches. Mon objectif est de rendre tous les scientifiques capables de faire beaucoup, beaucoup plus. Cela pourrait changer la définition de ce qu'est un scientifique, mais je pense que cette définition a déjà changé au cours de l'histoire.

 C'est pareil avec les modèles de langage. Ils ne remplacent pas les programmeurs, ils modifient simplement la définition de ce qu'est la programmation, de la même manière qu'écrire en Python ne remplace pas quelqu'un qui écrit des compilateurs. Il s'agit simplement de niveaux d'abstraction différents.

En ce sens, je ne crains pas qu'une quelconque forme d'IA remplace les scientifiques. Elle nous permet simplement de faire plus avec le même laps de temps. C'est ce qui m'enthousiasme vraiment. Comprendre l'univers n'a pas vraiment de fin. Cela va continuer et nous allons continuer à en apprendre toujours plus.

D'importants " machines scientifiques " distillent les lois de la physique à partir de données brutes.

Les chercheurs affirment que nous sommes à l'aube de la "physique GoPro", où une caméra peut pointer un événement et un algorithme peut identifier l'équation physique sous-jacente. 

En 2017, les chercheurs Roger Guimerà et Marta Sales-Pardo ont découvert la cause de la division cellulaire, processus qui détermine la croissance des êtres vivants. Mais ils n'ont pas pu révéler immédiatement comment ils avaient trouvé la réponse. Les chercheurs n'avaient pas eux-mêmes repéré le modèle crucial dans leurs données. C'était une invention non publiée de leur part – un assistant numérique qu'ils ont appelé la « machine scientifique » – qui leur avait été transmise. En rédigeant le résultat, Guimerà se rappelle avoir pensé : « Nous ne pouvons pas simplement dire que nous avons transmis ce résultat à un algorithme et que c'est la réponse. Aucune critique n'accepte cela

. De nombreux biologistes pensaient que la division se produisait simplement lorsqu'une cellule dépassait une certaine taille, mais Trepat soupçonnait qu'il y avait plus derrière cette histoire. Son groupe s'est spécialisé dans le décryptage des empreintes à l'échelle nanométrique que des troupeaux de cellules laissent sur une surface molle lorsqu'elles se bousculent pour se positionner. L'équipe de Trepat avait rassemblé un ensemble de données exhaustives relatant les formes, les forces et une douzaine d'autres caractéristiques cellulaires. Mais tester toutes les façons dont ces attributs pourraient influencer la division cellulaire aurait pris toute une vie.

Ils ont donc collaboré avec Guimerà et Sales-Pardo pour transmettre les données à la machine scientifique. En quelques minutes, celle-ci a renvoyé une équation concise qui prédisait le moment où une cellule se diviserait avec 10 fois plus de précision qu'une équation qui n'utilisait que la taille d'une cellule ou toute autre caractéristique unique. Ce qui compte, selon le scientifique, c'est la taille multipliée par la force avec laquelle une cellule est comprimée par ses voisines - une quantité qui implique des unités d'énergie.

« Elle a réussi à détecter quelque chose que nous n'avions pas vu », a déclaré Trepat, qui, avec Guimerà, est membre de l'ICREA, l'Institution catalane de recherche et d'études avancées.

Comme les chercheurs n'avaient encore rien publié sur la machine scientifique, ils ont procédé à une deuxième analyse pour brouiller les pistes. Ils ont testé manuellement des centaines de paires de variables, "agissant sur leur signification physique ou biologique", comme ils l'écriront plus tard. Cette méthode a permis de retrouver la réponse de la machine scientifique,qu'ils ont rapportée en 2018 dans Nature Cell Biology .

Quatre ans plus tard, cette situation délicate est rapidement devenue une méthode acceptée de découverte scientifique. Sales-Pardo et Guimerà font partie d'une poignée de chercheurs qui développent la dernière génération d'outils capables d'effectuer un processus connu sous le nom de régression symbolique*.

Les algorithmes de régression symbolique sont différents des réseaux neuronaux profonds, ces fameux algorithmes d'intelligence artificielle qui peuvent prendre des milliers de pixels, les laisser passer à travers un labyrinthe de millions de nœuds et produire le mot « chien » par le biais de mécanisme opaque. La régression symbolique identifie de la même manière les relations dans des ensembles de données complexes, mais elle présente les résultats dans un format que les chercheurs humains peuvent comprendre : une courte équation. Ces algorithmes ressemblent aux versions suralimentées de la fonction d'ajustement de courbe d'Excel, sauf qu'ils ne recherchent pas seulement des lignes ou des paraboles pour ajuster un ensemble de points de données, mais des milliards de formules de toutes sortes. De cette façon, la machine scientifique pourrait donner aux humains un aperçu des raisons pour lesquelles les cellules se divisent, alors qu'un réseau neuronal ne pourrait que prédire quand elles se divisent.

Les chercheurs ont bricolé ces machines pendant des décennies, les poussant soigneusement à redécouvrir les lois de la nature à partir d'ensembles de données claires et organisées de manière à faire ressortir les modèles. Mais ces dernières années, les algorithmes sont devenus suffisamment matures pour découvrir des relations inconnues dans des données réelles, de la façon dont les turbulences appartiennent à l'atmosphère à la façon dont la matière noire se regroupe. "Aucun doute là-dessus", a déclaré Hod Lipson, roboticien de l'Université de Columbia qui a lancé l'étude de la régression symbolique il y a 13 ans. " L'ensemble du domaine progresse. "

L'essor des machines scientifiques

Parfois, les médecins parviennent à de grandes vérités par le simple raisonnement, comme lorsqu'Albert Einstein a eu l'intuition de la souplesse de l'espace et du temps en imaginant un rayon lumineux depuis la perspective d'un autre rayon lumineux. Mais le plus souvent, les théories naissent de séances marathon de traitement de données. Après la mort de l'astronome Tycho Brahe au XVIe siècle, Johannes Kepler a mis la main sur les observations célestes contenues dans les carnets de notes de Brahe. Il lui a fallu quatre ans pour déterminer que Mars décrit une ellipse dans le ciel plutôt que les dizaines d'autres formes en forme d'œuf qu'il avait envisagées. Il a suivi cette « première loi » en coordination avec deux autres relations découvertes grâce à des calculs de force brute.Ces régularités orientèrent plus tard Isaac Newton vers sa loi de la gravitation universelle.

L'objectif de la régression symbolique est d'accélérer ces essais et erreurs képlériens, en analysant les innombrables façons de relier les variables aux opérations mathématiques de base pour trouver l'équation qui prédit le plus précisément le comportement d'un système.

Les astrophysiciens ont modélisé le comportement du système solaire de deux manières. Tout d'abord en utilisant des décennies de données de la NASA pour un ancien réseau neuronal. Ils ont ensuite utilisé un algorithme de régression symbolique pour distiller davantage ce modèle en une équation. 

(Images : Dans ces vidéos, qui montrent les positions réelles sous forme d'objets solides et les prédictions du modèle sous forme de contours en treillis métallique, le réseau neuronal - à gauche - fait bien moins bien que l'algorithme de régression symbolique - à droite.)

Le premier programme à faire des progrès significatifs dans ce domaine, appelé BACON , a été développé à la fin des années 1970 par Patrick Langley, un scientifique cognitif et chercheur en intelligence artificielle alors à l'université Carnegie Mellon. BACON prenait par exemple une colonne de périodes orbitales et une colonne de distances orbitales pour différentes planètes. Il combinait ensuite systématiquement les données de différentes manières : période divisée par distance, période au carré multipliée par distance, etc. Il pouvait s'arrêter s'il trouvait une valeur constante, par exemple si la période au carré sur la distance au cube donnait toujours le même nombre, ce qui est la troisième loi de Kepler. Une constante impliquait qu'il avait identifié deux quantités proportionnellement - dans ce cas, la période au carré et la distance au cube. En d'autres termes, il s'arrêtait lorsqu'il trouvait une équation.

Malgré la redécouverte de la troisième loi de Kepler et d'autres classiques des manuels scolaires, BACON restait une curiosité à une époque où la puissance de calcul était limitée. Les chercheurs devaient encore analyser la plupart des ensembles de données à la main, ou éventuellement avec un logiciel de type Excel qui trouvait la meilleure adéquation pour un ensemble de données simple à partir d'une classe spécifique d'équations. L'idée qu'un algorithme peut trouver le modèle correct pour décrire n'importe quel ensemble de données resta en sommeil jusqu'en 2009, lorsque Lipson et Michael Schmidt, alors roboticiens à l'Université Cornell, ont développé un algorithme appelé Eureqa.

Leur objectif principal était de construire une machine capable de réduire des ensembles de données volumineux avec des colonnes de variables à une équation impliquant les quelques variables qui comptent réellement. " L'équation peut finir par avoir quatre variables, mais on ne sait pas à l'avance quoi ", a déclaré Lipson. " On y jette tout et n'importe quoi. Peut-être que la météo est importante. Peut-être que le nombre de dentistes par kilomètre carré est important. "

L'un des obstacles persistants dans cette gestion de nombreuses variables est de trouver un moyen efficace de deviner de nouvelles équations les unes après les autres. Les chercheurs affirment qu'il faut également avoir la flexibilité nécessaire pour essayer (et récupérer) d'éventuelles impasses. Lorsque l'algorithme peut passer d'une ligne à une parabole ou ajouter une ondulation sinusoïdale, sa capacité à atteindre autant de points de données que possible peut se détériorer avant de s'améliorer. Pour surmonter ce défi et d'autres, les informaticiens ont commencé à utiliser des " algorithmes génétiques ", qui introduisent des " mutations " aléatoires dans les équations et testent les équations mutantes par rapport aux données. Au fil des essais, des fonctionnalités initialement inutiles évoluent vers des fonctionnalités puissantes ou disparaissent.

Lipson et Schmidt ont poussé la technique à un niveau supérieur, en améliorant la pression darwinienne en créant une compétition directe au sein d'Eureqa. D'un côté, ils ont créé des équations. De l'autre, ils ont randomisé les points de données sur lesquels tester les équations – les points les plus « adaptés » étant ceux qui remettaient le plus en cause les équations. "Pour obtenir une course aux armements, il faut mettre en place deux choses en évolution, pas une seule", a déclaré Lipson.

L'algorithme Eureqa Il pouvait traiter des ensembles de données impliquant plus d'une douzaine de variables. Il pouvait récupérer avec succès des équations avancées, comme celles décrivant le mouvement d'un pendule suspendu à un autre.

( Image : infographie montrant comment les algorithmes de régression symbolique mutent et croisent les équations et comparent les équations résultantes à un ensemble de points de données. )

Pendant ce temps, d'autres chercheurs ont trouvé des astuces pour entraîner les réseaux neuronaux profonds. En 2011, ces derniers ont commencé à apprendre avec succès à distinguer les chiens des chats et à effectuer d'innombrables autres tâches complexes. Mais un réseau neuronal entraîné est constitué de millions de « neurones » à valeur numérique, qui ne disent rien sur les caractéristiques qu'ils ont appris à reconnaître. De son côté, Eureqa a pu communiquer ses découvertes en langage humain :par des opérations mathématiques sur des variables physiques.

Lorsque Sales-Pardo a joué avec Eureqa pour la première fois, elle a été stupéfaite. " Je pensais que c'était impossible, dit-elle. C'est de la magie. Comment ces gens ont-ils pu y arriver ? " Elle et Guimerà ont rapidement commencé à utiliser Eureqa pour créer des modèles pour leurs recherches propres sur les réseaux, mais elles étaient à la fois impressionnées par sa puissance et frustrées par son incohérence. L'algorithme faisait évoluer des équations prédictives, mais il pouvait alors dépasser les limites et aboutir à une équation trop compliquée. Ou bien les chercheurs modifiaient légèrement leurs données, et Eureqa renvoyait une formule complètement différente. Sales-Pardo et Guimerà ont alors entrepris de concevoir une nouvelle machine scientifique à partir de zéro.

Degré de compression

Le problème des algorithmes génétiques, selon eux, était qu'ils dépendaient trop des goûts de leurs créateurs. Les développeurs doivent apprendre à l'algorithme pour trouver un équilibre entre simplicité et précision. Une équation peut toujours atteindre plus de points dans un ensemble de données en ajoutant des termes. Mais certains points isolés sont tout simplement trop bruyants et il vaut mieux les ignorer. On pourrait définir la simplicité comme la longueur de l'équation, par exemple, et la précision comme la distance à laquelle la courbe se rapproche de chaque point de l'ensemble de données, mais ce ne sont là que deux définitions parmi un assortiment d'options.

Sales-Pardo et Guimerà, ainsi que leurs collaborateurs, ont fait appel à leur expertise en physique et en statistique pour reformuler le processus évolutif sous un cadre probabiliste connu sous le nom de théorie bayésienne. Ils ont commencé par télécharger toutes les équations de Wikipédia. Ils ont ensuite analysé statistiquement ces équations pour voir quels types d'équations étaient les plus courantes. Cela leur a permis de s'assurer que les suppositions initiales de l'algorithme seraient simples, ce qui rendrait plus probable l'essai d'un signe plutôt qu'un cosinus hyperbolique, par exemple. L'algorithme a ensuite généré des variantes des équations en utilisant une méthode d'échantillonnage aléatoire qui, mathématiquement, a prouvé qu'elle explorait toutes les pièces du paysage mathématique.

À chaque étape, l'algorithme a évalué les équations candidates en fonction de leur capacité à compresser un ensemble de données. Par exemple, une série aléatoire de points peut ne pas être compressée du tout ; il faut connaître la position de chaque point. Mais si 1 000 points se trouvent le long d'une ligne droite, ils peuvent être compressés en seulement deux nombres (la pente et la hauteur de la ligne). Le couple a découvert que le degré de compression offre un moyen unique et inattaquable de comparer les équations candidates. « Vous pouvez prouver que le modèle correct est celui qui compresse le plus les données », a déclaré Guimerà. " Il n'y a pas d'arbitraire ici. "

Après des années de développement — et d'utilisation secrète de leur algorithme pour déterminer ce qui déclenche la division cellulaire —, eux et leurs collègues ont décrit leur " machine scientifique bayésienne " dans Science advance en 2020.

Des océans de données

Depuis lors, les chercheurs ont utilisé la machine scientifique bayésienne pour améliorer l'équation de pointe permettant de prédire la consommation énergétique d'un pays, tandis qu'un autre groupe l'a utilisé pour aider à modéliser la percolation à travers un réseau. Mais les développeurs s'attendent à ce que ces types d'algorithmes jouent un rôle démesuré dans la recherche biologique comme celle de Trepat, où les scientifiques sont de plus en plus submergés de données.

Les scientifiques spécialisés dans les machines fournissent également aux médecins de comprendre les systèmes qui s'étendent sur plusieurs échelles. Les physiciens utilisent généralement un ensemble d'équations pour les atomes et un ensemble complètement différent pour les boules de billard, mais cette approche fragmentaire ne fonctionne pas pour les chercheurs d'une discipline comme la science du climat, où les courants à petite échelle autour de Manhattan alimentent le Gulf Stream de l'océan Atlantique.

Laure Zanna est une de ces chercheuses. Dans son travail de modélisation des turbulences océaniques, elle se retrouve souvent coincée entre deux extrêmes : les superordinateurs peuvent simuler soit des tourbillons de la taille d'une ville, soit des courants intercontinentaux, mais pas les deux à la fois. Son travail consiste à aider les ordinateurs à générer une image globale qui inclut les effets des tourbillons plus petits sans les simuler directement. Au départ, elle s'est tournée vers les réseaux neuronaux profonds pour extraire l'effet global des simulations à haute résolution et mettre à jour les simulations plus grossières en conséquence. « Elles étaient incroyables », at-elle déclaré. " Mais je suis une physicienne du climat " — ce qui signifie qu'elle veut comprendre comment le climat fonctionne en se basant sur une poignée de principes physiques comme la pression et la température — " donc il est très difficile d'accepter et de se contenter de milliers de paramètres. "

Elle est ensuite tombée sur un algorithme scientifique conçu par Steven Brunton, Josué Proctor et Nathan Kutz, spécialistes en mathématique appliquée à l'Université de Washington. Leur algorithme adopte une approche connue sous le nom de régression parcimonieuse, qui est similaire dans son esprit à la régression symbolique. Au lieu de mettre en place une bataille royale entre des équations en mutation, il commence avec une bibliothèque d'environ un millier de fonctions comme x 2, x /( x − 1) et sin( x ). L'algorithme recherche dans la bibliothèque une combinaison de termes qui donne les prédictions les plus précises, supprime les termes les moins utiles et continue jusqu'à ce qu'il ne reste plus qu'une poignée de termes. La procédure rapide comme l'éclair peut traiter plus de données que les algorithmes de régression symbolique, au prix d'une marge de manœuvre réduite, puisque l'équation finale doit être construite à partir des termes de la bibliothèque.

Zanna a recréé l'algorithme de régression clairsemée à partir de zéro pour avoir une idée de son fonctionnement, puis a appliqué une version modifiée aux modèles océaniques. Lorsqu'elle a introduit des films haute résolution et demandé à l'algorithme de recherche des croquis précis avec un zoom arrière, il a renvoyé une équation succincte Elle a étudié la vorticité et la façon dont les fluides s'étirent et se cisaillent. Lorsqu'elle a intégré ces données dans son modèle d'écoulement de fluide à grande échelle, elle a pu constater que l'écoulement changeait en fonction de l'énergie de manière beaucoup plus réaliste qu'auparavant.

" L'algorithme a détecté des termes supplémentaires ", a déclaré Zanna, produisant une " belle " équation qui " représente vraiment certaines propriétés clés des courants océaniques, à savoir l'étirement,le cisaillement et la [rotation]".

Plus intelligents ensemble

D'autres groupes donnent un coup de pouce aux scientifiques spécialisés dans les machines en combinant leurs atouts avec ceux des réseaux neuronaux profonds.

Miles Cranmer, étudiant diplômé en astrophysique à l'université de Princeton, a développé un algorithme de régression symbolique open source similaire à Eureqa appelé PySR. Il a établi différentes populations d'équations sur des " îles " numériques et permet aux équations qui correspondent le mieux aux données de migrer périodiquement et de rivaliser avec les résidents d'autres îles. Cranmer a travaillé avec des informaticiens de DeepMind et de NYU et des astrophysiciens du Flatiron Institute pour définir un schéma hybride dans lequel ils entraînent d'abord un réseau neuronal à accomplir une tâche, puis demandent à PySR de trouver une équation décrivant ce que certaines parties du réseau neuronal ont appris à faire.

Comme première preuve de ce concept Le groupe a appliqué la procédure à une simulation de matière noire et a généré une formule donnant la densité au centre d'un nuage de matière noire en fonction des propriétés des nuages ​​​​​​voisins. L'équation correspondait mieux aux données que l'équation existe conçue par l'homme.

En février, ils ont fourni à leur système 30 années de positions réelles des planètes et des lunes du système solaire dans le ciel. L'algorithme a complètement ignoré les lois de Kepler, déduisant directement la loi de la gravitation de Newton et les masses des planètes et des lunes. D'autres groupes ont récemment utilisé PySR pour découvrir des équations décrivant les caractéristiques des collisions de particules, une approximation du volume d'un nœud, et la façon dont les nuages ​​​​​​de matière noire sculptent les galaxies en leur centre.

Parmi le groupe croissant de scientifiques spécialisés dans les machines (un autre exemple notable est " AI Feynman * créé par Max Tegmark et Silviu-Marian Udrescu, physiciens au Massachusetts Institute of Technology) les chercheurs affirment que "plus on est de fous, mieux c'est."... Nous avons vraiment besoin de toutes ces techniques", a déclaré Kutz. " Aucune d'entre elles ne constitue une solution miracle. "

Kutz estime que les scientifiques spécialisés dans ces machines sont en train de mener la discipline à l'aube de ce qu'il appelle " physique GoPro ", où les chercheurs pointeront simplement une caméra vers un événement et obtiendront en retour une équation capturant l'essence de ce qui se passe. (Les algorithmes actuels ont toujours besoin des humains pour leur fournir une longue liste de variables pertinentes comme les positions et les angles.)

C'est sur cela que Lipson a travaillé ces derniers temps. Dans une prépublication de décembre, lui et ses collaborateurs ont décrit une procédure dans laquelle ils ont d'abord entraîné un réseau neuronal profond à prendre quelques images d'une vidéo et à prédire les images suivantes. L'équipe a ensuite réduit le nombre de variables que le réseau neuronal était autorisé à utiliser jusqu'à ce que ses prédictions commencent à échouer.

L'algorithme a pu déterminer combien de variables étaient nécessaires pour modéliser à la fois des systèmes simples comme un pendule et des configurations complexes comme le scintillement d'un feu de camp - des langues de flammes sans variables évidentes à suivre.

"Il n'existe pas de nom pour les désigner", a déclaré Lipson. " Ils sont comme la flamme qui brûle. "

Aux confins de la science (des machines)

Ces machines scientifiques ne sont pas près de supplanter les réseaux neuronaux profonds, qui brillent dans les systèmes chaotiques ou extrêmement complexes. Personne ne s'attend à trouver une équation apte à distinguer le félin du canidé.

Pourtant, lorsqu'il s'agit de planètes en orbite, de fluides qui s'écoulent et de cellules en division, des équations concises s'appuient sur une poignée d'opérations sont d'une précision déconcertante. C'est un fait que le lauréat du prix Nobel Eugene Wigner a qualifié de "don merveilleux que nous ne comprenons ni ne méritons" dans son essai de 1960. La déraisonnable efficacité des mathématiques dans les sciences naturelles . Comme l'a dit Cranmer, " si vous regardez n'importe quelle aide-mémoire avec des équations pour un examen de physique, elles sont toutes des expressions algébriques extrêmement simples, mais qui fonctionnent extrêmement bien. "

Cranmer et ses collègues pensent que les opérations élémentaires sont si performantes parce qu'elles représentent des actions géométriques de base dans l'espace, ce qui en fait un langage naturel pour décrire la réalité. L'ajout déplace un objet le long d'une ligne numérique. Et la multiplication transforme une surface plane en un volume en 3D. C'est pourquoi, pensez-ils, lorsque nous devinons des équations, il est préférable de mettre sur la simplicité.

La simplicité sous-jacente de l'univers n'est cependant pas une garantie de succès.

Guimerà et Sales-Pardo ont initialement élaboré leur algorithme mathématiquement rigoureux parce qu'Eureqa contenait parfois des équations très différentes pour des entrées similaires. À leur grand désarroi, ils ont cependant constaté que même leur machine bayésienne renvoyait parfois plusieurs modèles tout aussi bons pour un ensemble de données données.

La raison, le couple l'a récemment montré, est intégré aux données elles-mêmes. À l'aide de leur machine scientifique, ils ont exploré divers ensembles de données pour découvrir qu'elles se répartissaient en deux catégories : propres et bruyantes. Dans des données plus propres, la machine scientifique peut toujours trouver l'équation qui génère les données. Mais au-delà d'un certain seuil de bruit, elle ne le peut plus. En d'autres termes, les données bruyantes peuvent correspondre tout aussi bien (ou mal) à plein d'équations différentes. Et comme les chercheurs ont prouvé de manière probabiliste que leur algorithme trouve toujours la meilleure équation, ils savent que là où il échoue, aucun autre scientifique – qu'il soit humain ou machine – ne peut réussir.

« Nous avons découvert qu'il s'agissait d'une limitation fondamentale », a déclaré Guimerà. " Pour cela, nous avions besoin de machine scientifique. "



Note de l'éditeur : Le Flatiron Institute est financé par la Fondation Simons, qui finance également cette publication éditoriale indépendante .