D'importants " machines scientifiques " distillent les lois de la physique à partir de données brutes.
Les chercheurs affirment que nous sommes à l'aube de la "physique GoPro", où une caméra peut pointer un événement et un algorithme peut identifier l'équation physique sous-jacente.
En 2017, les chercheurs Roger Guimerà et Marta Sales-Pardo ont découvert la cause de la division cellulaire, processus qui détermine la croissance des êtres vivants. Mais ils n'ont pas pu révéler immédiatement comment ils avaient trouvé la réponse. Les chercheurs n'avaient pas eux-mêmes repéré le modèle crucial dans leurs données. C'était une invention non publiée de leur part – un assistant numérique qu'ils ont appelé la « machine scientifique » – qui leur avait été transmise. En rédigeant le résultat, Guimerà se rappelle avoir pensé : « Nous ne pouvons pas simplement dire que nous avons transmis ce résultat à un algorithme et que c'est la réponse. Aucune critique n'accepte cela
. De nombreux biologistes pensaient que la division se produisait simplement lorsqu'une cellule dépassait une certaine taille, mais Trepat soupçonnait qu'il y avait plus derrière cette histoire. Son groupe s'est spécialisé dans le décryptage des empreintes à l'échelle nanométrique que des troupeaux de cellules laissent sur une surface molle lorsqu'elles se bousculent pour se positionner. L'équipe de Trepat avait rassemblé un ensemble de données exhaustives relatant les formes, les forces et une douzaine d'autres caractéristiques cellulaires. Mais tester toutes les façons dont ces attributs pourraient influencer la division cellulaire aurait pris toute une vie.
Ils ont donc collaboré avec Guimerà et Sales-Pardo pour transmettre les données à la machine scientifique. En quelques minutes, celle-ci a renvoyé une équation concise qui prédisait le moment où une cellule se diviserait avec 10 fois plus de précision qu'une équation qui n'utilisait que la taille d'une cellule ou toute autre caractéristique unique. Ce qui compte, selon le scientifique, c'est la taille multipliée par la force avec laquelle une cellule est comprimée par ses voisines - une quantité qui implique des unités d'énergie.
« Elle a réussi à détecter quelque chose que nous n'avions pas vu », a déclaré Trepat, qui, avec Guimerà, est membre de l'ICREA, l'Institution catalane de recherche et d'études avancées.
Comme les chercheurs n'avaient encore rien publié sur la machine scientifique, ils ont procédé à une deuxième analyse pour brouiller les pistes. Ils ont testé manuellement des centaines de paires de variables, "agissant sur leur signification physique ou biologique", comme ils l'écriront plus tard. Cette méthode a permis de retrouver la réponse de la machine scientifique,qu'ils ont rapportée en 2018 dans Nature Cell Biology .
Quatre ans plus tard, cette situation délicate est rapidement devenue une méthode acceptée de découverte scientifique. Sales-Pardo et Guimerà font partie d'une poignée de chercheurs qui développent la dernière génération d'outils capables d'effectuer un processus connu sous le nom de régression symbolique*.
Les algorithmes de régression symbolique sont différents des réseaux neuronaux profonds, ces fameux algorithmes d'intelligence artificielle qui peuvent prendre des milliers de pixels, les laisser passer à travers un labyrinthe de millions de nœuds et produire le mot « chien » par le biais de mécanisme opaque. La régression symbolique identifie de la même manière les relations dans des ensembles de données complexes, mais elle présente les résultats dans un format que les chercheurs humains peuvent comprendre : une courte équation. Ces algorithmes ressemblent aux versions suralimentées de la fonction d'ajustement de courbe d'Excel, sauf qu'ils ne recherchent pas seulement des lignes ou des paraboles pour ajuster un ensemble de points de données, mais des milliards de formules de toutes sortes. De cette façon, la machine scientifique pourrait donner aux humains un aperçu des raisons pour lesquelles les cellules se divisent, alors qu'un réseau neuronal ne pourrait que prédire quand elles se divisent.
Les chercheurs ont bricolé ces machines pendant des décennies, les poussant soigneusement à redécouvrir les lois de la nature à partir d'ensembles de données claires et organisées de manière à faire ressortir les modèles. Mais ces dernières années, les algorithmes sont devenus suffisamment matures pour découvrir des relations inconnues dans des données réelles, de la façon dont les turbulences appartiennent à l'atmosphère à la façon dont la matière noire se regroupe. "Aucun doute là-dessus", a déclaré Hod Lipson, roboticien de l'Université de Columbia qui a lancé l'étude de la régression symbolique il y a 13 ans. " L'ensemble du domaine progresse. "
L'essor des machines scientifiques
Parfois, les médecins parviennent à de grandes vérités par le simple raisonnement, comme lorsqu'Albert Einstein a eu l'intuition de la souplesse de l'espace et du temps en imaginant un rayon lumineux depuis la perspective d'un autre rayon lumineux. Mais le plus souvent, les théories naissent de séances marathon de traitement de données. Après la mort de l'astronome Tycho Brahe au XVIe siècle, Johannes Kepler a mis la main sur les observations célestes contenues dans les carnets de notes de Brahe. Il lui a fallu quatre ans pour déterminer que Mars décrit une ellipse dans le ciel plutôt que les dizaines d'autres formes en forme d'œuf qu'il avait envisagées. Il a suivi cette « première loi » en coordination avec deux autres relations découvertes grâce à des calculs de force brute.Ces régularités orientèrent plus tard Isaac Newton vers sa loi de la gravitation universelle.
L'objectif de la régression symbolique est d'accélérer ces essais et erreurs képlériens, en analysant les innombrables façons de relier les variables aux opérations mathématiques de base pour trouver l'équation qui prédit le plus précisément le comportement d'un système.
Les astrophysiciens ont modélisé le comportement du système solaire de deux manières. Tout d'abord en utilisant des décennies de données de la NASA pour un ancien réseau neuronal. Ils ont ensuite utilisé un algorithme de régression symbolique pour distiller davantage ce modèle en une équation.
(Images : Dans ces vidéos, qui montrent les positions réelles sous forme d'objets solides et les prédictions du modèle sous forme de contours en treillis métallique, le réseau neuronal - à gauche - fait bien moins bien que l'algorithme de régression symbolique - à droite.)
Le premier programme à faire des progrès significatifs dans ce domaine, appelé BACON , a été développé à la fin des années 1970 par Patrick Langley, un scientifique cognitif et chercheur en intelligence artificielle alors à l'université Carnegie Mellon. BACON prenait par exemple une colonne de périodes orbitales et une colonne de distances orbitales pour différentes planètes. Il combinait ensuite systématiquement les données de différentes manières : période divisée par distance, période au carré multipliée par distance, etc. Il pouvait s'arrêter s'il trouvait une valeur constante, par exemple si la période au carré sur la distance au cube donnait toujours le même nombre, ce qui est la troisième loi de Kepler. Une constante impliquait qu'il avait identifié deux quantités proportionnellement - dans ce cas, la période au carré et la distance au cube. En d'autres termes, il s'arrêtait lorsqu'il trouvait une équation.
Malgré la redécouverte de la troisième loi de Kepler et d'autres classiques des manuels scolaires, BACON restait une curiosité à une époque où la puissance de calcul était limitée. Les chercheurs devaient encore analyser la plupart des ensembles de données à la main, ou éventuellement avec un logiciel de type Excel qui trouvait la meilleure adéquation pour un ensemble de données simple à partir d'une classe spécifique d'équations. L'idée qu'un algorithme peut trouver le modèle correct pour décrire n'importe quel ensemble de données resta en sommeil jusqu'en 2009, lorsque Lipson et Michael Schmidt, alors roboticiens à l'Université Cornell, ont développé un algorithme appelé Eureqa.
Leur objectif principal était de construire une machine capable de réduire des ensembles de données volumineux avec des colonnes de variables à une équation impliquant les quelques variables qui comptent réellement. " L'équation peut finir par avoir quatre variables, mais on ne sait pas à l'avance quoi ", a déclaré Lipson. " On y jette tout et n'importe quoi. Peut-être que la météo est importante. Peut-être que le nombre de dentistes par kilomètre carré est important. "
L'un des obstacles persistants dans cette gestion de nombreuses variables est de trouver un moyen efficace de deviner de nouvelles équations les unes après les autres. Les chercheurs affirment qu'il faut également avoir la flexibilité nécessaire pour essayer (et récupérer) d'éventuelles impasses. Lorsque l'algorithme peut passer d'une ligne à une parabole ou ajouter une ondulation sinusoïdale, sa capacité à atteindre autant de points de données que possible peut se détériorer avant de s'améliorer. Pour surmonter ce défi et d'autres, les informaticiens ont commencé à utiliser des " algorithmes génétiques ", qui introduisent des " mutations " aléatoires dans les équations et testent les équations mutantes par rapport aux données. Au fil des essais, des fonctionnalités initialement inutiles évoluent vers des fonctionnalités puissantes ou disparaissent.
Lipson et Schmidt ont poussé la technique à un niveau supérieur, en améliorant la pression darwinienne en créant une compétition directe au sein d'Eureqa. D'un côté, ils ont créé des équations. De l'autre, ils ont randomisé les points de données sur lesquels tester les équations – les points les plus « adaptés » étant ceux qui remettaient le plus en cause les équations. "Pour obtenir une course aux armements, il faut mettre en place deux choses en évolution, pas une seule", a déclaré Lipson.
L'algorithme Eureqa Il pouvait traiter des ensembles de données impliquant plus d'une douzaine de variables. Il pouvait récupérer avec succès des équations avancées, comme celles décrivant le mouvement d'un pendule suspendu à un autre.
( Image : infographie montrant comment les algorithmes de régression symbolique mutent et croisent les équations et comparent les équations résultantes à un ensemble de points de données. )
Pendant ce temps, d'autres chercheurs ont trouvé des astuces pour entraîner les réseaux neuronaux profonds. En 2011, ces derniers ont commencé à apprendre avec succès à distinguer les chiens des chats et à effectuer d'innombrables autres tâches complexes. Mais un réseau neuronal entraîné est constitué de millions de « neurones » à valeur numérique, qui ne disent rien sur les caractéristiques qu'ils ont appris à reconnaître. De son côté, Eureqa a pu communiquer ses découvertes en langage humain :par des opérations mathématiques sur des variables physiques.
Lorsque Sales-Pardo a joué avec Eureqa pour la première fois, elle a été stupéfaite. " Je pensais que c'était impossible, dit-elle. C'est de la magie. Comment ces gens ont-ils pu y arriver ? " Elle et Guimerà ont rapidement commencé à utiliser Eureqa pour créer des modèles pour leurs recherches propres sur les réseaux, mais elles étaient à la fois impressionnées par sa puissance et frustrées par son incohérence. L'algorithme faisait évoluer des équations prédictives, mais il pouvait alors dépasser les limites et aboutir à une équation trop compliquée. Ou bien les chercheurs modifiaient légèrement leurs données, et Eureqa renvoyait une formule complètement différente. Sales-Pardo et Guimerà ont alors entrepris de concevoir une nouvelle machine scientifique à partir de zéro.
Degré de compression
Le problème des algorithmes génétiques, selon eux, était qu'ils dépendaient trop des goûts de leurs créateurs. Les développeurs doivent apprendre à l'algorithme pour trouver un équilibre entre simplicité et précision. Une équation peut toujours atteindre plus de points dans un ensemble de données en ajoutant des termes. Mais certains points isolés sont tout simplement trop bruyants et il vaut mieux les ignorer. On pourrait définir la simplicité comme la longueur de l'équation, par exemple, et la précision comme la distance à laquelle la courbe se rapproche de chaque point de l'ensemble de données, mais ce ne sont là que deux définitions parmi un assortiment d'options.
Sales-Pardo et Guimerà, ainsi que leurs collaborateurs, ont fait appel à leur expertise en physique et en statistique pour reformuler le processus évolutif sous un cadre probabiliste connu sous le nom de théorie bayésienne. Ils ont commencé par télécharger toutes les équations de Wikipédia. Ils ont ensuite analysé statistiquement ces équations pour voir quels types d'équations étaient les plus courantes. Cela leur a permis de s'assurer que les suppositions initiales de l'algorithme seraient simples, ce qui rendrait plus probable l'essai d'un signe plutôt qu'un cosinus hyperbolique, par exemple. L'algorithme a ensuite généré des variantes des équations en utilisant une méthode d'échantillonnage aléatoire qui, mathématiquement, a prouvé qu'elle explorait toutes les pièces du paysage mathématique.
À chaque étape, l'algorithme a évalué les équations candidates en fonction de leur capacité à compresser un ensemble de données. Par exemple, une série aléatoire de points peut ne pas être compressée du tout ; il faut connaître la position de chaque point. Mais si 1 000 points se trouvent le long d'une ligne droite, ils peuvent être compressés en seulement deux nombres (la pente et la hauteur de la ligne). Le couple a découvert que le degré de compression offre un moyen unique et inattaquable de comparer les équations candidates. « Vous pouvez prouver que le modèle correct est celui qui compresse le plus les données », a déclaré Guimerà. " Il n'y a pas d'arbitraire ici. "
Après des années de développement — et d'utilisation secrète de leur algorithme pour déterminer ce qui déclenche la division cellulaire —, eux et leurs collègues ont décrit leur " machine scientifique bayésienne " dans Science advance en 2020.
Des océans de données
Depuis lors, les chercheurs ont utilisé la machine scientifique bayésienne pour améliorer l'équation de pointe permettant de prédire la consommation énergétique d'un pays, tandis qu'un autre groupe l'a utilisé pour aider à modéliser la percolation à travers un réseau. Mais les développeurs s'attendent à ce que ces types d'algorithmes jouent un rôle démesuré dans la recherche biologique comme celle de Trepat, où les scientifiques sont de plus en plus submergés de données.
Les scientifiques spécialisés dans les machines fournissent également aux médecins de comprendre les systèmes qui s'étendent sur plusieurs échelles. Les physiciens utilisent généralement un ensemble d'équations pour les atomes et un ensemble complètement différent pour les boules de billard, mais cette approche fragmentaire ne fonctionne pas pour les chercheurs d'une discipline comme la science du climat, où les courants à petite échelle autour de Manhattan alimentent le Gulf Stream de l'océan Atlantique.
Laure Zanna est une de ces chercheuses. Dans son travail de modélisation des turbulences océaniques, elle se retrouve souvent coincée entre deux extrêmes : les superordinateurs peuvent simuler soit des tourbillons de la taille d'une ville, soit des courants intercontinentaux, mais pas les deux à la fois. Son travail consiste à aider les ordinateurs à générer une image globale qui inclut les effets des tourbillons plus petits sans les simuler directement. Au départ, elle s'est tournée vers les réseaux neuronaux profonds pour extraire l'effet global des simulations à haute résolution et mettre à jour les simulations plus grossières en conséquence. « Elles étaient incroyables », at-elle déclaré. " Mais je suis une physicienne du climat " — ce qui signifie qu'elle veut comprendre comment le climat fonctionne en se basant sur une poignée de principes physiques comme la pression et la température — " donc il est très difficile d'accepter et de se contenter de milliers de paramètres. "
Elle est ensuite tombée sur un algorithme scientifique conçu par Steven Brunton, Josué Proctor et Nathan Kutz, spécialistes en mathématique appliquée à l'Université de Washington. Leur algorithme adopte une approche connue sous le nom de régression parcimonieuse, qui est similaire dans son esprit à la régression symbolique. Au lieu de mettre en place une bataille royale entre des équations en mutation, il commence avec une bibliothèque d'environ un millier de fonctions comme x 2, x /( x − 1) et sin( x ). L'algorithme recherche dans la bibliothèque une combinaison de termes qui donne les prédictions les plus précises, supprime les termes les moins utiles et continue jusqu'à ce qu'il ne reste plus qu'une poignée de termes. La procédure rapide comme l'éclair peut traiter plus de données que les algorithmes de régression symbolique, au prix d'une marge de manœuvre réduite, puisque l'équation finale doit être construite à partir des termes de la bibliothèque.
Zanna a recréé l'algorithme de régression clairsemée à partir de zéro pour avoir une idée de son fonctionnement, puis a appliqué une version modifiée aux modèles océaniques. Lorsqu'elle a introduit des films haute résolution et demandé à l'algorithme de recherche des croquis précis avec un zoom arrière, il a renvoyé une équation succincte Elle a étudié la vorticité et la façon dont les fluides s'étirent et se cisaillent. Lorsqu'elle a intégré ces données dans son modèle d'écoulement de fluide à grande échelle, elle a pu constater que l'écoulement changeait en fonction de l'énergie de manière beaucoup plus réaliste qu'auparavant.
" L'algorithme a détecté des termes supplémentaires ", a déclaré Zanna, produisant une " belle " équation qui " représente vraiment certaines propriétés clés des courants océaniques, à savoir l'étirement,le cisaillement et la [rotation]".
Plus intelligents ensemble
D'autres groupes donnent un coup de pouce aux scientifiques spécialisés dans les machines en combinant leurs atouts avec ceux des réseaux neuronaux profonds.
Miles Cranmer, étudiant diplômé en astrophysique à l'université de Princeton, a développé un algorithme de régression symbolique open source similaire à Eureqa appelé PySR. Il a établi différentes populations d'équations sur des " îles " numériques et permet aux équations qui correspondent le mieux aux données de migrer périodiquement et de rivaliser avec les résidents d'autres îles. Cranmer a travaillé avec des informaticiens de DeepMind et de NYU et des astrophysiciens du Flatiron Institute pour définir un schéma hybride dans lequel ils entraînent d'abord un réseau neuronal à accomplir une tâche, puis demandent à PySR de trouver une équation décrivant ce que certaines parties du réseau neuronal ont appris à faire.
Comme première preuve de ce concept Le groupe a appliqué la procédure à une simulation de matière noire et a généré une formule donnant la densité au centre d'un nuage de matière noire en fonction des propriétés des nuages voisins. L'équation correspondait mieux aux données que l'équation existe conçue par l'homme.
En février, ils ont fourni à leur système 30 années de positions réelles des planètes et des lunes du système solaire dans le ciel. L'algorithme a complètement ignoré les lois de Kepler, déduisant directement la loi de la gravitation de Newton et les masses des planètes et des lunes. D'autres groupes ont récemment utilisé PySR pour découvrir des équations décrivant les caractéristiques des collisions de particules, une approximation du volume d'un nœud, et la façon dont les nuages de matière noire sculptent les galaxies en leur centre.
Parmi le groupe croissant de scientifiques spécialisés dans les machines (un autre exemple notable est " AI Feynman * créé par Max Tegmark et Silviu-Marian Udrescu, physiciens au Massachusetts Institute of Technology) les chercheurs affirment que "plus on est de fous, mieux c'est."... Nous avons vraiment besoin de toutes ces techniques", a déclaré Kutz. " Aucune d'entre elles ne constitue une solution miracle. "
Kutz estime que les scientifiques spécialisés dans ces machines sont en train de mener la discipline à l'aube de ce qu'il appelle " physique GoPro ", où les chercheurs pointeront simplement une caméra vers un événement et obtiendront en retour une équation capturant l'essence de ce qui se passe. (Les algorithmes actuels ont toujours besoin des humains pour leur fournir une longue liste de variables pertinentes comme les positions et les angles.)
C'est sur cela que Lipson a travaillé ces derniers temps. Dans une prépublication de décembre, lui et ses collaborateurs ont décrit une procédure dans laquelle ils ont d'abord entraîné un réseau neuronal profond à prendre quelques images d'une vidéo et à prédire les images suivantes. L'équipe a ensuite réduit le nombre de variables que le réseau neuronal était autorisé à utiliser jusqu'à ce que ses prédictions commencent à échouer.
L'algorithme a pu déterminer combien de variables étaient nécessaires pour modéliser à la fois des systèmes simples comme un pendule et des configurations complexes comme le scintillement d'un feu de camp - des langues de flammes sans variables évidentes à suivre.
"Il n'existe pas de nom pour les désigner", a déclaré Lipson. " Ils sont comme la flamme qui brûle. "
Aux confins de la science (des machines)
Ces machines scientifiques ne sont pas près de supplanter les réseaux neuronaux profonds, qui brillent dans les systèmes chaotiques ou extrêmement complexes. Personne ne s'attend à trouver une équation apte à distinguer le félin du canidé.
Pourtant, lorsqu'il s'agit de planètes en orbite, de fluides qui s'écoulent et de cellules en division, des équations concises s'appuient sur une poignée d'opérations sont d'une précision déconcertante. C'est un fait que le lauréat du prix Nobel Eugene Wigner a qualifié de "don merveilleux que nous ne comprenons ni ne méritons" dans son essai de 1960. La déraisonnable efficacité des mathématiques dans les sciences naturelles . Comme l'a dit Cranmer, " si vous regardez n'importe quelle aide-mémoire avec des équations pour un examen de physique, elles sont toutes des expressions algébriques extrêmement simples, mais qui fonctionnent extrêmement bien. "
Cranmer et ses collègues pensent que les opérations élémentaires sont si performantes parce qu'elles représentent des actions géométriques de base dans l'espace, ce qui en fait un langage naturel pour décrire la réalité. L'ajout déplace un objet le long d'une ligne numérique. Et la multiplication transforme une surface plane en un volume en 3D. C'est pourquoi, pensez-ils, lorsque nous devinons des équations, il est préférable de mettre sur la simplicité.
La simplicité sous-jacente de l'univers n'est cependant pas une garantie de succès.
Guimerà et Sales-Pardo ont initialement élaboré leur algorithme mathématiquement rigoureux parce qu'Eureqa contenait parfois des équations très différentes pour des entrées similaires. À leur grand désarroi, ils ont cependant constaté que même leur machine bayésienne renvoyait parfois plusieurs modèles tout aussi bons pour un ensemble de données données.
La raison, le couple l'a récemment montré, est intégré aux données elles-mêmes. À l'aide de leur machine scientifique, ils ont exploré divers ensembles de données pour découvrir qu'elles se répartissaient en deux catégories : propres et bruyantes. Dans des données plus propres, la machine scientifique peut toujours trouver l'équation qui génère les données. Mais au-delà d'un certain seuil de bruit, elle ne le peut plus. En d'autres termes, les données bruyantes peuvent correspondre tout aussi bien (ou mal) à plein d'équations différentes. Et comme les chercheurs ont prouvé de manière probabiliste que leur algorithme trouve toujours la meilleure équation, ils savent que là où il échoue, aucun autre scientifique – qu'il soit humain ou machine – ne peut réussir.
« Nous avons découvert qu'il s'agissait d'une limitation fondamentale », a déclaré Guimerà. " Pour cela, nous avions besoin de machine scientifique. "
Note de l'éditeur : Le Flatiron Institute est financé par la Fondation Simons, qui finance également cette publication éditoriale indépendante .