[...] quand un type écrit une belle connerie, ce n’est pas parce que personne ne l’a lue qu’elle ne poursuit pas ses effets. Car, sans l’avoir lue, tout le monde la répète. Il y a comme ça des bêtises véhiculées qui jouent sur des mélanges de plans auxquels les gens ne prennent pas garde. Ainsi, la première théorie analytique de la constitution du réel [dans la psychanalyse] est imprégnée des idées dominantes à l’époque, qui s’expriment dans des termes plus ou moins mythiques, sur les étapes de l’évolution de l’esprit humain. L’idée traîne partout, chez Jung aussi, que l’esprit humain aurait fait dans les tout derniers temps des progrès décisifs, et qu’auparavant, on en était encore à une confusion pré-logique – comme s’il n’était pas clair qu’il n’y a aucune différence structurale entre la pensée de M. Aristote et celle de quelques autres.

Nous présentons GAIA, un benchmark pour les assistants généraux d'IA qui, s'il était résolu, représenterait une étape importante dans la recherche sur l'IA. GAIA propose des questions du monde réel qui requièrent un ensemble d'aptitudes fondamentales telles que le raisonnement, la gestion de la multi-modalité, la navigation sur Internet et, de manière générale, la maîtrise de l'utilisation d'outils.

Les questions de GAIA sont conceptuellement simples pour les humains mais difficiles pour les IA les plus avancées : nous montrons que les répondants humains obtiennent 92 % contre 15 % pour GPT-4 équipé de plugins. Cette disparité de performance notable contraste avec la tendance récente des LLM (grands modèles de langage) à surpasser les humains sur des tâches nécessitant des compétences professionnelles, par exemple en droit ou en chimie.

La philosophie de GAIA s'écarte de la tendance actuelle des tests d'IA qui suggèrent de cibler des tâches de plus en plus difficiles pour les humains. Nous postulons que l'avènement de l'intelligence artificielle générale (AGI) dépend de la capacité d'un système à faire preuve d'une robustesse similaire à celle de l'homme moyen sur de telles questions.

En utilisant la méthodologie de GAIA, nous avons conçu 466 questions et leurs réponses. Nous publions nos questions tout en conservant les réponses à 300 d'entre elles afin d'alimenter un tableau de classement disponible à cette URL.