Pour la première fois, des modèles d'IA analysent le langage aussi bien qu'un expert humain.

Si le langage est ce qui nous rend humains, que signifie le fait que les grands modèles de langage aient acquis des capacités " métalinguistiques " ?

Parmi la myriade de capacités humaines, lesquelles sont propres à l'espèce humaine ? Le langage figure parmi les principaux candidats depuis au moins Aristote, qui écrivait que l'humanité était " l'animal qui possède le langage ". Même si de grands modèles de langage comme ChatGPT reproduisent superficiellement la parole ordinaire, les chercheurs cherchent à savoir s'il existe des aspects spécifiques du langage humain qui n'ont tout simplement aucun équivalent dans les systèmes de communication des autres animaux ou des dispositifs dotés d'intelligence artificielle.

Les chercheurs se sont notamment intéressés à la capacité des modèles de langage à raisonner sur le langage lui-même. Pour certains linguistes, ces modèles sont non seulement dépourvus de capacités de raisonnement, mais en sont tout simplement incapables. Ce point de vue a été résumé par Noam Chomsky, linguiste de renom, et deux co-auteurs en 2023, dans un article du New York Times. Selon ces chercheurs, " les explications correctes du langage sont complexes et ne peuvent être apprises simplement en se baignant dans des volumes massifs de données ". Les modèles d'IA peuvent être habiles à utiliser le langage, ont-ils affirmé, mais ils ne sont pas capables de l'analyser de manière sophistiquée.

Ce point de vue a été contesté dans un article récent par Gašper Beguš, linguiste à l'Université de Californie à Berkeley ; Maksymilian Dąbkowski, qui a récemment obtenu son doctorat en linguistique à Berkeley ; et Ryan Rhodes. Des chercheurs de l'Université Rutgers ont soumis plusieurs grands modèles de langage (LLM) à une série de tests linguistiques, notamment en demandant à l'un d'eux de généraliser les règles d'une langue inventée. Si la plupart des LLM n'ont pas réussi à analyser les règles linguistiques comme le font les humains, l'un d'eux a démontré des capacités impressionnantes, dépassant largement les attentes. Il était capable d'analyser le langage de manière quasi identique à celle d'un étudiant de master en linguistique : schématisation des phrases, résolution des ambiguïtés et utilisation de mécanismes linguistiques complexes tels que la récursivité. Cette découverte, explique Beguš, " remet en question notre compréhension des capacités de l'IA ".

Ce nouvel ouvrage est à la fois opportun et " très important ", a déclaré Tom McCoy. Un linguiste informaticien de l'université de Yale, qui n'a pas participé à ces recherches, a déclaré : " À mesure que la société devient plus dépendante de cette technologie, il est crucial de comprendre ses points forts et ses limites. " L'analyse linguistique, a-t-il ajouté, constitue le terrain d'expérimentation idéal pour évaluer dans quelle mesure ces modèles de langage peuvent raisonner comme des humains.

Complexité infinie

L'un des défis liés à l'évaluation linguistique rigoureuse des modèles de langage est de s'assurer qu'ils ne connaissent pas déjà les réponses. Ces systèmes sont généralement entraînés sur d'énormes quantités d'informations écrites : non seulement la majeure partie d'Internet, dans des dizaines voire des centaines de langues, mais aussi des ouvrages de linguistique tels que des manuels. En théorie, les modèles pourraient simplement mémoriser et restituer les informations qui leur ont été fournies lors de leur entraînement.

Pour éviter cet écueil, Beguš et ses collègues ont créé un test linguistique en quatre parties. Trois de ces parties consistaient à demander au modèle d'analyser des phrases spécialement conçues à l'aide de diagrammes arborescents, introduits pour la première fois dans l'ouvrage de référence de Chomsky, *Structures syntaxiques* , paru en 1957. Ces diagrammes décomposent les phrases en groupes nominaux et groupes verbaux, puis les subdivisent en noms, verbes, adjectifs, adverbes, prépositions, conjonctions, etc.

Une partie du test portait sur la récursivité, c'est-à-dire la capacité à imbriquer des phrases. " Le ciel est bleu " est une phrase simple en anglais. " Jane a dit que le ciel est bleu " imbrique la phrase initiale dans une phrase légèrement plus complexe. Il est important de noter que ce processus de récursivité peut se poursuivre indéfiniment : " Maria s'est demandée si Sam savait qu'Omar avait entendu que Jane avait dit que le ciel est bleu " est également une phrase récursive grammaticalement correcte, bien que maladroite.

La récursivité a été qualifiée par Chomsky et d'autres de caractéristique fondamentale du langage humain, voire, peut-être, de caractéristique fondamentale de l'esprit humain. Les linguistes ont avancé que son potentiel illimité confère aux langues humaines leur capacité à générer une infinité de phrases possibles à partir d'un vocabulaire et d'un ensemble de règles finis. À ce jour, aucune preuve convaincante n'atteste que d'autres animaux puissent utiliser la récursivité de manière aussi sophistiquée.

La récursivité peut se produire au début ou à la fin d'une phrase, mais la forme la plus difficile à maîtriser, appelée enchâssement central, se situe au milieu – par exemple, en passant de " le chat est mort " à " le chat que le chien a mordu est mort ".

Le test de Beguš a soumis les modèles de langage à 30 phrases originales présentant des exemples complexes de récursivité. Par exemple : " The astronomy the ancients we revere study was not separate from astrology. " À l’aide d’un arbre syntaxique, l’un des modèles de langage — o1 d’OpenAI — a pu déterminer que la phrase était structurée comme suit :

L'astronomie [que les anciens [que nous vénérons] étudiaient] n'était pas séparée de l'astrologie.

Le modèle est ensuite allé plus loin et a ajouté une autre couche de récursivité à la phrase :

L'astronomie [que les anciens [que nous vénérons [qui vivaient dans des pays que nous chérissons] ] étudiaient] n'était pas séparée de l'astrologie.

Beguš, entre autres, ne s'attendait pas à ce que cette étude aboutisse à un modèle d'IA doté d'une capacité " métalinguistique " de niveau supérieur – " la capacité non seulement d'utiliser une langue, mais aussi de penser à la langue ", comme il l'a formulé.

C’est l’un des aspects " qui attirent l’attention " de leur article, a déclaré David Mortensen. Un linguiste informaticien de l'Université Carnegie Mellon, qui n'a pas participé à ces travaux, a déclaré : " Il existe un débat quant à savoir si les modèles de langage se contentent de prédire le mot (ou le terme linguistique) suivant dans une phrase, ce qui est qualitativement différent de la compréhension profonde du langage propre aux humains. Certains linguistes ont affirmé que les modèles de langage ne traitent pas réellement du langage. Ces résultats semblent invalider ces affirmations. "

Que veux-tu dire?

McCoy s'est dit surpris par les performances d'o1 en général, et notamment par sa capacité à reconnaître l'ambiguïté, " chose notoirement difficile à appréhender pour les modèles informatiques du langage ", a-t-il déclaré. Les humains " possèdent un vaste bagage de connaissances qui leur permet d'écarter l'ambiguïté. Mais il est difficile pour les ordinateurs d'atteindre ce niveau de connaissances. "

Une phrase comme " Rowan a nourri sa poule "** (“Rowan fed his pet chicken”) peut décrire la poule que Rowan garde comme animal de compagnie, ou bien le repas de poulet qu'il a donné à son compagnon animal (sans doute plus traditionnel). Le modèle o1 a correctement produit deux arbres syntaxiques différents : l'un correspondant à la première interprétation de la phrase et l'autre à la seconde.

Les chercheurs ont également mené des expériences sur la phonologie, c'est-à-dire l'étude de la structure des sons et de l'organisation des plus petites unités sonores, appelées phonèmes. Pour parler couramment, comme un locuteur natif, on suit des règles phonologiques acquises par la pratique, souvent sans enseignement explicite. En anglais, par exemple, ajouter un " s " à un mot se terminant par un " g " produit un son " z ", comme dans " dogs ". En revanche, un " s " ajouté à un mot se terminant par un " t " sonne comme un " s " standard, comme dans " cats ".

Dans le cadre de l'exercice de phonologie, le groupe a créé 30 mini-langues, comme les appelait Beguš, afin de déterminer si les participants pouvaient déduire correctement les règles phonologiques sans aucune connaissance préalable. Chaque langue était composée de 40 mots inventés. Voici quelques exemples de mots issus de l'une de ces langues :

θalp

ʃebre

ð i̤ z ṳ

g a̤ rb o̤ nd a̤

ʒ i̤ z ṳ ð e̤ jo

Ils ont ensuite demandé aux modèles de langage d'analyser les processus phonologiques de chaque langue. Pour cette langue, o1 a correctement écrit qu'" une voyelle devient une voyelle soufflée lorsqu'elle est immédiatement précédée d'une consonne à la fois sonore et occlusive " — un son formé par restriction du flux d'air, comme le " t " dans " top ".

Ces langues étant nouvellement inventées, il est impossible que o1 y ait été exposé durant son entraînement. " Je ne m'attendais pas à des résultats aussi probants et impressionnants ", a déclaré Mortensen.

Humain uniquement, ou pas ?

Jusqu'où peuvent aller ces modèles de langage ? Vont-ils s'améliorer indéfiniment, simplement en devenant plus grands – en y intégrant davantage de puissance de calcul, de complexité et de données d'entraînement ? Ou bien certaines caractéristiques du langage humain sont-elles le fruit d'un processus évolutif propre à notre espèce ?

Les résultats récents montrent que ces modèles peuvent, en principe, effectuer des analyses linguistiques poussées. Mais aucun modèle n'a encore produit d'éléments originaux ni ne nous a appris quoi que ce soit de nouveau sur le langage.

Si l'amélioration se résume à accroître la puissance de calcul et la quantité de données d'entraînement, Beguš estime que les modèles de langage finiront par nous surpasser en compétences linguistiques. Mortensen a indiqué que les modèles actuels présentent certaines limites. " Ils sont entraînés à une tâche très spécifique : prédire le jeton suivant à partir d'un historique de mots ", a-t-il expliqué. " Leur mode d'entraînement les empêche de généraliser efficacement. "

Mais au vu des progrès récents, Mortensen estime qu'il n'y a pas lieu de s'inquiéter si les modèles de langage ne finissent pas par comprendre notre langue mieux que nous-mêmes. " Ce n'est qu'une question de temps avant que nous soyons capables de construire des modèles qui généralisent mieux à partir de moins de données, et ce, de manière plus créative. "

Les nouveaux résultats montrent une érosion progressive des propriétés que l'on considérait comme le domaine exclusif du langage humain, a déclaré Beguš. " Il semble que nous soyons moins uniques que nous le pensions auparavant. "