homme-machine

ChatGPT : Qu’est-ce qui se passe de si spécial dans un transformer ?

Sebastien Bubeck explique cela très bien : la machine, contrairement à nous, ne succombe pas au biais inductif. Si dans une série qui semble à première vue homogène, il existe certaines configurations qui permettent un raccourci vers la solution, la machine le découvrira, alors que nous, pauvres humains, victimes du biais inductif, nous allons considérer que comme la série a l’air homogène, elle l’est nécessairement et … nous ne trouverons pas les raccourcis cachés dans certaines configurations … faute d’avoir même supposé que de tels raccourcis pouvaient exister.

 (explication vidéo des transformers)

Ok, j’explique ce que cela veut dire sur deux exemples.

Vous vous souvenez sans doute (ou seulement peut-être) de cette vidéo historique de 2014 où Demis Hassabis, fondateur de DeepMind, présentait une IA jouant à casse-briques ? Ce qu’il nous montrait, c’était que l’IA découvrait au bout d’un moment que la tactique la plus payante, ce n’était pas d’attaquer le mur de front, mais de le prendre à revers en passant latéralement et en allant faire rebondir le projectile sur lui à partir du plafond. À cela, les humains n’avaient pas pensé*, ils imaginaient que les configurations étaient homogènes : qu’elles se valaient toutes.

Un bon exemple de biais inductif, ce serait de généraliser en disant : "Quand on examine la suite des nombres entiers, 1, 2, 3 …, on observe que pour chacun de ces nombres …", alors que certains d’entre eux ont des propriétés particulières que les autres n’ont pas. Ainsi, 1, 2, 3, 5, 7… ne sont divisibles que par 1 et par eux-mêmes : ce sont des nombres premiers ; 4 et 9 sont des carrés, ils résultent de la multiplication par lui-même d’un nombre avant eux dans la liste ; 8 est un cube : un nombre avant lui dans la liste multiplié par lui-même à deux reprises, etc.

Le premier à avoir noté cela à notre connaissance, c’est Diophante (200-284). Il est le premier à avoir laissé entendre à propos de la suite des entiers : "Ne vous y fiez pas : certains d’entre eux sont des gens très ordinaires, mais d’autres sont de drôles de paroissiens !". Diophante, le premier à avoir attiré notre attention sur le fait que 4, 8, 9… permettent des raccourcis qui sont fermés aux autres entiers. Or aux yeux de l’IA d’aujourd’hui, avec le temps dont elle dispose en quantité quasi-illimité, il n’y a pas de raccourci nous étant resté inaperçu, qu’elle ne  parvienne à découvrir. Du coup, elle nous fait honte. Nous pouvons lui rappeler : "N’oublie pas que je suis ton père (ou ta mère) !", mais vous connaissez les enfants…

Auteur: Jorion Paul

Info: Sur son blog, 14 avril 2023 à propos des transformers. * Il y a bien eu sur le Blog de PJ quelques commentateurs fanfarons pour dire : "Fastoche ! Même ma grand-mère savait ça !", mais ce sont les mêmes frimeurs qui, neuf ans plus tard, sévissent toujours sur le blog [a https://www.toupie.org/Biais/Probleme_induction.htm]

[ intelligence artificielle ] [ surhumaine compréhension ]