système fermé

Une fois dans la structure musicale, on peut faire ce que l'on veut avec.

Auteur: Jarrett Keith

Info:

[ improvisation ] [ canevas ] [ broderies ] [ liberté ] [ chanson ] [ thème ]

système fermé

Des chercheurs prouvent que les modèles d’IA dégénèrent s’ils sont entraînés avec leurs propres résultats

À la fin c'est moche (Photo avec quelques exemples de clichés/portraits traités par IA qui perdent leur netteté et leur définition au cours du processus)

Utiliser des données générées par IA pour enrichir un modèle d’IA conduit progressivement à l’effondrement de la qualité de ses résultats.

Détruire un modèle d’IA sera peut-être une préoccupation d’activistes d’ici quelques années. Grâce à une étude publiée dans Nature, on connaît une méthode qui, au moins, semble fonctionner. Des chercheurs en intelligence artificielle de Cambridge, au Royaume-Uni, ont essayé de savoir ce qu’il se passait en entraînant des modèles d’IA avec les résultats issus de ces mêmes modèles. En d’autres termes, nourrir de l’IA générative avec de l’IA générative. Eh bien le résultat est sans appel : le modèle finit tôt ou tard pas s’effondrer.

L’expérimentation n’a rien d’un projet néo-luddite, mais s’apparente plutôt à une mise en garde pour Zakhar Shumaylov, l’un des co-auteurs de l’étude, à toute l’industrie et la recherche en IA : " Tout le sujet est de montrer que nous devons faire vraiment attention à ce que nous utilisons comme donnée pour enrichir les IA ", affirme-t-il.

L’expérience menée à Cambridge : générer des articles Wikipédia

L’équipe de Shumaylov a testé son hypothèse avec l’un des usages les plus fréquents des intelligences artificielles génératives : la génération de texte. Un premier modèle a été enrichi avec des articles de Wikipédia (comme peuvent l’être de nombreux modèles, de ChatGPT à Gemini). Les chercheurs ont ensuite demandé à ce modèle de générer des articles de style Wikipédia. Une tâche simple pour un modèle entraîné sur une bonne matière première, constituée d’articles de Wikipédia.

Mais voilà, ils ont ensuite ajouté les articles générés au modèle initial, mélangeant une source " pure " et authentique (les vrais articles Wikipédia) et une source générée (les articles générés par le modèle dans le style de Wikipédia). Et déjà, les choses ont empiré, avec une seule génération de modèle qui n’a que partiellement été entraînée avec des IA. 

Pourquoi cet appauvrissement dans le matériau original survient-il ? La raison principale vient de l’échantillon de texte source. Quand vous utilisez comme source un article original, notamment d’encyclopédie, vous vous retrouvez avec une collection de mots rares que l’IA va être susceptible d’utiliser. Mais avec une génération suivante d’échantillon, vous commencez à perdre la rareté des mots au profit de mots plus courants, qui sont mécaniquement plus nombreux. Jusqu’à finir sur une production textuelle pauvre, qui, en plus d’avoir perdu en vocabulaire, enchaîne de plus en plus les erreurs. C’est précisément ce que l’équipe de Shumailov a remarqué : " le modèle finit par n’apprendre que des erreurs ".

Un danger pour les moteurs de recherche par IA

Cette étude prouve que l’IA a besoin d’une donnée de qualité pour s’enrichir et garder un haut niveau d’exigence. Cela s’applique dans un cadre universitaire, mais également sur les outils grand public : c’est toute la difficulté, par exemple, d’un Google Gemini sur le web.

Cette expérience de Google, lancée aux États-Unis, vise à résumer les résultats présents sur le web et à les présenter sous la forme de réponses écrites directement dans le moteur de recherche. Ainsi, les internautes n’auraient plus besoin d’aller sur les sites web que Google vient résumer : leur réponse est dans Google. Mais que se passe-t-il si le corpus est de mauvaise qualité ou, pire, si le web devient petit à petit un repaire de textes générés par IA ? Gemini finira par s’enrichir sur des textes pauvres, apprenant sur des matériaux générés et donc mécaniquement moins intéressants.

C’est aussi ce que peut craindre OpenAI, qui vient de lancer en bêta très privée son concurrent à Gemini : SearchGPT. Le géant derrière ChatGPT espère concurrencer Google sur le sujet de l’avenir des moteurs de recherche, mais se heurtera aux mêmes écueils s’il ne fait pas attention à son corpus d’entraînement initial… et à ses enrichissements ultérieurs.

La proposition des chercheurs de Cambridge pour éviter cela, serait de parvenir à une sorte de filigrane (watermark), permettant avec certitude d’identifier un texte généré ou une image générée, afin de l’exclure de l’enrichissement des modèles.

Auteur: Internet

Info: Numérama, Julien Cadot, 26 juillet 2024

[ étiolement ] [ dégénérescence ] [ nivellement par le bas ] [ mise en boucle ]