intelligence artificielle

Il faut bien comprendre que lorsqu'on utilise un transformer on ne manipule plus des mots, on manipule en réalité des vecteurs mathématiques qui sont des représentations, émergées d'un espace gigantesque (de l'ordre d'un trillons de tokens*),  du sens de ces mots.

Auteur: Roux Claude

Info: *mots, mais aussi de "bouts de mots", en général leurs radicaux

[ traitement automatique du langage ] [ réseaux neuronaux ] [ non linéarité ] [ mise en relation non séquentielle ] [ sémantique ]

médecine

Généralement, les virus sont des organismes très simples, pas le sida. C’est une structure méga-complexe, une beauté de technologie créée par la nature, qui sert de navette ultra-efficace. Et par ailleurs, on a trouvé une mutation génétique CCR5 qui ferme la porte au sida. Cela a été observé à Berlin sur un porteur du VIH qui avait chopé une leucémie. On l’a transplanté de moelle osseuse, or le donneur avait la mutation CCR5, et le patient a guéri.

Auteur: Beigbeder Frédéric

Info: Dans "Une vie sans fin", page 259

[ traitement ] [ solution ] [ syndrome immunodéficitaire acquis ]

thérapeutique

Etant située aux antipodes de la médecine ancienne, la médecine moderne destitue le malade de tout savoir, réservant celui-ci au médecin. […]
De même, la psychanalyse, prétendant détenir tout savoir sur la maladie, serait alors associée à la médecine moderne dans la dépossession de tout savoir sur soi de la part du malade, rejoignant à nouveau ce dont il était question dans le traitement moral : que le psychiatre sait toujours, tandis que le malade ne sait jamais rien à propos de lui-même.

Auteur: Birman Joel

Info: Foucault et la psychanalyse

[ traitement ] [ toute-puissance ]

classe moyenne

L’impôt actuel est injuste. Il frappe électivement la masse des salariés et les propriétaires d’entreprises saines, c’est-à-dire le capital et le travail productifs. Et, par l’invraisemblable complication de ses mécanismes et les difficultés de contrôle qui en résultent, il offre mille échappatoires aux éléments marginaux ou parasitaires de l’économie (trafiquants, spéculateurs, entreprises déficitaires, etc.) qui sont assez adroits pour traverser ses filets ou, mieux encore, pour tirer à eux une partie de sa pêche. De sorte qu’à la limite, les gens sont pénalisés en fonction de leurs services et récompensés suivant leur malhonnêteté ou leur incapacité.

Auteur: Thibon Gustave

Info: Dans "L'équilibre et l'harmonie", Librairie Arthème, Fayard, 1976, page 226

[ économie ] [ traitements inégaux ] [ fraude fiscale ]

web sémantique

Comment penser à l'apprentissage non supervisé ? Comment en tirer profit ? Une fois que notre compréhension s'améliorera et que l'apprentissage non supervisé progressera, c'est là que nous acquerrons de nouvelles idées et que nous verrons une explosion totalement inimaginable de nouvelles applications. (...)  

Mais je suis incapable de formuler ce que nous attendons de l'apprentissage non supervisé. On veut quelque chose ; on veut que le modèle comprenne... peu importe ce que cela signifie. (...)

Il existe un argument convaincant comme quoi les grands réseaux neuronaux profonds devraient être capables de représenter de très bonnes solutions aux problèmes de perception. Voilà pourquoi : les neurones humains sont lents, et pourtant les humains peuvent résoudre des problèmes de perception extrêmement rapidement et avec précision. Si l'homme peut résoudre des problèmes utiles en une fraction de seconde, il ne devrait avoir besoin que d'un très petit nombre d'étapes massivement parallèles pour résoudre des problèmes tels que la vision et la reconnaissance vocale.

Auteur: Sutskever Ilya

Info: Rapporté par David Beyer in, The Future of Machine Intelligence 2016

[ traitement automatique du langage ]

pathologie

Chez les Dangaleat (Jean Pouillon, Nouvelle Revue de Psychanalyse, n°1), la maladie a valeur initiatique. Il faut avoir été malade pour faire partie du groupe. On ne devient médecin que si on a été malade, et par le fait même. La maladie vient des margaï, chacun a sa ou ses margaï, elles s’héritent de père en fils. Toute position sociale est acquise grâce à la maladie, qui est un signe d’élection. La maladie est une marque, un sens – le normal va de soi, il est insignifiant. La maladie, c’est la culture, source de la valeur et principe d’organisation sociale. Même là où la maladie n’a pas cette fonction sociale déterminante, elle est toujours affaire sociale, crise sociale, et socialement, publiquement résolue, par mise en jeu et réactivation de tout le métabolisme social à travers la relation exceptionnelle qui est celle du malade et du médecin. Différence radicale d’avec l’exercice actuel de la médecine, où le mal est individuellement subi et la thérapeutique individuellement administrée. La réciprocité du mal, l’échange du mal est prépondérant dans les sociétés primitives. Le mal est un rapport social, comme le travail, etc. La causalité organique peut être reconnue et traitée par toutes sortes de moyens – le mal, lui, n’est jamais conçu comme lésion organique, mais en dernière instance comme rupture ou défaillance de l’échange social. L’organique est métaphore : il sera donc traité "métaphoriquement", par opération symbolique de l’échange social à travers les deux protagonistes dans la cure. [...] Bref, médecin et malade se redistribuent autour du mal comme rapport social, au lieu que pour nous le mal s’autonomise comme rapport organique avec sa causalité objective, malade et médecin s’objectivant de part et d’autre comme passif et actif, patient et spécialiste.

Auteur: Baudrillard Jean

Info: Dans "L'échange symbolique et la mort", éditions Gallimard, 1976, pages 410-411

[ peuple africain ] [ vision tribale ] [ traitement ] [ transformation ]

intelligence artificielle

Résumé et explication du texte "Attention is All You Need"

Le texte "Attention is All You Need" (Vaswani et al., 2017) a révolutionné le domaine du traitement du langage naturel (TLN) en introduisant l'architecture Transformer, un modèle neuronal basé entièrement sur le mécanisme d'attention. Ce résumé explique les concepts clés du texte et son impact sur le TLN.

Concepts clés:

• 
  

  Attention: Le mécanisme central du Transformer. Il permet au modèle de se concentrer sur des parties spécifiques d'une séquence d'entrée (par ex., une phrase) lors du traitement, capturant ainsi les relations à longue distance entre les mots.

  
  


• 
  

  Encodeur-décodeur: L'architecture du Transformer. L'encodeur traite la séquence d'entrée et produit une représentation contextuelle. Le décodeur utilise ensuite cette représentation pour générer la séquence de sortie.

  
  


• 
  

  Positional encoding: Ajoute des informations de position aux séquences d'entrée et de sortie, permettant au modèle de comprendre l'ordre des mots.

  
  


• 
  

  Apprentissage par self-attention: Le Transformer utilise uniquement des mécanismes d'attention, éliminant le besoin de réseaux récurrents (RNN) comme les LSTM.

  
  

Impact:

• 
  

  Efficacité: Le Transformer a surpassé les modèles RNN en termes de performance et de parallélisation, permettant un entraînement plus rapide et une meilleure scalabilité.

  
  


• 
  

  Polyvalence: L'architecture Transformer s'est avérée efficace pour une large gamme de tâches en TLN, telles que la traduction automatique, le résumé de texte et la réponse aux questions.

  
  


• 
  

  Impact durable: Le Transformer est devenu l'architecture de base pour de nombreux modèles de pointe en TLN et continue d'inspirer des innovations dans le domaine.

  
  

En résumé:

"Attention is All You Need" a marqué un tournant dans le TLN en introduisant l'architecture Transformer. Le mécanisme d'attention et l'absence de RNN ont permis d'améliorer considérablement l'efficacité et la polyvalence des modèles de TLN, ouvrant la voie à de nombreuses avancées dans le domaine.

Points importants:

• 
  

  Le Transformer repose sur le mécanisme d'attention pour capturer les relations à longue distance dans les séquences.

  
  


• 
  

  L'architecture encodeur-décodeur avec self-attention offre une grande efficacité et une grande flexibilité.

  
  


• 
  

  Le Transformer a eu un impact profond sur le domaine du TLN et continue d'inspirer de nouvelles recherches.

  
  

Auteur: Internet

Info: Compendium de gemini

[ historique ] [ traitement automatique du langage ] [ écrit célèbre ]

fiasco

Echec du lancement de Galactica, IA générative scientifique de Meta

Le 15 novembre dernier, Meta a mis en ligne une version démo de Galactica, une IA développée pour la recherche scientifique. Deux jours après son lancement, elle a été retirée du Web pour avoir débité des inepties. 

Galactica est un modèle de langage à grande échelle (LLM), entraînée sur 48 millions de données scientifiques comprenant 120 milliards de paramètres. Il a pour mission de "résumer des articles universitaires, résoudre des problèmes mathématiques, générer des articles Wiki, écrire du code scientifique, annoter des molécules et des protéines, et bien plus encore".

Dès sa diffusion sur le Web, de nombreuses réponses aux questions posées par les utilisateurs se sont révélées confuses, absurdes ou fausses.

Par exemple, l’IA a inventé l’existence d’un logiciel Gaydar pour trouver des homosexuels sur Facebook et a proposé une étude sur les avantages de manger du verre pilé. Dans d’autres résultats de recherche, de nombreuses références et citations étaient fabriquées de toute pièce et attribuées à des vrais scientifiques.

Selon Carl Bergstrom, professeur de biologie à l’Université de Washington, il s’agit - pardonnez l’expression - "d’un générateur de conneries aléatoires".

D’après Dan Hendrycks, chercheur en sécurité de l’intelligence artificielle à l’Université de Californie à Berkeley, interrogé dans C/Net, Meta aurait dû sonder leur IA pour ce type de dérives avant de la diffuser et souligne au passage que "la division IA de Meta ne dispose pas d’une équipe chargée de la sécurité, contrairement à ses homologues, DeepMind, Anthropic et OpenAI".

C’est incompréhensible que le géant du Web ait rendu publique cette version aussi imparfaite que dangereuse. D’ailleurs chaque résultat généré était accompagné de l’avertissement: "Les résultats peuvent être peu fiables. Les modèles de langage ont tendance à inventer".

De nombreuses études le démontrent, le défaut l’IA générative - un fait connu et reconnu - est sa tendance à halluciner le matériel qu’elle présente dans le contexte d’informations factuelles.

Il faut toujours vérifier les faits énoncés par un logiciel IA de rédaction. L’utilisation de ce type d’outils demande un esprit critique, car à chaque nouveau prompt ou invite, l’IA débite un nouveau texte, parfois en contradiction avec le précédent.

L’objectif de Galactica est louable en voulant aider les scientifiques à traiter la masse pharaonique d’informations scientifiques publiées, impossible à assimiler par un cerveau humain.

Mais c’est la deuxième fois en quelques mois qu’une IA de Meta déçoit. Le robot conversationnel BlenderBot lancé en septembre, devait permettre aux utilisateurs de discuter avec lui afin d’approfondir ses connaissances, mais le niveau des échanges était tout simplement médiocre. Un timing incompréhensible, car ce lancement faisait suite à la polémique autour de LaMDA en juin, le Chatbot de Google, dont les propos étaient si sensés et profonds, qu’il avait convaincu un ingénieur d’avoir atteint le stade de la conscience.

La ferveur est grande autour de l’IA générative, elle est décrite comme le "BIG BANG de la Silicon Valley" et "l’invention qui va définir la décennie à venir".

En lançant cette version prématurée de Galactica, Meta a jeté un discrédit sur ces logiciels. Il ne faut pas en tenir compte. Une véritable révolution est en marche et tous les secteurs de l’économie seront touchés.  

Auteur: Turrettini Emily

Info: Bilan.ch, 24 nov 2022. Sources de l'auteure : C/Net / Cosmos / Venture Beat / TechTalk / The Daily Beast

[ ratage ] [ traitement des métadonnées ] [ bêtise encyclopédique ]