mots-concepts

L'article se terminait par une attaque contre les symboles, arguant que "de nouveaux paradigmes étaient nécessaires pour remplacer la manipulation d'expressions symboliques basée sur des règles par des opérations sur de grands vecteurs".

Auteur: Marcus Gary Fred

Info: L'apprentissage profond à lui seul ne nous permettra pas d'obtenir une IA semblable à l'homme | NOEMA

[ notions ] [ intelligence artificielle ]

support

L'apprentissage n'est pas l'antithèse de l'innéité, mais l'un de ses produits les plus importants. S'il n'y a pas de préformation, ni de schéma directeur, il n'y a pas non plus de possibilité de s'affranchir de l'environnement.

Auteur: Marcus Gary Fred

Info: Guitar Zero

[ pratiquer ] [ apprendre ] [ abstraction ]

génétique

L'un des principaux enseignements tirés de la cartographie du génome est que l'accès à une carte initiale approximative s'est avéré crucial pour l'élaboration de cartes plus détaillées des petites différences individuelles entre les êtres humains.

Auteur: Marcus Gary Fred

Info: L'avenir du cerveau : Essais des plus grands neuroscientifiques au monde

[ anthropocentrique ] [ cybernétisée ]

question

Nous pouvons enfin nous concentrer sur ceci : comment faire pour que l'apprentissage basé sur les données travaille de concert et en harmonie avec représentations abstraites et symboliques au sein d'une intelligence unique et plus puissante ? 

Auteur: Marcus Gary Fred

Info: L'apprentissage profond seul ne nous permettra pas d'obtenir une IA semblable à l'homme, NOEMA

[ intelligence artificielle ]

langage

Tout idiome s'appuie sur nos capacités cognitives de raisonnement : en fonction des objectifs et des intentions d'autrui, de notre désir d'imitation, de notre désir de communication. Et sur nos capacités conjointes d'utiliser des conventions pour nommer les choses et des séquences afin d'en  différenciers les alternatives.

Auteur: Marcus Gary Fred

Info:

[ définition ] [ tiercités consensus ]

cybernétique

Nous devons cesser de construire des systèmes informatiques qui se contentent de devenir de plus en plus performants pour détecter des  modèles statistiques dans des ensembles de données... et commencer à construire des systèmes informatiques qui, dès le moment de leur assemblage, saisissent de manière innée trois concepts de base : le temps, l'espace et la causalité.

Auteur: Marcus Gary Fred

Info: Devant la commission de surveillance de l'IA du Sénat américain. Redonner vie à l'IA et dompter la Silicon Valley en 2019, réitéré ensuite sur twitter

[ refondation ] [ géométrie ] [ repartir de zéro ] [ intelligence artificielle ] [ triade ]

loisirs

Le psychologue Abraham Maslow a suggéré qu'après avoir satisfait nos besoins les plus fondamentaux, tels que la nourriture, le logement et le sexe, nous nous efforçons finalement de nous " réaliser ", ou réaliser notre plein potentiel ; selon ses termes, " Une fois nos besoins réglés on peut en général s'attendre à quelque nouveau mécontentement et bientôt une nouvelle agitation se développe, à moins que l'individu ne fasse ce pour quoi il (ou elle) est fait ". Un musicien doit faire de la musique, un artiste doit peindre, un poète écrire. Ce qu'une personne peut être, elle doit l'être ".

Auteur: Marcus Gary Fred

Info: Guitar Zero : The Science of Becoming Musical at Any Age

[ passe-temps ] [ insatisfaction ]

neuroscience

Un effort important est en cours pour comprendre le fondement moléculaire de ces périodes " critiques " ou " sensibles ", pour comprendre comment le cerveau change à mesure que certaines capacités d'apprentissage vont et viennent. Chez certains, sinon tous, des mammifères qui ont des rayures alternées dans le cortex visuel appelées colonnes de dominance oculaire, ces colonnes peuvent s'ajuster tôt au cours du développement, mais pas à l'âge adulte. Un singe juvénile qui a l'oeil couvert durant une période prolongée peut graduellement réajuster son câblage cérébral pour favoriser ce même oeil ouvert; un singe adulte ne peut pas ajuster son câblage. À la fin d'une période critique, un ensemble d'hybrides sucres-protéines collants, appelés protéoglycanes, se condense en un réseau serré autour des dendrites et des corps cellulaires de certains neurones pertinents et, ce faisant, ces protéoglycanes semblent entraver les axones qui, autrement, s'agiteraient dans le processus de réajustement des colonnes de dominance oculaire. Dans une étude menée en 2002 sur des rats, le neuroscientifique italien Tommaso Pizzorusso et ses collègues ont dissous l'excès de protéoglycanes avec une enzyme antiprotéoglycanes nommée " chABC ", ce qui a permis de rouvrir cette période critique.  Après le traitement au chABC, même les rats adultes purent recalibrer leur colonne de dominance oculaire. Le chABC ne nous aidera probablement pas à apprendre des nouvelles langues de sitôt, mais sa fonction antiprotéoglycane pourrait avoir d'importantes répercussions médicales dans un avenir relativement proche. Une autre étude réalisée en 2002, également sur des rats, a montré que le chABC peut également favoriser le rétablissement fonctionnel après une lésion de la moelle épinière.

Auteur: Marcus Gary Fred

Info: The Birth of the Mind: How a Tiny Number of Genes Creates The Complexities of Human Thought

[ cognition ] [ imprégnation ] [ fixation ]

intelligence artificielle

En 2020, Jared Kaplan et ses collaborateurs d'OpenAI ont suggéré qu'il existait un ensemble de " lois d'échelle " pour les modèles de langage de réseaux neuronaux ; ils ont découvert que plus ils les alimentaient en données, plus ces réseaux étaient performants.  L’implication étant que nous pourrions faire de mieux en mieux en matière d’IA si nous rassemblions davantage de données et appliquions l’apprentissage profond à des échelles de plus en plus grandes. Ces rapports d'échelles ont indéniablement aidé, mais nous sommes loin du compte.

Il y a de sérieuses lacunes dans l’argumentation relative aux rapports d'échelles. Tout d'abord les améliorations apportées par les mises à l’échelle n’ont pas pris en compte ce que nous avons désespérément besoin d’améliorer : une véritable compréhension…. Augmenter les mesures examinées par Kaplan et ses collègues d'OpenAI (sur la prédiction des mots dans une phrase) n'équivaut pas au type de compréhension approfondie qu'exigerait une véritable IA. 

Cela semble de plus en plus patent.  

"Les lois d'échelle ne sont pas des lois universelles comme la gravité, mais plutôt de simples observations qui pourraient ne pas être valables éternellement, un peu comme la loi de Moore, une tendance dans la production de puces informatiques qui a duré des décennies mais qui a sans doute commencé à ralentir il y a dix ans." C'est toujours vrai , et récemment reconnu publiquement par Altman, qui a noté que nous ne saurons pas vraiment ce que GPT-5 pourrait faire avant d'y arriver.

Le charismatique PDG de l'entreprise, Sam Altman, avait écrit un article de blog triomphant claironnant " la loi de Moore pour tout ", affirmant que nous étions à quelques années seulement d'" ordinateurs capables de penser ", de " lire des documents juridiques " et (faisant écho à IBM Watson) de " donner avis médical. " Deux ans plus tard, nous n’avons rien qui corresponde à tout cela.

" Si ces mise à l'échelle ne nous amènent pas à une conduite autonome sûre, des dizaines de milliards de dollars d'investissement dans cette mise à l'échelle pourraient s'avérer vains ". 

La neurosymbolique pourrait être une alternative prometteuse. En attente/à voir, et DepMind vient de publier un bel article dans Nature sur un système neurosymbolique, AlphaGeometry.

Bref c'est implicitement reconnu bien des attentes quant à l'IA ne se sont pas réalisées et des gens comme Bill Gates, Demis Hassabis, Yann LeCun et Sam Altman ont tous reconnu qu'un plafonnement semble se profiler.

Auteur: Marcus Gary Fred

Info: 10 mars 2024

[ éphémères méta-moteurs ]