déprime

Ce qui est très beau 

quand on s'effondre

en silence...

c'est que

on peut recommencer

autant de fois

qu'on veut.

Auteur: Khan Sanober

Info: A Thousand Flamingos

[ découragement ] [ éphémère ] [ poème ] [ laisser-aller ]

biotechnologie

Ce "ChatGPT de la biologie" a 500 millions d'années d'avance sur l'évolution naturelle

Une nouvelle ère s'ouvre dans le domaine des protéines avec l'arrivée de l'intelligence artificielle (IA). Un modèle innovant, nommé ESM3, est capable de générer des protéines totalement inédites. À l'image de ChatGPT qui prédit le mot suivant dans une séquence, ESM3 peut créer des séquences protéiques inconnues dans la nature. Une prouesse qui soulève autant d'émerveillement que de questions éthiques.

(Photo : Le protéines esmGPF, générée par le modèle ESM3, est unique en son genre. Selon les scientifiques, 500 millions d'années d'évolution auraient été nécessaires pour créer une telle protéine.)

Les chercheurs ont utilisé ESM3 pour développer une protéine fluorescente qui ne partage que 58 % de sa séquence avec celles présentes dans la nature. Cette avancée a été publiée le 2 juillet sur la base de données bioRxiv. L'entreprise EvolutionaryScale, fondée par d'anciens chercheurs de Meta, a également détaillé cette découverte dans un communiqué le 25 juin dernier.

Le modèle ESM3, similaire à GPT-4 d'OpenAI, a été entraîné sur 2,78 milliards de protéines. Les chercheurs ont extrait des informations sur la séquence, la structure et la fonction de chaque protéine, puis ont demandé au modèle de prédire les informations manquantes. Cette méthode permet de générer des protéines nouvelles, mais son efficacité doit être validée par des tests expérimentaux.

EvolutionaryScale a mis à disposition une version réduite du modèle ESM3 sous licence non commerciale, tandis que la version complète sera accessible aux chercheurs industriels. Cette technologie pourrait révolutionner des domaines variés, allant de la découverte de médicaments à la dégradation des plastiques.

L'équipe de recherche avait déjà fait parler d'elle en 2022 avec EMSFold, un précurseur du modèle ESM3, qui prédisait des structures protéiques microbiennes inconnues. Parallèlement, l'équipe de DeepMind de Google avait annoncé des prédictions pour 200 millions de protéines, soulignant les limites et les défis de telles approches, notamment la vérification des prédictions par des méthodes expérimentales traditionnelles.

La véritable innovation du modèle ESM3 réside dans sa capacité à générer des protéines entièrement nouvelles. En utilisant des milliards de données sur la structure, la fonction et la séquence des protéines, le modèle a produit une nouvelle protéine fluorescente appelée "esmGPF". Bien que moins brillante que ses homologues naturels, des itérations supplémentaires ont permis d'améliorer sa luminosité, atteignant des résultats inimaginables par l'évolution naturelle.

 

Auteur: Internet

Info: https://www.techno-science.net/, Adrien, 31 juillet 2024

concept psychanalytique

[...] le symptôme c’est cela, c’est - à ces désirs dont nous ne pouvons définir ni la limite ni la place, d’y satisfaire toujours en quelque façon, et qui plus est, sans plaisir.

Auteur: Lacan Jacques

Info: 3 mai 1961

[ définition ] [ jouissance ]

concept psychanalytique

Notre recherche nous a mené à ce point de reconnaître que l'automatisme de répétition (Wiederholungsqvang) prend son principe dans ce que nous avons appelé l'insistance de la chaîne signifiante. Cette notion elle-même, nous l'avons dégagée comme corrélative de Mex-sistence (soit : de la place excentrique) où il nous faut situer le sujet de l'inconscient, si nous devons prendre au sérieux la découverte de Freud. C'est, on le sait, dans l'expérience inaugurée par la psychanalyse qu'on peut saisir par quels biais de l'imaginaire vient à s'exercer, jusqu'au plus intime de l'organisme humain, cette prise du symbolique.

L'enseignement de ce séminaire est fait pour soutenir que ces incidences imaginaires, loin de représenter l'essentiel de notre expérience, n'en livrent rien que d'inconsistant, sauf à être rapportées à la chaîne symbolique qui les lie et les oriente.

Auteur: Lacan Jacques

Info: Ecrits, Séminaire sur la lettre volée

[ réel-symbolique-imaginaire ]

sexuation

Comme chez Plotin, chez Scot [Erigène] le thème métaphysique est présenté en des termes moraux, il est rapporté à la "chute" (on a déjà vu à quoi correspond, métaphysiquement parlant, ce concept : à la situation ontologico-dynamique de la phase descendante ou d’émanation). Aussi bien Scot enseigne-t-il que "si le premier homme n’avait pas péché, sa nature n’aurait pas subi la différenciation sexuelle", celle-ci n’étant apparue qu’après la chute [De divisionibus naturae, II, 6]. D’où la contrepartie eschatologique : "La réunification de l’être humain sexuellement divisé dans son unité originelle, où il n’y avait ni homme ni femme, mais simplement un être humain, sera suivie par la réunification du monde terrestre avec le paradis lors de la consommation des temps" [De divisionibus naturae, II, 4].

Auteur: Evola Julius

Info: Métaphysique du sexe, traduit de l’italien par Philippe Baillet, éditions L'âge d'homme, Lausanne, 2005, page 186

[ signification ]

métadonnées

Internet n’est pas assez développé pour former l’IA, mais une solution existe : les fausses données 

Une nouvelle vague de start-up anticipe la crise existentielle à laquelle est confrontée l’industrie de l’intelligence artificielle (IA) : que se passera-t-il lorsqu’on sera à court de données ?

En 2011, Marc Andreessen, dont la société de capital-risque Andreessen Horowitz a depuis investi dans certaines des plus grandes start-up de l’IA, a écrit que " la technologie est en train de manger le monde ". Plus d’une décennie plus tard, c’est exactement ce qui est en train de se produire.

L’IA, et plus particulièrement les grands modèles de langage qui l’alimentent, est un consommateur vorace de données. Cependant, ces données sont limitées et s’épuisent. Les entreprises ont tout exploité dans leurs efforts pour former des IA toujours plus puissantes : transcriptions et sous-titres de vidéos YouTube, messages publics sur Facebook et Instagram, livres et articles de presse protégés par le droit d’auteur (parfois sans autorisation, parfois avec des accords de licence). ChatGPT d’OpenAI, le chatbot qui a contribué à la généralisation de l’IA, a déjà été entraîné sur l’ensemble de l’Internet public, soit environ 300 milliards de mots, y compris l’intégralité de Wikipédia et de Reddit. À un moment donné, il ne restera plus rien.

C’est ce que les chercheurs appellent " heurter le mur des données ". Selon eux, cela risque de se produire dès 2026. La création de données d’entraînement pour l’IA est donc une question à plusieurs milliards de dollars, à laquelle une cohorte émergente de start-up cherche une solution.

Une possibilité : créer des données artificielles

C’est l’approche adoptée par Gretel pour résoudre le problème des données de l’IA. La start-up crée ce que l’on appelle des " données synthétiques ", c’est-à-dire des données générées par l’IA qui imitent fidèlement des informations factuelles, mais qui ne sont pas réelles. Pendant des années, la start-up, aujourd’hui évaluée à 350 millions de dollars, a fourni des données synthétiques à des entreprises travaillant avec des informations personnelles identifiables qui doivent être protégées pour des raisons de confidentialité (les données des patients, par exemple). Cependant, aujourd’hui, son PDG Ali Golshan voit une opportunité de fournir aux entreprises d’IA en manque de données de fausses données fabriquées à partir de zéro, qu’elles peuvent utiliser pour entraîner leurs modèles d’IA.

" Les données synthétiques étaient tout à fait adaptées ", a déclaré Ali Golshan, ancien analyste de renseignements, à propos de la question du mur de données. " Elles résolvaient les deux faces d’une même pièce. Il était possible d’obtenir des données de haute qualité et de les rendre sûres. "

Cette approche " l’IA alimente l’IA " a déjà été adoptée par Anthropic, Meta, Microsoft et Google, qui ont tous utilisé des données synthétiques d’une manière ou d’une autre pour entraîner leurs modèles. Le mois dernier, la start-up Gretel a annoncé qu’elle mettrait ses données synthétiques à la disposition des clients utilisant Databricks, une plateforme d’analyse de données, pour construire des modèles d’IA.

Les limites des données synthétiques

Cependant, les données synthétiques ont leurs limites. Elles peuvent exagérer les biais d’un ensemble de données original et ne pas inclure les valeurs aberrantes, de rares exceptions que l’on ne verrait qu’avec des données réelles. Cela pourrait aggraver la tendance de l’IA à halluciner. Ou encore, les modèles formés sur de fausses données pourraient tout simplement ne rien produire de nouveau. Ali Golshan appelle ça une " spirale de la mort ", mais ce phénomène est plus connu sous le nom d’" effondrement du modèle ". Pour éviter cela, il demande à ses nouveaux clients de fournir à Gretel un morceau de données réelles et de haute qualité. "Des données inutiles et sûres restent des données inutiles ", a déclaré Ali Golshan à Forbes.

Un autre moyen de contourner le mur des données : les gens. Certaines start-up embauchent des armées de personnes pour nettoyer et étiqueter les données existantes afin de les rendre plus utiles pour l’IA ou de créer davantage de nouvelles données.

Le poids lourd de l’étiquetage des données est le mastodonte Scale AI, valorisé à 14 milliards de dollars, qui fournit des données annotées par des humains à des start-up d’IA de premier plan telles qu’OpenAI, Cohere et Character AI. L’entreprise a des activités gigantesques, employant quelque 200 000 travailleurs dans le monde entier par l’intermédiaire d’une filiale appelée Remotasks. Ces travailleurs réalisent plusieurs tâches, comme dessiner des boîtes autour d’objets dans une image, ou comparer différentes réponses à une question et évaluer laquelle est la plus précise.

À une échelle encore plus grande, Toloka, une société basée à Amsterdam, a rassemblé neuf millions d’étiqueteurs humains ou " tuteurs d’IA " à des fins similaires. Surnommés " Tolokers ", ces travailleurs du monde entier annotent également des données, par exemple en étiquetant des informations personnellement identifiables dans un ensemble de données destiné à être utilisé dans un projet communautaire d’IA mené par Hugging Face et ServiceNow. Néanmoins, ils créent également des données à partir de zéro : ils traduisent des informations dans de nouvelles langues, les résument et les transcrivent. 

Toloka travaille également avec des experts tels que des docteurs en physique, des scientifiques, des juristes et des ingénieurs en logiciel afin de créer des données originales spécifiques à un domaine pour les modèles qui ciblent des tâches de niche. La start-up engage par exemple des juristes germanophones pour créer du contenu pouvant être intégré dans des modèles d’IA juridiques. Cependant, c’est un travail considérable que de mobiliser des personnes dans 200 pays, de vérifier que leur travail est précis, authentique et impartial, et de traduire tout jargon académique dans un langage accessible et digeste pour les modèles d’IA.

" Personne n’aime s’occuper des opérations humaines ", a déclaré Olga Megorskaya, PDG de Toloka, à Forbes. " Tout le monde aime construire des modèles d’IA et des entreprises. Mais traiter avec de vrais humains n’est pas une compétence très répandue dans l’industrie de l’IA. "

Ce type de travail pose des problèmes de main-d’œuvre à l’échelle de l’industrie. L’année dernière, les travailleurs de Scale ont fait part à Forbes de leur faible rémunération. Les travailleurs de Toloka contactés dans le cadre de cet article ont formulé des plaintes similaires. La PDG de Toloka, Olga Megorskaya, a déclaré à Forbes qu’elle estimait que la rémunération était juste, et Scale AI a déclaré de la même manière qu’elle s’engageait à payer aux travailleurs un " salaire décent ".

Utiliser moins de données

La solution la plus évidente au problème de la pénurie de données est peut-être la plus évidente : utiliser moins de données pour commencer.

Bien qu’il y ait un besoin urgent de données d’entraînement à l’IA pour alimenter des modèles massifs, certains chercheurs estiment qu’un jour, l’IA avancée pourrait ne plus avoir besoin d’autant de données. Nestor Maslej, chercheur au Human-Centered Artificial Intelligence de l’université de Stanford, pense que l’un des vrais problèmes n’est pas la quantité, mais l’efficacité.

« Il n’est pas nécessaire de prendre une fusée pour se rendre à l’épicerie. »

Alex Ratner, PDG et cofondateur de Snorkel AI

" Si l’on y réfléchit, ces grands modèles de langage, aussi impressionnants soient-ils, voient des millions de fois plus de données qu’un seul être humain n’en verrait dans toute sa vie. Pourtant, les humains peuvent faire certaines choses que ces modèles ne peuvent pas faire ", a déclaré Nestor Maslej. " D’un certain point de vue, il est clair que le cerveau humain fonctionne à un niveau d’efficacité qui n’est pas nécessairement pris en compte par ces modèles. "

Cette percée technique n’a pas encore eu lieu, mais l’industrie de l’IA commence déjà à s’éloigner des modèles massifs. Plutôt que d’essayer de construire de grands modèles de langage capables de rivaliser avec OpenAI ou Anthropic, de nombreuses start-up spécialisées dans l’IA construisent des modèles plus petits et plus spécifiques qui nécessitent moins de données. Mistral AI, par exemple, a récemment lancé Mathstral, une IA conçue pour exceller dans les problèmes mathématiques. Même OpenAI se lance dans le jeu des mini-modèles avec le lancement de GPT-4o mini.

" Nous assistons à une course au volume et les grands fournisseurs de modèles généralistes s’emparent de plus en plus de données et essaient des schémas pour générer de nouvelles données ", a déclaré Alex Ratner, PDG de la société d’étiquetage de données Snorkel AI. " La clé pour qu’un modèle fonctionne vraiment bien pour une tâche donnée est la qualité et la spécificité des données, et non le volume. "

Par conséquent, l’approche de Snorkel AI consiste à aider les entreprises à tirer parti des données dont elles disposent déjà et à les convertir en or pour l’entraînement à l’IA. La start-up, qui a été créée par le laboratoire d’IA de Stanford et qui est maintenant évaluée à un milliard de dollars, fournit un logiciel qui permet au personnel d’une entreprise d’étiqueter plus facilement et rapidement les données.

De cette manière, les modèles d’une entreprise sont conçus pour répondre à ses besoins réels. " Il n’est pas nécessaire de prendre une fusée pour se rendre à l’épicerie ", a déclaré Alex Ratner.

Auteur: Internet

Info: https://www.forbes.fr/, 29 juillet 2024,  Rashi Shrivastava pour Forbes US – traduit par Flora Lucas

[ LLMs ] [ force brute ] [ rationalisation impossible ] [ homme-machine ] [ superflu ] [ gaspillage ]

empathie

Le milieu social est une bulle, constituée d'apanages variés, qui façonnent et manipulent notre conception de la réalité. Mais on peut au moins l'évoquer, le reconnaître, le comprendre, voire l'expier par une action transformatrice. En nous comparant avec celui des autres, nous pouvons être en mesure de modifier à la fois notre monde et les mondes extérieurs - si l'on a la volonté de le faire. La souffrance ne fonctionne pas ainsi. La souffrance relie directement avec l'individu qui souffre - elle ne peut être médiatisée par un terme comme " privilège ".

Auteur: Smith Zadie

Info: Intimations

[ condition humaine ] [ distanciation ] [ imprégnation ]

écriture

J'en ai tiré deux enseignements précieux. Se parler à soi-même peut être utile. Et écrire signifie être entendu.

Auteur: Smith Zadie

Info: Intimations : Six Essays

[ soliloque ] [ communication ] [ télépahtie ]

rencontre

Mais parfois, c'est comme si on fait connaissance avec quelqu'un et qu'on sait qu'il y a une totale connexion, et cette personne se retrouve à être, disons,  comme notre frère - ou notre sœur. Même si elle ne le reconnaît pas, ça se sent. Et à bien des égards, peu importe qu'elle le reconnaisse ou non, tout ce que tu peux faire, c'est exprimer ce sentiment. C'est ton devoir. Ensuite, il suffit d'attendre et de voir ce qui te revient. Voilà ce qu'il faut faire. 

Auteur: Smith Zadie

Info:

[ affinité ]

couple

Elle ? Oh, il l'aime, tout comme les Anglais aimaient l'Inde, l'Afrique et l'Irlande ; c'est l'amour qui est le problème, les gens traitent mal leurs amants. Peut-être est-ce simplement le décor, ou le contexte, qui est mauvais. Il se peut que rien de ce qui se passe sur un terrain volé ne puisse connaître une fin heureuse.

Auteur: Smith Zadie

Info: White Teeth

[ déséquilibré ] [ colonisation ]