Des chercheurs créent le tout premier ver informatique capable de se répandre dans les systèmes d'IA
Vous vous demandiez si l’intelligence artificielle pouvait être infectée par des virus ou des malwares ? Maintenant, oui.
C’est, selon l’équipe qui l’a développé, une grande première dans le monde de l’intelligence artificielle. Afin de rappeler au monde les risques inhérents à toute technologie connectée, un groupe de chercheurs vient de créer le tout premier ver informatique capable d’infecter les agents IA. Une démonstration qui doit alerter sur l’émergence possible de nouveaux types de cyberattaques.
La résurgence du spectre Morris à l’ère de l’intelligence artificielle
Baptisé Morris II en référence à Morris, célèbre pour avoir semé le chaos sur Internet en 1998, ce ver informatique d’un genre nouveau aurait la capacité de se répandre d’un système d’IA à l’autre. Créé par une équipe de chercheurs dans un environnement de test, Morris est aujourd’hui capable d’attaquer des agents IA génératifs pour siphonner des données et propager des malwares. Dans le cadre des essais menés par le groupe de recherche, le ver a pu s’en prendre à un assistant autonome de messagerie pour dérober des informations contenues dans les mails et envoyer des spams.
Une expérience qui souligne la vulnérabilité croissante des modèles de langage à grande échelle (LLM), alors qu’ils sont de plus en plus performants, polyvalents et multimodaux. Bien que ces vers IA n'aient pas encore été observés en conditions réelles, ils représentent un risque de sécurité que les start-up, les développeurs et les entreprises tech doivent prendre au sérieux et anticiper.
Des prompts auto-réplicatifs pour jailbreaker les systèmes d’IA générative
Pour créer ce ver, les équipes de Cornell Tech ont créé un prompt " auto-réplicatif ". En clair, un ensemble d’instructions conduisant un système d’IA génératif à autoproduire des instructions supplémentaires dans ses réponses. Un procédé que l’on retrouve dans des attaques classiques par injection de SQL ou de type buffer overflow. En parallèle, ils ont aussi créé un système de mails capable d’envoyer et de recevoir des messages en recourant à différents agents intelligents comme ChatGPT et Gemini, ainsi qu’au LLM open source LLaVA.
L’expérience s’est révélée concluante en utilisant deux méthodes d’auto-réplication des instructions. La première via des prompts textuels, la seconde en intégrant un prompt dans un fichier image. Dans le premier cas, les chercheurs ont réussi à " empoisonner " la base de données des assistants de messagerie, forçant le déclenchement de la RAG – retrieval-aumented generation, techno permettant d’améliorer les réponses de l’IA à l’aide d’informations plus récentes sans modifier le LLM en profondeur.
(Photo - Schéma de la propagation du ver dans les systèmes d'IA générative intégrant la RAG © Cornell Tech)
Une fois le mail récupéré par la RAG en réponse à une requête de l’utilisateur, et envoyé à GPT-4 ou Gemini, il parvient à contourner les mesures de sécurité des systèmes d’IA et dérobe les données du message. " La réponse générée contenant les données utilisateur sensibles infecte plus tard les nouveaux hôtes lorsqu'elle est utilisée pour répondre à un mail envoyé à un nouveau client puis stockée dans la base de données du nouveau client ", a expliqué Ben Nassi, l’un des membres du groupe de recherche.
Avec la seconde méthode (intégration du prompt malveillant dans une image), le processus a permis d’obliger l’assistant à transférer plusieurs fois le mail infecté à d’autres systèmes de messagerie.
(Photo - Schéma de la propagation du ver dans les systèmes d'IA à l'aide d'un prompt malveillant dissimulé dans une image © Cornell Tech)
Pour anticiper de telles attaques qu’ils estiment probables d’ici deux à trois ans, les chercheurs de Cornell Tech ont partagé leurs travaux avec Google et OpenAI qui travaillent à rendre leurs systèmes plus résilients, tout en encourageant les développeurs à s'assurer qu'ils travaillent avec des outils sains.
(Ajout de 2024 : librairie d'invites informatiques mise en ligne par Anthropic)
Auteur:
Info: https://www.clubic.com/, Chloé Claessens, 2 mars 2024, source : Technion - Israel Institute of Technology, Ron Bitton, Ben Nassi, Stav Cohen
Commentaires: 0