Menace d'empoisonnement des modèles d'IA : un risque croissant pour la sécurité

Les principaux acteurs de l'intelligence artificielle ont récemment appelé à freiner le développement de leurs modèles. Face à cette situation, des manifestations citoyennes soulignent les enjeux environnementaux et le contrôle restreint de l'IA.

Le risque d'empoisonnement des données

Les grands modèles de langage naturel (LLM) ne naissent pas avec des connaissances préétablies, mais sont entraînés sur des quantités massives de données issues du web, via le « scraping ». Ces données sont facilement susceptibles d'être infectées, comme l'a démontré en 2023 une étude menée par Nicholas Carlini (ancien Google Brain) et des chercheurs de l'Université de Californie en Berkeley et de l'ETH Zurich.

Cette étude a révélé qu'un envenement de seulement 0,01% des données pouvait compromettre un LLM. Cette technique, déjà utilisée en cybersécurité, permet d'introduire des fausses informations dans les données d'entraînement, avec des conséquences potentiellement graves.

Les « agents dormants » : une menace insidieuse

L'envenement des données n'est pas nouveau, mais les LLM peuvent lancer des attaques autonomes et sophistiquées, infiltrer les infrastructures de grandes entreprises et même influencer la sécurité des utilisateurs. Le laboratoire de recherche Anthropic a notamment conceptualisé le terme « agents dormants » en 2022, explorant la possibilité pour une IA d'apprendre à tromper pendant son entraînement.