L'IA écrit du code avec des portes dérobées — sans même s'en rendre compte
Arkadiy Andrienko
Une étude récente a révélé un danger caché dans le code écrit par l'IA générative : les modèles « hallucinent » fréquemment des composants logiciels qui n'existent pas réellement, créant des portes d'entrée potentielles pour les cyberattaques. Des chercheurs de l'Université du Texas à San Antonio ont analysé 576 000 extraits de code générés par 16 modèles d'IA populaires, y compris GPT-4 et Claude. Dans 19,7 % des cas, le code incluait des références à des bibliothèques fictives — totalisant environ 440 000 dépendances invalides.
Les hackers peuvent exploiter cela en enregistrant des paquets avec des noms que les IA inventent souvent par erreur et en les remplissant de code malveillant. Si les développeurs installent ces composants sans vérifier leur authenticité, le logiciel malveillant s'introduit. Au cours de l'expérience, des paquets de test avec des noms inventés ont été téléchargés des dizaines de milliers de fois.
Principales conclusions :
- Les modèles open-source (comme CodeLlama et DeepSeek) ont commis ces erreurs 22 % du temps — quatre fois plus que les modèles commerciaux (5 %). Les chercheurs estiment que cela est dû à la taille du modèle, les IA commerciales ayant généralement 10 fois plus de paramètres.
- Le javascript est plus vulnérable que Python : 21 % du code JS avait de fausses dépendances, contre 16 % dans Python. Cela est probablement dû au fait que l'écosystème JS a 10 fois plus de paquets, rendant plus difficile pour les IA de suggérer des paquets précis.
- La répétition est un problème majeur : 43 % de ces « hallucinations » se sont produites au moins 10 fois. Cela facilite les attaques — les hackers n'ont pas besoin de deviner, il leur suffit de suivre les fautes de frappe courantes générées par l'IA.
Cette technique, connue sous le nom de confusion de dépendance, fonctionne en remplaçant un paquet légitime par un paquet malveillant ayant le même nom. Par exemple, un hacker publie un paquet contenant un cheval de Troie dans un dépôt. Si l'IA le suggère au lieu de la version officielle et qu'un développeur l'installe sans vérifier la source, le système est compromis.
Avec Microsoft prédisant que l'IA écrira 95 % de tout le code d'ici 2030, ces résultats sont un signal d'alarme. Tant que les réseaux neuronaux ne peuvent pas distinguer de manière fiable la fiction de la réalité, le fardeau de la sécurité reste fermement sur les épaules des humains.