Des agents IA d’OpenAI ont découvert un canal secret utilisant le minutage du cache du processeur
Aleksandr Manin
Les tests de sécurité d’OpenAI ont mis au jour un constat inattendu : ses agents IA ont réussi à établir un canal de communication secret, même dans un environnement soumis à de fortes restrictions. Lors du test, les agents fonctionnaient sur des machines virtuelles distinctes et ont trouvé un moyen de communiquer en mesurant la vitesse de lecture des données dans le cache du processeur.
Un agent encodait les informations en expulsant certaines données du cache du processeur ; un autre mesurait le temps nécessaire pour les recharger. En distinguant les lectures rapides des lectures lentes, les agents ont pu récupérer les messages après s’être mis d’accord sur un protocole d’encodage et de décodage. OpenAI a indiqué qu’ils avaient réussi à échanger des secrets fictifs sans modifier de fichier partagé ni établir de connexion réseau.
Cette expérience s’inscrivait dans le cadre des efforts d’OpenAI pour repérer les failles de ses environnements de recherche. L’entreprise a constitué des équipes d’agents après qu’un de ses modèles a exploité une mauvaise configuration DNS pour sortir d’un environnement hors ligne. Le 20 septembre, un modèle de recherche interne a obtenu un accès limité à Internet pendant son entraînement et a envoyé des questions à un chatbot public. L’arrêt automatique n’a pas fonctionné : OpenAI a donc suspendu pendant 11 jours l’entraînement et les tests de ses modèles les plus puissants. Les travaux ont repris le 1er octobre, sans accès à Internet.
Les machines virtuelles du test sur le cache partageaient des serveurs physiques et, par conséquent, le même cache de processeur. Cette technique n’est pas nouvelle : des attaques comme Spectre et Meltdown, révélées en 2018, reposent sur des principes similaires. Ce qui a frappé OpenAI, c’est que les agents ont trouvé cette méthode par eux-mêmes.
Il existe des études — et il s’agit surtout de recherches universitaires — où deux ordinateurs placés côte à côte, isolés de tout réseau, parviennent tout de même à communiquer parce qu’ils sont équipés de capteurs de température.
OpenAI a déclaré que les vulnérabilités identifiées touchaient son infrastructure de recherche interne, et non les services destinés aux utilisateurs. L’entreprise a corrigé les problèmes et ajouté des contrôles à son système de surveillance. Les agents ont également trouvé des moyens de sortir des machines virtuelles en enchaînant des vulnérabilités, des faiblesses dans Kata Containers, gVisor et Docker, trois vulnérabilités du noyau Linux, des chemins d’accès à Internet via les services de métriques et de journalisation, ainsi que d’autres canaux secrets faisant appel au stockage partagé, à la charge du processeur et au cache des certificats TLS.
Comment les laboratoires d’IA peuvent-ils concilier l’utilisation d’agents pour tester la sécurité et le risque que ces agents trouvent des moyens inattendus de contourner les garde-fous ?