IA agentique : la présidente de Signal alerte sur un risque majeur de sécurité
Lors du sommet de l’ONU « AI for Good », Meredith Whittaker a mis en garde contre les problèmes de cybersécurité que créeront les futurs agents IA. Des agents qui exigeraient souvent un accès quasi total aux systèmes d’exploitation, au détriment de la confidentialité des données.
L’IA agentique, vecteur d’attaque? Lors du sommet « AI for Good » des Nations Unies, Meredith Whittaker, présidente de l’application de messagerie chiffrée Signal, a averti sur les dangers de sécurité que posent des systèmes d’intelligence artificielle de plus en plus autonomes.
Parmi eux, les agents IA, rappelle-t-elle, nécessiteraient un accès plus poussé (« root ») aux systèmes pour accomplir certaines tâches à la place des utilisateurs.
« Pour réserver une table dans un restaurant, l’agent a besoin d’accéder au navigateur, à votre carnet d’adresses, à vos messages, etc. », illustre-t-elle. « Mais lui donner accès à Signal, c’est compromettre notre capacité à offrir des garanties de confidentialité et de sécurité ».
Un accès « root » problématique
Pour fonctionner sans interaction humaine, les agents auraient donc besoin d’un accès système au plus bas niveau. Une approche qui va, selon Meredith Whittaker, « à l’encontre des bonnes pratiques en cybersécurité. Toute personne dans cette salle sait que ce genre d’accès représente exactement le vecteur par lequel un point d’entrée peut donner accès à des données beaucoup plus sensibles. »
« L’accès généralisé que ces agents réclament ouvre une faille majeure dans la sécurité numérique. »
Meredith WhittakerPrésidente de Signal
D’autant plus que ces agents pourraient exploiter des bibliothèques logicielles ou des composants obsolètes, devenus vulnérables. « L’accès généralisé que ces agents réclament ouvre une faille majeure dans la sécurité numérique », a-t-elle martelé.
Signal, comme beaucoup d’applications « modernes » fonctionnent en ne faisant appel qu’à des fonctionnalités au niveau de la couche applicative d’un système, sans accès administrateur (ou « root »), justement pour réduire ces risques. « Signal n’a pas accès à votre agenda ni à d’autres données personnelles. C’est à ce niveau que nous pouvons garantir la confidentialité que recherchent nos utilisateurs (journalistes, ONG, militaires, agents de l’ONU, etc.) », insiste la présidente de Signal.
Mais les agents, eux, contourneraient ces barrières. « On parle d’une intégration au niveau du système d’exploitation lui-même, avec des permissions qui remontent jusqu’à cette couche applicative », prévient-elle.
Des implications pour toutes les applications
Ce problème dépasse le seul cas de Signal. « C’est une menace pour toutes les applications », affirme-t-elle en prenant l’exemple de Spotify.
« Spotify n’a aucune envie que d’autres entreprises aient accès à leurs données propriétaires et à leurs algorithmes qui vous poussent telle ou telle publicité. Mais si un agent IA vous propose de créer une playlist et de l’envoyer à vos amis via une app de messagerie, il peut accéder à toutes ces données. »
Autre sujet de préoccupation : les gouvernements. Lorsqu’ils déploient des IA capables d’accéder à des données sensibles, via des API proposées par des géants du numérique, ils doivent s’interroger : « Comment les données sont-elles récupérées ? Agrégées ? Nous savons que les pools de données deviennent vite des cibles stratégiques [pour des attaquants] », souligne Meredith Whittaker.
Limiter l’accès aux données
Pour limiter ces risques, il est indispensable de réfléchir aux droits d’accès exigés par les agents IA et à la manière dont ils opèrent.
« Il existe un risque bien réel de divulgation accidentelle de données sensibles. »
Nader HeinenAnalyste chez Gartner
Le sujet a également été abordé dans un podcast par Nader Heinen, analyste chez Gartner, chez nos collègues de Computer Weekly. L’expert insistait sur la nécessité de contrôles d’accès intégrés au moteur IA lui-même, pour éviter les fuites d’informations. Sans cela, « il existe un risque bien réel de divulgation accidentelle de données sensibles », affirme-t-il.
Une solution envisagée consiste à utiliser des modèles plus petits (les Small Language Models), entraînés sur des sous-ensembles de données, en conformité avec les politiques de sécurité et les droits des utilisateurs.
Cette approche est néanmoins complexe et coûteuse. Mais c’est celle qui pourrait s’imposer.
Enfin, certains des grands fournisseurs d’IA commercialisent déjà ces technologies auprès de la Défense. Une raison supplémentaire (pour les décideurs privés comme publics) de se pencher sérieusement sur la manière dont ces données sont collectées à chaque appel API, soulignent de consort tous les experts.
