Open Secure AI Alliance : Nvidia mobilise plus de 50 acteurs IT pour sécuriser l’IA

L’Open Secure AI Alliance, une réaction épidermique après l’affaire Hugging Face-OpenAI

«  Les outils d'IA propriétaires étaient incapables de faire la distinction entre attaquants et défenseurs », accuse Nvidia. « Ils ont bloqué l'analyse forensique indispensable. Hugging Face a alors déployé le modèle open-weight GLM 5.2 [un LLM chinois, N.D.L.R.] sur sa propre infrastructure. L'entreprise a pu analyser plus de 17 000 actions et contenir l'intrusion ».

Selon Nvidia, « cet incident a mis en évidence une réalité concrète. Lorsque les défenseurs ne peuvent pas analyser, adapter et exploiter des systèmes d’IA avancés sur leur propre infrastructure, leur capacité de réaction est limitée précisément au moment où la rapidité est la plus cruciale ».

« Les entreprises et les États ont besoin d’outils et de techniques de défense de pointe afin que les secteurs critiques puissent mettre en place des systèmes de sécurité s’appuyant sur un écosystème multifournisseur et éviter ainsi les points de défaillance uniques », martèle le manifeste.

D’où la nécessaire disponibilité de LLM ouverts, d’outils, de techniques open source « pour protéger les logiciels et les agents à l’ère de l’IA ».

En réponse à la lettre ouverte publiée le 24 juillet en faveur des modèles open weight, Dario Amodei, cofondateur et CEO d’Anthropic, a argué qu’il n’était pas contre cette approche. Elle présente toutefois des risques importants. Donc il ne le cautionne pas.  

« Ces risques sont bien réels, mais ils ne disparaissent pas dans les systèmes propriétaires », répond indirectement Nvidia. « Le simple fait de garder les paramètres de l'IA confidentiels n'empêche pas des attaquants déterminés de rechercher ou d'exploiter une IA puissante ».

« La bonne réponse ne consiste pas à priver les défenseurs de l'accès à des systèmes ouverts performants. Elle consiste à associer l'ouverture à des mesures de protection solides, à des règles claires contre les utilisations malveillantes, à une évaluation rigoureuse et à une correction rapide ».

Un outil… et beaucoup de bonne volonté

Les apports concrets d’une telle alliance sont encore à prouver. Nvidia cite une seule nouvelle contribution : Nvidia Labs Object-Oriented Labs. Ce projet de recherche open source est un framework agentique écrit en Python. Il peut servir à générer des tests, évaluer des agents, générer des applications ou bien découvrir des vulnérabilités. Le géant fabless dit mettre par ailleurs ses LLM et ses outils au service de la communauté.

« Conformément à la manière dont les communautés ouvertes progressent, la Linux Foundation salue les entreprises telles que NVIDIA qui apportent une contribution sous forme de code fonctionnel, et ne se contentent pas d'exprimer des réflexions sur la nécessité de la sécurité ».

Les autres contributions citées dans le manifeste illustrent plutôt l’engagement passé des membres de l’Open Secure AI Alliance en faveur des projets open source. Les auteurs évoquent le don par Hugging Face du format de checkpoint Safetensors à la fondation PyTorch en avril dernier. SpaceXAI a ouvert son terminal Grok Build. HPE a contribué une méthode de vérification cryptographique des actions des agents IA au projet d’authentification SPIFFE/SPIRE.

Nvidia nomme également MDASH, l’outil de chasse aux vulnérabilités de Microsoft. Il est pour l’instant propriétaire. Il mentionne par ailleurs Lightwell, une offre commerciale de Red Hat et d’IBM pour monétiser la sécurité de l’open source.

Alors qu’est-ce que l’Open Secure AI Alliance ? Pour le moment, une deuxième lettre ouverte, un appel à participation et un proto site Web.

Quoi qu’il en soit, selon Ian Fogg, directeur de recherche chez CCS Insight, « Il existe désormais une pression concurrentielle évidente entre ceux qui investissent dans l'écosystème de l'IA propriétaire et ceux qui soutiennent l'open source ». Les deux modalités doivent encore cohabiter, ajoute-t-il, mais l’analyste voit là un potentiel d’enracinement du conflit entre les fournisseurs de LLM et les équipementiers. De fait, si Anthropic et OpenAI cherchent à diversifier leurs puces IA, l’absence d’alternatives ouvertes ou propriétaires n’arrange pas les affaires de Nvidia.