IA : en douze ans, Meta est devenu un géant de l’innovation « ouverte »

Les effets de dix ans de recherche en IA à Paris

« Je pense que FAIR a eu un impact énorme sur le décollage de l’écosystème de l’IA en France », avance Yann Le Cun, vice-président et directeur scientifique de l’IA chez Meta. « La raison pour laquelle vous voyez Paris comme étant l’écosystème le plus actif pour les startups d’IA [en Europe], je pense que c’est en grande partie grâce à la création de FAIR Paris il y a 10 ans ».

« Nous voyons une douzaine de docteurs obtenir leur diplôme chaque année », poursuit-il. « Nous en embauchons certains, mais tous les autres vont dans l’industrie locale, dans des startups, dans le monde universitaire, etc. Nous sommes donc l’une des plus grandes écoles d’études supérieures en IA, si vous voulez ».

Le FAIR n’a peut-être pas l’aura de Google DeepMind. Et pourtant, Meta a quelques projets d’envergure à son actif. « La première version de Llama, le grand modèle de langage de Meta, a été développée ici à Paris par une douzaine de personnes », assure Yann Le Cun. « Le succès de cette initiative en l’espace d’un mois a entraîné la création de toute une organisation de produits, un pilier de produits appelé GenAI, qui est l’un des cinq piliers au sein de l’entreprise en sus de WhatsApp, Messenger, Facebook et Instagram ». L’entité GenAI emploie aujourd’hui « plusieurs milliers de personnes ». Plus tard, Joëlle Pineau, vice-présidente du département de recherche en IA chez Meta, estime que l’ensemble des modèles « open weights » Llama ont été téléchargés plus de 800 millions de fois. Plus de 85 000 modèles dérivés auraient vu le jour.

En ce moment, les chercheurs du FAIR Paris mènent des projets liés à la compréhension du langage naturel, à la vision par ordinateur et à la génération de code. L’événement était l’occasion pour Meta de présenter certaines des recherches les plus récentes, dont « Brain2Qwerty ». Ce projet mené en partenariat avec l’Ikerbasque (la Fondation basque pour la Science) visait à prédire ce que 35 volontaires en bonne santé tapaient sur un clavier QWERTY à partir de l’analyse en direct d’un dispositif de magnétoencéphalographie (MEG) « non invasif ». Le modèle d’IA utilisé pour ce faire est composé de trois modules : un réseau neuronal convolutif chargé d’analyser les signaux visuels de l’ECG/MEG en 500 millisecondes, un module transformer capable de prédire des phrases et un autre transformer pour les corriger.

« Nous arrivons à décoder environ 80 % des phrases tapées par les participants », se réjouit Jean-Rémi King, chercheur en neurosciences et en IA chez Meta. Le projet est accompagné d’une dotation de 2,2 millions de dollars à l’Hôpital Fondation Adolphe de Rothschild. Il s’agit de créer un laboratoire de recherche consacré à la compréhension et à la compensation des handicaps neurologiques.

Une influence dominante dans l’outillage open source pour l’IA

Outre l’impact du FAIR pour Meta et sur l’écosystème de l’IA ainsi que le monde de la recherche, Yann Le Cun insiste sur la contribution à l’open source du groupe. Et de citer l’exemple de PyTorch, framework largement utilisé dans l’entraînement et l’inférence de modèles de machine learning et d’IA. Celui-ci est né au sein du FAIR avant d’être confié à la fondation Linux en 2022.

« Une bonne partie de l’industrie de l’IA repose entièrement sur notre pile open source, à commencer par Pytorch et Llama », vante Yann Le Cun.

« Une bonne partie de l’industrie de l’IA repose entièrement sur notre pile open source, à commencer par Pytorch et Llama ».

« Les raisons pour lesquelles nous avons recours à l’open source sont franchement simples. Cela améliore nos modèles, nous aide à avancer plus vite et rend nos modèles plus sûrs », lance pour sa part Joëlle Pineau. « Et cela s’est vérifié à maintes reprises au fil du temps. En offrant cette large accessibilité, nous accélérons le cycle d’innovation. Nous profitons de l’expérience des autres. Nous apprenons également très rapidement si des améliorations sont nécessaires ».

Si les outils qui entourent Llama sont open source, ces grands modèles de langage sont « open weights ». Seuls les modèles compilés sont ouverts, pas le code, pas les données utilisées.

Meta mise sur l’open source quand il le peut

« La majorité de nos travaux en science ouverte est en réalité open source », répond Naila Murray, directrice de la recherche en IA chez Meta. « Nous avons effectivement des modèles et certains programmes plus importants qui sont en “open weight”. En effet », poursuit-elle. « Mais si l’on regarde ce que nous avons publié au fil du temps, nous avons diffusé plus d’un millier de modèles open source, et la grande majorité d’entre eux l’ont été de bout en bout, depuis les données jusqu’aux modèles et au code », assure-t-elle. « C’est notre conviction, et chaque fois que nous estimons pouvoir le faire, nous le faisons sans hésitation. C’est toujours notre point de départ, avant de prendre des décisions au cas par cas, selon les projets ». 

« La majorité de nos travaux en science ouverte est en réalité open source ».

Bioptimus est une startup française spécialisée dans l’entraînement de grand modèle de langage « expert » en biologie. Elle s’est appuyé sur le modèle ouvert « transformer-vision » DINOv2, développé au sein du FAIR Paris. Bioptimus a ainsi entraîné un modèle « image to text » consacré à la détection de plusieurs types de cancers.

« Pour une startup comme la nôtre, par exemple, rendre les poids accessibles ne suffit pas, car un modèle avec des poids ouverts reste figé : on peut peut-être le “fine-tuner” (l’affiner), mais cela reste très limité », considère Jean-Philippe Vert, cofondateur et président de Bioptimus. « Dans notre cas d’usage, nous avons pris plus que les poids de DINOv2 : nous avons pris le code afin de le réentraîner sur nos propres données ».

L’écosystème plaide pour davantage d’ouverture

Or, Meta n’a pas ouvert tout le code lié à ce projet. Celui consacré à la distillation de connaissances de DINOv2 n’est pas disponible, ce qui a poussé Bioptimus à développer sa propre « recette » avant de publier un article à ce sujet.

« Si ce code était disponible, nous n’aurions probablement pas eu à le refaire. L’article est là, mais le code ne l’est pas, ce qui illustre bien un problème plus large : la question des données », indique le président de Bioptimus.

Bioptimus a elle aussi proposé son « transformer vision » en « open weight ». De fait, si l’open source est l’approche souhaitée, elle ne peut être la réponse dans tous les cas.

« Nous n’avons pas diffusé les données d’entraînement, car elles sont propriétaires », indique Jean-Philippe Vert. « Ce ne sont pas des données collectées sur le Web, mais des données de patients. Nos modèles seront utilisés par d’autres pour construire des systèmes de diagnostic, qui doivent être approuvés par des organismes de réglementation. C’est là que surgit une tension : on ne peut pas simplement télécharger un modèle sur le Web, créer un système de diagnostic et l’utiliser sur des patients. C’est un domaine soumis à des régulations plus strictes ».

Jean-Philippe Vert voit également poindre un problème de transparence. Selon lui, il faudrait également que les usagers triés sur le volet puissent accéder aux données. « Cela permettrait, dans certaines applications médicales, d’apporter des garanties de sécurité et d’assurer qu’il n’y a rien d’anormal dans les données ayant servi à l’entraînement du modèle », justifie-t-il.

Un sentiment partagé par Yann Le Cun, mais aussi par Clément Delangue, cofondateur et CEO d’HuggingFace.

« Les gouvernements ne doivent pas se contenter d’éviter de nuire à l’IA open source, ils doivent la soutenir activement par des données publiques ouvertes, des règles de transparence, des infrastructures partagées et des financements dédiés à l’innovation ouverte », clame-t-il sur LinkedIn tout en précisant que les géants de la technologie doivent « contribuer en retour ».