IA : Intel acquiert SigOpt pour renforcer ses briques logicielles

Optimisation des modèles d’IA

« La plateforme et l’expertise de SigOpt aideront probablement Intel à élargir ses capacités pour mettre à l’échelle en production des modèles d’apprentissage machine et d’apprentissage profond », commente Dave Schubmehl, directeur de recherche pour les systèmes intelligents cognitifs/artificiels et l’analyse de contenu chez IDC.

L’accord donne également à Intel l’occasion d’étendre le travail qu’il a réalisé avec oneAPI, son modèle de programmation unifié conçu pour simplifier le développement sur plusieurs architectures, et OpenVino, une boîte à outils open source pour optimiser les modèles d’apprentissage profond, remarque l’analyste.

L’accord permettrait à Intel « de mettre davantage de services logiciels à la disposition des développeurs de machines d’apprentissage, les encourageant ainsi à prendre en compte et à utiliser l’infrastructure Intel lorsqu’ils utilisent leurs modèles », estime Dave Schubmehl.

Fondée en 2014 et basée à San Francisco, SigOpt vend une plateforme « black box » qui facilite l’optimisation des modèles en configurant les hyperparamètres. Cette opération manuelle s’appuyant généralement sur deux méthodes (grid search et random search) est souvent fastidieuse, coûteuse en temps et en ressource. La plateforme dite bout en bout peut optimiser des modèles développés en Python, R, et Java comptant jusqu’à 100 hyperparamètres. Nous sommes loin des capacités de la bibliothèque open source DeepSec, capables d’optimiser les calculs pour des modèles comprenant des centaines de milliards d’hyperparamètres. Toutefois, SigOpt entend couvrir la majorité des usages, dont les déploiements Edge, et apporte un support qu’une librairie open source seule n’offre pas.

La suite de SigOpt comprend un ensemble de techniques d’optimisation bayésienne afin de suggérer les hyperparamètres les plus pertinents pour n’importe quel type d’algorithme. Les data scientists doivent choisir une métrique objective à minimiser ou à maximiser qui influera sur les résultats. Par exemple, pour un modèle de classification (régression logistique, gradientboost, réseaux de neurones), ils devront se référer à la précision moyenne de la validation croisée K-fold. La plateforme permet de suivre deux métriques distinctes et d’exécuter jusqu’à 100 workers simultanément.

SigOpt s’intègre avec les principaux frameworks de développement de machine learning et de deep learning (h2O, Scikit-learn, XGBoost, mxnet, Gluon, Pytorch, Caffe2, Keras, Tensorflow, Amazon SageMaker, etc.), mais aussi avec les notebooks iPython et Jupyter. La plateforme permet également de conserver un historique des runs afin de classer les versions des modèles selon les performances obtenues en configurant les hyperparamètres. L’ensemble de ces capacités doit permettre aux utilisateurs d’accélérer l’entraînement, d’améliorer les performances des modèles et d’augmenter l’efficacité des calculs tout en réduisant les coûts.

Bien que SigOpt compte au moins plusieurs clients, sa plateforme est encore en phase bêta. Selon Crunchbase, SigOpt a levé 8,7 millions de dollars depuis 2014. L’équipe de la startup, dont le PDG et co-fondateur Scott Clark et le CTO et co-fondateur Patrick Hayes, rejoindra l’équipe Machine Learning Performance d’Intel.

Nvidia dans le viseur

Cette acquisition intervient alors qu’Intel multiplie les efforts pour améliorer ses offres d’IA. Au début de l’année, Intel Capital, la branche d’investissement et de capital-risque du fondeur, a investi 132 millions de dollars dans 11 startups spécialisées dans l’IA, d’automatisation et de conception de puces.

En février, Intel a déclaré qu’il mettrait fin au support de sa gamme Nervana NNP (acquis pour 400 millions de dollars en 2016), des microprocesseurs dédiés à l’intelligence artificielle, en faveur de ceux basés sur la technologie de Habana Labs, un fabricant qu’Intel a acquis pour 2 milliards de dollars en 2019. Plus précisément, le fondeur a stoppé les développements des puces NPP-I (consacrée à l’inférence) et NPP-L (dédiée à l’entraînement) au profit des architectures Goya et Gaudi de Habana. Cette décision soudaine avait surpris les analystes, qui s’attendent depuis à un lent déclin des équipements estampillés Nervana.

L’acquisition de SigOpt pourrait aider Intel dans sa lutte contre ses concurrents, tels que Nvidia pour la domination de l’IA. Par ailleurs, cette annonce a été effectuée quelques jours après le rachat du fabricant FPGA Xilinx par AMD, opération de 35 milliards de dollars qui devrait permettre, entre autres, à l’ennemi juré d’Intel de développer ses capacités pour l’intelligence artificielle dans les centres de données.

En outre, les équipes de data science cherchent les bonnes architectures pour entraîner et déployer leurs modèles. Si jusqu’alors les CPU effectuent la majorité des calculs, la montée à l’échelle des algorithmes et l’emploi plus courant du Deep learning les poussent à employer des clusters de GPU.

SigOpt ne dit pas le contraire. L’éditeur a présenté un cas d’usage concernant un modèle CNN développé avec mxnet, en combinaison avec des instances AWS P2 dotées d’une seule carte PCI-E Nvidia Tesla K80 (24 Go GDDR5, 4992 cœurs CUDA). Avec ses techniques d’optimisation, la startup observe un temps d’entraînement 50 fois plus rapide par rapport à un workflow exécuté uniquement via des CPU « standards » et distribués.

« [Il s'agit aussi] de fournir des outils pour aider les développeurs et les data scientists à créer et à déployer des modèles avec plus de précision, de vitesse et de flexibilité. »

Or, Intel peine à convaincre de la pertinence de ses processeurs graphiques. Sans oublier de mentionner que les hyperscalers comme Google et AWS développent leurs propres puces dédiées à l’IA. Tous ces éléments mis bout à bout font qu’Intel et AMD sont là la traîne sur ce marché.

« La réalité du marché est qu’il ne s’agit pas seulement de matériel, mais aussi de fournir des outils et des logiciels pour aider les développeurs et les data scientists à créer et à déployer des modèles avec plus de précision, de vitesse et de flexibilité », constate Dave Schubmehl. « L’acquisition de SigOpt par Intel va certainement y contribuer ».

C’est exactement la stratégie appliquée par Nvidia qui compile des briques open source et propose des logiciels dédiés à certaines tâches. Seulement, côté logiciel, SigOpt est loin d’être le seul acteur à proposer ses services pour l’optimisation des modèles. Outre des startups spécialisées dans ce domaine comme DarwinAI, DeepCube, Upstride, JinAI (soutenue financièrement par SAP) ou encore Deep AI Tech, les éditeurs tels que Dataiku ou DataRobot commencent à intégrer ce type de fonctionnalités dans leur plateforme.