Igneous va identifier 400 000 fichiers froids par seconde

Indexer plus vite les fichiers et les archiver pour moins cher

Le problème qu’adresse Igneous est la lenteur que prend le scan des fichiers source : il faut en effet compter d’ordinaire plusieurs jours pour indexer des milliards de fichiers. Problème aggravant, l’opération est à répéter régulièrement, idéalement tous les jours, pour conserver une visibilité la plus exacte possible des accès aux fichiers de production et savoir lesquels méritent d’être archivés.

DataDiscover est capable, lui, de référencer 30 milliards de fichiers par jour. Le secret ? Le nouveau moteur AdaptiveSCAN du logiciel fonctionne sur un cluster où chaque nœud interroge dans son coin une partie des volumes partagés en SMB ou NFS afin de maximiser les requêtes parallèles. Dans le meilleur des cas, Igneous a mesuré que sa solution pouvait scanner 400 000 fichiers par seconde.

A la fin du scan, le moteur InfiniteINDEX répertorie tous les éléments trouvés – noms de fichiers, utilisateurs, etc. – dans une base de métadonnées qui pèse généralement 20 à 40 Go pour 10 Po de fichiers source. Igneous précise avoir référencé les détails de 40 milliards de fichiers dans une base de seulement 200 Go.

Le module DataFlow dispose lui aussi d’un nouveau moteur, IntelliMOVE. Celui-ci compresse en temps réel les fichiers froids avant de les archiver en cloud, typiquement dans Glacier, le service d’archivage longue durée d’AWS, mais les cloud publics d’Azure et Google sont également supportés, ainsi que n’importe quel stockage S3 local. Concernant les offres de cloud public, IntelliMOVE présente l’intérêt de combiner les fragments de fichiers modifiés depuis le dernier archivage, de sorte que le prix du transfert – calculé par AWS à la quantité de fragments dans chaque lot ingéré par Glacier – soit minimal.

« Avec un tarif de 0,05 $ pour 1000 fragments transférés par glacier, il faudrait compter normalement 50 000 $ pour archiver 1 Po de fichiers de 1 Mo. Avec notre solution, ce coût descend à 537 $ », assure Christian Smith.

L’ensemble des opérations se pilote depuis un portail web. Celui-ci sert à avoir une vision d’ensemble des fichiers, à définir les règles d’archivage et à effectuer des restaurations.

Une startup qui passe du serveur, à la sauvegarde, puis à la gouvernance

On se souvient qu’en 2016-2017, Igneous inventait une architecture matérielle de nano-NAS originale. Il s’agissait en l’occurrence de réunir dans un châssis 4U une soixantaine de disques durs et de brancher sur le port SATA de chacun une mini-carte Ethernet embarquant Linux et CPU ARM pour en faire un cluster de stockage objet compatible S3.

Fin 2017, le matériel disparaissait du catalogue, tandis que le logiciel restait pour transformer n’importe quel lot de serveurs interconnectés en une appliance « DataProtect » de sauvegarde pour NAS. Fin 2018, l’entreprise se présentait finalement comme un acteur de la gouvernance des données, capable d’indexer les fichiers sauvegardés et de les déplacer automatiquement vers du stockage en cloud, grâce aux nouveaux outils DataDiscover et DataFlow.

Notons que, à l’image de l’éditeur, notre interlocuteur Christian Smith multiplie lui aussi les casquettes : il est le directeur des produits, des solutions, des contenus, du marketing, du succès utilisateur...

Aujourd’hui, Igneous dénombre une cinquantaine de clients dans le monde, essentiellement de grandes entreprises qui disposent de centaines, voire de milliers de NAS, répartis sur des dizaines de succursales dans le monde.