Stockage : les baies d’Ardis accélèrent le travail sur les fichiers
Conçues pour les studios de post-production, les baies de disques DDP ne sont pas des NAS. Elles fonctionnent en mode bloc comme celles qui supportent VM et bases de données dans les datacenters. Résultat : une vitesse jusqu’à dix fois plus rapide.
Sortir des standards pour être mieux adapté aux besoins métiers. Telle est la stratégie du fabricant de baies de stockage hollandais Ardis Technologies qui, il insiste, ne vend pas des NAS aux studios de production vidéo et musicale, mais « des SAN pour stocker des fichiers ». Traduction de cette affirmation cryptique : alors que des équipes collaborent d’ordinaire en stockant leurs fichiers sur un serveur du réseau local rempli de disques (le NAS), Ardis propose pour cet usage une baie iSCSI qui regroupe tous les disques externes des machines locales (un SAN).
« La contrainte des NAS est que les utilisateurs ne peuvent pas travailler ensemble sur un même fichier, ce qui est très handicapant dans un studio de post-production. Pour contourner cette difficulté, les logiciels de création – Avid Media Composer, DaVinci Resolve de BlackMagic, Premiere d’Adobe pour la vidéo, ou encore Avid ProTools pour l’audio – ont une solution qui réduit la bande passante. Notre approche, elle, la multiplie par dix », vante Jan de Wit, le PDG d’Ardis Technologies (en photo en haut de cet article), que LeMagIT a rencontré lors d’un événement IT Press Tour consacré aux acteurs européens qui innovent sur le segment du stockage de données.
« Nous avons développé un système de fichiers, AVFS (Audio/Video File System), qui rend nos baies de stockage DDP aussi faciles à utiliser qu’un NAS. »
Jan de WitPDG d’Ardis Technologies
Problème, un SAN a un principe d’écriture en mode bloc qui est inadapté à la composition d’images ou de sons en fichiers depuis des stations PC ou Mac. Ce genre de machines est normalement utilisé avec un cluster de serveurs qui se répartissent tous une même charge de travail (machines virtuelles, base de données). Et son fonctionnement de pointe pour y parvenir nécessite en plus une technicité en informatique dépassant souvent largement les compétences et les besoins des équipes artistiques.
« Nous avons développé un système de fichiers, AVFS (Audio/Video File System), qui rend nos baies de stockage DDP aussi faciles à utiliser qu’un NAS. Il s’accompagne d’un dispositif de mise en cache appelé Project Caching, qui abolit les pertes de vitesse dues au fonctionnement en mode fichiers. Et, pour contrôler tout cela, notre solution est livrée avec une interface web manipulable par n’importe qui, où toute la technicité est masquée par des cases à cocher pour dire qui accède à quoi à quelle vitesse », explique Jan de Wit.
Pas un NAS, mais un SAN en mode fichier
Reprenons. Dans le cas d’un NAS, chaque utilisateur du réseau monte depuis son PC ou son Mac le même volume qu’expose un serveur de partage de fichiers, via des protocoles NFS ou SMB de haut niveau qui consomment en eux-mêmes une grande part de la bande passante. Cela pose un problème de vitesse dans un studio de post-production qui travaille sur de très gros fichiers longs à transférer.
L’accès en mode bloc prôné par Ardis résout ce problème de deux manières. D’une part, le protocole iSCSI utilisé est plus léger, ce qui garantit aux données utiles de voyager plus vite. D’autre part, en mode bloc, la station de l’utilisateur ne communique plus avec un volume logique, mais avec des disques matériels, dont elle pilote jusqu’à la tête de lecture. Il devient dès lors possible de ne plus charger un média entier via le réseau, mais uniquement les segments sur lesquels l’utilisateur travaille, en temps réel.
Mais les applications utilisées sur la station doivent travailler avec des fichiers. Il faut donc que la machine de l’utilisateur convertisse les blocs en un système de fichiers. Ardis propose donc avec sa solution d’installer sur chaque machine une bibliothèque AVFS qui s’occupe de cette tâche.
« Chaque station de travail travaille avec son propre disque virtuel sur notre baie de stockage. D’ordinaire, c’est ce qui est compliqué à configurer. »
Jan de WitPDG d’Ardis Technologies
Vient ensuite la problématique du travail sur un même fichier audio ou vidéo par plusieurs stations en même temps. Ardis résout ce problème en attribuant à chaque utilisateur une copie du fichier, les modifications entre chaque exemplaire étant réassemblées dans un second temps.
« Chaque station de travail travaille avec son propre disque virtuel sur notre baie de stockage. D’ordinaire, c’est ce qui est compliqué à configurer. Dans notre solution, le chef d’équipe accède à une console web sur notre baie qui lui permet, visuellement, de créer des répertoires pour chaque utilisateur. Tout le monde sait faire ça. Mais, fonctionnellement, ces répertoires vont être présentés à la station de travail comme un disque iSCSI », vulgarise Jan de Wit.
Il est à noter que les disques virtuels sont composés de plusieurs segments de disques physiques.
Gérer le cache sur SSD fichier par fichier
Les studios de post-production ont un autre problème de vitesse. Quand ils travaillent avec de nombreux petits fichiers (des extraits de vidéo en MPeg, typiquement), l’accès à une multitude d’emplacements génère de la latence.
« Et cela d’autant plus que l’essentiel du stockage dans nos baies est constitué de disques durs, avec des têtes de lecture et des plateaux rotatifs beaucoup plus longs à mettre en mouvement que des impulsions sur un SSD. Pour autant, les studios qui consomment du stockage veulent de grandes capacités, de l’ordre du Po, et celles-ci sont hors de prix si ce sont des SSD », fait remarquer Jan de Wit.
« Sur des NAS, les SSD sont juste une antichambre transparente de tout ce qui rentre, sans distinction. Sur nos baies, ce sont des disques à part […]. »
Jan de WitPDG d’Ardis Technologies
« Pour donner une sensation de vitesse de SSD en utilisant des disques durs, nous complétons nos disques durs capacitifs dans nos baies par des SSD qui font office de cache. Comme tous nos concurrents ? Pas vraiment. Sur des NAS, les SSD sont juste une antichambre transparente de tout ce qui rentre, sans distinction. Sur nos baies, ce sont des disques à part, dans lesquels les utilisateurs mettent volontairement leurs fichiers en cours de manipulation », ajoute-t-il.
Plus exactement, il existe trois modes d’utilisation pour les SSD. En mode Locked, l’utilisateur décide qu’ils constituent un disque de travail et, le travail fini, l’administrateur déplace les contenus vers des disques durs classiques.
En mode On Demand, le disque virtuel d’une station est composé d’une capacité sur SSD ajoutée à une capacité sur disques durs ; la baie redirige par défaut les écritures dans la partie SSD, puis déplace toute seule les données vers la capacité sur disques durs au fur et à mesure que des fichiers sont créés. En mode Pinned, enfin, c’est l’utilisateur qui décide, via un étiquetage dans la console, quels fichiers doivent être dans la partie SSD ou disque dur.
Ces trois modes forment ce qu’Ardis appelle le Project Caching (ou mise en cache par projet).
Les SSD, qui augmentent fortement le prix de la baie, ne sont pas une obligation. Les studios qui ne travaillent qu’avec de gros fichiers peuvent se contenter de baies DDP ne contenant que des disques durs. Le fait que la baie en possède plusieurs suffit déjà à paralléliser les accès et à minorer l’effet de latence par rapport à un disque dur unique.
Une quinzaine de baies de disques au catalogue
Ardis a à son catalogue une quinzaine des modèles de baies de disques DDP. Les moins chères, avec un prix de départ de 14 000 €, ont 12, 16 ou 24 disques 3,5 pouces SAS, dont un tiers peuvent être des SSD. Les modèles « D » (par exemple DDP24D) intègrent la carte contrôleur qui gère la cible iSCSI et exécute la console web d’administration. Les modèles « EX » (DDP24EX…) sont juste des tiroirs de disques supplémentaires pour étendre la capacité. Le plus gros propose 78 disques durs. On trouve aussi des modèles microDDP 1U avec des disques 2,5 pouces.
Les disques durs proposés par Ardis ont 12 ou 22 To de capacité. Les SSD grimpent à 8 To.
Le DDPHead est la version qui n’a qu’un contrôleur (en double exemplaire, en l’occurrence, pour la tolérance aux engorgements) et à laquelle on peut brancher des tiroirs de disques d’autres marques. Ardis recommande ceux d’Infortrend pour une connexion classique en iSCSI (Ethernet) ou les Nytro de Seagate pour une connexion supportant le Fiber Channel.
« Dans le cas du Fiber Channel, les stations du réseau doivent elles-mêmes disposer d’une carte adéquate. En effet, si le contrôleur sert à dire à chaque client AVFS quel disque virtuel lui est rattaché, la lecture en mode bloc se fera directement sur le tiroir Nytro de Seagate. Le contrôleur n’agit pas comme un goulet d’étranglement » dit Jan de Wit, en référence à ce montage qui, s’il s’agissait de NAS, ressemblerait fort à pNFS.
Enfin, le DDP10EF, de taille 1U et intégrant 10 SSD NVMe pouvant grimper à 30 To chacun, est le seul qui puisse communiquer en NVMe/RoCE. Pour peu que l’entreprise cliente ait des switches qui supportent le protocole RoCE. Selon le fabricant, chaque machine du réseau peut communiquer avec lui à la vitesse record de 11 Go/s, contre environ un maximum de 2,5 Go/s en Ethernet, via iSCSI.
Les disques sont regroupés en LUNs (les unités logiques en SCSI) à raison d’un maximum de 8 disques ou d’une capacité maximale de 96 To par LUN. Les données sont redondées dans chaque LUN avec un système RAID 5 (plus capacitif) ou RAID 6 (plus sécurisé).
Précisions que les disques virtuels visibles depuis les stations de travail correspondent à un assemblage d’une ou plusieurs fractions de LUN, éventuellement situées sur différentes LUNs. Ce dernier point permet de réduire encore plus l’effet de latence sur les petits fichiers, car ils sont successivement écrits sur des disques différents.
