Sashkin - Fotolia
Stockage : tout comprendre aux systèmes de fichiers distribués
Les systèmes de fichiers distribués permettent aux utilisateurs d'accéder à des données de fichiers réparties sur plusieurs serveurs de stockage. Un système de fichiers distribué (DFS) doit garantir l'intégrité des données, tout en étant sécurisé et évolutif.
Les systèmes de fichiers distribués, ou DFS (pour Distributed file systems), partagent le contenu d’un même volume logique depuis plusieurs serveurs de stockage. Cette architecture présente plusieurs intérêts : il est plus facile d’étendre la capacité en multipliant les serveurs de stockage, les accès des utilisateurs sont éventuellement répartis entre les serveurs de stockage pour éviter les engorgements, les données peuvent être répliquées sur plusieurs serveurs de stockage pour toujours avoir des copies de secours en cas de panne.
Du point de vue des utilisateurs, l’architecture DFS est transparente : ils ne voient sur le réseau qu’un volume logique partagé et ignorent sur quel serveur de stockage ils lisent ou écrivent leurs fichiers à un instant T.
Techniquement, chaque serveur de stockage intégré à un DFS est en soi un NAS qui partage ses fichiers sur le réseau en NFS ou SMB. Mais derrière ces protocoles, le NAS exécute un système de fichier qui est capable d’accéder aux disques d’un autre NAS du même namespace, alors qu’un NAS ordinaire ne gère que ses propres disques. L’utilisateur se connecte au premier NAS que lui attribue le réseau, tous les NAS partageant les mêmes droits d’accès, éventuellement pris en charge par un annuaire Active Directory.
Les systèmes de fichiers distribués obéissent à plusieurs règles importantes, énumérées ci-dessous :
- Transparence d’accès. Le DFS doit afficher toutes les ressources de fichiers accessibles à l’utilisateur après une procédure de connexion sécurisée, quel que soit le serveur physique sur lequel l’utilisateur se connecte.
- Transparence de nommage. Les noms de fichiers ne doivent pas indiquer l’emplacement physique d’un fichier et ne doivent pas changer lorsque les fichiers sont déplacés entre les nœuds de stockage par le DFS.
- Transparence de la réplication. Les fichiers physiquement répliqués entre différents nœuds du DFS ne sont pas montrés aux utilisateurs comme des duplicatas ; seul le DFS sait qu’il en existe plusieurs exemplaires.
- Transparence de la structure. La structure réelle du DFS, telle que le nombre de serveurs de fichiers et de périphériques de stockage, est masquée aux utilisateurs. En masquant ces complexités, le système devient plus compréhensible pour les utilisateurs.
- Intégrité des données. Lorsque plusieurs utilisateurs accèdent aux mêmes systèmes de stockage de fichiers, voire aux mêmes fichiers, le DFS doit gérer le flux des demandes d’accès afin d’éviter toute interruption de l’accès aux fichiers ou toute atteinte à leur intégrité.
- Haute disponibilité. À l’instar de tout périphérique de stockage, les équipements gérés par un DFS ne doivent pas subir d’interruption ni de mise hors service. Toutefois, si un problème survient, comme la défaillance d’un nœud ou une panne de disque, le DFS doit rester opérationnel et se reconfigurer rapidement pour basculer vers des ressources de stockage de secours afin de maintenir un fonctionnement ininterrompu. Les plans de reprise d’activité après sinistre (PRA) doivent inclure des dispositions pour la sauvegarde et la restauration des serveurs DFS, ainsi que des périphériques de stockage.
- Haute fiabilité. Une autre façon de garantir la disponibilité et la résilience des données en cas de perturbation consiste à faire en sorte que le DFS crée des copies de sauvegarde des fichiers spécifiés par les utilisateurs. Cette fonctionnalité vient compléter la haute disponibilité et garantit que les fichiers et les bases de données sont disponibles en cas de besoin.
- Espaces de noms (namespace). Un espace de noms définit un référentiel de commandes et de variables destiné à faciliter des activités spécifiques. Dans les systèmes de fichiers distribués, les espaces de noms regroupent les commandes requises et les actions associées nécessaires au bon fonctionnement du DFS. Un espace de noms unique prenant en charge plusieurs systèmes de fichiers génère une interface utilisateur unique qui donne à l'utilisateur l'impression que tous les systèmes de fichiers ne forment qu'un seul et même système. Les espaces de noms réduisent également le risque d'interférence avec le contenu d'autres espaces de noms.
- Performances. Cet indicateur mesure le temps nécessaire au traitement des demandes d’accès aux fichiers des utilisateurs et inclut le temps processeur, le temps de transmission réseau ainsi que le temps nécessaire pour accéder au périphérique de stockage et fournir le contenu demandé. Les performances du DFS doivent être comparables à celles d’un système de fichiers local.
- Évolutivité. À mesure que les besoins en stockage augmentent, les utilisateurs déploient généralement des ressources de stockage supplémentaires. Le DFS doit être suffisamment puissant et adaptable pour que, à mesure que la capacité de stockage augmente, le système puisse gérer les ressources supplémentaires sans que les utilisateurs ne remarquent de différence de performances.
- Sécurité. Comme pour tout système de stockage de données, celles-ci doivent être protégées contre tout accès non autorisé et contre les cyberattaques susceptibles de les endommager ou de les détruire. Le chiffrement des données – tant au repos qu’en transit – contribue à renforcer leur sécurité et leur protection.
- Mobilité des utilisateurs. Cette fonctionnalité redirige de manière dynamique le répertoire des ressources de fichiers d’un utilisateur vers le nœud sur lequel celui-ci se connecte.
Avantages et limites des systèmes de fichiers distribués
La technologie DFS assure la disponibilité et la récupérabilité des fichiers au sein d’un système évolutif en répartissant les fichiers et bases de données critiques sur plusieurs périphériques de stockage. Certaines de ces entités de stockage se trouvent sur d’autres sites de l’entreprise et peuvent également être hébergées dans le cloud. Les utilisateurs peuvent également optimiser le transfert des données entre les nœuds de stockage. Il s’agit là de stratégies importantes pour protéger les données et soutenir les initiatives de reprise d’activité après sinistre, voire de continuité d’activité.
Les entreprises disposant de succursales utilisent un DFS en répartissant ses nœuds de stockage entre des sites géographiquement éloignés. Dans cette configuration, le DFS sert essentiellement à permettre aux collaborateurs d’accéder à la vitesse d’un réseau local aux données qui sont partagées à l’échelle de l’entreprise.
Des difficultés peuvent survenir en cas de changement de serveurs de fichiers, d’applications de stockage de fichiers ou d’autres protocoles de stockage qui pourraient ne pas être compatibles avec le système DFS choisi. Il existe des risques de perte de données si des mesures de sécurité ne sont pas mises en place. Par ailleurs, le transfert manuel de fichiers d’un nœud de stockage à un autre peut entraîner une perte de données.
Les protocoles compatibles avec un DFS
Un DFS utilise des protocoles de partage de fichiers qui permettent aux utilisateurs d’accéder aux serveurs de fichiers via le DFS comme s’il s’agissait d’un espace de stockage local. Voici trois exemples de protocoles pouvant être utilisés par un DFS :
- SMB. Le protocole de partage de fichiers SMB prend en charge les opérations de lecture/écriture sur des fichiers au sein d’un réseau local (LAN) et est utilisé dans les environnements Windows.
- NFS. NFS est un protocole client-serveur destiné au partage distribué de fichiers à l’aide d’un stockage en réseau (NAS). Il est utilisé avec les systèmes d’exploitation Linux et Unix.
- HDFS. Le protocole HDFS est utilisé pour déployer un DFS conçu pour les applications Hadoop.
Quelles évolutions récentes dans le domaine des DFS ?
La technologie DFS a connu plusieurs évolutions. Voici quelques exemples d’activités clés :
- Stockage d’objets dans le cloud. Les services actuels de stockage dans le cloud, principalement Google Cloud Storage, Amazon S3 et Azure Blob Storage, sont en train de supplanter les DFS qui partagent leurs contenus en HDFS.
- Microsoft Storage Replica. Cette solution est considérée comme le successeur moderne de la réplication du système de fichiers distribué (DFSR), car elle prend en charge à la fois la réplication synchrone et asynchrone afin de minimiser la perte de données en cas de sinistre.
- Systèmes de fichiers globaux. Les avancées dans les architectures de systèmes de fichiers globaux, qui prennent en charge la réplication en temps réel, la localité des données et l’élimination des goulots d’étranglement de stockage, permettent de pallier les limites du DFS traditionnel.
- Système de fichiers interplanétaire (IPFS). Cette technologie utilise une structure de réseau décentralisée de type peer-to-peer avec un adressage basé sur le contenu (c’est-à-dire le contenu plutôt que l’emplacement) pour stocker les fichiers. Elle est conçue pour améliorer la sécurité, réduire la redondance et accélérer la récupération des fichiers.
- Technologies de stockage distribué de nouvelle génération. Des technologies de stockage avancées se profilent à l’horizon ; elles améliorent l’évolutivité, la sécurité et les performances en utilisant, par exemple, le codage d’effacement et des mécanismes de consensus décentralisés basés sur la blockchain.
L’impact de l’IA sur les systèmes de fichiers distribués
Comme on pouvait s’y attendre, l’IA a plusieurs répercussions importantes sur la technologie DFS :
- Améliorations de la gestion des données. Cela impliquera une classification automatisée des données afin d’améliorer l’organisation et la recherche des fichiers au sein d’un DFS, ainsi que l’utilisation de l’apprentissage automatique (Machine learning) pour optimiser le placement et la réplication des données.
- Amélioration de la maintenance et de la tolérance aux pannes. Une maintenance proactive utilisant l’IA permet d’identifier les pannes matérielles potentielles avant qu’elles ne se produisent, tandis que des techniques de récupération avancées réduiront au minimum les temps d’arrêt en redirigeant dynamiquement l’accès aux données.
- Détection, prévention et gestion des menaces. Les utilisateurs peuvent mieux identifier les accès non autorisés ou les cybermenaces potentielles à l’aide d’algorithmes analysant les données relatives aux menaces. De même, une authentification avancée (par exemple, le chiffrement) devrait améliorer la sécurité des données.
- Performances améliorées. En ajustant les stratégies de mise en cache et en optimisant la répartition de charge, les utilisateurs peuvent accélérer la récupération des fichiers et améliorer l'utilisation des ressources sur l'ensemble des nœuds distribués.
- Automatisation des fonctions DFS. L'un des principaux atouts de l'IA réside dans sa capacité à automatiser de nombreuses tâches traditionnelles, telles que l'indexation des fichiers, la gestion des métadonnées et le contrôle d'accès, tout en améliorant la synchronisation des données entre plusieurs sites.
Cet article est initialement paru en anglais sur TechTarget.com, une publication sœur du MagIT.
