Récit : comment Manutan s’est sorti de la cyberattaque du 21 février

L’effroi

« C’était un dimanche matin. La responsable des services généraux m’appelle à 8h30. Les systèmes de badges ne fonctionnaient plus. C’est un incident qui pouvait empêcher les transporteurs d’entrer par les portiques, mais à partir de lundi. Bon. J’attends de voir comment la situation évolue. À 10H00, nouveau coup de fil. Un développeur m’appelle pour me signaler un truc bizarre, il n’accédait plus à un serveur. Étrange. Dix minutes plus tard, un autre développeur m’appelle pour un problème similaire. Là, je me suis dit qu’il se passait quelque chose. »

Jérôme Marchandiau téléphone à son responsable des systèmes. Celui-ci a le réflexe de regarder en premier la courbe des entrées-sorties sur les baies de serveurs, puis les logs des systèmes de sauvegarde. C’est un double bingo : les accès sur les baies de machines et les alertes émises par les systèmes de sauvegardes sont tous deux hors de proportion.

« Nous avons dès lors lancé des sondages sur nos machines. Cela a duré jusqu’au lundi matin. Petit à petit, nous nous sommes rendu compte que tous nos serveurs Windows étaient crypto-lockés, et avec eux les baies de stockage Pure Storage qu’ils utilisaient. Sur nos 1 200 serveurs, seuls les 400 serveurs Linux et Unix étaient intacts ! Ah, et aussi les quelques très vieux serveurs qui fonctionnaient encore sous Windows 2000 et 2003. »

« Nous avons deux datacenters, redondants. [...] Comme ils fonctionnent de concert, leur synchronisation n’avait servi qu’à ce qu’ils se contaminent l’un l’autre. »

En pratique, seuls les sites e-commerce sont encore debout. « Nous pouvions continuer à vendre, mais nous ne pouvions pas encaisser les commandes, puisque les applications ne répondaient plus. » En l’occurrence, leurs serveurs ne font plus qu’une chose : afficher un écran bleu. Dessus sont inscrites une demande de rançon – on ne saura pas de quel montant – et la manière de contacter les malfaiteurs.

Jérôme Marchandiau et son responsable des systèmes s’activent : il faut tout couper, empêcher que le malware se répande davantage. En marge de l’inventaire des serveurs encore debout, les passerelles réseau sont éteintes, les communications avec les filiales sont désactivées. Mais le mal est fait. « Quelle ironie ! Nous avons deux datacenters, redondants. Mais dans cette situation cela n’a servi à rien : comme ils fonctionnent de concert, leur synchronisation n’avait servi qu’à ce qu’ils se contaminent l’un l’autre. »

Lâché par Microsoft

La cellule de crise se met en place. Avec son lot de paranoïa : et si l’attaque venait de l’intérieur ? Et si un collaborateur aggravait la situation par maladresse ? Il est décidé que, jusqu’à nouvel ordre, personne ne toucherait au système d’information. Et tout le monde serait informé à minima des actions entreprises comme de l’ampleur des dégâts. Sauf le comité exécutif, Jérôme Marchandiau et le responsable de la sécurité. L’urgence, surtout, est d’appeler à l’aide.

« À la première heure, le lundi, nous avons sollicité Microsoft, nous avons un contrat de support Premium chez eux ». Jérôme Marchandiau se crispe. « Ils ont été en dessous de tout ! »

« Nous sommes alors le 22 février. Nous découvrons que notre contrat de support se termine le 28. Leur priorité était que nous renouvelions le contrat avant qu’ils nous viennent en aide », lance-t-il, blanc de rage.

L’aide proposée ulcère Manutan : les interlocuteurs chez Microsoft indiquent qu’ils pourraient intervenir sous deux semaines, peut-être trois. Ils présentent un devis pour investiguer la source de l’attaque.

« Nous protestons. Ils nous répondent que rien de tout cela ne serait arrivé si nous avions fait régulièrement les mises à jour de leurs systèmes. Mais chez eux, les mises à jour c’est toutes les semaines ! Comment veulent-ils que nous mettions à jour huit cents serveurs toutes les semaines !? L’effort à produire est colossal, c’est complètement incohérent ! »

Ne pas payer, faire le mort

L’assureur de Manutan oriente son client vers un prestataire spécialisé dans l’accompagnement après une cyberattaque. Il intervient dans l’heure, pour un prix trois fois inférieur à celui de Microsoft. « Ils nous ont fourni un plan de bataille, les éléments de communication, les démarches à effectuer auprès de la CNIL. » Jérôme Marchandiau respire.

Le prestataire ne tardera pas à dresser son bilan. L’attaque a commencé trois mois auparavant. Elle est arrivée par un phishing ; l’identité du salarié qui s’est fait avoir en cliquant sur le lien viral est tenue secrète, elle n’a même pas été communiquée à Jérôme Marchandiau. Le phishing a servi à mettre en place un premier bot, lequel en a déployé un second et ainsi de suite. Les pirates sont une équipe. Ils sont rentrés un peu par hasard, ont espionné le réseau de Manutan, ont déterminé que la cible était intéressante.

« Nous avons passé du temps à déterminer les données que les malfaiteurs avaient récupérées et le risque qu’elles représentaient. »

« Nos machines Windows étaient protégées par Microsoft Advanced Threat Protection, Windows Defender et BluVector Cortex. Ces outils avaient correctement produit des alertes. Mais, à l’époque, nous sortions d’un audit de sécurité. Alors, vous savez comment cela se passe : nous étions partis sur un plan à trois ans pour sécuriser ce qui devait l’être, c’était une affaire entendue. Bref, nous avions les moyens pour identifier l’attaque, mais plus la vigilance nécessaire. »

Concernant la demande de rançon, le prestataire prévient : il ne faut surtout pas répondre et encore moins payer. Dès que la victime se manifeste, généralement pour négocier, les malfaiteurs activeraient un compteur de trois semaines, au terme duquel ils mettraient à exécution toute une série de menaces : divulgation d’informations sensibles, destruction irrémédiable des données.

Entretenir l’idée que la victime ne se serait pas encore rendu compte qu’elle a été attaquée servirait à gagner un peu de temps. Quant à payer, cela pourrait inciter les criminels à demander plus, sans apporter la garantie que les données soient récupérées.

« Nous avons passé du temps à déterminer les données qu’ils avaient récupérées et le risque qu’elles représentaient. Nous avons conclu qu’elles n’étaient pas critiques. Par exemple, ils n’avaient pas accédé à nos contrats avec les fournisseurs. Puis, nous avons évalué notre capacité à remonter un SI fonctionnel. Elle était bonne. Nous avons alors décidé que nous ne paierions pas. »

Rubrik, la sortie de secours

La reconstruction en urgence d’un SI fonctionnel repose sur les sauvegardes. Manutan avait déployé trois systèmes : Rubrik pour les serveurs, Veeam pour toute la partie Exchange (le collaboratif…), NetBackup pour les bases de données. « Aucune des sauvegardes n’avait été chiffrée par le malware. En revanche, celles de Veeam et de NetBackup étaient inutilisables, car les serveurs qui les pilotaient étaient sous Windows. Rubrik, lui, avec ses appliances autonomes, était parfaitement exploitable. Nous pouvions donc restaurer tous nos serveurs Windows », raconte Jérôme Marchandiau.

La solution Rubrik utilise une appliance qui se veut impénétrable. Ses sauvegardes sont dites immuables, c’est-à-dire qu’elles sont verrouillées par le firmware interne à l’appliance, sans possibilité de déverrouillage externe, ni par un administrateur ni même par le fabricant. Et ce, jusqu’à une date de péremption prédéfinie, au-delà de laquelle la sauvegarde redevient accessible en écriture. Son destin est alors d’être effacée, car suffisamment de temps s’est écoulé pour que d’autres sauvegardes complètes aient été enregistrées – et verrouillées à leur tour.

« Nous avons même pensé à protéger l’horloge du système hôte, afin d’éviter que des malfaiteurs trichent en changeant la date du jour pour celle de péremption », argumente Pierre-François Guglielmi, le directeur technique de Rubrik. Il assure au MagIT que la protection de l’appliance serait testée tous les jours trois fois, au siège de l’éditeur. Une fois par mois, Rubrik inviterait des hackers blancs à mettre la solution à l’épreuve de leurs dernières techniques d’attaque.

Jérôme Marchandiau se souvient que Manutan avait préféré investir dans Rubrik plutôt que dans Commvault pour une série de raisons, qui vont de l’autonomie à la simplicité d’administration. Il y avait surtout la faculté du système à naviguer dans les données sauvegardées sans même devoir les restaurer.

« C’est cette fonction-là qui nous a permis de savoir jusqu’où remonter dans les sauvegardes pour restaurer des systèmes serveur et des données sains de toute infection. C’est assez simple : on parcourt les répertoires comme s’ils étaient déjà restaurés et l’on voit si les fichiers ont des noms étranges, ce qui est une caractéristique des cryptolockers », dit le responsable de Manutan.

Remonter sur les images des systèmes sauvegardées trois mois auparavant suffit. Mais au cas où des données plus récentes seraient nécessaires, le prestataire fournit à Manutan des outils qui tentent de déchiffrer ce qui a été massacré par un ransomware. « Nous avons eu la surprise de voir que ces outils fonctionnaient plutôt bien pour récupérer des documents sur les serveurs de fichiers. En revanche, ils sont inutilisables pour les bases de données », dit Jérôme Marchandiau. De tels outils sont par exemple téléchargeables gratuitement chez Avast et Kaspersky.

Dix jours et dix nuits non-stop pour ressusciter 80 % des serveurs

« Au bout de dix jours et dix nuits, nous avions remis en production 80 % des serveurs. Les 20 % restants, les plus complexes, nous ont encore pris presque trois mois. »

La remise en état opérationnelle des serveurs est un travail de longue haleine. Ils sont restaurés un à un. Avant de les remettre en production, Manutan installe dessus un EDR (Endpoint Detection Response), c’est-à-dire un anti-malware qui se charge de scanner les disques à la recherche de tout malware connu. « Notre assureur nous a fortement encouragés à prendre une solution que nous n’avions pas utilisée jusque-là, en l’occurrence l’EDR de SentinelOne », dit Jérôme Marchandiau.

« Pour chacun des 800 serveurs corrompus, cela s’est donc passé ainsi : nous le restaurions, nous le démarrions, nous vérifions qu’il fonctionne, nous installions dessus SentinelOne, nous le scannions intégralement, puis nous le connections au réseau et nous passions au serveur suivant. Nous n’étions que trois pour effectuer ce travail. Au bout de dix jours et dix nuits, nous avions remis en production 80 % des serveurs. Les 20 % restants, les plus complexes, nous ont encore pris presque trois mois. »

Le premier serveur à avoir été restauré était celui d’Active Directory, l’annuaire sur lequel repose l’identification de tous les autres systèmes. « C’est vrai, notre Active Directory accusait le poids des années, il aurait fallu le nettoyer pour nous assurer qu’il était libre de toute porte dérobée. Mais nous n’avions objectivement pas le temps. Nous avons parié que la protection de l’EDR et la coupure des communications avec les autres filiales nous garantiraient une protection suffisante pour relancer notre SI dans les plus brefs délais. »

Jérôme Marchandiau découvre rapidement un autre problème : l’EDR ralentit très fortement les applications. « La solution était de nettoyer manuellement tous nos serveurs pour en retirer les faiblesses structurelles et soulager ainsi la tâche de l’EDR. Mais, encore une fois, nous lancer dans cette aventure nous aurait coûté un temps infini. Nous avons décidé de remettre ce travail à plus tard. »

Et Manutan n’est pas encore au bout de ses peines. Tous les serveurs fraîchement restaurés sont à nouveau intégralement sauvegardés. Mais ces sauvegardes n’écrasent pas les précédentes puisqu’elles sont immuables. « Nos appliances de sauvegarde étaient subitement pleines ! Nous avons dû appeler Rubrik à l’aide pour faire le ménage », lance Jérôme Marchandiau.

LeMagIT n’a pas pu obtenir une description détaillée de la manière utilisée par Rubrik pour débarrasser Manutan des anciennes sauvegardes. Il est probable que le fournisseur n’ait eu d’autre choix qu’apporter de nouveaux disques durs vierges. Que ceux-ci aient remplacé les précédents ou qu’ils leur aient été ajoutés semble relever d’un service gracieux dont le fournisseur ne tient pas spécialement à faire la publicité.

Quatre enseignements

Le système d’information a beau être remis en route, Manutan ne considère plus qu’il est pérenne. « À l’évidence, nous avions quatre faiblesses. La première est que 75 % de nos applications et de nos bases de données reposent sur du Microsoft. Nous devons réduire cette surface d’attaque. À terme, nous n’aurons plus de SQL Server, nous allons très certainement les remplacer par du PostgreSQL ou du MariaDB », estime Jérôme Marchandiau.

« Le second enseignement est que tous nos serveurs partagent les uns avec les autres leur stockage en réseau, pour que leurs applications puissent s’échanger des données. Ce montage crée des passerelles qui sont des vecteurs de propagation. Désormais, il y aura une rupture des protocoles entre les applications. Nous passerons par une plateforme d’intermédiation : un serveur unique qui partage et filtre les fichiers pour tout le monde, ainsi qu’un ESB qui convertit les données. Cette brique est la plus compliquée à mettre en place. »

« Ensuite, nos applications elles-mêmes ne sont pas sécurisées. Nous devons les reconstruire, les réécrire en mode Security by Design », annonce-t-il, sans préciser si cela signifie les rendre exécutables par des serveurs Linux.

Enfin, Manutan prend la décision de ne plus utiliser Veeam et NetBackup. « Ce ne sont pas tant ces solutions en elles-mêmes qui posent problème. C’est surtout que face à un incident tel que celui que nous avons vécu, nous ne pouvons plus nous permettre d’avoir trois méthodes de restauration différentes, cela ajoute bien trop de complexité », dit-il, en faisant référence au fait qu’il a fallu restaurer les appliances Veeam et NetBackup depuis Rubrik avant de pouvoir restaurer les données dont elles avaient la charge.

Pour autant, la migration des contenus enregistrés par Veeam et NetBackup vers Rubrik prend du temps. Manutan estime qu’il faudra attendre la fin de l’année 2021 pour ne plus avoir que des sauvegardes Rubrik en production.

Tout reconstruire de zéro

Le prestataire qui accompagne Manutan dans sa reconstruction le prévient : il ne sera pas possible d’appliquer tous les changements prévus au SI existant. Il faut repartir d’une infrastructure toute neuve. En septembre, Manutan s’est donc lancé dans un programme de refonte intégrale de son SI, baptisé Horizon, et qui durera jusqu’au premier trimestre 2023.

« Cette refonte va nous coûter plusieurs millions d’euros. Bien plus cher que si nous avions payé la rançon demandée. »

Horizon comprend le remplacement intégral de l’infrastructure. Dans un nouveau datacenter, autour d’un nouveau cœur de réseau, avec de nouvelles méthodologies d’accès, des clusters Nutanix remplaceront les clusters VMware. Il y aura de nouvelles politiques de sécurité, plus aucun Windows en dessous de la version 2016 et plus aucun Linux Red Hat en dessous de la version 7.9. D’ailleurs, les images des serveurs ne seront pas migrées, elles seront remplacées par d’autres, patiemment reconstruites de zéro, depuis des systèmes vierges. Seules les données seront récupérées des anciens datacenters, via une plateforme de décontamination.

L’ensemble sera monitoré par un SIEM, en l’occurrence le logiciel Splunk qui sondera en permanence tout le trafic réseau, toute l’activité des serveurs. Ce monitoring sera confié à un SOC, une équipe chez un prestataire qui surveillera les analyses produites par Splunk et prendra les mesures nécessaires à la moindre alerte.

« Cette refonte va nous coûter plusieurs millions d’euros. Bien plus cher que si nous avions payé la rançon demandée », confirme sans aucun regret Jérôme Marchandiau. Et pour cause : la refonte aurait été inévitable même si la rançon avait été payée.

Une attitude désormais beaucoup plus tranchée et réactive

Pourquoi Manutan n’a-t-il pas plutôt choisi de tout basculer en cloud ? « Parce que nous sommes assez friands de garder la maîtrise de notre infrastructure. Lorsque nous avons annoncé avoir été victimes d’un ransomware, les prestataires de services cloud avec lesquels nous travaillons nous ont coupé l’accès, en nous expliquant qu’ils les rouvriraient le jour où ils sauront exactement ce qui s’est passé chez nous. Ils se protègent. Nous aussi. Nous ne voulons pas plus qu’eux dépendre de leurs failles », tranche Jérôme Marchandiau.

Il précise que, d’ailleurs, plus aucun serveur de Manutan n’accède directement au cloud. Tous les échanges passent désormais par un proxy web. « Nous pensons sincèrement que notre prochaine infection arrivera par le biais d’un partenaire. Nous collaborons avec des startups qui sont aussi inventives sur les applications en cloud que faillibles sur leurs infrastructures. »

Sur le plan humain, l’équipe en charge de l’infrastructure est renforcée par un architecte. Les campagnes de sensibilisation sur la cybersécurité, menées par la DRH de Manutan, ont explosé, avec des sondages désormais effectués tous les quinze jours auprès du personnel.

« Depuis ces événements, nous avons eu de nouvelles alertes, de nouvelles tentatives de phishing. Et force est de constater que tout le monde a été très réactif », conclut Jérôme Marchandiau, en précisant qu’il part justement démarrer une campagne de tests d’intrusion dès la fin de notre entretien.