EDR : le Mitre livre les résultats de son évaluation des capacités de détection

Comme promis fin mars, le Mitre a procédé à une évaluation de plusieurs solutions de détection et remédiation sur les hôtes de l’infrastructure (EDR) et vient d’en livrer les résultats.

Pour ce faire, l’organisation a confronté les solutions de Carbon Black, CounterTack, Crowdstrike, Endgame, Microsoft, RSA et SentinelOne à une émulation du groupe APT3/Gothic Panda, en s’appuyant sur sa base de connaissance des techniques, tactiques et procédures d’attaquants, ATT&CK. Le groupe APT3 s’intéressait tout particulièrement aux secteurs de la défense, de l’aérospatiale, de la construction ou encore de l’ingénierie. Ses activités sont documentées depuis 2012. En mai 2017, Recorded Future assurait que le ministère chinois de la sécurité nationale se cachait derrière ce groupe.

Les résultats produits par le Mitre risquent d’attirer l’intérêt à de nombreux égards. Car il n’est pas question-là de se contenter d’une « carte de valeur » comme celle produite – et seule accessible gratuitement – par un NSS Labs. Arc4dia a d’ailleurs récemment appelé à plus. Pour mettre à profit le travail réalisé par le Mitre, il faut en fait se plonger dans les matrices fournies pour chacune des solutions testées qui indiquent, pour chaque point testé, ce qui a été détecté, ou pas, entre télémétrie, indicateur de compromission, comportement générique ou spécifique, changement de configuration, etc. L’ensemble s’avère granulaire et éclairant. Et s’il est une chose, au moins, que tendent à souligner ces résultats, c’est que Windows Defender ATP n’a effectivement pas à rougir de ses performances, comme certains l’assuraient déjà au mois de juin.

La méthodologie retenue par le Mitre est publique. La configuration demandée pour les solutions testées l’est également, et l’on relèvera que l’organisation a exigé que les capacités de remédiation soient désactivées pour pouvoir tester pleinement les fonctionnalités d’alerte, tout au long des attaques, afin d’éviter l’interruption.

Mark Dufresne, vice-président de la recherche et du développement chez Endgame, estime « avoir fait du bon travail », et tout en notant que son équipe n’est pas d'accord avec certains résultats. Mais pour lui, le processus de test et d'évaluation n’en restent pas moins très justes, en partie parce qu’il n’est pas question là de classement ni de scores : « les tests ont été bien organisés, les données recueillies complètes, et la finalisation des résultats équitable et collaborative ». Et d’insister : « ce dernier point est particulièrement digne de mention, étant donné l'énorme quantité de nuances et l'absence inhérente de toute "bonne voie universelle" pour aborder une grande partie de l'ATT&CK ».

Shlomi Salem, responsable du groupe de recherche de SentinelOne, a lui aussi loué la rigueur des évaluations du Mitre : « au total, 20 étapes différentes ont été utilisées pour deux types d'attaque. La capacité de détecter, de corréler automatiquement et de répondre à toutes les étapes de l'attaque dans le contexte d'une seule histoire de menace était cruciale pour les défenseurs ».

Le son de cloche est le même chez CounterTack où Mike Davis, directeur technique, estime que l’approche « est la meilleure que nous ayons vue, dans la mesure où elle est vraiment représentative des modèles d'attaque du monde réel. Le simple fait de comprendre les différents détails d'ATT&CK est un grand pas en avant, qui permet aux professionnels de la cybersécurité d'acquérir les connaissances nécessaires sur les attaques avancées et de longue haleine ».

Amy Blackshaw, directrice du marketing produit chez RSA, s'est également montrée enthousiaste. Pour elle aussi, « l'évaluation du Mitre a été l'une des meilleures auxquelles nous ayons participé. La nature objective de l'évaluation a permis de cartographier les capacités du produit sur des attaques réelles, plutôt que de se contenter de tester si le produit a trouvé l'exécution d'un malware. En s'appuyant sur les capacités et les techniques utilisées dans des campagnes sophistiquées et réelles, Mitre a aidé tous les praticiens de la sécurité à mieux comprendre les points forts des outils testés ».

Scott Taschler, directeur du marketing produit de CrowdStrike, ne s’inscrit pas sur une ligne différente. Pour l’heure, Microsoft et Carbon Black n’ont pas commenté leur participation aux évaluations.

Dans un billet de blog, le Mitre indique ouvrir les candidatures pour la seconde vague d’évaluations, prévue pour 2019. Et l’on espère y trouver au moins Cybereason, Cylance – même si Blackberry vient d’en annoncer le rachat – ou encore FireEye dont la participation était attendue dès la première vague. Le Mitre se dit par ailleurs ouvert aux suggestions d’améliorations, que ce soit pour la méthodologie employée ou pour les résultats publiés.

Avec nos confrères de SearchSecurity.com (groupe TechTarget)