xiaoliangge - Fotolia

Pare-feu de nouvelle génération : les surprises des tests de NSS Labs

L’édition 2018 du rapport du laboratoire indépendant conforte Forcepoint dans ses positions. Très favorable à Fortinet, Palo Alto Networks, et SonicWall, elle déclasse rudement Check Point, Cisco et Sophos.

[Mise à jour 21/07/2018] Check Point nous a interpelés sur Twitter pour préciser que le rapport de tests rendu public par NSS Labs concerne en réalité une pré-version du firmware R80.20 présentant des instabilités. Dans ses forums, l'équipementier indique que les tests réalisés ensuite avec la version définitive de ce logiciel ont conduit à une note d'efficacité de 100 % dans le blocage des exploits.  

Le laboratoire indépendant NSS Labs vient de rendre publique l’édition 2018 de son rapport de tests de pare-feu de nouvelle génération (NGFW). Et celui-ci rebat sévèrement les cartes.

Dix produits ont été testés : Barracuda Networks CloudGen Firewall F800.CCE v7.2.0 ; Check Point 15600 Next Generation Threat Prevention Appliance vR80.20 ; Cisco Firepower 4120 Security Appliance v6.2.2 ; Forcepoint NGFW 2105 Appliance v6.3.3 build 19153 (Update Package: 1056) ; Fortinet FortiGate 500E V5.6.3GA build 7858 ; Palo Alto Networks PA-5220 PAN-OS 8.1.1 ; SonicWall NSa 2650 SonicOS Enhanced 6.5.0.10-73n ; Sophos XG Firewall 750 SFO v17 MR7 ; Versa Networks FlexVNF 16.1R1-S6 ; et WatchGuard M670 v12.0.1.B562953.

Des leaders déclassés

Forcepoint et Fortinet ressortent grands gagnants de l’exercice, tous deux à plus de 99 % d’efficacité dans le blocage des exploits, et aucune tentative d’évasion réussie. Le second constructeur apparaît légèrement avantagé par un coût total de possession à trois ans par Mbps couvert à moins de 5 $, contre de l’ordre de 7 $ pour le premier.

Palo Alto Network et SonicWall figurent également dans ce club des constructeurs de produits très performants à sensiblement moins de 10 $ par Mbps traité. Barracuda Networks et Versa Network ne s’en tirent pas mal non plus, avec des coûts du même ordre de grandeur, et une efficacité autour de 95 % pour le premier, et de 90 % pour le second.

Mais Watchguard ne fait pas aussi bien, tombant sous la barre des 90 % d’efficacité, et des tentatives d’évasion passées au travers des mailles de ses filets. Le coût tourne toutefois toujours autour de 8 $/Mbps.

Mais Check Point, Cisco et Sophos s’avèrent fortement malmenés. Le premier est positionné comme le moins performant et le plus cher de tout l’échantillon, avec plus de 50 $/Mbps, une efficacité de moins de 30 % dans le blocage des exploits, et des évasions réussies. Côté efficacité, Sophos ne ressort guère en meilleure position, mais pour un coût bien inférieur. Lequel reste toutefois supérieur à 20 $/Mbps. Cisco, enfin, ressort à un peu plus de 70 % d’efficacité contre les exploits, pour environ 28 $/Mbps traité.

Des mouvements pas si exceptionnels

La surprise tient au fait que l’an passé, ces trois équipementiers étaient bien mieux placés. Cisco affichait plus de 95 % d’efficacité pour environ 20 $/Mbps, et aucune évasion réussie. Check Point et Sophos en enregistraient bien quelques-unes, mais pour une efficacité autour de 90 % et un coût inférieur à 19 $/Mbps.

Pour l’heure, aucun de ces trois constructeurs ne redistribue les résultats détaillés des tests auxquels leurs produits ont été soumis par NSS Labs. Il est donc difficile de chercher à justifier ces évolutions.

Mais les mouvements dans la « value map » synthétisant les résultats des tests du laboratoire ne sont pas exceptionnels. L’édition 2017 avait ainsi été particulièrement sévère à l’égard de Barracuda Networks, de Juniper Networks, de SonicWall, ou encore de Palo Alto Networks. Check Point, Fortinet, Sophos et Watchguard avaient également enregistré un déclassement, quoique bien moindre.

Des leaders imparfaits

Mais le classement produit par les résultats des tests n’est peut-être pas ce qui compte le plus. Car NSS Labs ne manque pas de souligner les limites communes à beaucoup de produits – sinon tous – dans son communiqué de presse.

Ainsi, le laboratoire relève qu’aucun des équipements mis à l’épreuve n’a montré une capacité à détecter et prévenir systématiquement les variantes des attaques testées contre eux. Et ce n’est pas tout.

Pour sa campagne de tests 2018, NSS Labs a cherché à vérifier la capacité des équipements à détecter du code malicieux maquillé en JavaScript. Et là, « aucun des produits testé ne décodait correctement le JavaScript », se contentant d’utiliser « des signatures pour détecter les outils de maquillage courants ».

Au final, le laboratoire est sévère : « le maquillage de code réduit l’efficacité moyenne de détection d’activité malicieuse de 34  % au pire, avec certains produits passant à côté de 60 % des attaques cachées avec des outils JavaScript courants ».

Et pour ne rien arranger, NSS Labs relève que du code anodin maquillé avec des outils JavaScript courants « peut aller jusqu’à plus que doubler les taux de faux positifs sur certains produits ».

Des constructeurs écartés

Pour sa campagne de tests 2018, NSS Labs précise en outre avoir écarté les équipements Juniper Network et Huawei, faute d’avoir pu en mesurer l’efficacité et d’avoir pu déterminer s’ils étaient véritablement « appropriés comme produits de pare-feu de nouvelle génération ». Le laboratoire recommande « une évaluation complète » avant tout déploiement.

Ce commentaire pourrait bien tomber à moment particulièrement difficile pour Huawei. Le constructeur est déjà chahuté outre-Atlantique. Surtout, son centre d’évaluation de la cybersécurité (HCSEC) vient de publier un rapport annuel qui n’est pas particulièrement tendre.

Ce rapport conclue ainsi que l’équipementier échoue à respecter les processus de sécurité auxquels il a consenti autour de l’usage de composants tiers : « en particulier, un logiciel de sécurité critique tiers utilisé dans plusieurs produits n’a pas été l’objet d’un contrôle suffisant ».

Un porte-parole de Huawei a assuré à nos confrères de ComputerWeekly que le groupe s’engageait à résoudre ces problèmes : « la cybersécurité reste la première priorité de Huawei, et nous allons continuer à améliorer activement nos processus d’ingénierie et nos systèmes de gestion de risques ».

La réalité des performances

Outre l’évaluation du coût et de l’efficacité des pare-feu de nouvelle génération, les tests de NSS Labs ont aussi le mérite d’apporter un regard extérieur sur la réalité des performances qu’il est possible d’attendre de ces équipements. Et là encore, il peut y avoir des surprises.

NSS Labs réalise les tests de bande passante effective en activant les fonctions de prévention d’intrusion (IPS) sans affiner le moindre réglage, par rapport à ceux recommandés ou configurés par défaut, estimant que « la majorité des entreprises » fait de même.

Ainsi, si Versa Networks revendique 20 Gbps pour son FlexVNF, NSS Labs n’a observé que 3,6 Gbps. Pour son PA-5220, Palo Alto Networks affiche 9 Gbps, mais le laboratoire n’a trouvé que 7,9 Gbps. Les bonnes surprises ont été trouvées chez Forcepoint et Fortinet. Le premier annonce ainsi 7,5 Gbps pour son appliance NGFW 2105, mais NSS Labs a mesuré 7,6 Gbps. Pour le FortiGate 500E de Fortinet, c’est encore mieux : le laboratoire a trouvé 6,7 Gbps contre 5,2 Gbps revendiqués.

Ces chiffres peuvent en fait guider l’acheter potentiel dans la lecture des fiches techniques, en l’aidant à choisir la ligne de celles-ci qui mérite son attention. Chez Forcepoint, c’est ainsi la première, qui indique le NGFW/NGIPS Throughput, tandis que chez Fortinet, il faut chercher IPS Throughput à la rubrique « System Performance – Enterprise Traffic Mix ». Car dans tous les cas, ces chiffres restent considérablement en retrait du débit pare-feu maximal affiché – 22 Gbps pour le FortiGate 500E, 80 Gbps pour le NGFW 2105, ou encore 18 Gbps pour le PA-5220.

Pour approfondir sur Sécurité réseau

- ANNONCES GOOGLE

Close