alphaspirit - Fotolia

Audits : un socle de confiance fragilisé pour la sécurité des SI des OIV ?

Renaud Lifchitz dénonce de nombreuses irrégularités dans certains oraux des examens de qualification des auditeurs de sécurité des systèmes les plus critiques des OIV. L’occasion de soulever des questions sur un point clé de la cybersécurité des infrastructures vitales.

Renaud Lifchitz est aujourd’hui consultant en sécurité informatique chez Digital.Security. Mais il est peut-être plus connu pour ses travaux sur la sécurité des interfaces sans contact des cartes bancaires. Il a décidé, début novembre, d’amplifier l’écho qu’il avait déjà précédemment tenté de donner à ses mésaventures avec LSTI à l’occasion d’oraux dans le cadre de la recherche de qualification Passi.

Si les incidents remontent à 2015 et 2016, ils ne semblent pas anecdotiques et soulignent des difficultés profondes dans l’organisation d’un processus essentiel au respect de l’esprit de la loi de programmation militaire de 2013, à laquelle on doit la définition des opérateurs d’importance vitale (OIV), ainsi qu’à celui de la directive Nis, à la transcription de laquelle on doit la définition des opérateurs de services essentiels (OSE) : en effet, qu’en est-il de la rigueur de l’effort de sécurisation des systèmes d’information concernés si le processus de qualification des auditeurs est lui-même entaché d’incohérences, sinon d’irrégularités ? C’est tout un système qui perd sa validité et sa crédibilité.

LSTI est un organisme certificateur qui a plus d’une décennie d’existence, et compte parmi les rares centres d’évaluation accrédités par l’Agence nationale pour la sécurité des systèmes d’information (Anssi), et même le seul pour la qualification Passi. Le processus commence par un examen écrit. Armelle Trotin, co-fondatrice et directrice générale de LSTI, explique, dans un entretien téléphonique, que suit un oral, « pour ceux qui ont réussi l’écrit ». Selon elle, l’objectif est là d’affiner, de vérifier si le candidat a les connaissances nécessaires ou non, en se concentrant sur les faiblesses identifiées à l’écrit : il s’agit de savoir si « le candidat n’avait pas la connaissance, s’il n’avait pas compris la question, ou s’il s’y est mal pris dans la réponse ».

En somme, s’il n’y a pas de méthodologie formelle, il y a un fil conducteur : vérifier si ce qui pourrait ressembler à des lacunes dans les résultats de l’écrit en constitue vraiment. Et sur tous les domaines pour lesquels le candidat cherche une qualification – on parle de portées.

Pour mémoire, les qualifications ne sont pas accordées aux candidats, mais à leurs employeurs – en fonction, donc, de leurs candidats. Et ces derniers ne peuvent pas faire passer à un nouvel employeur une qualification obtenue avec un précédent. Toutefois, s’il n’a plus les effectifs nécessaires, un employeur peut perdre des qualifications à l’occasion du départ de collaborateurs.

Des accusations loin d’être anodines

Dans une lettre publique, Renaud Lifchitz dresse un inventaire assez impressionnant de ses déconvenues. Il dénonce ainsi le fait qu’on lui ait posé des questions sur la sécurité des cartes bancaires lors d’un oral de mai 2015… un sujet sans rapport avec les portées visées. En décembre 2016, selon lui, aucune question directe ne lui est posée : l’examinateur principal ne l’interroge que… « sur les questions qu’il est susceptible de me poser ». Et puis cet oral devait aussi toucher la portée de tests d’intrusion. Selon Renaud Lifchitz, le sujet n’a tout simplement pas été abordé. Plus loin, il demande pourquoi il a pu être examiné à l’oral « par des consultants de sociétés concurrentes » : « ce sont mes concurrents qui maintenant décident si j’ai le droit d’exercer ? »

Au-delà, Renaud Lifchitz dénonce ce qui ressemble, selon ce qu’il en décrit, à un processus de gestion des réclamations dysfonctionnel. Mais surtout, pour lui, le problème n’est pas isolé : « une quinzaine de collègues actuels, d’anciens collègues et amis confrères m’ont relaté exactement les mêmes mésaventures ». Certains co-signataires de sa lettre ouverte, anonymes, apparaissent effectivement conforter ces propos.

LSTI a choisi de répondre, initialement dans une lettre publiée sur LinkedIn, où l’organisation affirme les processus et méthode plus qu’elle ne les défend vraiment. Et elle ne s’épargne pas l’accusation de « campagne de dénigrement » à son encontre, de la part de Renaud Lifchitz – lit-on entre les lignes, puisqu’elle se garde de le nommer explicitement.

Des réponses qui laissent des zones d’ombre

L’Anssi est restée à ce jour sourde à notre sollicitation. Du côté de LSTI, Armelle Trotin a en revanche fait preuve de réactivité et de disponibilité. Mais sans pour autant s’avérer en mesure de donner de robustes garanties de fiabilité et de cohérence de ses processus, et en particulier des oraux, d’un candidat à l’autre. Elle n’a d’ailleurs pas manqué de manifester une surprise certaine lorsque nous avons évoqué le sujet : « c’est la question qui vous paraît la plus importante » ? Mais pas pour elle : pour Armelle Trotin, l’accent porte moins sur la cohérence méthodique que sur « l’équité de traitement » des candidats : « c’est à cela que l’on fait le plus attention ». La pertinence de cette approche, compte tenu des objectifs recherchés in fine, reste une question ouverte. Mais elle apparaît peut-être moins du ressort de LSTI que de l’Anssi.

Et cela va plus loin : pour Armelle Trotin, l’approche procède d’une « reconnaissance par les pairs », l’occasion pour elle de justifier du fait que, au sein du jury, « il y a forcément des gens que les candidats ont, ou vont croiser » au cours de leur carrière. Là encore peut se poser la question de la pertinence de l’approche de reconnaissance par les pairs compte tenu de la finalité, mais également de sa compatibilité avec la ligne directrice affichée de l’oral.

Reste que ces explications, livrées au téléphone, n’apparaissent pas parfaitement compatibles avec celles publiées sur LinkedIn : « c’est le cas de la qualification des Passi, pour laquelle les portées d’audit attribuées au prestataire résultent de la somme des compétences des auditeurs employés par le prestataire. Ces compétences sont évaluées lors d’un examen écrit, confirmé par un examen oral mené par un jury d’experts également habilités par l’Anssi », peut-on y lire.

Des contraintes structurelles

Alors certes, dans sa lettre ouverte sur LinkedIn, LSTI évoque un jury « composé d’au moins deux experts dont un agit en président chargé notamment du bon déroulé de l’examen et du respect des procédures. Les prestataires ou les candidats ont toute latitude à faire part à LSTI, ou au jury, d’un potentiel souci d’impartialité avant le commencement de l’épreuve ».

Au téléphone, Armelle Trotin indique que plus de 1200 candidats à la qualification Passi sont passés entre les fourches caudines de LSTI, avec « dans 90 % des cas, un président de jury salarié » de l’organisme. Mais quid de l’éventail de jurés disponible ? « En termes de jury, on n’a pas 50 personnes », lâche d’emblée la patronne de LSTI. Plus précisément, il faut compter sur une dizaine de personnes, adoubées par l’Anssi. Pour Armelle Trotin, ce petit nombre facilite la cohérence de procédure d’un candidat à l’autre. Mais il n’aide pas à réduire le risque de tensions personnelles ou de conflits d’intérêts.

Toujours sur LinkedIn, LSTI évoque les procès-verbaux dont font l’objet les « épreuves orales » : là doit être « détaillé, pour chaque candidat, le résultat de l’épreuve et dans le cas d’un résultat négatif, les raisons pour lesquelles le jury considère que le candidat n’a pas démontré la maîtrise des connaissances nécessaires à la conduite d’un audit dans le contexte de la qualification PASSI ».

Une traçabilité limitée

Armelle Trotin revendique une culture de la traçabilité, mais pas question pour autant d’enregistrer les oraux : « c’est quelque chose que l’on n’a pas souhaité faire ». Et d’estimer que cela « nécessiterait une gestion plus compliquée, avec demande d’autorisation » de toutes les parties concernées.

En l’état, la traçabilité s’appuie donc, sur la bonne foi et la signature du procès-verbal : « quand le candidat signe, c’est qu’il est d’accord ». Mais voilà, Renaud Lifchitz l’assure, ce procès-verbal d’oral, « je n’en avais même pas connaissance ; il m’a été masqué par le jury en fin d’épreuve avec une autre feuille ».

De son côté, LSTI assure conserver le procès-verbal « pour transmission à l’employeur, lequel dispose de la faculté de déposer une plainte dans un délai raisonnable, s’il est convaincu de dysfonctionnement lors de l’épreuve passée par le candidat. Le procès-verbal est transmis à tout candidat qui en fait la demande ». Mais pour Renaud Lifschitz, « mon employeur ne l’a jamais eu non plus ».

Pour Armelle Trotin, l’idée que des procès-verbaux d’oraux soient en définitive signés « en blanc » est irréaliste : « on peut inventer tout et n’importe quoi. Soyons sérieux ; je ne vois pas comment on pourrait faire signer ». Surtout, la directrice générale de LSTI n’y voit pas d’intérêt, n’imaginant pas « à qui cela pourrait profiter ». Du coup, pour elle, « cela ne peut pas exister ».  

Un organisme loin de faire l’unanimité

Sur le terrain – et au-delà des commentaires portés à la lettre ouverte de Renaud Lifchitz –, les interrogations ne manquent pas. Comme d’autres, on évoque, dans une entreprise Passi, un « quasi monopole d’État » : « nous sommes obligés, ou quasiment obligés, de passer par eux, suivant les qualifications », glisse un premier acteur.

Et cela ne va pas sans limiter les capacités de négociation commerciale – ce que d’aucuns ne manquent pas de déplorer. Et cela va plus loin : « de fait, ils ont le pouvoir de faire et défaire des acteurs sur le marché ». Au-delà même des portées : « nous rencontrons des clients qui demandent nos qualifications même lorsqu’elles ne sont pas liées aux prestations demandées. Parce que ça valorise et ça rassure », explique un autre acteur.

La manière, appréhendée comme maladroite par certains, avec laquelle semble gérée la situation de Renaud Lifchitz ne semble tout de même pas surprendre : LSTI « s’est fait champion de l’indépendance. Il n’y a pas de cordialité dans les relations commerciales avec eux ; ils sont incroyablement froids ».

Mais les propos d’Armelle Trotin sur l’implication de ses équipes dans les oraux apparaissent quelque peu mis à mal. « Dans les faits, LSTI, nous les voyons peu. Dans les oraux, ceux que l’on voit, ce ne sont pas gens de LSTI – ça peut être un ancien de l’Anssi en vacation, un autre qui est prof, un consultant à son compte, etc. Pour moi, cette entreprise est un peu un passe-plat administratif, la boîte aux lettres d’un processus défini par l’Anssi », relève-t-on chez l’un des heureux adoubés.

Quant à la question de la cohérence entre jurys, ou de l’impartialité… il y a là pour l’un des risques « inévitables dans la mesure où le pool de jurés n’est pas énorme », quand pour l’autre « c’est une question de personnes ». Suivant les portées, « on peut se retrouver facilement à un second oral avec la même personne qu’au premier ».  

Des perspectives d’amélioration

Un problème structurel, lié à des populations limitées, mais qui n’est pas forcément anodin, et s’ajoute à un autre : « des deux côtés, il y a beaucoup de personnes qui ont l’habitude d’être un peu bichonnées dans leurs structures, reconnues pour leurs compétences. Il n’est pas rare qu’ils se vexent à l’occasion d’un échec – et peuvent se planter à nouveau. Honnêtement, je ne suis pas certain que ce soit la faute du jury ; cela peut aussi être celle du candidat ».

Et cela ne s’arrête pas là : un acteur concerné nous explique ainsi que les exigences ont progressé avec le temps – « ce qui se comprend ; on apprend en avançant ». Mais au bout d’un moment, cela pose la question de la valeur des qualifications suivant leur millésime. Et au final, pour lui, c’est simple : le marché de ceux qui ont obtenu le précieux tampon n’est en définitive pas homogène, loin de là.

Pour autant, l’amélioration n’est pas impossible : « il y a eu de l’amélioration et des progrès, et des deux côtés, avec le temps ». Il peut donc y en avoir encore, par les processus, notamment, compte tenu des contraintes structurelles. Par exemple, LSTI peut apporter des réponses, par anticipation, à ce genre de situation. Cela peut passer par l’enregistrement des oraux, mais également par la numérisation de cette partie de l’examen, avec horodatage de l’oral, des saisies dans le procès-verbal, jusqu’à la signature du candidat. Mais toute amélioration nécessitera la volonté de LSTI… ou celle de l’Anssi.

Pour approfondir sur Cyberdéfense

Close