Sergey Nivens - Fotolia

Le Big Data 5 ans après : phénomène de mode ou réalité ?

Juvenal Chokogoue, auteur de l’ouvrage « Hadoop : devenez opérationnel dans le monde du Big Data », revient sur l’évolution du Big Data, de sa perception par les entreprises en France, et du chemin parcouru en parallèle par Hadoop. Le Big Data a-t-il tenu ses promesses cinq ans après sa formalisation et Hadoop est-il là pour durer ? Juvenal Chokogoue affirme qu’il est devenu un standard

« Pensez-vous qu’Hadoop sera-t-il totalement délaissé dans le futur ? », « Ne pensez-vous pas que Spark remplacera Hadoop à terme ? », « Hadoop sera-t-il un jour dépassé ? »  Telles sont là les questions qui sont de plus en plus posées par les professionnels, qui craignent s’être spécialisés sur la mauvaise technologie, par les journalistes, qui craignent qu’Hadoop ne soit finalement qu’une mode et par conséquent que les projets Big Data restent toujours à l’état de PoC ;

Ces questions sont aussi au cœur des préoccupations des étudiants, qui se demandent si c’est vraiment intéressant de suivre un cursus académique sur le Big Data. En réalité, ces questions cachent quelque chose de plus profond encore : après plus de 5 ans, le phénomène de Big Data n’est-il finalement qu’une mode ?   Tout d’abord, vous devez comprendre ce qu’est véritablement le Big Data. Aujourd’hui, il est perçu aux yeux de tous comme étant l’explosion de données, la taille phénoménale du volume de données produite par les activités du Numérique. La définition bien connue qui lui est donnée c’est celle des 3V, Volume, Vitesse et Vélocité des données. D’ailleurs, cette perception volumique du Big Data est tellement ancrée dans les mœurs que la commission générale de terminologie et de néologie française a décidé qu’on remplacera désormais « Big Data » par « mégadonnées » et y a associé la définition suivante : « données structurées ou non dont le très grand volume requiert des outils d’analyse adaptés ». Malheureusement, concevoir le Big Data sous un aspect purement volumique revient à minimiser le potentiel économique de la donnée pour une entreprise et à limiter sa perception vis-à-vis de la transition numérique qui est en cours. Le Big Data n’est pas avant tout un phénomène de volumétrie de données, c’est un phénomène social. C’est la partie visible de la transition du monde de l’ère industrielle à l’ère Numérique.

Traditionnellement, l’approche technologique de gestion des données consiste à centraliser le stockage et le traitement des données dans un serveur de base de données placé dans une architecture client/serveur.  Malheureusement, aujourd’hui, l’échelle de croissance des données du Big Data surpasse largement la capacité raisonnable des technologies traditionnelles, ou même la configuration matérielle typique supportant les accès à ces données.  La nouvelle approche technologique consiste à distribuer le stockage des données et à paralléliser leur traitement sur les nœuds ou machines d’un cluster. Hadoop est aujourd’hui l’implémentation logicielle la plus mature de cette approche.

De l’ère industrielle à l’ère numérique : quand la technologie définit la demande

Hadoop va devenir la plateforme standard de traitement de données un peu comme Excel l’est devenu depuis les années 90 jusqu’aujourd’hui. Dans l’économie industrielle, l’opportunité était liée à la taille du marché. La demande était relativement stable.  Tout ce qu’il suffisait de faire pour identifier une opportunité consistait à trouver un besoin encore non-satisfait et à estimer si la taille du marché était suffisante pour couvrir les coûts à engager. Dans l’économie Numérique, ce n’est plus nécessairement le cas. La technologie y joue un rôle très important. Elle modifie de façon très profonde le comportement des consommateurs et redéfinit continuellement la demande. Par exemple, lorsque l’automobile a été introduite pour la première fois dans le marché, cela était considéré comme un luxe, mais avec le temps, lorsqu’on a réussi à la produire à grande échelle grâce à des techniques de production de masse, elle est rapidement devenue un bien commode qui a profondément modifié nos conceptions de la mobilité. Elle est aujourd’hui perçue comme une nécessité.   

Pareil, les téléphones il y’a quelques temps encore, ne faisaient pas partie de notre vie. Aujourd’hui, avec l’évolution technologique, ils sont devenus indispensables à la vie moderne. En introduisant sur le marché de nouveaux produits qui deviennent la base d’un nouveau style de vie, la technologie crée des besoins qui n’existaient pas auparavant, ou du moins qui n’étaient pas perçus en tant que tel. Ainsi, c’est dans la technologie que se situe l’opportunité dans l’ère Numérique.  La technologie redéfinit continuellement ce qui constitue un besoin. Il est le principal déterminant de la demande. Ainsi, si vous voulez saisir les opportunités dans le Numérique, vous devez anticiper les technologies qui sont susceptibles d’influencer le niveau de la demande. D’ailleurs, l’histoire de l’humanité n’a-t-elle pas toujours été découpée en fonction de son niveau technologique ? (Age de bronze, Age de fer, Age agraire, Age industrielle…etc.).

Problème, avec la multiplicité des technologies développées chaque année, comment identifier LA technologie qui constitue une opportunité et qui est susceptible de bouleverser le comportement du consommateur ?  Dans l’ère Numérique, une opportunité se détecte en regardant le secteur de l’économie dans lequel la technologie ou les pratiques utilisées ont une efficacité inférieure aux évolutions technologiques du secteur. En d’autres termes, ce qui constitue une opportunité sont les avancées technologiques qui sont prêtes à devenir un standard dans la société. Certains économistes qualifient ce types de technologies de RIT (Ready to be Implemented Technology). Les RIT sont le meilleur procédé qui existe dans un domaine mais qui pour une raison ou une autre ne sont pas encore adoptées. C’est une technologie/pratique plus efficace que la technologie/pratique en vigueur sur le marché, mais qui pour une raison ou une autre n’est pas encore adoptée. Par exemple, les voitures électriques sont meilleures au niveau de l’impact environnemental que les voitures à moteur d’injection de dérivé du pétrole, cependant elles ne sont pas adoptées à large échelle à cause de l’indisponibilité des stations d’électricité par exemple.

Comprendre comment une technologie devient un standard sur le marché

Dans ce cas, comment reconnaît-on qu’une technologie ou une pratique est prête à devenir un standard ? Une technologie est prête à devenir un standard si elle est transparente à l’utilisateur.  Encore une fois, une technologie est prête à devenir un standard si elle est transparente à l’utilisateur ! En d’autres termes, une technologie devient un standard à partir du moment où elle ne demande pas plus de compétences à l’utilisateur que la technologie qu’elle va remplacer. C’est ce principe de transparence à l’utilisateur qui explique la fameuse loi de Metcalfe selon laquelle « la valeur d’une technologie est proportionnelle au carré du nombre de personnes qui l’utilise ».  C’est également ce qui justifie que le succès d’une technologie ne dépende pas des développeurs ou des utilisateurs spécialisés, mais des utilisateurs métiers. En matière de gestion de données, le SQL est aujourd’hui un langage très commode et une compétence possédée par tout analyste métier digne de ce nom.  De plus, la majorité des systèmes opérationnels des entreprises (par exemple Business Objects, Oracle, SAS, Tableau, SAP, Genesys Info Mart, etc.) tourne sur le SQL. Ainsi, une technologie de gestion de données, aussi performante soit-elle, ne deviendra jamais un standard si elle n’est pas complètement intégrée au SQL. En plus d’être mature et stable, Hadoop est l’une des rares plateformes technologiques du Big Data complètement intégrée au SQL et dans quelques années ne requerra pas plus de compétence que le SQL pour être exploitée. C’est pour cela que nous pouvons dire avec assurance qu’Hadoop ne sera pas abandonné dans le futur. Au contraire, sa standardisation ne fait que commencer. Spark a compris ce concept de transparence à l’utilisateur, mais n’est pas encore suffisamment mature pour remplacer Hadoop. Les opportunités d’Hadoop et du Big Data sont bel et bien réelles malgré le tapage médiatique. Donc, Big Data, 5 ans après, phénomène de mode ou réalité ? Nous répondons : réalité !

Consultez l’ouvrage de l’auteur « Hadoop – Devenez opérationnel dans le monde du Big Data »

 

Pour approfondir sur Big Data et Data lake

Close