Data Lake : attention aux risques d’indigestion de données

Click Stream, IoT, media sociaux… les sources de données se sont considérablement multipliées ces 10 dernières années. Si la collecte massive de données n’est certes pas forcément nouvelle, il apparait toutefois que celle-ci s’est très étendue et nous pouvons désormais capturer bien plus de données qu’auparavant.

Et cela n’est que le commencement : les entreprises sont désormais à la recherche de données pour améliorer leur prise de décision et surtout l’accélérer. Toutefois, ingérer ces données ne représente qu’une pièce du puzzle, comme une première étape. Ce qu’on oublie souvent : il existe une vraie différence entre donnée et information. La difficulté réside donc dans la façon de générer de l’information utile à partir de ces données entrantes, mais – et c’est là le problème – sans se laisser submerger par le processus d’ingestion de données qui à outrance, pourrait bien déboucher sur une vraie indigestion.

L’intérêt est ici de comprendre un phénomène : comment gérer ce qui important et pour qui cela est important. Une bonne compréhension de ces 2 questions peut justement aider à lutter contre cette indigestion. Ainsi, dans votre stratégie liée à la donnée – et à leur ingestion donc -, placer toutes les données ensemble, puis les diviser en petits clusters n’est pas un pré-requis. La création d’un lac de données (data lake) n’est pas la seule réponse.

Les entrepôts de données ont répondu positivement à ce problème à la fin des années 80. Une unique vue de toutes les informations de l’entreprise ? Parfait, répétaient alors les CxO de l’époque. Mais la complexité qui entourait l’extraction de données de tels systèmes s’est avérée bien plus importante que prévu.

Aujourd’hui encore, les adeptes de la première heure des entrepôts de données en font encore bon usage, supportant également d’autres solutions qui centralisent les données, comme le data lake - qui n’est finalement qu’un Data Store opérationnel. Mais trop souvent, le discours des acteurs du Big Data reste axé sur la centralisation des données, prétextant aller bien au-delà de l’entrepôt de données.

Mais changer le wording ne suffit pas. Surtout, cela minimise la meilleure partie des entrepôts de données : les méta-données.

Jusqu’alors tout le monde connaissait les méta-données, comme étant des données de données. Par exemple, si j’entre le chiffre 9 dans deux champs distincts, le premier peut l’interpréter comme un nombre entier, et le second un chiffre. Les méta-données donnent le contexte pour justement faire la distinction. Elles peuvent également aider les entreprises dans leur environnement Big Data et ainsi « contrôler » cette éventuelle indigestion en revenant à des processus plus efficaces d’ingestion de données.

Prenons l’exemple d’une auto qui transmet des données dans un contexte IoT (Internet of Things). Si on trouve des douzaines de machines dans une auto, il n’existe aucun moyen d’adapter la mécanique et le moteur sans avoir recours à un outil de diagnostic. Les autos transmettent donc les données opérationnelles directement aux constructeurs ; cela leur livre les bonnes informations qui les aident à améliorer les performances et la sécurité du véhicule.

Avec un Data lake, les éditeurs du monde Hadoop vous proposent de tout mettre dans un unique data store puis d’essayer de comprendre ce qui s’y cache. La question : pourquoi donc ?