Intégration de données : les limites des ETL à l’ère du Big Data

Classification et cohérence des données

Prenons un exemple. Une grande société en activité peut avoir besoin de plusieurs niveaux de classification des produits et des clients afin de segmenter les campagnes de marketing. Une petite filiale de la même entreprise pourrait le faire avec une simple hiérarchisation des éléments nécessaires. La structure la plus importante classifierait une canette de cola comme une boisson gazeuse faisant partie de la sous-catégorie breuvage, lui-même rattaché à la section vente de boissons et de nourritures. La division, elle pourrait ranger le même produit au sein de la catégorie principale. D’où l’importance de la cohérence dans la nomenclature, tout du moins une compréhension des différences pour bénéficier d’une vue d’ensemble des activités.

Malheureusement, le simple fait de connaître son interlocuteur n’est pas une chose aisée pour les entreprises. Shell Royaume-Uni est une succursale du géant du pétrole Royal Dutch Shell. Des sociétés comme Aera Energy et Bonny Gas Transport sont des entités du même groupe. Par conséquent, les transactions doivent s’inscrire dans une vision globale de Shell, mais l’affiliation n’est pas forcément évidente d’après le nom de la compagnie.

Dès lors, il devient compliqué d’évaluer le volume d’affaires ou la fiabilité d’un partenaire parce que ces informations sont enfouies dans les systèmes.

Améliorer la qualité des données lors de l’intégration

Le fait d’utiliser l’intégration de données permet d’éviter les erreurs, là où un ETL ne fait qu’une partie du travail. Pour un projet sur lequel j’ai travaillé, près de 80 % des dossiers clients apparents étaient des doublons. Cela signifie que l’entreprise ne comptait qu’un cinquième de ses clients avec qui elle travaillait.

Dans le cas des matériaux, les taux de duplication des fichiers maîtres sont de 20 à 30 %, ce qui est la norme. Ces anomalies doivent être éliminées lorsque les données sont agrégées. Alors, la conception d’un catalogue de données peut faciliter la classification. Par ailleurs, des solutions de data preparation, parfois alimentées à l’intelligence artificielle, permettent de filtrer et d’agréger les bonnes informations.

Des volumes toujours plus importants

Toutefois, cette technique n’est pas miraculeuse parce que les grandes sociétés produisent de plus en plus de données non structurées. Et comme elles sont conservées sous différents formats – informations de capteurs, registres Web, enregistrement d’appels, documents, images et vidéos –, les outils ETL peuvent être inefficaces parce qu’ils n’ont pas été conçus en fonction de ces facteurs.

Ces acteurs éprouvent également des difficultés lorsque le volume de données est élevé. Certains projets à l’instar d’Apache Kafka tentent de résoudre ce problème en les diffusant en temps réel. Cela permet de contourner les anciennes limitations. Talend propose notamment la solution Data Streams, basée sur Apache Beam, pour migrer les informations dans le cloud en flux tendus et ainsi réaliser des analyses approfondies.

Par ailleurs, il y a donc de nouvelles variables à prendre en compte pour aller au-delà de l’ETL. Ce marché doit poursuivre son évolution pour accompagner les changements au sein des organisations poussées par la révolution du Big Data.