Mister-Auto porte son Data Warehouse sur Amazon RedShift

RedShift, un « Data warehouse as a Service » adapté aux besoins de Mister-Auto

Ce Data Warehouse, jusqu'alors alimenté via l'ETL de Talend était essentiellement utilisé autour des données financières de l'entreprise au moyen de l'outil Jedox afin d’en analyser la performance.

« Cette architecture présentait l'avantage d'être assez simple à mettre en œuvre, mais tous les services de l'entreprise étaient eux-aussi demandeurs d'analyses et de données pour piloter leur activité. C'est la raison pour laquelle nous avons pris la décision de basculer notre approche sur un environnement plus performant et capable de monter en puissance car nous allons acquérir de plus en plus de source de données externes »

L’équipe Mister-Auto va alors prendre la décision de basculer ce Data warehouse sur Amazon Web Services et plus particulièrement sur l'offre de « Datawarehouse as a service » de l'américain, RedShift.

« L'avantage est le temps de mise en route d’un nœud Redshift, extrêmement rapide. Ceci est lié à la nature SaaS de l’outil. Nous pourrons accroitre le volume de stockage sans difficultés et gérer la montée en charge. Du point de vue configuration et administration du data warehouse, l'utilisation conjointe de Talend et RedShift est très aisée et ne pose aucun problème. L'ensemble des composants et les connecteurs existaient déjà et se sont avérés très rapidement à mettre en œuvre. »

Du côté outils de restitution, la direction informatique de Mister-Auto a fait le choix de la solution Tableau Software, une solution qu’il juge performante pour créer des tableaux de bord dynamiques et qui disposait en outre déjà d'un connecteur vers Amazon RedShift.

Soixante-dix utilisateurs ont été déployés sur Tableau Server dans différents services de Mister-Auto. Deux cent rapports Tableau ont été développés à ce jour, tant pour la direction commerciale - qui suit les principales KPI d’activité de l'entreprise - que pour le pôle trafic qui suit les données Google Analytics directement dans l’outil de BI/Data Viz avec les coûts associés aux campagnes.

Talend, la tour de contrôle de la Data chez Mister-Auto

Le Data Warehouse de Mister-Auto est désormais alimenté par les données issues de diverses sources.

La source principale est la base de données des sites de vente en ligne, mais il est aussi alimenté avec des données de mesure d'audience collectées par Google Analytics.

En outre, le Data Warehouse est connecté à diverses API afin de rapatrier les tarifs des différents fournisseurs de pièces automobiles du site, des données relatives aux véhicules, des fichiers externes relative aux ventes de véhicules pays par pays, etc.

C'est essentiellement le module ETL de la suite Talend Data Integration qui est mis en œuvre par Mister-Auto. Le volet Data Quality est peu sollicité sachant que les données extraites de l'ERP développé en interne sont de bonne qualité et ne nécessitent pas de retraitement avant leur intégration.

« Peut-être un jour aurons-nous besoin de passer en version Big Data ou ESB, mais ce n'est pas le cas pour l'instant » explique Yoann Boulch. « L'ESB nous permettra de passer au temps réel sachant que le rythme d'intégration des données dans le Data Warehouse dépend aujourd'hui du domaine de chaque donnée. Dans certains cas les données sont mises à jour toutes les 10 minutes, notamment pour le suivi des promotions et leur impact en terme de chiffre d'affaires.Lla disponibilité des produits chez nos fournisseurs est aussi mise à jour toutes les 10 minutes. Tandis que les tableaux de bord et le reporting sont réalisés une fois par jour, pendant la nuit, pour une restitution à J+1 ».

Une architecture d’exploitation hybride

Si Mister-Auto exploite plusieurs nœuds d'exécution Talend sur ses serveurs internes, un premier nœud a été déployé sur Amazon Web Service.

« Ce nœud nous permet de récupérer le delta des données de notre production et de pousser les fichiers dans les différentes bases que nous avons créées dans RedShift. Tous les traitements appliqués à ces données sont réalisés sur Amazon Web Services et plus du tout sur nos propres serveurs. Je pense que prochainement nous devrons en mettre plusieurs en production dans AWS afin de pouvoir gérer les différentes fréquences de mise à jour des données. C’est très simple à mettre en œuvre. C’est l’affaire de quelques minutes. Il suffit de cliquer pour créer une instance EC2 pour déployer un nouveau nœud d’exécution et ajouter dans Talend ce nouveau serveur avec une clé Amazon ».

Cette architecture hybride est en production depuis le mois de février 2016.

Parmi les prochaines évolutions envisagées dans cette architecture analytique, Yoann Boulch estime qu'il va falloir multiplier les nœuds d’exécution Talend et aller de plus en plus vers le Big Data et le temps réel, probablement avec l’outil Amazon EMR.

Autre chantier en cours, la mise en place d'un Self-Service BI où les experts métiers pourront réaliser des analyses ad-hoc.