ETL Extract Transform load Collecte des données

Les outils d'ETL Extract Transform Load

Collecte des données décisionnelles

Lors des premiers projets décisionnels, cette phase de collecte et de préparation des données était généralement sous-estimée. C'est peut-être là une des principales explications des échecs de réalisations et des très nombreux dépassements de budget. Retenons que cette phase de collecte et de préparation préalable représente à peu près les 3/4 du projet. Les outils d'ETL - Extract, Transform, Load - ont en charge cette fonction essentielle du système global décisionnel.

ETL Extract Transform Load, Extraire Transformer Charger

Il s'agit en effet de gérer toutes les étapes de la collecte et de la préparation des données.
Les systèmes de gestion des données de l'entreprise sont hétérogènes autant sur le plan technique que sur le plan logique. Les données à collecter sont en effet stockées dans des systèmes de natures différentes, sous des formats différents, selon des structures différentes. Selon l'"histoire" du SI, les systèmes de stockage proviennent d'éditeurs différents. D'autre part, la micro informatique a fait des ravages notamment dans les services financiers et commerciaux. Il faudra alors chercher l'info essentielle dans des bases types Access ® des classeurs Excel ®...

Enfin les données sont aussi hétérogènes sur le plan logique. Pour rapprocher des données, encore faut-il bien comprendre ce que chacune signifie. Le manque de cohérence des données de référence de l'entreprise est un mal connu. Il est d'autant plus fort lors des opérations de concentration, d'absorption et de fusion d'autres acteurs du marché. Le projet de Gestion des données de référence, MDM Master Data Management tente de remédier à cet handicap chronique.

Extract Extraire

Accéder à la majorité des systèmes de stockage de données (SGBD, ERP, fichiers à plat...) afin de récupérer les données identifiées et sélectionnées. Prendre en compte les questions de synchronisation et de périodicité des rafraîchissements.

Transform Transformer

Toutes les données ne sont pas utilisables telles quelles. Elle méritent d'être vérifiées, reformatées, nettoyées afin d'éliminer les valeurs aberrantes et les doublons et consolidées.

Load Charger

Insérer les données dans le Data Warehouse ou le Data Mart. Elles sont ensuite disponibles pour les différents outils d'analyse et de présentation que sont le Data Mining, l'analyse multimensionnelle OLAP, les analyses géographiques, les requêteurs et autres reportings et bien sûr les tableaux de bord .

Recommandations

Pour transformer les données en valeur, il est nécessaire d'investir dans la technologie mais ce n'est pas suffisant. Collecter des données tout azimuts sans une logique préalable, une stratégie spécifique peut s'avérer plus risqué que profitable.

Les problèmes de "silos" et de cloisonnement, les délicates questions de nettoyage et de consolidation, le manque de compétence pour évaluer l'importance de données rebuteront les plus tenaces.
Définir le "pourquoi", pour quels besoins d'analyse, avant le "Comment" permettra de répondre aux questions essentielles comme : Quelle données collecter ? Quelles données archiver ? Quelles données rapprocher ? Quelles données sécuriser ?
Les questions de sécurité et de confidentialité des données, puis de tracabilité, seront posées au plus tôt du lancement du projet.

Quelques fournisseurs

• IBM ® Information Server, InfoSphere ® DataStage ®
• SAS Data Integration Studio
• Oracle Warehouse Builder (OWB)
• Sap BusinessObjects Data Integration

Principaux produits Open Source

• Talend Open Studio
• Pentaho Data Integration (ex Kettle)
• Clover ETL
• Voir ici les outils ETL Open Source

Livre recommandé

Un guide pratique pour aborder la phase essentielle du projet data warehouse. La phase ETL est aussi la plus difficile et la plus consommatrice de temps, elle requiert toutes les énergies disponibles. Ouvrage de référence.

The Data Warehouse ETL Toolkit Practical Techniques for Extracting, Cleaning, Conforming, and Delivering Data Ralph Kimball, Joe Caserta Wiley - (Langue anglaise) 528 pages Prix librairie : 31,38 Euros

Dispo chez : www.amazon.fr

Pour aller plus avant ...

La gouvernance des données Le data warehouse expliqué La modélisation du data warehouse MDM Master Data Management

Hadoop EAI La virtualisation du stockage La collecte de données

Partagez cet article...

---

Copyright : Alain FERNANDEZ ©1998-2012 Tous droits réservés Mentions légales

---