ETL Extract Transform load Collecte des données

Par

Les outils d'ETL Extract Transform Load

Collecte des données décisionnelles

Lors des premiers projets décisionnels, cette phase de collecte et de préparation des données était généralement sous-estimée. C'est peut-être là une des principales explications des échecs de réalisations et des très nombreux dépassements de budget. Retenons que cette phase de collecte et de préparation préalable représente à peu près les 3/4 du projet. Les outils d'ETL - Extract, Transform, Load - ont en charge cette fonction essentielle du système global décisionnel.

ETL Extract Transform Load, Extraire Transformer Charger

Il s'agit en effet de gérer toutes les étapes de la collecte et de la préparation des données.
Les systèmes de gestion des données de l'entreprise sont hétérogènes autant sur le plan technique que sur le plan logique. Les données à collecter sont en effet stockées dans des systèmes de natures différentes, sous des formats différents, selon des structures différentes. Selon l'"histoire" du SI, les systèmes de stockage proviennent d'éditeurs différents. D'autre part, la micro informatique a fait des ravages notamment dans les services financiers et commerciaux. Il faudra alors chercher l'info essentielle dans des bases types Access ® des classeurs Excel ®...

ETL schéma de principe

Enfin les données sont aussi hétérogènes sur le plan logique. Pour rapprocher des données, encore faut-il bien comprendre ce que chacune signifie. Le manque de cohérence des données de référence de l'entreprise est un mal connu. Il est d'autant plus fort lors des opérations de concentration, d'absorption et de fusion d'autres acteurs du marché. Le projet de Gestion des données de référence, MDM Master Data Management tente de remédier à cet handicap chronique.

Extract Extraire

Accéder à la majorité des systèmes de stockage de données (SGBD, ERP, fichiers à plat...) afin de récupérer les données identifiées et sélectionnées. Prendre en compte les questions de synchronisation et de périodicité des rafraîchissements.

Transform Transformer

Toutes les données ne sont pas utilisables telles quelles. Elle méritent d'être vérifiées, reformatées, nettoyées afin d'éliminer les valeurs aberrantes et les doublons et consolidées.

Load Charger

Insérer les données dans le Data Warehouse ou le Data Mart. Elles sont ensuite disponibles pour les différents outils d'analyse et de présentation que sont le Data Mining, l'analyse multimensionnelle OLAP, les analyses géographiques, les requêteurs et autres reportings et bien sûr les tableaux de bord.

Recommandations

Pour transformer les données en valeur, il est nécessaire d'investir dans la technologie mais ce n'est pas suffisant. Collecter des données tout azimuts sans une logique préalable, une stratégie spécifique peut s'avérer plus risqué que profitable.

Les problèmes de "silos" et de cloisonnement, les délicates questions de nettoyage et de consolidation, le manque de compétence pour évaluer l'importance de données rebuteront les plus tenaces.
Définir le "pourquoi", pour quels besoins d'analyse, avant le "Comment" permettra de répondre aux questions essentielles comme : Quelle données collecter ? Quelles données archiver ? Quelles données rapprocher ? Quelles données sécuriser ?
Les questions de sécurité et de confidentialité des données, puis de tracabilité, seront posées au plus tôt du lancement du projet.

Quelques fournisseurs

  • IBM ® Information Server, InfoSphere ® DataStage ®
  • SAS Data Integration Studio
  • Oracle Warehouse Builder (OWB)
  • Sap BusinessObjects Data Integration

Principaux produits Open Source

Livre recommandé

Un guide pratique pour aborder la phase essentielle du projet data warehouse.
La phase ETL est aussi la plus difficile et la plus consommatrice de temps, elle requiert toutes les énergies disponibles. Ouvrage de référence.

The Data Warehouse ETL Toolkit: Practical Techniques for Extracting, Cleaning, Conforming, and Delivering Data The Data Warehouse ETL Toolkit
Practical Techniques for Extracting, Cleaning, Conforming
and Delivering Data
Ralph Kimball, Joe Caserta
Wiley (Langue anglaise)
528 pages Prix librairie : 31,38 Euros
Dispo : www.amazon.fr


N'oubliez pas de visiter...

Les PDF du management de la performance en entreprise
Une sélection de livres blancs, eBook et dossier PDF gratuits à télécharger...

Pour aller plus avant...

Commentaires lecteurs...

Partagez cet article...

Suivez aussi les news du portail sur Twitter et rejoignez-nous sur Facebook

Pour établir un lien vers cet article depuis votre site recopiez le lien suivant.

La reproduction ou la traduction totale ou partielle de ce texte, images et documents est formellement interdite. Voir ici les conditions pour publier un extrait sur votre site ou blog. Ce texte et les images et documents qu'il contient est déposé auprès de l'IDDN



Copyright : Alain FERNANDEZ ©1998-2013 Tous droits réservés Mentions légales


Accéder à tous les sites du portail : Blog pro -  Business Intelligence -  Tableau de bord -  Excel PME  -  Chef de Projet -  Contrôle de Gestion -  Freelance  

Business Intelligence

Les 80 fiches de la BI

Business Intelligence
Business Intelligence
Formation BI
Outils de la BI
Le projet BI, le livre
Les Perspectives, BI 2.0 +/-
Perspectives BI
BI état de l'art
BI 2.0
BI 2.0 en pratique
BI Temps réel
La BI de demain
La BI mobile
Projet BI & Stratégie +/-
BI & stratégie
Informatique décisionnelle
BI, projet stratégique
BI Front-end tools +/-
Tableau de bord BI
Tableau de bord avec avec Excel
Outils de Reporting
Reporting financier
Tableaux de bord et KM 
Portail décisionnel
Le data warehouse +/-
Data Warehousing
Data Warehouse
Data Mart
Architecture Data Warehouse
Projet Data Warehouse
Modélisation Data Warehouse
ROI du projet
Causes d'échecs
Big Data +/-
Big Data, le dossier
Hadoop
Hadoop calculs massifs
Map Reduce
Les bases No SQL
BDD In Memory
La qualité des données +/-
Gestion qualité des données
Collectez les données ETL
Gouvernance des données
MDM Master Data Management
Projet MDM
ROI du MDM
Meta données
BI et ERP (PGI)
Outils d'analyse +/-
Outils d'analyse
Statistiques
Analyse prédictive
Arbre de decision
Data Mining
Text Mining
Business Intelligence avec Excel
Excel et la BI pour tous
Analyse Olap +/-
Pourquoi Olap ?
Qu'est-ce que OLAP ?
Modèle de CODD
Nouveau modèle
Conception Olap
ROLAP, MOLAP, HOLAP...
Essayez Olap
Les outils décisionnels +/-
Outils decisionnels
IBM
Oracle, Hyperion Solution
Microsoft
SAP Business Objects
SAS institute
Qliktech
Information Builders
Dundas Data Visualization
Corda Technologies
Prophix
Infor
BI Open Source +/-
Le principe de l'Open Source
Projets Open Source
Outils ETL Open Source
outils Reporting Open Source
outils OLAP et Data Warehouse Open Source
outils Data Mining Open Source
synthèse BI Open Source 
Projet décisionnel +/-
Conduire le projet
Le projet decisionnel
Le système de pilotage
Le système decisionnel
Les Ressources de la BI +/-
Livres de la Business Intelligence
Livres du Data Mining
Sites de la Business Intelligence

References du Portail
Glossaire
Sites de reference
Plan du site 1/2
Plan du site 2/2
Contact
A propos...
Copyright©


Toutes les pages de ce site sont sous copyright Alain Fernandez 1998-2013

IDDN Certification




 Dossier BI   Méthode projet   Stratégie   Data Warehouse   Big Data   Qualité des données   Analyse   Front-end  BI Open Source 

Performance de l'entreprise