Qu'est-ce que Hadoop ?
Data warehouse, stockage et traitement distribués
Définition Hadoop
Hadoop est un projet Open Source géré par Apache Software Fundation basé sur le principe Map Reduce et de Google File System, deux produits Google Corp. Le produit est écrit en langage Java. Hadoop peut être considéré comme un système de traitement de données évolutif pour le stockage et le traitement par lot de très grande quantité de données. Il est tout à fait adapté aux stockages de grande taille et aux analyses de type "ad hoc" sur de très grandes quantité de données.
Hadoop et les analyses massives
Le besoin en analyse de grandes masses de données devient toujours plus pressant. Les analyses des données collectées sur le web, les traces laissées par les clients et prospects sont les applications les plus souvent citées. Mais le web n'est pas le seul à générer de grandes masses d'informations.Une gestion de suivi produit moderne, logistique ou tracabilité par exemple, exploitant l'identification généralisée des objets et des parcours de type RFID génère aussi des quantités incommensurables de précieuses données. Les analyses massives autorisent alors des optimisations bien plus fines. Les suivis de trajet GPS que ce soient pour une maîtrise au plus juste des frais des itinérants ou pour un nouveau modèle économique d'assurance auto seront détaillés, recoupés et consolidés à la ligne près, avec ces nouveaux outils.
Benchmark
Pour avoir une meilleure idée de la performance du système et de la révolution à venir : En Mai 2009 chez Yahoo Corp, utilisateur de Hadoop, 1 tera octet (1012 ) de données a été trié en 62 secondes (cf blog développeur yahoo, voir plus bas)...Autre exemple : utilisateur de Hadoop, Facebook ingère 15 terabytes de nouvelles données par jour dans leurs 2,5 petabytes (1015) data warehouse sous Hadoop.
Ressources
- labs.google.com L'excellent dossier pdf des Google Labs MapReduce: Simplified Data Processing on Large Clusters
- developer.yahoo.com Le blog Yahoo sur Hadoop
- hadoop.apache.org Le site Hadoop chez Apache
- pig.apache.org Le langage Pig latin, manuel de référence
- www.cloudera.com Cloudera, version commerciale de Hadoop avec services et support. Un très bon site, de bonnes explications, tutoriels, formations...
- sortbenchmark.org Benchmark de tri
- cloudbase.sourceforge.net CloudBase
Livre recommandé
Comment utiliser Hadoop pour bâtir des systèmes distribuées afin de procéder à l'analyse de très grandes quantités de données. Tom White est un expert consultant conférencier Hadoop. Il travaille pour Cloudera Entreprise intégrant les projets Hadoop et référencée ci-dessus.
 |
Hadoop The Definitive Guide MapReduce for the Cloud
Tom White O'Reilly Media 2nde édition (Langue anglaise) Octobre 2010 - 624 pages Prix librairie : 31,89 Euros | Dispo chez : www.amazon.fr
|
N'oubliez pas de visiter...
La sélection de livres de management de référenceLes ouvrages de management de la performance,
les méthodes, le développement professionnel, DVD cinéma, humour entreprise...
1 2
Pour aller plus avant ...
Partagez cet article...
Recommandez cet article Suivez aussi les news du portail sur Twitter et rejoignez-nous sur Facebook
Pour établir un lien vers cet article depuis votre site recopiez le lien suivant.
La reproduction ou la traduction totale ou partielle de ce texte, images et documents est formellement interdite. Voir ici les conditions pour publier un extrait sur votre site ou blog.
Ce texte et les images et documents qu'il contient est déposé auprès de l'IDDN
Copyright
: Alain FERNANDEZ ©1998-2012 Tous droits réservés Mentions légales
Toutes les marques citées sur cette page sont des marques déposées de leur propriétaire respectif.
| Suivez Piloter.org |
|---|
 S'abonner au flux
 Suivez-le sur Twitter Piloter.org sur Facebook Conseillez les nouveaux tableaux de bord des managers
|
Collection
"Management & Projet"
 
|
Les nouveaux tableaux de bord des managers Piloter le projet décisionnel en totalité Ouvrage de référence, best-seller en catégorie management 5ème édition 2011 |
 
|
Le chef de projet efficace Réussir les projets complexes d'entreprise 12 bonnes pratiques pour une démarche d'entrepreneur, méthode pratique 4ème édition 2011 |
Blog pro
Performance BPM
Tb de bord gestion
Tb de bord Excel
Management de projet
Contrôle de gestion
?
Les 78 fiches de la BI
| Business Intelligence |
|---|
| 1. Business Intelligence |
| 2. Outils de la BI |
| 3. Le projet BI, le livre |
| Les Perspectives, BI 2.0 +/- |
|---|
| 4. Perspectives BI |
| 5. BI état de l'art |
| 6. BI 2.0 |
| 7. BI 2.0 en pratique |
| 8. BI Temps réel |
| 9. La BI de demain |
| 10 La BI mobile |
| Projet BI & Stratégie +/- |
|---|
| 11. BI & stratégie |
| 12. Informatique décisionnelle |
| 13. BI, projet stratégique |
| Outils d'analyse +/- |
|---|
| 33. Outils d'analyse |
| 34. Statistiques |
| 35. Analyse prédictive |
| 36. Arbre de decision |
| 37. Data Mining |
| 38. Text Mining |
| Analyse Olap +/- |
|---|
| 39. Pourquoi Olap ? |
| 40. Qu'est-ce que OLAP ? |
| 41. Modèle de CODD |
| 42. Nouveau modèle |
| 43. Conception Olap |
| 44. ROLAP, MOLAP, HOLAP... |
| 45. Essayez Olap |
| BI Front-end tools +/- |
|---|
| 46. Tableau de bord BI |
| 47. Reporting et Requêteur |
| 48. Reporting financier |
| 49. Tableaux de bord et KM |
| 50. Portail décisionnel |
| Projet décisionnel +/- |
|---|
| 70. Conduire le projet |
| 71. Le projet decisionnel |
| 72. Le système de pilotage |
| 73. Le système decisionnel |
| Les Ressources de la BI +/- |
|---|
| 74. Livres de la Business Intelligence |
| 75. Livres du Data Mining |
| 76. Sites de la Business Intelligence |
| 77. Projet BI en 7 points (ext.) |
| 78. 10 causes d'echec BI (ext.) |
| References du Portail |
|---|
| Glossaire |
| Sites de reference |
| Plan du site 1/2 |
| Plan du site 2/2 |
| Contact |
| A propos... |
| Copyright© |
Toutes les pages de ce site sont sous copyright Alain Fernandez 1998-2012
