Qu'est-ce que Map-reduce ?

Traitement distribué et analyse massive de grandes quantités de données

Définition de Map-reduce

Map-reduce est un modèle de programmation massivement parallèle adapté au traitement de très grandes quantités de données. MapReduce est un produit Google Corp. Les programmes adoptant ce modèle sont automatiquement parallélisés et exécutés sur des clusters (grappes) d'ordinateurs.

Principe de Map-Reduce

Le système de traitement temps réel assure le partitionnement et le plan d'exécution des programmes tout en gérant les inhérentes pannes informatiques et indisponibilités. Ainsi, même les programmeurs inexpérimentés en programmation parallèle et distribuée sont à même d'utiliser ces ressources.
Une application typique MapReduce traite plusieurs tera-octets de données et exploite plusieurs milliers de machines. Map Reduce est écrit en C++.
L'index de Google est généré avec MapReduce.

Pourquoi Map reduce ?

Si le web facilite les échanges commerciaux, il est aussi une mine quasi infinie de renseignements à collecter. La quantité de données disponibles aux fins d'études de clientèle, de marché ou de concurrence dépasse très largement les rêves secrets des marketeurs de la précédente décennie. Encore faut-il disposer des outils de traitement et d'analyse adéquat. C'est là qu'entre en scène la solution de traitement parallèle Map Reduce de Google Corp.

Méga stockage

En parallèle de cette multiplication exponentielle des informations disponibles, le prix des supports de stockage n'a cessé de baisser et la capacité d'augmenter. Les bases de données sont technologiquement prêtes à accueillir cette masse de données. Le tera octet et ses multiples sont la nouvelle unité de mesure. Les principaux fournisseurs de bases de données pour data warehouse sont prêts, notamment avec les solutions de virtualisation du stockage et de Cloud Computing pour l'entreprise.

Loi des grands nombres

1 tera octet représente tout de même 1.000.000.000.000 octets. A 3.000 octets pour une page A4, cela fait pas moins de 340 millions de pages. Même si le multimedia est bien plus gourmand, cela représente quelques dossiers. Je vous laisse imaginer.

Les datawarehouses de 10 ou 100 teraoctets ne sont d'ailleurs plus l'exception. Les sites Internet de renommée mondiale comme Facebook gèrent des bases de l'ordre du Petaoctet (10¹⁵).
Encore faut-il disposer des capacités de traitement pour digérer, stocker, classer, traiter en un temps relativement raisonnable cette avalanche de données.
C'est là qu'intervient le framework "Map-reduce".

Hadoop et Data warehouse de nouvelle génération

Le produit Open Source Hadoop est présenté et expliqué au chapitre suivant : Qu'est-ce que hadoop ?

Ressources

• labs.google.com L'excellent dossier pdf des Google Labs MapReduce: Simplified Data Processing on Large Clusters.
• developer.yahoo.com Le blog Yahoo sur Hadoop
• hadoop.apache.org Le site Hadoop chez Apache
• cloudera.com Cloudera version commerciale de Hadoop avec services et support
• sortbenchmark.org Benchmark de tri

Livre recommandé

Comment utiliser Hadoop pour bâtir des systèmes distribués afin de procéder à l'analyse de très grandes quantité de données. Tom White est un expert consultant conférencier Hadoop. Il travaille pour Cloudera, entreprise intégrant les projets Hadoop et référencée ci-dessus.

Hadoop The Definitive Guide MapReduce for the Cloud Tom White O'Reilly Media 2nde édition (Langue anglaise) Octobre 2010 - 624 pages Prix librairie : 31,89 Euros

Dispo chez : www.amazon.fr

Pour aller plus avant ...

Qu'est-ce que Apache Hadoop ? Le Data Warehouse expliqué CLoud Computing pour l'entreprise Virtualisation

Les bases Nosql EAI La virtualisation du stockage La collecte de données

Partagez cet article...

---

Copyright : Alain FERNANDEZ ©1998-2012 Tous droits réservés Mentions légales
Toutes les marques citées sur cette page sont des marques déposées de leur propriétaire respectif.

---