Hadoop pour les analyses massives

Hadoop et les traitements répartis multi noeuds

Principe détaillé de Hadoop

Hadoop, tout comme Map-reduce, est indépendant des machines sur lesquelles il s'exécute. Hadoop fractionne autant le traitement que la répartition des données sur les machines disponibles. Les machines sont similaires et interchangeables. Ainsi, en cas de défaillance, le traitement est immédiatement reporté sur une autre unité du noeud. Il en est de même pour le stockage. Un ensemble de données n'est pas nécessairement stocké sur une machine spécifique.

Hadoop et le traitement parallèle

Le fait de fractionner un ensemble de données sur plusieurs machines permet le traitement en parallèle. Il s'agit d'optimiser au mieux les ressources de stockage et de traitement dans une logique de traitement massif. Pour cela, il faut perdre de vue la notion de machine ou de stockage spécifique et clairement identifié. Hadoop se charge de cet aspect.

Dans le même esprit, voir la virtualisation du stockage et le cloud computing pour l'entreprise. Le programmeur peut alors se consacrer à son algorithme sans se préoccuper des questions de répartition des charges, de défaillance machines et de synchronisation. Hadoop traite les données structurées et non structurées en provenance de sources multiples.

Data warehouse de nouvelle génération

Un driver JDBC assure l'interface avec les SGBD existants.
Amazon EC2, solution de cloud computing est compatible avec Hadoop.
CloudBase, un produit data warehouse Open Source sur Amazon EC2 (dispo sur sourceorge.net) développé par Business.com afin d'analyser les logs du site.
Si IBM est plutôt porté sur cette technologie, Microsoft propose lui une solution concurrente (Madison) et affiche haut et fort qu'il n'a pas besoin de Hadoop. A suivre...

Pig latin

Pig latin est un langage d'interrogation, comme SQL et les logiques relationnelles, adapté aux grandes quantités de données. Pig est un produit Yahoo actuellement dans l"incubateur" Apache en Open Source. Pour la petite histoire, Pig latin désigne un argot anglais où il s'agit d'inverser les syllabes comme pour le louchebem. C'est un peu ainsi que procède ce nouveau langage vis-à-vis de SQL.

Solution complémentaires

• Oozie
  Oozie est une solution de workflow utilisée pour gérer et coordonner les tâches de traitement de données à destination de Hadoop github.com/yahoo/oozie
• Flume
  Flume est une solution de collecte et d'agrégation des données destinées à être stockées et traitées par Apache Hadoop (HDFS Hadoop Distributed File System) www.cloudera.com
• Hbase
  Hbase est un système de bases de données distribuées non relationnelles. hbase.apache.org
• Hive
  Hive query language est un langage d'interrogation proche de SQL (un peu plus proche en tout cas que Pig latin) et adapté à Map Reduce wiki.apache.org/hadoop/Hive

Big Data

• wikipedia us Une bonne introduction au concept "Big data"
• wired.com Un court article sur Wired : Visualizing Big Data: Bar Charts for Words
• The economist Une bonne analyse, simple et accessible aux non spécialistes.

Data visualization

• IBM Many eyes Visualisez vos propres données un projet IBM labs
• IBM Many bills Une visualisation originale des projets de lois en attente au congrès un projet Ibm labs
• Un pdf d'Adam Perer chercheur aux IBM labs "Finding Beautiful Insights in the Chaos of Social Network Visualizations" (en hommage à Mark Lombardi)

Ressources Hadoop

• labs.google.com L'excellent dossier pdf des Google Labs MapReduce: Simplified Data Processing on Large Clusters
• developer.yahoo.com Le blog Yahoo sur Hadoop
• hadoop.apache.org Le site Hadoop chez Apache
• pig.apache.org Le langage Pig latin, manuel de référence
• www.cloudera.com Cloudera, version commerciale de Hadoop avec services et support. Un très bon site, de bonnes explications, tutoriels, formations...
• sortbenchmark.org Benchmark de tri
• cloudbase.sourceforge.net CloudBase

Livre recommandé

Comment utiliser Hadoop pour bâtir des systèmes distribuées afin de procéder à l'analyse de très grandes quantités de données. Tom White est un expert consultant conférencier Hadoop. Il travaille pour Cloudera Entreprise intégrant les projets Hadoop et référencée ci-dessus.

Hadoop The Definitive Guide
Tom White
O'Reilly Media 2nde édition
(Langue anglaise)
3ème édition révisée 2012 - 688 pages
Prix librairie : 39,20 Euros
Dispo chez : www.amazon.fr

1 2

Pour aller plus avant ...

Hadoop le principe Qu'est-ce que Map Reduce, Quel en est le principe ? Bases NoSQL Le Data Warehouse expliqué

Commentaires lecteurs...

Partagez cet article...

---

Copyright : Alain FERNANDEZ ©1998-2010 Tous droits réservés Mentions légales
Toutes les marques citées sur cette page sont des marques déposées de leur propriétaire respectif.

---