La technologie mise en oeuvre pour le Big Data

Soulevons le capot...

... et observons le moteur

Toute la puissance du Big Data repose sur une technologie pour le moins révolutionnaire.

En tout cas, elle l'est pour des vieux spécialistes de l'informatique à papa.

Les traitements massivement parallèles, la gestion en temps réel des pannes systèmes ou la redondance systématique des données (out la normalisation des bddd..), c'est un peu tout cela le Big Data.
Bon pas seulement, après il y a les utilisations et là c'est une autre paire de manches. Mais intéressons déjà aux technos proprement dites.

Technologie du big data

Map Reduce
Au départ, il y eut "Map Reduce", une méthode et une technologie de traitement massivement parallèle issues des laboratoires Google Corp ® avec gestion de la tolérance aux pannes et système de gestion de fichiers spécifiques (Google File System). On parle là de traitement sur des milliers de machines réparties en grappes (clusters).
- À lire ici : Les fondamentaux du Big Data
Hadoop
Ensuite, il y eut "Hadoop", un framework mis au point par la Apache Software Fundation afin de mieux généraliser l'usage du stockage et traitement massivement parallèle de Map Reduce et de Google File System. Bien entendu, Hadoop possède ses limites. Quoi qu'il en soit, c'est une solution de big data très largement utilisée pour effectuer des analyses sur de très grands nombres de données.
- À lire ici : la solution Hadoop de Apache, l'analyse de données massive expliquée
Bases No SQL
Les bases de données relationnelles ont une philosophie d'organisation des données bien spécifiques, avec notamment le langage d'interrogation SQL, le principe d'intégrité des transactions (ACID), et les lois de normalisation. Bien utiles pour gérer les données qualifiées de l'entreprise, elles ne sont pas du tout adaptées au stockage de très grandes dimension et au traitement ultra rapide. Les bases NoSQL autorisent la redondance pour mieux servir les besoins en matière de flexibilité, de tolérance aux pannes et d'évolutivité.
- A lire ici nouvelle génération de système de stockage de données
Stockage "In-Memory"
Pour des analyses encore plus rapide, les traitements directement en mémoire sont une solution. Une technologie bien qu'encore trop coûteuse il est vrai pour être généralisée. Le service est-il à la hauteur de l'investissement ?
- A lire ici : analyse BI en mémoire
Cloud Computing
Le Big Data exige une capacité matérielle hors du commun, que ce soit pour le stockage comme pour les ressources processeurs nécessaires au traitement. Nul besoin de s'équiper outre mesure, le "Cloud" est là pour cela. Encore faut-il avoir bien compris le concept pour différencier, le cloud privé du cloud public, l'interne de l'externe et les hybrides combinant plusieurs types de solutions. Ensuite il est aussi prudent de différencier les niveaux de services de chacune des solutions : IAAS, PAAS, SAAS...
- À lire ici : cloud computing et SI d'entreprise
- Ou encore là : les "Utilities"

L’auteur

Alain Fernandez est un spécialiste de la mesure de la performance, de l’aide à la décision et de la conception de tableaux de bord de pilotage. Au fil de ces vingt dernières années, il a conduit de nombreux projets de réalisation de système décisionnel en France et à l'International. Il est l'auteur de plusieurs livres publiés aux Éditions Eyrolles consacrés à ce thème, vendus à plusieurs dizaines de milliers d'exemplaires et régulièrement réédités.

Me suivre sur LinkedIn

4 Types of Big Data Technologies (+ Management Tools)

Livre de référence du site

Big Data et décisionnel en entreprise

L'ouvrage de référence auprès des dirigeants, managers, consultants, chefs de projets décisionnels, formateurs et enseignants...

Les nouveaux tableaux de bord des managers
Le projet Business Intelligence clés en main
Alain Fernandez
6^ème édition Eyrolles
468 pages

Pour acheter ce livre :

Format ebook : PDF ou ePub, Kindle

Voir la fiche du livre »»»

Piloter l'Entreprise Innovante...

Avez-vous déjà essayé d'instaurer la prise de décision en équipe ? Sans précautions préalables, rapidement, le consensus le plus mou qui soit vient casser les plus pures ambitions. Mais connaissez-vous la méthode SOCRIDE centrée sur les questions incontournables de Confiance et de Reconnaissance ? Rien de plus facile ! Elle est expliquée, illustrée et détaillée dans ce livre :

Les tableaux de bord du manager innovant
Une démarche en 7 étapes pour faciliter la prise de décision en équipe
Alain Fernandez
Éditeur : Eyrolles
Pages : 320 pages