Introduction à l’architecture Big Data
- Définition du Big Data
- Comprendre le volume
- Besoin Big Data
- Introduction à l’architecture Big Data
- Distribution des données
- Rôles d’un projet Big Data
- Atelier pratique
Ecosystème Hadoop
- Technologies et Outils Big Data
- Découvrir l’écosystème Hadoop
- Les distributions Hadoop
- Atelier pratique
Mode de stockage HDFS et Base NoSql
- Comprendre HDFS
- HadoopFS
- Caractéristiques de HDFS
- Les modes de stockage HDFS
- Services HDFS
- Opération HDFS
- Administration d’un cluster HDFS
- Comprendre NoSQL
- Les modes de stockage NoSQL
- Choix du type de la Base de donnée NoSQL
- Atelier pratique
Principes du Traitement MapReduce
- Principes de fonctionnement de MapReduce
- Fonction map()
- Fonction reduce()
- Conception d’un MapReduce
- Atelier pratique
Architecture applicative
- Introduction
- Différentes étapes de gestion des données (Cycle de vie des données dans le Big Data)
- Définition du processus d’ingestion des données
- Outil disponibles sur le marché
- Modèle d’architecture applicative d’une solution Big Data
- Atelier pratique
Architecture technique
- Introduction à l’architecture technique
- Traitement de données
- Qualité des données (Data Quality)
- Architectures réparties (Clustering Hadoop)
- Atelier pratique
Modèles d’Architectures Big Data
- Introduction
- Architecture Datalake
- Architecture Lambda
- Architecture Kappa
- Architecture pour l’internet des objets (IoT)
- Atelier pratique
Critères de choix d’une architecture Big Data
- Introduction
- Critères de choix
- Le type de traitement
- L’utilisateur final des données
- La source des données (où les données sont générées)
- Format du contenu
- Types des données à traiter
- Fréquence et taille des données
- Méthodologie de traitement des données
- Le choix du matériel
- Récapitulatif des critères du choix d’une architecture big data
- Atelier pratique