Hadoop est un Framework libre et open source écrit en Java destiné à faciliter la création d’applications distribuées au niveau du stockage des données et de leur traitement. C’est un outil complet pour gérer et analyser des données. Cette formation va vous permettre d’avoir une vue d’ensemble sur l’écosystème Hadoop et ses principaux composants ainsi que leur fonctionnement.
Apache Hadoop
4 jours II Code CNCP : 2234 II Certif info : 93835
Les objectifs de la formation Apache Hadoop
A l’issue de la formation APACHE HADOOP les apprenants auront les capacités de :
- Connaître toutes les notions liées à Apache Hadoop et de ses principaux composants
- Comprendre l’architecture Hadoop (HDFS et MapReduce)
- Avoir une vue d’ensemble des possibilités de développement offerts par les composants Hadoop.
- Maîtriser l’installation de Hadoo,
- Comprendre le rôle de chacun des composants et leurs interactions
- Connaître HDFS, YARN, MapReduce, Oozie, Flume, Zookeeper, Pig, Hive, HBase
- Comprendre les principes de l’informatique parallèle
- Avoir une vue d’ensemble de la mise en œuvre d’une infrastructure Hadoop et de son administration et exploitation
- Utiliser des outils Big Data supplémentaires (Pig, Hive, HBase, etc.)
Les prérequis de la formation Apache Hadoop
- Les prérequis nécessaires pour la formation APACHE HADOOP sont :
- Posséder des connaissances de base en commandes Unix/Linux.
- Connaissance de Java ou avoir suivi la formation (formation Cegefos : » Java : les fondamentaux » )
- Avoir de bonne connaissance sur Hbase
Vous n’avez pas les prérequis nécessaires pour la formation Apache Hadoop? Contactez-nous pour étudier ensemble un parcours sur mesure et garantir ainsi la réussite de votre projet.
Le public de la formation Apache Hadoop
La formation APACHE HADOOP s’adresse à tout public salarié, demandeur d’emploi ou en reconversion professionnelle, notamment :
- Directeurs/chefs de projet ou responsable métier
- Responsable système d’informations
- Développeurs informatiques
- Consultants en business intelligence
- Ingénieurs d’étude, de recherche et développement
- Architecte système et logiciel
- Consultants techniques
- Consultants business
- Statisticiens et Mathématiciens
- Data Scientist (analyse de données) ou Data miner (fouilleur des données)
- Tout développeur ou informaticien souhaitant développer des compétences en analyse de données et BIG DATA
0
Certif Info
0
Code CNCP
0
Jours
0
Heures
Contenu de la formation
Apache Hadoop
Section 1: Introduction à l’écosystème Hadoop
- Aborder cette formation
- Découvrir NoSQL
- Définir le Big Data
- Comprendre l’histoire d’Hadoop
- Parcourir l’écosystème Hadoop
- Différencier les distributions Hadoop
- Comprendre le NoSQL
- Définition du Big Data
- Architecture de Hadoop
- L’Écosystème de Hadoop
- Rôle des différents composants de l’écosystème Hadoop
- Rôle des collecteurs de données
- Distributions d’Hadoop
Section 2: Installation de l’environnement Hadoop
- Installation de l’environnement Hadoop VM Ubuntu
- Installation de l’environnement Hadoop sur Windows
- Différencier les distributions Hadoop
- Découvrir Cloudera Hadoop
- Démarrer une QuickStart VM
- Travaux pratique: Installation Hadoop
Section 3: HDFS – La couche de stockage
- Comprendre le HDFS
- Découvrir HadoopFS
- Assimiler les principes du HDFS
- Appréhender les services HDFS
- Comprendre les opérations HDFS
- Configuration de HDFS
- Demarrage de HDFS
- Administrer le cluster HDFS
- Découvrir la gestion des services HDFS
- 0Manipuler les fichiers en ligne de commande
- Exécuter des opérations en Java
- Utiliser les InputStream Java
- Accéder à HDFS avec WebHDFS
- Caractéristiques de HDFS
- Architecture de HDFS
- Rôle de HDFS
- Opérations HDFS
- Listing des fichiers dans HDFS
- Insertion des données dans HDFS
- Extraction des données du HDFS
- Arrêt du HDFS
Section 4: Fonctionnement de MapReduce
- Appréhender les principes de base
- Découvrir la fonction map()
- Utiliser la fonction reduce()
- Concevoir un MapReduce
- Développer le mapper
- Développer le reducer
- Créer un jeu de données
- Créer le driver
- Lancer un MapReduce en Java
- Suivre l’évolution du MapReduce
- Développer un MapReduce en PHP
- Lancer des MapReduce avec Hadoop Streaming
- Principes de base de MapReduce
- Architecture MapReduce
- Fonction map()
- Fonction reduce()
- Conception d’un MapReduce
- Développer le mapper
- Développer le reducer
- Création d’un jeu de données
- Création d’un driver
- Lancer un MapReduce en Java
- Suivi de l’évolution du MapReduce
- Développement d’un MapReduce en PHP
- Lancement des MapReduce avec Hadoop Streaming
- TP : Fonctionnement de MapReduce
Section 5: Base de données NoSQL HBase
- Identifier les cas d’utilisation de HBase
- Comprendre le modèle Hbase
- Administrer HBase
- Appréhender les opérations HBase
- Gérer les services avec des interfaces web
- Lancer des commandes HBase dans le terminal
- Filtrer les résultats d’un scan
- Utiliser HBase en Java
- Utiliser HBase dans les MapReduce
- Définition de Hbase
- Hbase avec Hadoop
- Cas d’utilisation de HBase
- Comprendre le modèle Hbase
- Installation de Hbase
- Architecture
- Composants Hbase (Region, Region Server, Region Split)
- Lecture et écriture dans Hbase
- API Shell
- API Java
- TP : Base de données NoSQL HBase
Section 6: Apache Oozie -Ordonnanceur de WorkFlow
- Définition de Oozie
- Caractéristiques Oozie
- Fonctionnement de Oozie
- Actions Oozie
- Oozie Job
- Oozie workflow
- Coordinateur Oozie
- Paramètre Oozie
- Monitoring Oozie
- Packaging et déploiement d’une application de workflow Oozie
Section 7: Collecte de données avec Apache Sqoop
- Introduire scoop anglais
- Importer les données avec scoop
- Définition de Sqoop
- Cible des imports dans le cluster
- Architecture de Sqoop
- Fonctionnement de Sqoop
- Exemple d’import vers HDFS
- Exemples d’import vers Hive
- Exemple d‘exports
Section 8 : travaux pratiques: Développement d’une application Big Data avec Hadoop
- Mission 1: Conception de l’application
- Découper l’application
- Exploiter les données
- Concevoir la base de données HBase
- Parser le fichier d’entrée dans un mapper
- Écrire dans HBase avec un reducer
- Mettre en place des clés composites
- Utiliser les clés composites
- Lancer un modèle MapReduce d’import
Mission 2: Développement des modèles MapReduce
- Lire les données de HBase dans un mapper
- Agréger les données dans un reducer
- Suivre les modèles MapReduce
- Déboguer les modèles MapReduce
- Explorer les sources d’Hadoop
- Réaliser des jointures de données
- Résoudre le problème du secondary sort
- Optimiser ses modèles MapReduce
Mission 3: Développement des modèles MapReduce
- Mettre en place un workflow Oozie
- Lancer un workflow Oozie
- Filtrer les données de HBase
- Exporter dans MySQL grâce à Sqoop
- Lancer son workflow avec l’API HTTP REST
- Coupler l’application avec une interface web
Une attestation d’assiduité sera délivrée après la validation de toutes les compétences du module Apache Hadoop.
Modalités De Formations
APACHE HADOOP
La formation certifiante Apache Hadoop est disponible en 3 modalités : E-learning tutoré, Blended Learning et en présentiel.