Dans cette formation vous apprendrez à mettre en place un Data Lake. Il s’agit d’un dépôt de données brutes accessibles en lecture seule qui doit être la source de données de référence utilisée par les autres applications de traitement de données dans un système Big Data. C’est donc un composant fondamental de toute architecture Big Data.
Mise en place d’un Data Lake
2 jours II Code CNCP : 2234 II Certif info : 93835
Les objectifs de la formation Mise en place d'un Data Lake
A l’issue de la formation « Mise en place d’un Data Lake », les apprenants auront les capacités de :
- Concevoir un data lake
- Connaître de plus prêt l’Architecture et les concepts du Data Lake
- Utiliser l’architecture Lambda avec un Data Lake
- Procéder à l’acquisition de données de données par lots avec Apache Sqoop
- Procéder à l’acquisition de données de flux de données à l’aide d’Apache Flume
- Utiliser Apache Kafka dans la couche de messagerie
- Traiter des données à l’aide d’Apache Flink
- Stocker les donnée avec Apache Hadoop (HDFS)
- Indexer les données à l’aide d’Elasticsearch
Les prérequis de la formation Mise en place d'un Data Lake
Les prérequis nécessaires pour la formation MISE EN PLACE D’UN DATA LAKE sont :
- Connaissances en Big Data , de solides connaissances de l’écosystème
- Hadoop ainsi que des connaissances élémentaires en réseaux
Vous n’avez pas les prérequis nécessaires pour la formation Mise en place d’un Data Lake? Contactez-nous pour étudier ensemble un parcours sur mesure et garantir ainsi la réussite de votre projet.
Le public de la formation Mise en place d'un Data Lake
La formation certifiante « Mise en place d’un Data Lake » , s’adresse à tout public salarié, demandeur d’emploi ou en reconversion professionnelle, notamment:
- Directeurs/chefs de projet ou responsable métier
- Responsable système d’informations, Développeurs informatiques
- Consultants en business intelligence
- Ingénieurs d’étude, de recherche et développement
- Architecte système et logiciel, Consultants techniques
- Consultants business
- Statisticiens et Mathématiciens
- Data scientist (analyse de données) ou Data miner (fouilleur des données)
- Tout développeur ou informaticien souhaitant développer des compétences en analyse de données et BIG DATA
0
Certif Info
0
Code CNCP
0
Jours
0
Heures
Contenu de la formation
Mise en place d’un Data Lake
Introduction aux données d’entreprise
- Données d’entreprise
- Importance de la qualité de la donnée
- Données du Big data
- Architectures Big Data
Atelier pratique
Introduction aux Data lake
- Présentation du Data lake
- Pertinence du Data lake dans une entreprise
- Avantage du Data lake
- Fonctionnement d’un Data Lake
- Différence entre le Data Lake et de Data Warehouse
- Défis du du Data lake
- Approches pour créer un Data Lake
- Conclusion
Atelier pratique
Architecture du Data Lake
- Architecture du Data lake
- Concepts clés du Data Lake
- Étapes de maturité du Data Lake
- Meilleures pratiques de l’architecture Data Lake
Atelier pratique
L’architecture Lambda basée sur Data Lake
- Introduction
- Couche d’ingestion de données
- Speed layer – traitement des données en temps quasi réel
- Couche de stockage de données – stocker toutes les données
- Serving layer – livraison et exportation de données
- Acquisition layer – Couche d’acquisition de données
- Messaging Layer – Couche de livraison de données
- Ingestion layer – Couche d’ingestion de données
- Exploration de la couche Lambda
- Magasins de données relationnelles
Atelier pratique
Écosystème Hadoop pour la mise en œuvre d’un Data lake
- Introduction
- Distributions Hadoop
- Facteurs de sélection d’un stack Big Data pour les entreprises
- Écosystème Hadoop pour un Data lake
Acquisition de données de données par lots avec Apache Sqoop
- Introduction
- Contexte dans Data Lake – Acquisition de données
- Fonctionnement de Sqoop
- Importation de données à l’aide de Sqoop
- Exportation de données à l’aide de Sqoop
- Connecteurs Sqoop
Atelier pratique
Acquisition de données de flux de données à l’aide d’Apache Flume
- Introduction
- Contexte dans Data Lake: acquisition de données
- Initiation à la Stream Data (Flux de données)
- Données Batch Vs données stream
- Acquisition de données de flux – cartographie technologique
- Fonctionnement de Flume
- Sqoop Vs Flume
Atelier pratique
Couche de messagerie utilisant Apache Kafka
- Introduction
- Contexte dans Data Lake – couche de messagerie
- Couche de messagerie
- Couche de messagerie – cartographie technologique
- Cycle de vie du flux de données
Atelier pratique
Traitement des données à l’aide d’Apache Flink
- Introduction
- Contexte dans un lac de données – couche d’ingestion de données
- Couche d’ingestion de données
- Data Ingestion Layer – cartographie technologique
- Fonctionnement de Flink
- Architecture Flink
Atelier pratique
Magasin de données à l’aide d’Apache Hadoop
- Introduction
- Contexte pour Data Lake – Stockage de données et lambda Batch Layer
- Stockage de données et Lambda Batch Layer
- Stockage de données et couche Lambda Batch – cartographie technologique
- Fonctionnement de Hadoop
- Architecture Hadoop
Atelier pratique
Magasin de données indexé à l’aide d’Elasticsearch
- Introduction
- Contexte dans Data Lake: stockage de données et lambda Speed layer
- Data Storage et Lambda Speed Layer
- Data Storage et Lambda Speed Layer: cartographie technologique
- Définition d’Elasticsearch
- Fonctionnement d’Elasticsearch
- Principes de l’architecture de base d’Elasticsearch
Atelier pratique
Une attestation d’assiduité sera délivrée après la validation de toutes les compétences du module Mise en place d’un Data Lake.
Modalités De Formations
Mise en place d’un Data Lake
La formation certifiante Mise en place d’un Data Lake est disponible en 3 modalités : E-learning tutoré, Blended Learning et en présentiel.