Formation Big Data : Architecture et infrastructure NEW
Objectifs
Cette formation Architecture et infrastructure vous permettra de : Définir et identifier le contexte spécifique des projets Big Data, connaitre le panorama technologique et enjeux socio-économiques, mesurer l'impact des choix technologiques en matière, d'analyse et de visualisation, connaitre la problématique et les enjeux de l'architecture distribuée, intervenir sur la qualité de la donnée en respectant les bonnes pratiques, respecter la propriété de la donnée, connaitre l'environnement juridique du traitement et mettre en œuvre la sécurité des données, mettre en œuvre une architecture et du calcul distribué, consolider ses connaissances à travers un cas d'usage.
Public
Cette formation Architecture et infrastructure est destinée aux Administrateurs système, exploitants,Architectes d'infrastructures Big Data.
Durée
21 heures en présentiel sur 3 jours
Pré-requis
Cette formation Architecture et infrastructure nécessite des connaissances dans l'architecture Linux (navigation et structure) et les fondamentaux de la gouvernance des données.
Formateur
Formateur consultant expert en BIG DATA
Méthode pédagogique
1 poste et 1 support par stagiaire 8 à 10 stagiaires par salle Remise d'une documentation pédagogique papier ou numérique pendant le stage La formation est constituée d'apports théoriques, d'exercices pratiques, de réflexions et de retours d'expérience
Modalité de validation des acquis
Auto-évaluation des acquis par le stagiaire via un questionnaire en ligne Attestation de fin de stage remise au stagiaire
Programme Big Data : Architecture et infrastructure
PANORAMA TECHNOLOGIQUE ET ENJEUX SOCIO-ECONOMIQUES
- Bâtir une vision Data Centric pour l'entreprise
- Etudier l'environnement concurrentiel de l'entreprise
- Comment créer de la valeur ou apporter de la valeur complémentaire aux données
- Comment utiliser les Big Data qui doivent être un levier technologique pour accompagner les enjeux métiers et non l'inverse
- Comprendre les acteurs du Big Data et leur positionnement
- Quelle vision à 3 ans
PROPRIÉTÉ DE LA DONNÉE, ENVIRONNEMENT JURIDIQUE DU TRAITEMENT, SÉCURITÉ
- La nécessité de la gouvernance des données
- Qu'est-ce qu'un CDO
ASPECTS JURIDIQUES ET ETHIQUES : QUELLES DONNEES POUR QUELS USAGES ?
- Données objectives
- Données à caractère personnel
- Quelle gestion des données personnelles ? (donnée se rapportant à une personne physique, qui peut être identifiée quel que soit le moyen utilisé)
- Quels Impact sur la vie privée
- Surveillance et sanction de la CNIL
- Déclaration préalable
- Exemples
- Présentation du socle (la finalité du traitement) et de 4 conditions
- Finalité explicite et légitime
- Loyauté dans la mise en œuvre du traitement
- Données pertinentes
- Durée de conservation non excessive
- Sécurité
IMPACT DES CHOIX TECHNOLOGIQUES EN MATIERE D'INFRASTRUCTURE ET D'ARCHITECTURE BIG DATA
- Les impacts organisationnels
- Comment positionner le Big Data face à l'existant ?
- Quelles sont les possibilités offertes par le Big Data
- Quels sont les contraintes techniques du Big Data ?
- Quelles stratégies de conservation des données (chaudes, froides, "gelées") dans le temps ?
- Exemples de mise en œuvre d'architectures Big Data
- Faut-il partir sur du commodity Hardware ou sur des appliances
QUALITE DES DONNEES DANS LES PROJETS BIG DATA
- Données, information, connaissance
- Le cycle de vie de l'information
- Les données.
- Qu'est-ce que la qualité des données ?
- La fraîcheur
- La disponibilité
- La cohérence
- La traçabilité
- La sécurisation
- L'exhaustivité.
- La démarche qualité dans le Big Data
- Motivation : Les besoins de qualité engendrés par le datalake
- La recherche de plus d'efficacité métier
- Facteurs clés de succès et bonnes pratiques
- Les 7 piliers de la qualité des données
- Les bonnes questions à se poser
- Le pilotage du projet
- La gestion des grands volumes
- Les outils en charge de la gouvernance et du cycle de vie des données des Big Data
VERS DES ARCHITECTURES DISTRIBUEES
- Rappels des principes de base des architectures distribuées
- Le stockage distribué dans HDFS
- La data localité
- YARN, le super-chef d'orchestre des applications distribuées
- Les différents frameworks distribués
- Découvrir Hive, Pig, Spark, R et Python
- Calculs et traitements distribués de la donnée
- Avantages et inconvénients des architectures distribuées
- Les performances liées aux architectures distribuées
ETUDE DE CAS
- Mise en œuvre d'une architecture Big Data, conception d'une application de reconnaissance d'images utilisant des Frameworks distribués (Pyhton, Spark)
PANORAMA TECHNOLOGIQUE ET ENJEUX SOCIO-ECONOMIQUES
- Bâtir une vision Data Centric pour l'entreprise
- Etudier l'environnement concurrentiel de l'entreprise
- Comment créer de la valeur ou apporter de la valeur complémentaire aux données
- Comment utiliser les Big Data qui doivent être un levier technologique pour accompagner les enjeux métiers et non l'inverse
- Comprendre les acteurs du Big Data et leur positionnement
- Quelle vision à 3 ans
PROPRIÉTÉ DE LA DONNÉE, ENVIRONNEMENT JURIDIQUE DU TRAITEMENT, SÉCURITÉ
- La nécessité de la gouvernance des données
- Qu'est-ce qu'un CDO
ASPECTS JURIDIQUES ET ETHIQUES : QUELLES DONNEES POUR QUELS USAGES ?
- Données objectives
- Données à caractère personnel
- Quelle gestion des données personnelles ? (donnée se rapportant à une personne physique, qui peut être identifiée quel que soit le moyen utilisé)
- Quels Impact sur la vie privée
- Surveillance et sanction de la CNIL
- Déclaration préalable
- Exemples
- Présentation du socle (la finalité du traitement) et de 4 conditions
- Finalité explicite et légitime
- Loyauté dans la mise en œuvre du traitement
- Données pertinentes
- Durée de conservation non excessive
- Sécurité
IMPACT DES CHOIX TECHNOLOGIQUES EN MATIERE D'INFRASTRUCTURE ET D'ARCHITECTURE BIG DATA
- Les impacts organisationnels
- Comment positionner le Big Data face à l'existant ?
- Quelles sont les possibilités offertes par le Big Data
- Quels sont les contraintes techniques du Big Data ?
- Quelles stratégies de conservation des données (chaudes, froides, "gelées") dans le temps ?
- Exemples de mise en œuvre d'architectures Big Data
- Faut-il partir sur du commodity Hardware ou sur des appliances
QUALITE DES DONNEES DANS LES PROJETS BIG DATA
- Données, information, connaissance
- Le cycle de vie de l'information
- Les données.
- Qu'est-ce que la qualité des données ?
- La fraîcheur
- La disponibilité
- La cohérence
- La traçabilité
- La sécurisation
- L'exhaustivité.
- La démarche qualité dans le Big Data
- Motivation : Les besoins de qualité engendrés par le datalake
- La recherche de plus d'efficacité métier
- Facteurs clés de succès et bonnes pratiques
- Les 7 piliers de la qualité des données
- Les bonnes questions à se poser
- Le pilotage du projet
- La gestion des grands volumes
- Les outils en charge de la gouvernance et du cycle de vie des données des Big Data
VERS DES ARCHITECTURES DISTRIBUEES
- Rappels des principes de base des architectures distribuées
- Le stockage distribué dans HDFS
- La data localité
- YARN, le super-chef d'orchestre des applications distribuées
- Les différents frameworks distribués
- Découvrir Hive, Pig, Spark, R et Python
- Calculs et traitements distribués de la donnée
- Avantages et inconvénients des architectures distribuées
- Les performances liées aux architectures distribuées
ETUDE DE CAS
- Mise en œuvre d'une architecture Big Data, conception d'une application de reconnaissance d'images utilisant des Frameworks distribués (Pyhton, Spark)
