Objectif
Maitriser Apache Spark
Prix
2355€/Personne HT
Durée
4 jours
Programme
Functional Programming Principles in Scala
Programming Paradigms
Scala Basics
High order functions in Scala
Anonymous Functions
SBT Build Tool
Introduction to Apache Spark
What is Apache Spark ?
Spark basics architecture
Spark Session
Transformations
Actions
Introduction to Spark UI
Apache Spark Application
Build simple Spark application
Different ways to execute Apache Spark Applications
High Level APIs
Introduction to Structured APIs
DataFrames
Transformations
Aggregations
Schema
Actions
DataSets
DataSets vs DataFrames
DataSets Schema with Case Class
Actions
SQL
Structured APIs Execution
Low Level APIs
RDDs
Creating RDDs
Caching
Controlling partitions
Distributed Shared Variables
Broadcast Variables
Accumulators
Spark Streaming
Stream Processing Fundamentals
Spark Streaming APIs
DStream API
Structured Streaming APIs
Structured Streaming Basics Core Concepts
Streaming in action
Spark in Hadoop Ecosystem
Spark Integration with:
HDFS
Hive
HBase
Spark Production Applications
The life cycle of Spark Application
Spark Job
Spark UI
Spark History Server
Performance tuning
Case Study
Objectifs de la formation Apache Spark
01
Expertise Spark
Apprenez à developper des applications Spark avec les meilleurs experts du marché. Nos formateurs sont tous des experts du secteur et offrent déjà leurs services aux grands acteurs du big data comme Databricks, Cloudera et Hortonworks
02
Quand et pourquoi Spark ?
Savoir quand et pourquoi utiliser Apache Spark. Quels sont les avantages à l’utiliser au détriment d’autres technologies ? A quelles problématiques Spark est-il adapté ?
03
Performances des applications Spark
Les performances sont un enjeu majeur pour les applications de traitement intensives des données. L’un des objectifs de cette formation est de maitriser les éléments clés qui vous permettront d’avoir les meilleurs performances de vos applications SPARK
04
Ecosystème Hadoop
Spark s’intègre avec plusieurs sources de données: HDFS, Hive, HBase, Solr, ElasticSearch…etc. A la fin de cette formation vous saurez intégrer Spark dans votre écosystème Hadoop et répondre à tous vos besoins de traitement de données massives.
05
Spark Streaming
Apprenez à traiter vos données en quasi-temps réel avec Spark Streaming. Vous pouvez traiter vos flux données et vos données statiques dans une seule et même application et les faire interagir de manière ludique et transparente grace à Spark Streaming
06
Les ressources des clusters
Quand il s’agit des ressources partagées, il est important de savoir gérer les resources du cluster entre les différentes applications. A la fin de la formation vous saurez gérer le besoin mémoire et CPU de vos Drivers et Executors Spark.
FAQ
à qui est destinée la formation ?
La formation est destinée aux Data Engineers, Data Analysts et Big Data architectes qui souhaitent découvrir ou approfondir leur connaissances de Apache Spark
où se déroule la formation ?
Nos formations se déroulent soit dans l’un de nos locaux à Paris soit dans les locaux de votre entreprise
Faut il avoir une connaissance de spark ?
Non aucune connaissance de Spark n’est nécessaire. Cependant des notions dans la programmation objet ou fonctionnelle sont appréciables.
Comment s'inscrire à la formation ?
Si vous êtes une entreprise contactez nous par email et nous planifierons avec vous votre formation sous 2H
Voulez-vous former vos collaborateurs avec nous ?
Contactez-nous par email avec le détail de votre besoin, nous planifierons votre formation sous 2h.