Mission

Fonctions et responsabilités :

CONTEXTE

Le projet consiste à proposer une solution technique répondant à un cas d’usage métier sur des problématiques Big Data, d’ingestion, de transformation, de modélisation et d’implémentation de données dans le Cloud. Les objectifs de ce stage sont multiples. Il permet à la fois au stagiaire d’appréhender et de se former sur les technologies Big Data et Cloud actuelles du marché, mais aussi de connaitre les enjeux, avantages et limites de ces technologies, avec notamment une ouverture sur les technologies Cloud qui répondent aux problématiques classiques rencontrées sur le Big Data. En plus des aspects techniques, ce stage a pour vocation de former au métier de « consultant », qui nécessite des solides capacités d’adaptation, de rigueur et un fort esprit d’analyse.

DESCRIPTION DU PROJET

Le projet consiste au développement d’une plate-forme Data complète, déployée en Multi-Cloud (AWS, Azure ou GCP). Cette plate-forme Data gère toute la chaîne de valeur de la Data (collecte, intégration, urbanisation, industrialisation et visualisation) en s’appuyant sur les briques techniques Cloud, et sera directement utilisable auprès des clients au vu de sa valeur ajoutée.

MISSIONS DU STAGE

- Analyser et cadrer les besoins du projet
- Élaborer le planning et suivi de l'avancement des travaux
- Rédaction des spécifications fonctionnelles et techniques / supervision des développements / Coordination des livraisons / Pilotage des tests
- Faire les développements et tests unitaires
- Appréhender Linux (CentOS, RedHat …), Cloudera CDH, Hortonworks HDP/HDF, EMR+S3, HD-Insight+DataLakeStore, …
- Comprendre les enjeux et problématiques liés aux flux de données (Batch, Strem, CDC, …)
- Comprendre et utiliser les frameworks Sqoop, Spark, Pig, Kafka, Flume, LogStash, Nifi …
- Rédaction des synthèses et présentation des travaux réalisés

Profil recherché

- Connaissance en Linux, environnement Hadoop, …
- Connaissance de Java, Scala, Python, C++

Informations complémentaires

ENVIRONNEMENT TECHNOLOGIQUE : Linux (CentOS / RedHat, …), Cloudera CDH / Hortonworks HDP/HDF, Spark/Talend/Scala,  Python / Java / R / C-Sharp (à choisir), Apache Kafka, Spark, Nifi, … Cloud AWS, Azure, GCP, Agilité