Stage Data Science & Data Engineer - ML en production et ingestion streaming

Contexte

L’évolution exponentielle des données a bouleversé l’industrie en redéfinissant les méthodes de stockages, de traitement et d’acheminement des données. Maitriser ces méthodes facilite considérablement la prise de décision et crée de nouvelles opportunités entrepreneuriales. L’Internet des objets, ou IoT, connecte des objects vers des environnements de stockages et de traitements massifs via Internet. Le projet consiste à monter une plateforme SaSS de collecte et de traitement en streaming. Selon les compétences et affinités du stagiaire, le sujet sera orienté sur du traitement de flux vidéo ou alors des données temporelles de capteurs.

Objectifs

L’objectif du stage est de comprendre les rôles des différents acteurs d’un projet Data (Data Architect, Data Engineer, Data Analyst, Data Scientist…) et de maîtriser les process DevOps et les impératifs de mise en production et d’exploitation d’un modèle de Machine Learning. Le projet sélectionné permet la manipulation de données en batch et en streaming, d’appliquer des modèles de Data Science et d’acquérir une profonde expérience dans les architectures distribuées.

Technologies à disposition

Un laptop avec les caractéristiques suivantes :

• 32GB RAM
• 1TB SSD
• 8c/16t CPU

Un cluster composé de :

• 3x 28c/56t Intel Xeon Scalable Gold 6132
• 3x 192TB RAM DDR4 ECC 2666MHz
• 3x 14 SSD 480GB SATA Intel S4500 6Gbps

Plateformes, composants, outils

Kafka, Spark, Flink, Kubernetes, Hadoop, NoSQL, HBase, ElasticSearch, Python…

Environnement

Adaltas est une équipe de consultants experts en Open Source, Big Data et systèmes distribués. Nous sommes présents en France, au Canada et au Maroc. Notre expertise Big Data a commencé dès 2009 par l’accompagnement de la société EDF et la collecte des données Linky dit compteurs intelligents. Depuis, Adaltas accompagne les grands groupes français et internationaux dans leur transition numérique et la valorisation de leurs données. Aujourd’hui, Adaltas est le partenaire privilégié de Cloudera et DataBricks, 2 des principaux éditeurs de l’écosystème Big Data.

• Lieu : Boulogne Billancourt, France
• Langues : français ou anglais
• Période : printemps-été 2020

Renseignements

Nous vous invitons a nous contacter si vous êtes intéressé ou si vous souhaitez simplement obtenir plus d’information.