Se rendre au contenu

Data Engineer (Spark, Kafka)

Rabat, Maroc



Mission : 

Alton recherche actuellement pour le compte de son client, le profil suivant :

Data Engineer : 

Profil recherché

Le profil doit justifier de plus de 6 ans d'expérience dans le développement des pipelines de traitement de données, avec une maîtrise solide de Spark et Kafka. Le profil code en Scala et en Python de façon rigoureuse : code testé, documenté, maintenable. Le profil est à l'aise dans un environnement Kubernetes et sait lire et écrire des Helm Charts.

Le profil est autonome, orienté fiabilité et apprécie les environnements où précision technique et enjeux opérationnels se combinent directement.

Missions

Conception et exploitation des pipelines de données : Le profil développe et maintient les jobs. Le profil est responsable de la fiabilité et de la performance de ces pipelines en production.

Intégration des modèles de scoring : En lien étroit avec l'équipe métier, le profil intègre les modèles Khiops/MPI dans les pipelines de traitement : Preprocessing, application des règles métier, construction des tableaux de scores et d'alertes, alimentation et versioning de la base de connaissances, et suivi des performances modèles.

Développement et maintenance du frontend : Le profil maintient et fait évoluer les IHMs de la plateforme ORIONIS.

Infrastructure, déploiements et CI/CD : Le profil participe activement aux déploiements Helm Charts sur Kubernetes, maintient les pipelines CI/CD GitLab et gère les scripts SQL lors des mises en production de nouvelles versions.

Qualité, tests et documentation : Le profil rédige et maintient les tests unitaires et contribue aux tests d'intégration. Le profil documente les décisions d'architecture et produit les schémas techniques.

Stack Technique : 

Streaming & ingestion Spark, Kafka

Stockage S3, MariaDB / MySQL

Orchestration Apache Airflow, Kubernetes, Helm Charts

Langages Scala, Python

CI/CD & DevOps GitLab CI/CD, Docker, docker-compose

ML & scoring Khiops / Kubeflow MPI

Tests Behave, Playwright, tests unitaires

Monitoring Splunk

Front-end RiotJS 3.x, Elm (pattern MVU)


 

 

Détails:


     Contrat : Freelance

     Localisation : Rabat

     Durée :  6 mois   

     Démarrage : ASAP

     Expérience : +06 ans

     Formation : BAC+5