Data engineer

Description du poste Vous concevez, développez et industrialisez des pipelines de données permettant de collecter, transformer et mettre à disposition des données fiables pour les besoins métiers et analytiques de nos clients. Vous intervenez sur des projets Data Engineering variés, de l’intégration des sources à la mise en production, en veillant à la qualité, à la performance et à la maintenabilité des traitements. Vous contribuez aux choix techniques, à l’amélioration des architectures Data et à l’application des bonnes pratiques de développement. Poste bilingue FR/EN. Responsabilités Développement & intégration des données Concevoir et développer des pipelines d’intégration ETL/ELT à partir de sources variées. Collecter et intégrer des données issues de bases relationnelles, fichiers, API et applications métiers. Développer des traitements batch et, selon les besoins, des flux de données en streaming. Mettre en œuvre les transformations nécessaires pour répondre aux besoins métiers et analytiques. Industrialisation & orchestration Développer, orchestrer et planifier les traitements de données. Mettre en place la gestion des erreurs, des reprises sur incident et des mécanismes de journalisation. Participer à la mise en production et au suivi des pipelines. Automatiser les tâches récurrentes et fiabiliser les chaînes de traitement. Modélisation & stockage des données Concevoir et alimenter des modèles de données adaptés aux usages analytiques. Structurer les données dans des environnements Data Warehouse, Data Lake ou Lakehouse. Appliquer les principes de modélisation dimensionnelle et les bonnes pratiques de structuration des données. Contribuer à l’optimisation des modèles et des requêtes SQL. Qualité & fiabilité des données Mettre en place des contrôles de qualité, de cohérence et de complétude des données. Identifier et corriger les anomalies dans les traitements et les jeux de données. Documenter les règles de gestion, les transformations et les flux de données. Participer à l’amélioration de la traçabilité et de la gouvernance des données. Performance & bonnes pratiques Optimiser les traitements SQL, Python et Spark selon les besoins. Appliquer les bonnes pratiques de développement, de versionnement et de revue de code. Contribuer à l’automatisation des tests et au déploiement des traitements. Participer aux choix techniques et proposer des améliorations sur les architectures existantes. Conseil & collaboration Analyser les besoins des clients avec les équipes métiers, BI et techniques. Collaborer avec les Data Architects, Data Analysts et autres Data Engineers. Participer aux phases de cadrage, aux estimations et à la documentation technique. Contribuer aux revues techniques, au partage de connaissances et à la veille technologique. Compétences techniques requises Connaissance de la modélisation de données, notamment dimensionnelle. Expérience avec des outils d’orchestration et de planification des traitements. Maîtrise de Git et des bonnes pratiques de développement. Capacité à diagnostiquer des erreurs et à optimiser les performances. Connaissance d’au moins un environnement Cloud : Azure, AWS ou GCP. SQL avancé et maîtrise des bases de données relationnelles. Python pour le développement de traitements et l’automatisation. Expérience dans la conception et le développement de pipelines ETL/ELT. Maîtrise des concepts Data Warehouse, Data Lake et Lakehouse. Formation Concevoir et animer des formations sur les techniques et bonnes pratiques de Data engineering Produire les supports nécessaires à l’appropriation des solutions Évaluer le niveau d’autonomie atteint et définir les actions complémentaires nécessaires. Bon à avoir Microsoft Fabric, Azure Data Factory ou Azure Databricks. Snowflake, Databricks ou une autre plateforme Data Cloud. Apache Spark et PySpark. dbt et outils de transformation SQL. Airflow ou Dagster pour l’orchestration. Kafka ou technologies de streaming. Docker et environnements conteneurisés. CI/CD, tests automatisés et pratiques DataOps. Outils de monitoring, observabilité et qualité des données. Power BI ou connaissance des usages BI. Expérience en cabinet de conseil ou dans des environnements multi-clients. Profil Bac+5 en informatique, data, ingénierie ou domaine équivalent. 3+ ans d’expérience en Data Engineering ou dans un poste similaire. Expérience concrète dans le développement et la mise en production de pipelines de données. Capacité à travailler de manière autonome sur des sujets techniques et à proposer des solutions adaptées. Rigueur dans la conception, le développement, les tests et la documentation. Bonnes capacités d’analyse, de résolution de problèmes et de communication. Aisance dans les échanges avec des interlocuteurs techniques et métiers. Français courant et anglais professionnel.