Data Engineer

Le Data Engineer est responsable de la conception, de la mise en place et de la maintenance des pipelines de données permettant d’alimenter les initiatives analytiques et d’intelligence artificielle de l’entreprise. Il ou elle joue un rôle central dans la modernisation de la plateforme de données en exploitant Databricks et les environnements Cloud pour garantir la qualité, la fiabilité et la performance des données tout au long de leur cycle de vie.

Responsabilités principales

Concevoir, développer et optimiser des pipelines de données robustes, scalables et sécurisés dans Databricks (PySpark, Delta Lake, SQL).

Intégrer, transformer et charger des données provenant de sources internes et externes vers des environnements cloud (Azure Data Lake, AWS S3, GCP BigQuery).

Collaborer avec les équipes de data science, d’analytique et d’affaires pour comprendre les besoins et livrer des jeux de données fiables et documentés.

Mettre en place des workflows d’automatisation et d’orchestration des tâches (Airflow, Databricks Workflows, Azure Data Factory).

Définir et appliquer les bonnes pratiques de gouvernance des données , incluant la gestion des métadonnées, la traçabilité et la sécurité.

Contribuer à la mise en place de standards MLOps et DataOps , assurant la continuité entre les modèles analytiques et les pipelines de données.

Gérer le monitoring et l’observabilité des flux de données pour prévenir les incidents et améliorer la fiabilité.

Documenter les architectures, les processus et les scripts pour assurer la maintenabilité et le transfert de connaissances.

Participer aux revues d’architecture et à la veille technologique sur les outils de traitement massivement parallèle et les plateformes cloud.

Compétences techniques recherchées

Excellente maîtrise de Databricks (Delta Lake, PySpark, SQL, MLflow, Unity Catalog).

Solides compétences en Python et SQL pour la transformation et l’analyse de données.

Expérience dans un environnement cloud (Azure, AWS ou GCP) incluant les services d’entreposage et d’intégration de données (Azure Data Factory, AWS Glue, GCP Dataflow).

Bonne compréhension des principes de data lakehouse , de modélisation de données (étoile, 3NF, Data Vault) et des architectures modernes (ELT, streaming, batch).

Connaissance pratique des outils d’orchestration (Airflow, Prefect, Databricks Workflows) et de CI / CD (GitHub Actions, Azure DevOps).

Expérience avec la gestion des accès et sécurité des données (RBAC, IAM, encryption).

Maîtrise des pratiques de versionnement, de testing et de déploiement de code.

Connaissance des pratiques de gouvernance et qualité des données (profiling, validation, catalogage).

Profil recherché

Diplôme universitaire en informatique, génie logiciel, génie informatique ou domaine connexe.

Minimum 3 à 6 ans d’expérience en ingénierie de données, incluant au moins un projet sur Databricks.

Expérience dans un contexte d’intégration cloud à grande échelle (entreprise, secteur public, immobilier, etc.).

Esprit analytique, rigueur et capacité à travailler dans un environnement agile.

Excellentes compétences en communication et en travail d’équipe.