Senior Data Engineer - Delta Lake & dbt (Freelance possible)

Dans le cadre d’un programme de plateforme d’échange de données, vous contribuez à la construction d’une plateforme de données on-premise destinée à un environnement public à fortes exigences en matière de sécurité, de gouvernance et de souveraineté des données.

Vous collaborez avec différents profils techniques, notamment en architecture de données, architecture de solutions et BI, afin de mettre en place des flux fiables et exploitables de bout en bout.

Vos missions principales

Ingestion & pipelines de données

• Concevoir et déployer des pipelines d’ingestion à partir de sources hétérogènes : fichiers, APIs et bases de données relationnelles.
• Mettre en œuvre des flux d’ingestion incrémentale, batch et streaming.
• Garantir la fiabilité, l’idempotence et la traçabilité de chaque pipeline.
• Intervenir sur les problématiques de data acquisition (ETL, ELT, CDC) dans un contexte multi-sources.

Transformation & couche sémantique

• Développer les modèles de transformation sur les couches Bronze, Silver et Gold dans une architecture de type Medallion/Lakehouse.
• Appliquer les bonnes pratiques d’historisation des données, telles que SCD2, upsert et append-only.
• Développer les exports vers Delta Lake et contribuer à la structuration du datalake.

Transactions ACID & gestion des données

• Gérer et maintenir les tables Delta Lake.
• Assurer la cohérence transactionnelle des données dans un environnement multi-domaines.
• Contribuer aux aspects de data architecture liés à la modélisation, à la structuration et à l’exposition des données.

Orchestration & exploitation

• Implémenter et maintenir les assets à orchestrer.
• Superviser les exécutions, traiter les erreurs et automatiser les alertes.
• Travailler avec un orchestrateur de données tel que Dagster, Airflow ou équivalent.
• Évoluer dans un environnement Linux/OpenShift, avec une aisance attendue sur PowerShell dans un environnement de développement Windows.

Gouvernance & lignage

• Alimenter la plateforme en métadonnées techniques et métier.
• Maintenir le lignage de bout en bout.
• Contribuer à la rédaction des DUA, SLA et autres documents de gouvernance.
• Participer aux pratiques de metadata management et utiliser des outils comme DataHub, OpenMetadata ou équivalent.

Exposition & valorisation des données

• Développer des endpoints permettant d’exposer la couche Gold aux tableaux de bord BI.
• Collaborer avec les équipes de reporting pour alimenter les dashboards BI.
• Contribuer à des développements BI et à l’intégration avec des outils tels que Power BI Report Server (PBIRS) ou Apache Superset.

? Votre profile

Compétences techniques requises

• Très bonne maîtrise de Python, y compris Pandas et, selon les besoins, Apache Spark.
• Très bonne maîtrise du SQL.
• Expérience confirmée avec dbt-core : modèles, snapshots, macros, tests et profils.
• Bonne connaissance de DuckDB comme moteur de requête analytique embarqué.
• Expérience avec Delta Lake, notamment sur les transactions ACID, le time travel, OPTIMIZE et VACUUM.
• Connaissance des bases relationnelles telles que MSSQL et PostgreSQL, avec pratique du SQL avancé et du CDC.
• Expérience en data engineering dans un environnement orienté gouvernance et industrialisation.
• Connaissance de la gouvernance de données, du metadata management et des outils associés.
• Expérience avec un orchestrateur de données : Dagster, Airflow ou équivalent.
• Aisance avec Linux/OpenShift et PowerShell.
• Expérience ou bonne compréhension des concepts de datalake, data architecture, DWH et Lakehouse.
• Expérience dans le développement BI.

Compétences appréciées

• Expérience avec Kafka et/ou Debezium pour la capture de données en temps réel.
• Connaissance de Spark, notamment Spark SQL, Thrift Server et Beeline.
• Expérience avec Power BI Report Server (PBIRS) ou Apache Superset.
• Sensibilité forte à la sécurité des données dans des environnements à accès restreint.

Savoir-être

• Rigueur et autonomie dans la gestion de pipelines complexes et multi-domaines.
• Capacité à documenter les choix techniques et à les expliquer à des interlocuteurs non techniques.
• Esprit d’équipe.
• Curiosité et orientation solution.

Compte tenu de la nature des activités, la nationalité belge est requise.

? Offre

Vous ferez partie d'une PME belge en pleine croissance, où l’initiative et le développement personnel sont encouragés. Nous vous offrirons un environnement de travail agréable, entouré(e) de collègues sympathiques. Ensemble, nous élaborerons un plan de carrière, avec une attention particulière et un budget dédié à la formation ou à la certification complémentaire. Vous pouvez compter sur un salaire attractif, complété par des avantages extra-légaux, y compris une voiture de société.

(Freelance est également possible)

Originally posted on Himalayas