Data Engineer : pipelines, missions et salaire

Qu'est-ce qu'un Data Engineer ?

Un Data Engineer récupère les données éparpillées dans les outils d'une entreprise, les nettoie et les range dans un entrepôt central. Son travail est réussi quand personne n'y pense : les chiffres sont là chaque matin, justes et à l'heure.

Il écrit du code, comme un développeur. Mais son produit n'est pas une application : c'est un flux de données fiable, testé et surveillé. Ses clients internes sont les analystes, les data scientists, la finance et parfois le produit lui-même.

Data Engineer en français

La traduction officieuse est « ingénieur data » ou « ingénieur de données ». On croise aussi « ingénieur Big Data », un intitulé hérité des années Hadoop, encore fréquent dans les ESN et les grands comptes.

Le Data Platform Engineer est une variante plus orientée infrastructure : il gère les briques partagées, les accès et les coûts cloud. Dans une équipe de moins de dix personnes, c'est souvent le même poste.

Dans quelles entreprises ?

Tous les secteurs recrutent, avec des stacks très différentes. Une scale-up SaaS travaille sur un entrepôt cloud et du code versionné. Une banque garde souvent un ETL graphique historique, avec des projets de migration qui s'étalent sur plusieurs années.

Les ESN et les cabinets de conseil data emploient aussi beaucoup de Data Engineers, placés en mission chez leurs clients. Sur nos recrutements Data Engineer, la demande vient surtout d'entreprises de 50 à 1 000 personnes qui industrialisent leur reporting.

Les missions d'un Data Engineer

Son temps se répartit entre la construction de nouveaux flux, l'entretien de ceux qui existent et le support aux équipes qui consomment les données.

Les pipelines de données expliqués : ETL, ELT, batch et streaming

Un pipeline est une suite d'étapes automatiques qui déplace des données d'une source vers une destination, en les transformant au passage. Le vocabulaire du métier tourne autour de trois lettres : E pour extraire, T pour transformer, L pour charger (load).

Un exemple de bout en bout

Prenons un site de vente de vélos. Le directeur financier veut chaque matin le chiffre d'affaires de la veille, net des remboursements, par pays. Les données vivent dans trois endroits.

• La base de production (PostgreSQL) contient les commandes et les clients.
• Stripe contient les paiements et les remboursements, accessibles par API.
• Google Analytics 4 contient les visites et l'origine du trafic.

Le pipeline copie ces trois sources chaque nuit dans un entrepôt comme BigQuery ou Snowflake. Il rapproche ensuite chaque commande de son paiement, retire les remboursements et convertit les montants en euros. La table finale alimente le tableau de bord à 7 heures.

ETL ou ELT : l'ordre des étapes change tout

Dans l'ETL classique, on transforme les données sur un serveur dédié avant de les charger. C'était la norme quand le stockage coûtait cher : on ne gardait que le résultat propre. Les outils graphiques comme Talend, Informatica ou SSIS reposent sur ce modèle.

Dans l'ELT, on charge d'abord les données brutes dans l'entrepôt, puis on les transforme en SQL directement dedans. Les entrepôts cloud séparent le stockage du calcul, ce qui rend ce choix abordable. Avantage concret : si une règle change, on recalcule l'historique sans retourner chercher les sources.

Batch ou streaming

Le batch traite les données par paquets, à heure fixe : toutes les nuits, toutes les heures. C'est le cas de l'exemple des vélos, et de la grande majorité des besoins de reporting.

Le streaming traite chaque événement dès qu'il arrive, en quelques secondes. On en a besoin pour bloquer une fraude à la carte pendant le paiement, ou pour afficher un stock exact sur le site. Apache Kafka se présente comme une plateforme de streaming d'événements : il transporte ces flux entre les applications.

Le streaming coûte plus cher à construire et à surveiller. En entretien, nous apprécions les candidats qui demandent d'abord quel délai le métier accepte vraiment. Un tableau de bord consulté une fois par jour n'a pas besoin de données à la seconde.

La stack moderne, brique par brique

• Ingestion : Fivetran (commercial) et Airbyte (open source) proposent des connecteurs prêts à l'emploi vers des centaines d'outils. On écrit du Python quand la source est trop spécifique.
• Stockage : Snowflake sépare le stockage et le calcul, avec des « virtual warehouses » indépendants. BigQuery est la plateforme gérée de Google Cloud. Databricks défend le lakehouse, qui marie lac de données et entrepôt.
• Transformation : dbt permet d'écrire chaque transformation comme une requête SQL « select », versionnée dans Git, testée et documentée.
• Orchestration : Apache Airflow, lancé chez Airbnb en 2014, décrit les enchaînements en Python. Dagster et Prefect sont ses alternatives les plus citées en entretien.
• Calcul distribué : Apache Spark, né d'un projet de recherche à Berkeley vers 2009, traite les volumes qu'une seule machine ne peut pas absorber.
• Infrastructure : Terraform décrit les ressources cloud en code, et Docker emballe les traitements pour qu'ils tournent partout de la même façon.

Personne ne maîtrise tout. Nous attendons une brique par famille connue en profondeur, et la capacité d'expliquer pourquoi l'équipe l'a choisie.

Les compétences que nous vérifions en recrutement

Sur le papier, les CV citent tous dbt et Airflow. La différence se fait sur la rigueur d'ingénieur et la capacité à raisonner sur un incident réel.

• SQL avancé : fonctions de fenêtre, jointures sur de gros volumes, lecture d'un plan d'exécution. Nous le testons sur un vrai jeu de données, pas sur un quiz.
• Python de production : code découpé en modules, tests unitaires, gestion des erreurs. Un notebook qui tourne une fois ne prouve rien.
• Modélisation : savoir choisir la granularité d'une table et expliquer une dimension à historique.
• Idempotence : un traitement relancé deux fois ne doit pas doubler les lignes. Les candidats solides en parlent sans qu'on leur pose la question.
• Culture du coût : estimer ce que coûte une requête sur l'entrepôt et savoir la réduire.
• Communication : traduire un besoin flou de la finance en règles de calcul écrites, validées avant de coder.

Salaire d'un Data Engineer en 2026

À Paris, notre baromètre place le Data Engineer confirmé à 46-59 K€ de fixe brut annuel. Le senior monte à 61-77 K€. Type d'entreprise, taille, stack, diplôme et années de production font bouger ces repères.

Paris et régions

En région, comptez un fixe inférieur de 10 à 15 %. À Lyon, l'écart avoisine 10 %. Un contrat 100 % à distance se cale le plus souvent autour de 8 % sous les montants parisiens.

Comment devenir Data Engineer

La majorité des Data Engineers que nous rencontrons ont un bac+5 en informatique. Une part croissante vient du développement backend ou de l'analyse de données.

Les formations

Les écoles d'ingénieurs proposent des options data en dernière année, et les universités des masters en informatique ou en science des données. L'alternance est un vrai accélérateur : un apprenti qui a tenu un pipeline en production pendant deux ans démarre au niveau d'un confirmé débutant.

Les certifications cloud, comme Google Professional Data Engineer, aident à passer un premier filtre. Elles ne remplacent pas un projet concret à montrer.

Les passerelles

Un développeur backend Python a déjà le réflexe des tests et du déploiement. Il lui reste à apprendre la modélisation et l'entrepôt, en quelques mois. La fiche développeur Python décrit ce socle.

Un Data Analyst qui écrit déjà beaucoup de SQL bascule souvent vers l'Analytics Engineering, puis vers le Data Engineering. Un Ingénieur BI issu du décisionnel classique y arrive en ajoutant Python, dbt et un orchestrateur.

La reconversion

Les formations intensives donnent un vocabulaire et un premier projet. Pour décrocher un poste, il faut ensuite montrer un pipeline déployé sur un compte cloud personnel, avec ses tests et sa documentation.

Évolutions de carrière

Vers six ou sept ans d'expérience, quatre directions s'ouvrent : la technique pure, l'encadrement, la plateforme ou le machine learning.

Lead Data Engineer : ce qui change

Le Lead Data Engineer garde les mains dans le code. Il fixe aussi les conventions, relit le travail de deux à cinq personnes et arbitre les choix d'outils. Il devient l'interlocuteur du Head of Data sur la feuille de route.

Ceux qui préfèrent l'infrastructure partent vers le Platform Engineer. Ceux qui aiment la mise en production de modèles rejoignent les équipes de Machine Learning Engineer.

Data Engineer, Analytics Engineer ou Data Scientist : les différences

Le titre d'Analytics Engineer a été popularisé en janvier 2019 par Michael Kaminsky, sur le blog Locally Optimistic. Il décrit un profil hybride, au croisement de l'analyste, du data scientist et du Data Engineer. Sa marque : appliquer les méthodes du génie logiciel au code des analystes.

Tant que l'équipe data compte moins de dix personnes, le Data Engineer assure souvent aussi le rôle d'Analytics Engineer. La séparation apparaît quand les demandes métier saturent l'équipe. Le Data Scientist consomme les tables du Data Engineer pour entraîner ses modèles.

Les outils d'un Data Engineer

SQL et Python restent la base, quelle que soit l'entreprise. Autour, les outils changent selon le cloud choisi et l'histoire du système d'information.

• PythonScripts d'ingestion, transformations custom, glue code entre services.
• dbtModélisation SQL versionnée, tests de données, documentation auto.
• AirflowDAGs de pipelines, scheduling, gestion des dépendances et retries.
• SnowflakeStockage colonnaire, séparation compute et storage, partage de données.
• BigQueryWarehouse serverless GCP, requêtes SQL massives, intégration native GA4.
• KafkaIngestion temps réel, event-driven, découplage producteurs et consommateurs.
• TerraformProvisioning cloud as code, gestion versionnée des ressources data.
• KubernetesOrchestration de containers, scaling des workers Airflow et services data.