Devenir data engineer : la carte, par quelqu'un qui fait ce métier

Je viens de la recherche : une thèse en microélectronique, pas une école d'info. En sortant de thèse, je me suis posé une seule question : c'est quoi mes forces ? La data, la science. J'en ai fait un métier.

Premier poste : cloud data engineer dans une ESN, trois ans. Depuis 2021, freelance, sur AWS, pour de grands groupes industriels : des pipelines qui consolident des millions de lignes chaque nuit, des jobs Spark, des orchestrations en Step Functions, des modèles derrière. Aujourd'hui je fais de l'IA générative et de la plateforme sur Google Cloud, à distance. Deux certifications AWS passées à l'époque, expirées depuis.

Ce qui suit, c'est ce que je réponds quand on me demande « comment on fait pour devenir data engineer ». Avec les technos qu'on me demande en mission, pas celles des tutos.

Une entreprise a de la donnée partout : sa base de prod, ses outils, ses fichiers, des API. Le data engineer la déplace, la nettoie, la joint, la met à disposition. Tous les jours, sans que personne n'appuie sur un bouton. Le résultat : un entrepôt propre, où les analystes font leurs tableaux et où les modèles s'entraînent.

Ce qu'on ne voit pas sur le schéma : le job tourne à 2 h du matin, sur une machine que tu as créée avec du code, avec des droits que tu as posés. Et il casse. Un fichier arrive en retard, une colonne change de type, le cluster n'a plus de mémoire. Ton boulot, c'est que ça ne casse pas deux fois.

C'est pour ça que le cloud et le DevOps ne sont pas des options sur cette carte. C'est le métier.

Regarde les offres : un cloud, Spark, Airflow, Terraform, et « deux à trois ans d'expérience ». Pas parce que les recruteurs sont méchants. Parce qu'un data engineer touche à la prod : une erreur dans un pipeline, c'est un tableau faux devant un directeur, ou une facture cloud qui explose. On confie ça à quelqu'un qui a déjà livré du code en prod.

Donc l'ordre, c'est : d'abord savoir coder et déployer un back-end. Ensuite la donnée. Le premier job est souvent ailleurs : développeur back-end, data analyst, DevOps. Trois portes d'entrée, et trois roues de secours. Les compétences de cette carte se vendent aussi sur ces trois postes : si le poste data engineer ne vient pas tout de suite, tu n'as rien perdu.

Le terminal, Linux, Git. Comment une requête HTTP arrive à un serveur et repart avec du JSON. Comment un back-end est fait : des routes, une base, des tests, un déploiement. Docker, assez pour lancer une base en local et emballer un job. Ce n'est pas la data, c'est le socle.

Ce qui a changé par rapport à avant : tu n'as plus besoin d'apprendre les commandes. Claude Code les connaît toutes, il les tape pour toi. Ce dont tu as besoin, c'est de la vision haut niveau : savoir qu'un conteneur, c'est une machine dans une boîte ; qu'un commit, c'est un point de sauvegarde ; qu'une API, c'est une porte avec un contrat. Pas les options de la commande. Le pourquoi et le quoi. Le comment, l'IA l'écrit, et toi tu lis ce qu'elle a écrit et tu vois si c'est faux. Sans la vision, tu ne vois rien.

Deux langages : Python et SQL. Ceux-là, tu les lis et tu les écris tous les jours, même avec l'IA. Java et Scala sont sur les cartes américaines parce que Spark est écrit en Scala et que les grosses boîtes américaines ont des équipes JVM. En France, on te demande PySpark. Le Java attendra que quelqu'un te le demande.

C'est exactement le contenu du plan des 6 premiers mois : le socle dev, avec Claude Code dès le premier jour, jusqu'à un premier projet déployé.

Les formats d'abord. CSV et JSON, c'est ce que tu reçois. Parquet, c'est ce que tu écris : en colonnes, compressé, dix fois plus petit, lu par tous les outils. Iceberg, plus tard, quand tu auras des tables de plusieurs téraoctets.

PostgreSQL à fond : jointures, index, transactions. Et modéliser un schéma : ce qui est une table, ce qui est une colonne, quelle clé. C'est la compétence qu'on teste en entretien et qu'aucun outil ne remplace.

Une seule NoSQL, pour savoir quand ce n'est pas une table qu'il faut : DynamoDB si tu es sur AWS, Firestore sur Google Cloud. Cassandra, HBase : tu ne les croiseras probablement jamais. Pandas ou Polars pour tout ce qui tient en mémoire, c'est-à-dire la plupart des jobs qu'on te demandera au début.

AWS, Google Cloud ou Azure. Un seul, à fond, jusqu'à savoir monter un pipeline dessus les yeux fermés. Les concepts sont les mêmes partout : un stockage objet, des droits, des fonctions, un service pour lancer des jobs, un pour les enchaîner, un pour les logs. Changer de cloud plus tard, c'est apprendre de nouveaux noms, pas un nouveau métier.

Ce que je connais le mieux, c'est AWS : c'est mon terrain depuis 2018 et c'est ce que je détaille sur la carte. Google Cloud est le plus simple pour la data pure (BigQuery se prend en main en une après-midi). Azure, si tu vises les banques, les assurances et les grands groupes qui sont Microsoft partout.

Sur AWS, les services à connaître par cœur : S3 (le stockage), IAM (les droits, la moitié de tes bugs), Lambda (une fonction sans serveur), Glue (les jobs Spark gérés), Athena (du SQL sur S3), Step Functions (l'enchaînement), CloudWatch (les logs). Le reste, tu le découvriras sur le tas.

L'entrepôt, c'est là où la donnée finit propre. Un seul : BigQuery sur Google Cloud, Athena ou Redshift sur AWS, Snowflake si l'entreprise l'a. Le principe est le même partout : du SQL sur des fichiers en colonnes, facturé à ce que tu lis.

Le traitement : tant que ça tient en mémoire, Python. Quand ça ne tient plus, Spark, en Python. C'est la techno de l'offre d'emploi, et c'est celle qu'il faut avoir pratiquée pour de vrai : les partitions, les jointures qui explosent, le job qui prend quarante minutes parce qu'un fichier est mal découpé. dbt, pour écrire tes transformations en SQL avec des tests et de la doc. Kafka, le streaming : plus tard. La plupart des entreprises n'en ont pas besoin, et celles qui en ont besoin ont déjà quelqu'un.

L'orchestrateur, c'est ce qui fait qu'un job devient un pipeline : il lance dans l'ordre, relance quand ça casse, te réveille quand ça recasse. Airflow est le standard partout. Step Functions si tu es sur AWS, sans serveur à gérer. Composer, c'est Airflow géré par Google. Un seul, encore.

Le DevOps, c'est la moitié du métier, et c'est la moitié que les formations data oublient. Docker pour emballer un job. Terraform pour que ton infra soit du code : le bucket, les droits, le job, l'alerte, tout est dans le repo, tout se redéploie. GitHub Actions pour que chaque commit teste et déploie. Les logs et les alertes, parce que la question n'est pas si ça va casser mais quand, et si tu le sauras avant le directeur. IAM et les secrets, parce qu'un pipeline avec des droits admin est une fuite qui attend. Kubernetes : savoir ce que c'est, ne pas l'administrer, ce n'est pas ton métier.

L'IA. Claude Code écrit le job, le Terraform, les tests. Il te fait aller trois fois plus vite sur tout ce qui est écrit. Il ne sait pas que la colonne « montant » est en centimes dans un fichier et en euros dans l'autre. Il ne voit pas la facture cloud. Il ne répond pas au téléphone à 2 h du matin.

Ensuite, l'API d'un LLM devient un outil de la boîte à outils : classer des tickets, extraire des champs d'un PDF, enrichir une table. Les vecteurs et le RAG (mettre de la doc dans une base et la retrouver par sens) sont dans de plus en plus d'offres.

Prends un jeu de données public qui change (data.gouv.fr en a des centaines : qualité de l'air, transactions immobilières, transports). Fais-le passer par toute la carte : un job qui le télécharge chaque jour, le brut sur S3, une transformation en Python ou en Spark, un entrepôt, un tableau de bord dessus. L'infra en Terraform, le déploiement en GitHub Actions, une alerte quand ça casse. Un README qui explique le pourquoi de chaque brique.

C'est ça, le CV. En entretien, tu ne réciteras pas la définition d'Airflow : tu raconteras la nuit où ton job a cassé parce que le fichier avait changé de format, et ce que tu as fait. C'est ce qu'un data engineer senior veut entendre.

Une certification aide un CV de reconverti à passer le filtre RH. Elle ne remplace pas ce projet.