Scorecard Data Scientist
Voici comment évaluer un Data Scientist en entretien : les compétences à noter, les questions à poser et les signaux d'alerte. Une grille de base, à ajuster selon votre contexte et vos priorités.
Un exemple à adapter. Cette scorecard est un modèle, pas une grille à appliquer telle quelle. Gardez les critères qui correspondent à votre poste et à votre équipe, ajustez ou retirez les autres. Le bon profil dépend de votre contexte.
Data Scientist
La mission en une phrase
Cadrer le problème avant le modèle
Reformuler une demande floue en question mesurable, choisir la métrique qui compte pour le métier et écarter les approches qui ne servent pas la décision.
Livrer un modèle validé
Construire un modèle dont la performance est mesurée proprement (jeu de test isolé, validation croisée, baseline de référence) et dont les limites sont documentées.
Mettre le modèle au contact du réel
Faire passer un prototype du notebook à un usage exploitable (API, batch ou intégration produit) en collaboration avec l'équipe data engineering ou ML.
Rendre les résultats actionnables
Présenter les conclusions et leur niveau d'incertitude à une audience non technique, et recommander une action concrète plutôt qu'un score brut.
✗ Faible · Applique un algorithme par habitude, confond corrélation et causalité, ne sait pas justifier le choix de sa métrique d'évaluation.
✓ Excellent · Maîtrise les fondamentaux (distributions, biais, surapprentissage, intervalles de confiance), choisit un modèle adapté au problème et sait quand une régression simple suffit.
✗ Faible · Se lance directement sur les données fournies sans questionner l'objectif, construit un modèle qui ne répond pas à la vraie question.
✓ Excellent · Traduit une demande vague en problème data clair, identifie la donnée nécessaire et challenge l'utilité réelle avant de coder.
✗ Faible · Produit du code de notebook impossible à reprendre, copie des bouts de code sans les comprendre, ne versionne pas son travail.
✓ Excellent · Code proprement avec pandas, scikit-learn et les bibliothèques usuelles, écrit du code réutilisable et versionné, sait manipuler de gros volumes sans tout casser.
✗ Faible · Évalue son modèle sur les données d'entraînement, annonce des performances qui s'effondrent en production, ignore la notion de baseline.
✓ Excellent · Met en place des protocoles de test rigoureux (séparation train/test, A/B testing, validation croisée), se méfie des fuites de données et mesure un gain par rapport à une baseline.
✗ Faible · Dépend entièrement d'un tiers pour obtenir des données propres, ne détecte pas une donnée incohérente ou tronquée.
✓ Excellent · Extrait et croise la donnée à la source en SQL, gère les valeurs manquantes et les biais d'échantillonnage, comprend d'où viennent ses données.
✗ Faible · S'arrête au notebook, considère que la mise en production n'est pas son sujet, ne sait pas ce qu'est une dérive de modèle.
✓ Excellent · Sait packager un modèle, exposer une prédiction via une API et dialoguer avec l'équipe ML ou data engineering sur le monitoring et la dérive.
✗ Faible · Veut appliquer un réseau de neurones partout, surdimensionne la solution par rapport au besoin réel.
✓ Excellent · Manipule les frameworks d'apprentissage profond quand le problème le justifie, et sait surtout reconnaître quand une approche plus simple est préférable.
Pédagogie et vulgarisation
✗ Faible · Noie son interlocuteur sous le vocabulaire technique, présente un score sans expliquer ce qu'il implique pour la décision.
✓ Excellent · Explique un résultat et son incertitude à un décideur non technique, adapte son discours et sait dire qu'un modèle ne conclut pas.
Esprit critique
✗ Faible · Prend ses résultats pour acquis, ne vérifie pas la solidité de sa démarche, défend son modèle au lieu de le challenger.
✓ Excellent · Remet en cause ses propres résultats, cherche le biais ou la fuite avant de présenter, doute d'une performance trop belle.
Collaboration transverse
✗ Faible · Travaille en silo, livre un modèle inexploitable par les autres équipes, ignore les contraintes techniques amont et aval.
✓ Excellent · Travaille avec les équipes métier, data engineering et produit, écoute le besoin avant de proposer et accepte les contraintes de mise en production.
Orientation impact
✗ Faible · S'enferme dans l'optimisation technique pour gagner quelques points de métrique sans bénéfice métier réel.
✓ Excellent · Mesure la valeur d'un projet à la décision qu'il permet, sait arrêter une piste sans issue et prioriser ce qui sert le métier.
Compétences techniques
Comment vous assurez vous qu'une performance mesurée en phase de test se maintiendra une fois le modèle en production ?
→ Rigueur de validation, conscience des fuites et de la dérive.
Sur un cas concret, comment décidez vous entre une régression simple et un modèle plus complexe ?
→ Discernement sur la complexité, refus de la surenchère technique.
Réalisations & expérience
Racontez un projet où vous avez transformé une demande métier floue en problème de data science. Comment avez vous cadré la question et choisi la métrique ?
→ Capacité de cadrage et traduction métier vers data.
Mise en situation
Vous obtenez un modèle aux performances excellentes du premier coup. Que faites vous avant de l'annoncer ?
→ Esprit critique, réflexe de chercher le biais ou la fuite.
Un de vos modèles n'a jamais atteint la production. Que s'est il passé et qu'en avez vous retiré ?
→ Conscience de la mise en production et de l'impact réel.
Motivation & fit
Qu'est ce qui vous attire dans la data science par rapport à un rôle d'analyste ou d'ingénieur ML ?
→ Alignement avec le poste, lucidité sur les frontières du métier.
Savoir-être & collaboration
Comment expliqueriez vous à un dirigeant non technique pourquoi votre modèle se trompe parfois ?
→ Pédagogie, communication de l'incertitude.
Évalue ses modèles sur les données d'entraînement
Trahit une lacune méthodologique grave qui produit des performances trompeuses et des modèles qui s'effondrent en production.
Ne questionne jamais l'utilité métier du projet
Un Data Scientist qui code sans cadrer livre des modèles techniquement corrects mais inutiles pour la décision.
Veut appliquer du deep learning à tout
Signe d'un attrait pour la technique au détriment de la simplicité et du coût, souvent au prix de la maintenabilité.
Incapable d'expliquer un résultat sans jargon
Si les conclusions ne sont pas comprises par le métier, le travail d'analyse ne se transforme jamais en décision.
Considère la mise en production comme hors de son périmètre
Un modèle qui reste dans un notebook ne crée aucune valeur, le profil doit au minimum collaborer sur l'industrialisation.
Lecture du score
Notez chaque compétence et savoir-être de 1 à 5. Repère de décision : moyenne supérieure ou égale à 4 sur les must-have et aucun red flag majeur = go ; 3 à 4 avec réserves = à challenger en second tour ; un must-have sous 3 ou un red flag majeur = no-go. Un nice-to-have faible ne doit jamais éliminer un bon profil.
Qu'est-ce qu'une scorecard pour recruter un Data Scientist ?
Une scorecard data scientist est une grille d'évaluation structurée : elle liste les compétences et savoir-être à noter de 1 à 5, les questions d'entretien à poser et les signaux d'alerte. Elle permet de comparer les candidats sur des critères objectifs plutôt que sur une impression. On parle aussi de scorecard scientifique des données, scorecard data scientist senior, scorecard ingénieur data science.
Comment utiliser cette scorecard Data Scientist ?
Téléchargez-la en PDF, Excel ou Notion, notez chaque critère de 1 à 5 pendant l'entretien, puis additionnez les scores du panel pour décider sur des faits. La version Excel calcule la moyenne et la décision automatiquement.
Quelle différence entre un Data Scientist et un Data Analyst ?
Le Data Analyst répond à des questions descriptives sur le passé (ce qui s'est produit, dans quelles proportions) à l'aide de SQL, de tableaux de bord et de statistiques simples. Le Data Scientist construit des modèles prédictifs ou explicatifs, formule des hypothèses, mène des expérimentations et mobilise l'apprentissage automatique. Si votre besoin est de comprendre et de piloter une activité existante, un analyste suffit souvent. Si vous voulez prédire, scorer, recommander ou automatiser une décision, c'est un profil Data Scientist qu'il faut recruter.
Faut il recruter un Data Scientist ou un ML Engineer ?
Le Data Scientist excelle dans la formulation du problème, l'exploration, la modélisation et la communication des résultats. Le ML Engineer se concentre sur l'industrialisation : déploiement à l'échelle, performance, monitoring et fiabilité des modèles en production. Pour vos premiers cas d'usage et tant que vous explorez la valeur de la donnée, un Data Scientist polyvalent couvre l'essentiel. Quand plusieurs modèles tournent en production et que la robustesse devient critique, le ML Engineer prend le relais sur l'industrialisation.