ML Engineering vs ML Research : Rapprocher Deux Mondes
#machine-learning#mlops#engineering#organization
Les organisations de machine learning confondent souvent deux rôles fondamentalement différents : le chercheur ML qui repousse les limites du possible, et l'ingénieur ML qui rend les modèles fiables, scalables et prets pour la production. Mal comprendre la distinction mene a des recrutements desalignes, des équipes frustrees et des modèles qui ne sont jamais déployés.
Matrice de Comparaison des Rôles
| Dimension | Chercheur ML | Ingenieur ML | Data Scientist |
|---|---|---|---|
| Objectif principal | Ameliorer la performance du modèle | Livrer des systèmes ML fiables | Générer des insights business |
| Métrique de succes | SOTA sur benchmarks, publications | Uptime modèle, latence p99 | Impact revenu, qualité des decisions |
| Horizon temporel | Semaines a mois par expérience | Heures a jours par déploiement | Jours a semaines par analyse |
| Qualité du code | Niveau notebook, exploratoire | Production, testé, révisé | Analytique, reproductible |
| Competence cle | Theorie statistique, lecture articles | Conception systèmes, calcul distribué | Expertise domaine, communication |
| Background typique | Doctorat, laboratoire de recherche | Ingénierie logicielle + ML | Statistiques, expertise domaine |
Comparaison des Workflows
tadata
tadata
- 1. Ingest
- 2. Validate data
- 3. Build features
- 4. Train
- 5. Evaluate
- 6. Gate
- 7. Register
- 8. Deploy
- Ingest
- pull a snapshot of the source data for the run's time window
- Validate data
- schema, nulls, ranges, distribution vs reference (Great Expectations, pandera, TFDV)
- Build features
- same code as serving, or via the feature store (sheet 06)
- Train
- with logged parameters and seed (sheet 02)
- Evaluate
- test set, slices, fairness, latency on target hardware
- Gate
- beat thresholds and the current champion, else stop
- Register
- new version with lineage and model card
- Deploy
- shadow or canary via CD (sheet 04)
Extrait de la fiche « ML Pipelines and Orchestration » · Demander la fiche complète
Paysage d'Outils par Role
| Categorie | Chercheur ML | Ingenieur ML | Partage |
|---|---|---|---|
| Calcul | Clusters GPU, Jupyter | Kubernetes, inférence serverless | Cloud provider |
| Suivi expériences | W&B, MLflow (logging) | MLflow (registre, déploiement) | MLflow, W&B |
| Entraînement | PyTorch, JAX, boucles custom | Pipelines (Kubeflow, SageMaker) | Agnostique |
| Serving | Flask/FastAPI (prototype) | Triton, TF Serving, Seldon | Contrat API |
| Monitoring | TensorBoard, notebooks eval | Prometheus, Grafana, Evidently | Dashboards partagés |
Options de Modèle Organisationnel
| Modèle | Structure | Avantages | Inconvenients | Ideal Pour |
|---|---|---|---|---|
| Équipe ML centralisee | Une équipe fait recherché + engineering | Contexte complet, boucle serrée | Goulet, deséquilibre competences | Petites orgs (< 20 personnes ML) |
| Recherche et engineering séparés | Deux équipes distinctes | Specialisation profonde | Friction de passage, objectifs desalignes | Grandes orgs avec mandat recherché |
| Engineers intégrés | Ingenieurs ML dans les équipes produit | Proche du produit, iteration rapide | Isolation, pratiqués inconsistantes | ML orienté produit |
| Plateforme + consommateurs | Équipe plateforme ML sert recherché et produit | Infra reutilisable | Équipe plateforme devient goulet | Orgs avec nombreux cas d'usage ML |
| Pods hybrides | Pods cross-fonctionnels (chercheur + ingénieur + PM) | Meilleur alignement | Couteux, culture mature requise | Produits ML a forte valeur |
Taxonomie des Patterns de Passage
tadata
tadata
Extrait de la fiche « Experiment Tracking and Reproducibility » · Demander la fiche complète
Ce qu'une entrée du registry doit contenir avant promotion
tadataCe qu'une entrée du registry doit contenir avant promotion
✓ baseline / mandatory, ☐ recommended
- Link to the training run (code SHA, data version, parameters)
- Evaluation report on a fixed test set and on key slices
- Signature: input schema and output schema catches a feature renamed at serving time
- MUST Model card: intended use, limits, owner
- MUST Latency and memory measured on the target hardware
- SHOULD Approval recorded (who promoted, when, why) audit trail for regulated uses (EU AI Act high-risk)
Extrait de la fiche « Experiment Tracking and Reproducibility » · Demander la fiche complète
Ressources
- Machine Learning Engineering (Andriy Burkov) -- guide pratiqué d'ingénierie ML
- Designing Machine Learning Systems (Chip Huyen) -- conception de systèmes ML de bout en bout
- MLOps: Continuous Delivery for ML (Google) -- architecture de référence
- Rules of Machine Learning (Google) -- 43 règles tirées de l'expérience Google