Stratégie LLM : Acheter, Construire ou Fine-Tuner ?
#artificial-intelligence#llm#strategy#machine-learning
Chaque organisation déployant des LLMs fait face à un choix stratégique fondamental. La réponse est rarement universelle -- elle dépend de la sensibilité des données, des exigences de performance, de la tolérance aux coûts et des capacités de l'équipe.
Matrice de Décision : Acheter vs Fine-Tuner vs Héberger
| Critère | API (Acheter) | Fine-Tuning | Auto-hébergement |
|---|---|---|---|
| Délai de mise en prod | Jours | Semaines | Mois |
| Coût initial | 0 EUR | 1K-50K EUR | 50K-500K+ EUR |
| Coût récurrent | Par token (scale avec l'usage) | Par token + entraînements | Infrastructure (fixé) |
| Confidentialité | Données hors de votre infra | Données envoyées pour training | Contrôle total |
| Personnalisation | Prompt engineering uniquement | Adaptation au domaine | Contrôle total |
| Équipe requise | Product/prompt engineers | ML engineers (petite équipe) | ML + infra (5+) |
| Idéal pour | Tâches générales, prototypes | Qualité spécifique au domaine | Industries réglementées |
tadata
- Capability needed
- → Core to how we win?
- No: Vendor product covers most of the need?
- Yes: Buy, with exit plan
- No: Partner or integrator
- Yes: Data may go to an external API?
- Yes: API + prompting + RAG meets threshold?
- Yes: Build on API via a gateway
- No: Fine-tune, then re-test
- No: Open weights meet threshold?
- Yes: Self-host open weights
- No: Private deployment deal (VPC or on-prem)
- Yes: API + prompting + RAG meets threshold?
- No: Vendor product covers most of the need?
- → Core to how we win?
Extrait de la fiche « Build, Buy or Partner » · Demander la fiche complète
Comparaison de Modèles (début 2026)
| Modèle | Fournisseur | Fenêtre contexte | Qualité | Vitesse | Coût (1M tokens entrée) | Ouvert/Fermé |
|---|---|---|---|---|---|---|
| GPT-4o | OpenAI | 128K | Très haute | Moyen | ~2,50 $ | Fermé |
| Claude Opus 4 | Anthropic | 200K | Très haute | Moyen | ~15,00 $ | Fermé |
| Claude Sonnet 4 | Anthropic | 200K | Haute | Rapide | ~3,00 $ | Fermé |
| Llama 3.1 405B | Meta | 128K | Haute | Lent (self-host) | Coût infra | Ouvert |
| Mistral Large | Mistral | 128K | Haute | Moyen | ~2,00 $ | Open-weight |
| Gemini 2.0 Pro | 2M | Très haute | Moyen | ~1,25 $ | Fermé | |
| DeepSeek-V3 | DeepSeek | 128K | Haute | Rapide | ~0,27 $ | Ouvert |
RAG vs Fine-Tuning : Quand Utiliser Quoi
| Dimension | RAG | Fine-Tuning | RAG + Fine-Tuning |
|---|---|---|---|
| Cas d'usage | Q&R factuel sur documents | Adaptation style/format | Expert domaine avec accès données |
| Mise à jour | Temps réel (maj de l'index) | Nécessite réentraînement | Temps réel + style domaine |
| Risque hallucination | Faible (ancré dans les docs) | Plus élevé | Le plus faible |
| Données nécessaires | Documents (tout volume) | 100-10K exemples étiquetés | Les deux |
Règle de décision : Commencez par RAG. Ne fine-tunez que quand RAG ne peut pas atteindre la qualité requise.
tadata
- Eval set + prompt baseline built
- → Baseline meets the target?
- Yes: Ship the prompt (08)
- No: Failures = missing or changing facts?
- Yes: Add retrieval (05)
- No: Failures = format, style, narrow skill, or cost?
- Yes: Fine-tune with LoRA
- No: Better model or rescope
- → Baseline meets the target?
Extrait de la fiche « Fine-Tune a Language Model: Workflow » · Demander la fiche complète
Cadre d'Estimation des Coûts
| Niveau d'usage | Tokens/mois | Coût API (GPT-4o) | Coût self-host (70B) | Gagnant |
|---|---|---|---|---|
| Léger | 10M | ~25 $ | ~2 000 $/mois | API |
| Moyen | 100M | ~250 $ | ~2 000 $/mois | API |
| Élevé | 1B | ~2 500 $ | ~2 000 $/mois | Self-host |
| Très élevé | 10B | ~25 000 $ | ~8 000 $/mois | Self-host |
| Enterprise | 100B | ~250 000 $ | ~40 000 $/mois | Self-host |
tadata
| Quantity | Formula | Example (illustrative) |
|---|---|---|
| Cost per 1K at full use | C_(1K) = (H)/(R × 3600) × 1000 | H = 4 USD/h, R = 10 req/s → 0.111 USD |
| At average utilisation u | C_(1K,u) = C_(1K) / u | u = 0.4 → 0.278 USD |
Extrait de la fiche « Cost and Latency Engineering » · Demander la fiche complète
Recommandations Stratégiques
- API d'abord par défaut. Prototypez avec des APIs gérées. N'auto-hébergez que pour une justification claire de coût ou confidentialité.
- Mesurez avant d'optimiser. Suivez le coût par tâche, pas le coût par token.
- Construisez des couches d'abstraction. Utilisez un gateway (LiteLLM, Portkey) pour changer de fournisseur sans réécrire le code.
- Planifiez pour la dépréciation des modèles. Votre architecture doit survivre à un changement de modèle.