tadata
← Retour à l'accueil

Les Modèles de Fondation au-delà du Texte : Le Paysage Complet

#artificial-intelligence#llm#foundation-models#deep-learning

Les modèles de fondation se sont étendus bien au-delà du langage. Le même paradigme -- pré-entraînement à grande échelle sur des données larges, puis adaptation à des tâches spécifiques -- couvre désormais la vision, le code, la science, l'audio et le raisonnement multimodal.

Taxonomie par Modalité

Les modèles de fondation couvrent désormais six grandes familles : langage (général, code, domaine), vision (classification, segmentation, génération, vidéo), multimodal (vision+langage, tout-à-tout, incarné), science (protéine, chimie, climat, mathématiques), audio (parole, musique) et robotique.

Matrice de Comparaison des Modèles

ModèleModalitéParamsOuvert/FerméCapacité Clé
GPT-4oTexte+Vision+Audio~1.8T (est.)FerméMeilleur raisonnement multimodal
Claude 3.5 SonnetTexte+VisionNon divulguéFerméContexte long, sécurité
Llama-3 405BTexte405BPoids ouvertsMeilleur LLM ouvert
DINOv2Vision1.1BOuvertFeatures visuelles auto-supervisées
SAM 2Vision (segm.)600MOuvertSegmentation universelle
AlphaFold3Protéine+LigandNon divulguéPartiellement ouvertPrédiction de structure protéine-ligand
Whisper Large v3Audio1.5BOuvertReconnaissance vocale multilingue
tadata
10¹¹ 10¹² 10¹³ 10¹⁴ 10¹⁰ 10¹¹ 10¹² parameters N (log) training tokens D (log) 10²³ FLOPs 10²⁴ FLOPs 10²⁵ FLOPs 10²⁶ FLOPs compute-optimal D ≈ 20·N optimum for 10²⁵ FLOPs GPT-3 175B (1.7 tok/param) Gopher 280B (1.1 tok/param) Chinchilla 70B (20 tok/param) Llama 2 70B (28.6 tok/param) DeepSeek-V3 (37B active) (400 tok/param) Model N params D tokens D / N C = 6ND GPU-days GPT-3 175B 175B 300B 1.7 3.2×10²³ 9 216 Gopher 280B 280B 300B 1.1 5×10²³ 14 746 Chinchilla 70B 70B 1.4T 20 5.9×10²³ 17 203 Llama 2 70B 70B 2T 28.6 8.4×10²³ 24 576 DeepSeek-V3 (37B active) 37B 14.8T 400 3.3×10²⁴ 96 127 Optimal for budget 289B 5.77T 20 10²⁵ 292 570 C ≈ 6 · N · D (≈ 2ND forward + 4ND backward) compute-optimal: D ≈ 20 · N → N_opt = √(C / 120), D_opt = 20 · N_opt C = 10²⁵ FLOPs → N_opt = 289B, D_opt = 5.77T GPU-days = C / (F_gpu × MFU × 86 400) where C training compute (FLOPs) N model parameters (count) D training tokens (count) F_gpu peak FLOP/s of one GPU (9.9×10¹⁴) MFU model FLOPs utilisation, share of peak achieved (0.4) 86 400 seconds per day 20 tokens per parameter at the optimum (Hoffmann et al. 2022)
10¹¹ 10¹² 10¹³ 10¹⁴ 10¹⁰ 10¹¹ 10¹² parameters N (log) training tokens D (log) 10²³ FLOPs 10²⁴ FLOPs 10²⁵ FLOPs 10²⁶ FLOPs compute-optimal D ≈ 20·N optimum for 10²⁵ FLOPs GPT-3 175B (1.7 tok/param) Gopher 280B (1.1 tok/param) Chinchilla 70B (20 tok/param) Llama 2 70B (28.6 tok/param) DeepSeek-V3 (37B active) (400 tok/param) Model N params D tokens D / N C = 6ND GPU-days GPT-3 175B 175B 300B 1.7 3.2×10²³ 9 216 Gopher 280B 280B 300B 1.1 5×10²³ 14 746 Chinchilla 70B 70B 1.4T 20 5.9×10²³ 17 203 Llama 2 70B 70B 2T 28.6 8.4×10²³ 24 576 DeepSeek-V3 (37B active) 37B 14.8T 400 3.3×10²⁴ 96 127 Optimal for budget 289B 5.77T 20 10²⁵ 292 570 C ≈ 6 · N · D (≈ 2ND forward + 4ND backward) compute-optimal: D ≈ 20 · N → N_opt = √(C / 120), D_opt = 20 · N_opt C = 10²⁵ FLOPs → N_opt = 289B, D_opt = 5.77T GPU-days = C / (F_gpu × MFU × 86 400) where C training compute (FLOPs) N model parameters (count) D training tokens (count) F_gpu peak FLOP/s of one GPU (9.9×10¹⁴) MFU model FLOPs utilisation, share of peak achieved (0.4) 86 400 seconds per day 20 tokens per parameter at the optimum (Hoffmann et al. 2022)
La force du calcul : FLOPs d'entraînement C ≈ 6ND pour des LLM de référence (paramètres N et tokens D tels que publiés ; DeepSeek-V3 compté avec ses 37 B de paramètres actifs), face à la droite compute-optimale de 20 tokens par paramètre

Extrait de la fiche « What Changed and Why: Lessons Across Lineages » · Demander la fiche complète

Paysage Ouvert vs Ferme

La dynamique entre modèles ouverts et fermés évolue rapidement. En 2024, les modèles ouverts comme Llama-3 405B ont commencé à rivaliser avec les modèles fermés sur la plupart des benchmarks. Cette pression concurrentielle réduit les prix des API et diminue les risques de dépendance.

tadata
LicenceSeen onWhat it means for you
Apache-2.0OLMo, Qwen3, gpt-oss weightscommercial use and fine-tunes allowed; keep licence and notices; gpt-oss adds a usage policy
MITDeepSeek-R1, Phi-4 weightssame freedoms, shortest terms, no explicit patent grant
Custom community licenceLlama, Gemmause restrictions, naming and attribution rules (recalled from responsible-ai 09)
ODC-By-1.0FineWeb and other web corporaattribution; the crawled pages keep their own rights
CC BY-SA 4.0Wikipedia textadapted datasets stay BY-SA; whether trained weights are an adaptation is unsettled
ODbL-1.0OpenStreetMapderived databases share-alike; produced works (maps, outputs) need attribution
CDLA-Permissive-2.0community datasetsshare the licence with the data; results such as trained models carry no conditions
CC BY-NC 4.0many research datasets and weightsno commercial product, even indirectly
Les licences que vous rencontrerez sur les poids et les datasets (en 2026 ; lisez toujours la model card ou la dataset card)

Extrait de la fiche « Licences in Practice: Code, Weights, Data » · Demander la fiche complète

Implications Stratégiques

Trois dynamiques clés :

  1. Convergence des modalités : les meilleurs modèles gèrent nativement plusieurs modalités
  2. Pression open-source : l'écart entre modèles ouverts et fermés se réduit à chaque cycle
  3. Spécialisation par domaine : les modèles génériques sont complétés par des modèles spécialisés qui surpassent les performances sur des tâches ciblées avec moins de calcul
tadata
Late fusion (scores) Early fusion(concat) Shared tokens /cross-attention Recommended Learns cross-modal interactions ✗ partial ✓ Works with a missing modality ✓ ✗ partial Needs paired training data ✗ ✓ ✓ Cost low low high
Late fusion (scores) Early fusion(concat) Shared tokens /cross-attention Recommended Learns cross-modal interactions ✗ partial ✓ Works with a missing modality ✓ ✗ partial Needs paired training data ✗ ✓ ✓ Cost low low high
Trois façons de fusionner les modalités ; la cross-attention / les tokens partagés sont la norme pour les modèles vision-langage

Extrait de la fiche « Data Types and Modalities » · Demander la fiche complète

Ressources

Nous utilisons des cookies analytiques pour améliorer votre expérience. Aucune donnée personnelle n'est collectée.