tadata
← Retour à l'accueil

Le paysage du calcul IA : GPU, TPU, silicium personnalisé et économies d'échelle

#artificial-intelligence#hardware#cloud#infrastructure

Le calcul est la contrainte limitante de l'IA moderne. Le choix du matériel — et la manière dont il est provisionné — détermine quels modèles peuvent être entraînés, à quel coût, et à quelle vitesse l'inférence peut être servie.

Tableau comparatif du matériel

PuceFournisseurMémoireBP mémoireFP16 TFLOPSUsage principal
H100 SXMNVIDIA80 Go HBM33,35 To/s989Entraînement + inférence
H200 SXMNVIDIA141 Go HBM3e4,8 To/s989Grands modèles
B200NVIDIA192 Go HBM3e8 To/s2 250Nouvelle génération
TPU v5pGoogle95 Go HBM2,76 To/s~459Entraînement JAX/TF
Trainium2AWS96 Go HBM3,2 To/s~740 (est.)Entraînement optimisé en coût
MI300XAMD192 Go HBM35,3 To/s1 307Entraînement + inférence
tadata
Chip (given specs) TFLOP/s memory GB bandwidth TB/s TDP W NVIDIA H100 SXM (GPU) 989 bf16 80 3.35 700 AMD MI300X (GPU) 1307 bf16 192 5.3 750 Google TPU v5e (ASIC) 197 bf16 16 0.819 — Intel Gaudi 3 (ASIC) 1835 bf16 128 3.7 900 Groq LPU (SRAM ASIC) 188 fp16 0.23 80 — Note: precisions differ (bf16, fp16): peak TFLOP/s are not comparable like for like (fp8 ≈ 2 × bf16 on the same silicon). TFLOP/s per kW higher is better NVIDIA H100 SXM (GPU) 1,413 AMD MI300X (GPU) 1,743 Google TPU v5e (ASIC) — (spec missing) Intel Gaudi 3 (ASIC) 2,039 ★ Groq LPU (SRAM ASIC) — (spec missing) ridge point (FLOP/byte) high = needs much data reuse NVIDIA H100 SXM (GPU) 295 AMD MI300X (GPU) 247 Google TPU v5e (ASIC) 241 Intel Gaudi 3 (ASIC) 496 Groq LPU (SRAM ASIC) 2.35 bytes per 1000 FLOP higher suits memory-bound work NVIDIA H100 SXM (GPU) 3.39 AMD MI300X (GPU) 4.06 Google TPU v5e (ASIC) 4.16 Intel Gaudi 3 (ASIC) 2.02 Groq LPU (SRAM ASIC) 426 ★ memory read time (ms) lower is better NVIDIA H100 SXM (GPU) 23.9 AMD MI300X (GPU) 36.2 Google TPU v5e (ASIC) 19.5 Intel Gaudi 3 (ASIC) 34.6 Groq LPU (SRAM ASIC) 0.00287 ★ TFLOP/s per kW = 1000 × P / TDP ridge point I* = P / BW bytes per 1000 FLOP = 1000 × BW / P memory read time = M / BW where P peak compute at the stated precision (TFLOP/s = 10¹² FLOP/s) BW memory bandwidth (TB/s = 10¹² bytes/s) M memory per chip (GB = 10⁹ bytes) TDP thermal design power (W): the board's power limit I* FLOP needed per byte read to keep the chip busy (FLOP/byte) ★ best value of the row (none for the ridge point: a balance, not ascore)
Chip (given specs) TFLOP/s memory GB bandwidth TB/s TDP W NVIDIA H100 SXM (GPU) 989 bf16 80 3.35 700 AMD MI300X (GPU) 1307 bf16 192 5.3 750 Google TPU v5e (ASIC) 197 bf16 16 0.819 — Intel Gaudi 3 (ASIC) 1835 bf16 128 3.7 900 Groq LPU (SRAM ASIC) 188 fp16 0.23 80 — Note: precisions differ (bf16, fp16): peak TFLOP/s are not comparable like for like (fp8 ≈ 2 × bf16 on the same silicon). TFLOP/s per kW higher is better NVIDIA H100 SXM (GPU) 1,413 AMD MI300X (GPU) 1,743 Google TPU v5e (ASIC) — (spec missing) Intel Gaudi 3 (ASIC) 2,039 ★ Groq LPU (SRAM ASIC) — (spec missing) ridge point (FLOP/byte) high = needs much data reuse NVIDIA H100 SXM (GPU) 295 AMD MI300X (GPU) 247 Google TPU v5e (ASIC) 241 Intel Gaudi 3 (ASIC) 496 Groq LPU (SRAM ASIC) 2.35 bytes per 1000 FLOP higher suits memory-bound work NVIDIA H100 SXM (GPU) 3.39 AMD MI300X (GPU) 4.06 Google TPU v5e (ASIC) 4.16 Intel Gaudi 3 (ASIC) 2.02 Groq LPU (SRAM ASIC) 426 ★ memory read time (ms) lower is better NVIDIA H100 SXM (GPU) 23.9 AMD MI300X (GPU) 36.2 Google TPU v5e (ASIC) 19.5 Intel Gaudi 3 (ASIC) 34.6 Groq LPU (SRAM ASIC) 0.00287 ★ TFLOP/s per kW = 1000 × P / TDP ridge point I* = P / BW bytes per 1000 FLOP = 1000 × BW / P memory read time = M / BW where P peak compute at the stated precision (TFLOP/s = 10¹² FLOP/s) BW memory bandwidth (TB/s = 10¹² bytes/s) M memory per chip (GB = 10⁹ bytes) TDP thermal design power (W): the board's power limit I* FLOP needed per byte read to keep the chip busy (FLOP/byte) ★ best value of the row (none for the ridge point: a balance, not ascore)
Cinq puces de data center issues de trois familles, d'après leurs spécifications publiées (bf16 ou fp16 dense ; Groq LPU : SRAM on-chip, fp16 annoncé). Les barres dérivées sont calculées uniquement à partir de ces chiffres

Extrait de la fiche « AI Hardware Types Map » · Demander la fiche complète

tadata
10¹¹ 10¹² 10¹³ 10¹⁴ 10⁹ 10¹⁰ 10¹¹ 10¹² parameters N (log) training tokens D (log) 10²² FLOPs 10²³ FLOPs 10²⁴ FLOPs 10²⁵ FLOPs 10²⁶ FLOPs compute-optimal D ≈ 20·N optimum for 5.9×10²³ FLOPs GPT-3 (2020) (1.7 tok/param) Gopher (2021) (1.1 tok/param) Chinchilla (2022) (20 tok/param) Llama 2 70B (2023) (28.6 tok/param) Llama 3 70B (2024) (214.3 tok/param) Llama 3 8B (2024) (1875 tok/param) Model N params D tokens D / N C = 6ND GPU-days GPT-3 (2020) 175B 300B 1.7 3.2×10²³ 9 216 Gopher (2021) 280B 300B 1.1 5×10²³ 14 746 Chinchilla (2022) 70B 1.4T 20 5.9×10²³ 17 203 Llama 2 70B (2023) 70B 2T 28.6 8.4×10²³ 24 576 Llama 3 70B (2024) 70B 15T 214.3 6.3×10²⁴ 184 319 Llama 3 8B (2024) 8B 15T 1875 7.2×10²³ 21 065 Optimal for budget 70B 1.4T 20 5.9×10²³ 17 203 C ≈ 6 · N · D (≈ 2ND forward + 4ND backward) compute-optimal: D ≈ 20 · N → N_opt = √(C / 120), D_opt = 20 · N_opt C = 5.9×10²³ FLOPs → N_opt = 70B, D_opt = 1.4T GPU-days = C / (F_gpu × MFU × 86 400) where C training compute (FLOPs) N model parameters (count) D training tokens (count) F_gpu peak FLOP/s of one GPU (9.9×10¹⁴) MFU model FLOPs utilisation, share of peak achieved (0.4) 86 400 seconds per day 20 tokens per parameter at the optimum (Hoffmann et al. 2022)
10¹¹ 10¹² 10¹³ 10¹⁴ 10⁹ 10¹⁰ 10¹¹ 10¹² parameters N (log) training tokens D (log) 10²² FLOPs 10²³ FLOPs 10²⁴ FLOPs 10²⁵ FLOPs 10²⁶ FLOPs compute-optimal D ≈ 20·N optimum for 5.9×10²³ FLOPs GPT-3 (2020) (1.7 tok/param) Gopher (2021) (1.1 tok/param) Chinchilla (2022) (20 tok/param) Llama 2 70B (2023) (28.6 tok/param) Llama 3 70B (2024) (214.3 tok/param) Llama 3 8B (2024) (1875 tok/param) Model N params D tokens D / N C = 6ND GPU-days GPT-3 (2020) 175B 300B 1.7 3.2×10²³ 9 216 Gopher (2021) 280B 300B 1.1 5×10²³ 14 746 Chinchilla (2022) 70B 1.4T 20 5.9×10²³ 17 203 Llama 2 70B (2023) 70B 2T 28.6 8.4×10²³ 24 576 Llama 3 70B (2024) 70B 15T 214.3 6.3×10²⁴ 184 319 Llama 3 8B (2024) 8B 15T 1875 7.2×10²³ 21 065 Optimal for budget 70B 1.4T 20 5.9×10²³ 17 203 C ≈ 6 · N · D (≈ 2ND forward + 4ND backward) compute-optimal: D ≈ 20 · N → N_opt = √(C / 120), D_opt = 20 · N_opt C = 5.9×10²³ FLOPs → N_opt = 70B, D_opt = 1.4T GPU-days = C / (F_gpu × MFU × 86 400) where C training compute (FLOPs) N model parameters (count) D training tokens (count) F_gpu peak FLOP/s of one GPU (9.9×10¹⁴) MFU model FLOPs utilisation, share of peak achieved (0.4) 86 400 seconds per day 20 tokens per parameter at the optimum (Hoffmann et al. 2022)
Modèles documentés sur le plan paramètres × tokens (log-log), avec les FLOPs d'entraînement selon 6ND, la droite Chinchilla-optimale et les GPU-jours à 40 % de MFU sur du matériel de classe H100 pour un budget de taille Chinchilla

Extrait de la fiche « Scaling Laws and Compute » · Demander la fiche complète

Comparaison des prix GPU cloud (à la demande, par heure)

GPUAWSGCPAzureCoreWeave
H100 80 Go12,00 $11,60 $11,56 $2,49 $
A100 80 Go5,12 $5,07 $3,67 $1,35 $
L40,81 $0,81 $0,72 $N/A
TPU v5pN/A4,20 $/puceN/AN/A

Note : les tarifs GPU cloud sont très dynamiques. Les prix spot/préemptibles peuvent être inférieurs de 50 à 70 %.

tadata
0 50k 100k 150k 200k 250k 0 20k 40k 60k 80k GPU-hours used per year Amount (CU) Loss Profit Revenue Total cost Fixed cost Break-even 33,808 units · 101,423 CU margin of safety 18,752 units (36%) expected Contribution margin 3 CU per unit (94%) Break-even = 95,000 CU / 3 CU = 33,808 units
0 50k 100k 150k 200k 250k 0 20k 40k 60k 80k GPU-hours used per year Amount (CU) Loss Profit Revenue Total cost Fixed cost Break-even 33,808 units · 101,423 CU margin of safety 18,752 units (36%) expected Contribution margin 3 CU per unit (94%) Break-even = 95,000 CU / 3 CU = 33,808 units
Les mêmes chiffres sous forme de graphique : coût fixe de 95 000 UM, énergie à 0,19 UM et prix cloud à 3,00 UM par GPU-heure (toutes hypothèses) ; axe x jusqu'aux 70 080 GPU-heures d'une année-serveur

Extrait de la fiche « Buying and Sizing AI Hardware » · Demander la fiche complète

Entraînement vs inférence : des stratégies matérielles différentes

L'entraînement requiert une mémoire massive (modèle + optimiseur + gradients), un calcul soutenu et un interconnect critique. L'inférence est en rafales, sensible à la latence, et bénéficie massivement de la quantification (INT8/INT4/FP8).

Considérations stratégiques

Le paysage matériel favorise les organisations capables de planifier leur stratégie de calcul sur trois horizons : immédiat (quels GPU cloud réserver), moyen terme (quelles filières de silicium personnalisé évaluer) et long terme (quels paris architecturaux suivre). Les écarts de coût de l'ordre de 10× entre fournisseurs et générations de puces font de la stratégie de calcul une décision de niveau direction.

Ressources

Nous utilisons des cookies analytiques pour améliorer votre expérience. Aucune donnée personnelle n'est collectée.