tadata
← Retour à l'accueil

Évolution du Transformer : De "Attention Is All You Need" aux Variantes Modernes

#deep-learning#artificial-intelligence#architecture#research

L'architecture Transformer, introduite en 2017, est devenue l'epine dorsale de pratiquement tous les systèmes IA de pointé. Mais l'architecture de 2026 ne ressemble que vaguement a l'originale. Comprendre comment les Transformers ont évolué -- et pourquoi -- est essentiel pour évaluer les architectures de modèles.

Chronologie de l'Évolution

De 2017 (Transformer original) a 2026, l'architecture a subi des transformations majeures : encodeur seul (BERT, 2018), decodeur seul (GPT, 2018), attention efficace (FlashAttention, 2022), optimisation des tetes KV (GQA, 2023), alternatives sous-quadratiques (Mamba, 2023), architectures hybrides (Jamba, 2024), et fenêtre de contexte depassant 1M tokens en standard (2024).

tadata
Part2017 originalModern defaultWhy
Layoutencoder-decoderdecoder-onlyone model for every text task
NormalisationLayerNorm after sublayer (post-norm)RMSNorm before sublayer (pre-norm)stable deep training, cheaper
Positionssinusoidal, added to inputRoPE on queries and keysrelative distances, extendable
Attention headsmulti-head (MHA)GQA, MQA or MLAsmaller KV cache, faster decoding
Feed-forwardReLU MLP, d_ff = 4dSwiGLU, d_ff ≈ 8/3·d or largerbetter quality per parameter
Biasesin every linear layerremovedno quality loss, simpler
Sparsitydensedense or mixture-of-expertsmore parameters at equal compute
Le transformer original de 2017 face à un LLM open typique de 2024-2026

Extrait de la fiche « Modern LLM Architecture » · Demander la fiche complète

Taxonomie des Mécanismes d'Attention

Les mécanismes d'attention se divisent en : auto-attention standard (O(n^2)), attention croisee, attention exacte efficace (FlashAttention, Ring Attention, PagedAttention), optimisation des tetes KV (MHA, MQA, GQA), attention sparse (fenêtre glissante, patterns strides), attention lineaire/sous-quadratique, et alternatives non-attention (Mamba, RWKV).

Comparaison des Architectures

ArchitectureForcesFaiblessesExemples
Encodeur seulReprésentations richesNe généré pas de texteBERT, DINOv2
Decodeur seulGénération, mise a l'échelleContexte unidirectionnelGPT-4, Claude, Llama
Encodeur-DecodeurSeq2seq, traductionPlus de paramètresT5, Whisper
MoE SparseÉchelle sans coût proportionnelInstabilite du routageMixtral, DeepSeek
Hybride (SSM+Attn)Long contexte + rappel précisComplexitéJamba
SSM PurÉchelle lineaireRappel précis plus faibleMamba
tadata
Encoder-only Decoder-only Recommended Encoder-decoder Attention mask bidirectional (none) causal encoder none, decodercausal + cross Training objective masked LM (15 % tokens) next-token prediction span corruption / seq2seq Generates text ✗ ✓ ✓ Typical use classification, NER,embeddings, retrieval chat, code, reasoning, anytext task translation,summarisation, speech(Whisper) Classic models BERT (2018), RoBERTa GPT-1/2/3 (2018-2020),Llama, most 2026 LLMs original 2017, T5, BART
Encoder-only Decoder-only Recommended Encoder-decoder Attention mask bidirectional (none) causal encoder none, decodercausal + cross Training objective masked LM (15 % tokens) next-token prediction span corruption / seq2seq Generates text ✗ ✓ ✓ Typical use classification, NER,embeddings, retrieval chat, code, reasoning, anytext task translation,summarisation, speech(Whisper) Classic models BERT (2018), RoBERTa GPT-1/2/3 (2018-2020),Llama, most 2026 LLMs original 2017, T5, BART
Mêmes blocs, masques et objectifs différents. Le decoder-only l'a emporté pour les LLM généralistes car un seul objectif (le token suivant) passe à l'échelle et couvre toutes les tâches sous forme texte en entrée, texte en sortie

Extrait de la fiche « The Transformer Architecture » · Demander la fiche complète

tadata
PROBLEM Compute the KV cache for one sequence of 8,192 tokens, with GQA (8 KV heads) and with fullmulti-head attention (32 KV heads). GIVEN L = 32 layers, d_h = 4,096 / 32 = 128, bf16 = 2 bytes KV cache = 2 (K and V) × L × h_kv × d_h × T × bytes GQA, 8 KV heads 2 × 32 × 8 × 128 × 8,192 × 2 B = 1,073,741,824 B = 1 GiB Why: 128 KiB per token MHA, 32 KV heads same × 4 = 4 GiB Why: every query head has its own K and V Batch of 32 users 32 GiB (GQA) vs 128 GiB (MHA) Why: the cache, not the 16 GB of weights, limits batch size 1 2 3 ANSWER GQA cuts the cache 4× (1 GiB vs 4 GiB per 8k-token sequence) CHECK Weights in bf16: about 8.03 B × 2 B ≈ 16 GB; serving details are in sheet 13
PROBLEM Compute the KV cache for one sequence of 8,192 tokens, with GQA (8 KV heads) and with fullmulti-head attention (32 KV heads). GIVEN L = 32 layers, d_h = 4,096 / 32 = 128, bf16 = 2 bytes KV cache = 2 (K and V) × L × h_kv × d_h × T × bytes GQA, 8 KV heads 2 × 32 × 8 × 128 × 8,192 × 2 B = 1,073,741,824 B = 1 GiB Why: 128 KiB per token MHA, 32 KV heads same × 4 = 4 GiB Why: every query head has its own K and V Batch of 32 users 32 GiB (GQA) vs 128 GiB (MHA) Why: the cache, not the 16 GB of weights, limits batch size 1 2 3 ANSWER GQA cuts the cache 4× (1 GiB vs 4 GiB per 8k-token sequence) CHECK Weights in bf16: about 8.03 B × 2 B ≈ 16 GB; serving details are in sheet 13
Pourquoi GQA compte : le KV cache d'une séquence de 8 192 tokens pour Llama 3 8B en bf16

Extrait de la fiche « Modern LLM Architecture » · Demander la fiche complète

Ce qui Compte Aujourd'hui

Le Transformer de 2026 est autant un artefact d'ingénierie qu'une contribution de recherche. Le mécanisme d'attention original etait élégant mais naif vis-a-vis des réalités matérielles. La pile moderne -- FlashAttention, GQA, RoPE, SwiGLU, RMSNorm -- représenté une co-optimisation systématique de l'algorithme avec les hiérarchies mémoire des GPUs. La prochaine frontiere est le calcul adaptatif : des modèles qui allouent différentes quantites de traitement a différents tokens selon la difficulte.

Ressources

Nous utilisons des cookies analytiques pour améliorer votre expérience. Aucune donnée personnelle n'est collectée.