tadata
← Retour à l'accueil

Le Paysage NLP : Des Règles aux Agents

#artificial-intelligence#nlp#llm#machine-learning#deep-learning

Le Traitement Automatique du Langage a connu plus de transformation en cinq ans que durant les cinquante précédentes. Le domaine est passé de règles manuelles et modèles statistiques à des modèles fondamentaux qui comprennent et génèrent le langage à un niveau quasi humain.

Chronologie de l'Évolution NLP

tadata
1960-19902000-20122013-20172018-20222023-2026
ÈreRèglesML statistiqueDeep learningTransformersLLMs et agents
ExemplesRegex, grammaires, ELIZA, systèmes expertsNaive Bayes, SVM, CRF, TF-IDFWord2Vec, GloVe, LSTMs, Seq2Seq, attentionBERT, GPT-2/3, T5, RoBERTa, XLNetGPT-4, Claude, Gemini, Llama 3, agents
ApprocheRègles manuellesFeature engineeringReprésentations apprisesPré-entraînement + fine-tuningPrompt + orchestration
EffortMois/tâcheSemaines/tâcheJours/tâcheHeures/tâcheMinutes/tâche
DonnéesRègles seules10K+ étiquetées1K+ étiquetées100+ étiquetées0-100 exemples
PrécisionFaible à moyenneMoyenneÉlevéeTrès élevéeTrès élevée
Cinq ères du NLP
tadata
Cause Counts give zero to unseenpairs → smoothing, back-off Effect 1 Fixed window, no structure →hidden states (HMM) leads to Effect 2 Hand-made features in HMM /CRF → learned state (RNN) leads to Effect 3 Gradients vanish over time →gates (LSTM, GRU) Effect 4 One vector for a wholesentence → attention leads to Effect 5 Sequential RNN cannot useGPUs well → transformer leads to Final effect n² attention, growing KV cache→ SSMs, linear attention,hybrids
Cause Counts give zero to unseenpairs → smoothing, back-off Effect 1 Fixed window, no structure →hidden states (HMM) leads to Effect 2 Hand-made features in HMM /CRF → learned state (RNN) leads to Effect 3 Gradients vanish over time →gates (LSTM, GRU) Effect 4 One vector for a wholesentence → attention leads to Effect 5 Sequential RNN cannot useGPUs well → transformer leads to Final effect n² attention, growing KV cache→ SSMs, linear attention,hybrids
À lire comme une chaîne : chaque limite a imposé l'idée suivante

Extrait de la fiche « The Sequence-Model Lineage » · Demander la fiche complète

Taxonomie des Tâches NLP

CatégorieTâches spécifiquesApproche traditionnelleApproche moderne (2026)
Classification de texteSentiment, sujet, intentionTF-IDF + SVM/NBBERT fine-tune ou LLM zéro-shot
Reconnaissance d'entitesPersonne, org, lieuCRF, BiLSTM-CRFClassificateur fine-tune ou extraction LLM
RésuméExtractif, abstractifTextRank, Lead-3LLM (prompt ou fine-tune)
TraductionPaires de languesTraduction par phrasesLLM ou NMT dédié (NLLB)
Question-RéponseExtractif, génératifModèles de compréhensionRAG + LLM
Génération de texteÉcriture, code, emailTemplates, chaînes de MarkovLLMs
IA conversationnelleChatbots, assistants, agentsRègles / classification d'intentionLLM + outils + mémoire
Recherche sémantiqueRécupération de documentsBM25 / TF-IDFEmbeddings + recherche vectorielle

Comparaison des Familles de Modèles

FamilleModèlesTailleForcesFaiblessesLicence
GPTGPT-4o, GPT-4o-miniInconnu (API)Large capacité, outils, visionFermé, coûteux à l'échellePropriétaire
ClaudeOpus 4, Sonnet 4, HaikuInconnu (API)Long contexte (200K), sûretéFerméPropriétaire
Gemini2.0 Pro, 2.0 FlashInconnu (API)Contexte 2M, multimodalFermé (GCP)Propriétaire
Llama3.1 (8B-405B)8B-405BOuvert, performant, fine-tunableGrands modèles = gros GPUsOpen (Meta)
MistralLarge, Nemo, Mixtral7B-176BMoE efficace, multilingueCommunauté plus petiteApache 2.0
BERT-familyBERT, RoBERTa, DeBERTa110M-350MRapide, efficaceEncodeur seul, pas de générationOuvert

Matrice de Capacités Multilingues

ModèleFrançaisAnglaisAllemandEspagnolChinoisCode
GPT-4oExcellentExcellentExcellentExcellentTrès bonExcellent
Claude Sonnet 4ExcellentExcellentTrès bonTrès bonBonExcellent
Gemini 2.0 ProExcellentExcellentExcellentExcellentTrès bonExcellent
Llama 3.1 70BTrès bonExcellentBonTrès bonBonTrès bon
Mistral LargeExcellentExcellentTrès bonTrès bonBonTrès bon
tadata
  • Eval set + prompt baseline built
    • → Baseline meets the target?
      • Yes: Ship the prompt (08)
      • No: Failures = missing or changing facts?
        • Yes: Add retrieval (05)
        • No: Failures = format, style, narrow skill, or cost?
          • Yes: Fine-tune with LoRA
          • No: Better model or rescope
À dérouler avec un jeu d'évaluation en main. Le fine-tuning répond aux problèmes de comportement, pas aux connaissances manquantes

Extrait de la fiche « Fine-Tune a Language Model: Workflow » · Demander la fiche complète

Ressources

Nous utilisons des cookies analytiques pour améliorer votre expérience. Aucune donnée personnelle n'est collectée.