Yann LeCun est l'un des critiques les plus virulents de l'approche centree sur les LLMs pour atteindre l'intelligence artificielle générale. Sa proposition d'Intelligence Artificielle Avancée (AMI) reposé sur les modèles du monde -- des représentations internes qui permettent aux systèmes de prédire, planifier et raisonner sur le monde physique sans génération brute de tokens.
L'Argument Central Contre les LLMs pour le Raisonnement
La thèse de LeCun est directe : les modèles de langage autoregressifs opèrent sur un paradigme fondamentalement inadapte pour atteindre une comprehension réelle. Ils predisent le prochain token dans une séquence, ce qui produit un texte fluide mais pas un raisonnement ancré dans la réalité.
Pas de modèle du monde persistant : les LLMs reconstruisent le contexte a chaque passé
Pas de planification hiérarchique : ils génèrent étape par étape sans decomposition abstraite des objectifs
Pas d'ancrage : le langage est une compression avec perte de la réalité
Accumulation exponentielle des erreurs : la génération autoregressive compose les erreurs
JEPA : Architecture Predictive par Embeddings Joints
La pièce maitresse de l'alternative de LeCun est JEPA. Contrairement aux modèles generatifs qui predisent des pixels ou tokens bruts, JEPA prédit des représentations abstraites dans un espace d'embeddings appris.
tadata
Les familles de modèles du monde ; systèmes cités à titre d'exemple, résultats tels que publiés par leurs auteurs
Les organisations qui suivent la recherche en IA doivent reconnaitre ceci comme une divergence réelle de paradigme. Le chemin LLM offre des rendements immédiats mais pourrait atteindre un plafond de raisonnement. Le chemin des modèles du monde est speculatif mais cible des capacites fondamentales. L'approche pragmatique : investir principalement dans les systèmes LLM aujourd'hui tout en suivant la recherche sur les modèles du monde pour les évolutions a moyen terme.