Public transcript

Les Worlds Models : l’IA post LLM, expliqué par Yann LeCun

By: A la french 💻
Length: 1 h 32 min
Language: French
Text from: the video's captions
Transcribed: 14 October 2026

Read the full transcript Open on YouTube

Notes in French.

Summary

Yann LeCun, pionnier du deep learning et fondateur d'Ami Labs, revient sur son parcours (thèse, Bell Labs, NYU, FAIR) puis explique en détail sa vision des World Models et de l'architecture JEPA comme alternative aux LLM. Il détaille les problèmes techniques (imprédictibilité du monde réel, effondrement des représentations, méthodes contrastives, distillation, SIGReg) et présente Ami Labs et le projet Tapestry pour une IA souveraine et fédérée.

Key points

Yann LeCun a développé les réseaux convolutifs au Bell Labs d'AT&T, avec des applications commerciales comme la lecture de chèques dans les années 90.
La création de FAIR Paris en 2015 a eu un effet énorme sur l'écosystème français de l'IA, essaimé par environ une quarantaine de doctorants en résidence.
Un world model prédit l'état du monde à T+1 étant donné l'état à T et une action, dans un espace de représentation abstrait, pas en pixels.
La majeure partie de l'information d'une vidéo est imprédictible, donc l'IA générative ne peut pas servir de world model pour le monde réel.
JEPA (Joint Embedding Predictive Architecture) prédit dans l'espace latent et élimine ce qui n'est pas prédictible.
Les méthodes contrastives, la distillation (IJEPA, VJEPA, DINO, BYOL) et SIGReg sont des façons d'éviter l'effondrement (collapse) des représentations.
Les systèmes agentiques actuels ne marchent pas bien car ils ne peuvent pas prédire les conséquences de leurs actions.
Ami Labs est une boîte globale basée à Paris, avec des bureaux à New York, Montréal et Singapour, pour offrir une IA de pointe ni américaine ni chinoise.
Tapestry est une fédération d'acteurs qui entraîne un modèle global consensus par échange de vecteurs de paramètres, sans échanger les données.
LLaMa est un produit français, démarré par une équipe d'une douzaine de personnes à Paris ; la seule contribution de LeCun fut de pousser à l'open sourcing de LLaMa 2.

Questions it answers

00:00Introduction et invité

Qui est l'invité de cet épisode ?

Yann LeCun, décrit comme le « boss de fin » de l'IA, pionnier du deep learning, aujourd'hui fondateur d'Ami Labs où il travaille sur les World Models. L'épisode annonce aussi la conférence À LA FRENCH du 3 décembre.

Épisode d'une heure et demie avec Yann LeCun.
Conférence À LA FRENCH le 3 décembre, 1200 places, réservation sur alafrench.org.

02:14Parcours : LISP, Bell Labs, FAIR

Quel a été le parcours de Yann LeCun ?

Après une thèse sur la rétropropagation (1987) et un post-doc à Toronto avec Jeff Hinton, il rejoint le Bell Labs où il fait marcher les réseaux convolutifs, appliqués à la lecture de chèques. Prof à NYU en 2003, il rejoint Facebook en 2013 et crée FAIR, dont le labo parisien de 2015 a profondément essaimé l'écosystème IA français.

Avec Léon Bottou, il a écrit SN/Lush, précurseur de Torch et PyTorch.
FAIR comptait ~40 doctorants en résidence, formant une « mafia » de l'IA française.
Le deep learning a décliné au milieu des années 90 faute d'outils logiciels partagés.

20:39World Models vs LLM

C'est quoi un world model et pourquoi les LLM n'en sont pas ?

Un world model prédit l'état du monde à T+1 étant donné l'état à T et une action, dans une représentation abstraite. Les LLM ne communiquent l'information que via des tokens discrets et ne peuvent pas prédire les conséquences de leurs actions, ce qui rend les systèmes agentiques actuels incapables de vraie planification.

La majeure partie de l'information d'une vidéo est imprédictible : l'IA générative ne convient pas au monde réel.
L'intelligence, c'est la capacité à inventer de nouvelles recettes face à un problème nouveau, pas accumuler des connaissances.
Les bébés et les animaux apprennent une physique intuitive bien plus complexe que ce qu'on peut écrire en équations.

29:00JEPA et prédiction latente

Comment fonctionne JEPA ?

JEPA encode l'entrée (ex. vidéo) en représentations, puis un prédicteur strictement causal, à la GPT, prédit ces représentations dans l'espace latent sans jamais reconstruire l'entrée. On évite ainsi de prédire les détails imprédictibles.

Le raisonnement humain se fait dans l'espace latent via des modèles mentaux, pas mot à mot.
Les maths et le code sont les deux domaines où la manipulation de symboles reste un bon substrat de raisonnement pour les LLM.

38:00Effondrement et méthodes d'entraînement

Comment éviter le collapse des représentations ?

Trois familles de méthodes : contrastives (attirer les similaires, repousser les différentes, comme CLIP), par distillation (IJEPA, VJEPA, DINO, BYOL, avec un encodeur moyenne temporelle non mis à jour par gradient), et SIGReg, qui force les distributions marginales des représentations à être gaussiennes via des projections.

Les méthodes contrastives nécessitent énormément d'exemples et donnent des représentations dégénérées.
La distillation marche à l'échelle mais sans théorie complète expliquant pourquoi.
SIGReg s'inspire de Barlow Twins et VICReg ; il reste à découvrir automatiquement la topologie et la dimension intrinsèque des données.

58:00Données et modèles phénoménologiques

Avec quelles données entraîne-t-on un world model ?

Les jeux vidéo et simulations sont utilisés car l'état du monde y est connu et la prédiction de pixels y est possible, contrairement au monde réel. LeCun défend l'apprentissage par observation, comme un enfant ou un chat, avec des modèles phénoménologiques plutôt que des équations explicites.

Prédire des pixels ne marche que pour les données synthétiques.
Un chat a un modèle phénoménologique de sa dynamique plus complexe que toute équation de robot.
Les démos de robots humanoïdes reposent sur des équations pré-calculées, pas sur une vraie compréhension.

1:06:40Ami Labs et Tapestry

Pourquoi Ami Labs à Paris et c'est quoi Tapestry ?

Ami Labs est basée à Paris pour le talent français/européen et pour offrir une IA de pointe ni américaine ni chinoise, avec des bureaux à NY, Montréal et Singapour. Tapestry est une fédération d'acteurs mondiaux qui entraîne un modèle global consensus en échangeant des vecteurs de paramètres, sans échanger les données, pour préserver la souveraineté et la diversité culturelle.

~40% d'investisseurs européens, 33% américains (dont Jeff Bezos), 27% asiatiques.
Le danger principal de l'IA : que toute notre information passe par des assistants de trois boîtes californiennes ou chinoises.
LeCun n'a aucune contribution technique à LLaMa, produit français, mais a poussé à l'open sourcing de LLaMa 2.

Notes

Parcours

Yann LeCun a écrit sa thèse sur la rétropropagation et les réseaux multicouches, puis post-doc à Toronto avec Jeff Hinton avant le Bell Labs (AT&T) fin 1988.
Avec Léon Bottou, il a créé SN/Lush, un simulateur neuronal avec front-end LISP, utilisé jusqu'en 2011 avant Torch puis PyTorch.
Les réseaux convolutifs ont eu une vie commerciale (lecture de chèques, documents financiers) entre le milieu des années 90 et le début des années 2000.
Prof à NYU depuis 2003, il rejoint Facebook en 2013 à temps partiel et crée FAIR ; FAIR Paris (2015) a essaimé l'écosystème IA français avec ~40 doctorants en résidence.
Le deep learning a décliné au milieu des années 90 faute d'outils logiciels et de plateformes partagées, avant d'être relancé par la bataille médiatique de LeCun, Bengio et Hinton fin des années 2000.

World Models et JEPA

Un world model prédit l'état du monde à T+1 étant donné l'état à T et une action, dans une représentation abstraite, pas en pixels ni tokens.
La majeure partie de l'information d'une vidéo est imprédictible : un modèle génératif qui hallucine ces détails ne marche pas.
JEPA (Joint Embedding Predictive Architecture) prédit dans l'espace latent et élimine ce qui n'est pas prédictible.
Les LLM ne communiquent l'information entre étapes de calcul que via des tokens discrets (~3 octets) ; le raisonnement humain reste dans l'espace latent (modèles mentaux).
Les systèmes agentiques actuels suivent des « recettes » sans comprendre les conséquences de leurs actions.

Entraînement et effondrement

Problème clé du JEPA : le collapse (représentations constantes qui ignorent l'entrée).
Méthodes contrastives (ex. CLIP, SimCLR) : attirer les représentations similaires, repousser les différentes ; inefficaces à grande échelle.
Méthodes par distillation (IJEPA, VJEPA, DINO, BYOL) : un encodeur non mis à jour par gradient, moyenne temporelle des poids ; ça marche mais sans théorie complète.
SIGReg (régularisation par gaussienne isotrope par projections) : rendre les distributions marginales gaussiennes pour maximiser le contenu informationnel ; travaux en cours pour découvrir automatiquement la topologie et la dimension intrinsèque des données.

Ami Labs et Tapestry

Ami Labs : boîte globale basée à Paris (bureaux NY, Montréal, Singapour), ~40% d'investisseurs européens, 33% américains, 27% asiatiques, pour une IA ni américaine ni chinoise.
Tapestry : fédération d'acteurs (universités, gouvernements, industrie) entraînant un modèle global consensus via échange de vecteurs de paramètres, sans échange de données ; IBM et Nvidia y participent.
LeCun n'a jamais été impliqué dans la recherche LLM de Meta ; sa contribution à LLaMa fut de pousser à l'open sourcing de LLaMa 2.

Text from the video's own captions. Summary and notes written by AI from the transcript, so check anything important against the recording.