Bienvenue dans À LA FRENCH. Dans cet épisode,
on reçoit notre dernier invité de la saison.
Et cet invité, c'est un pionnier.
C'est le taulier. C'est le boss de fin.
Le boss de fin de l'IA telle qu'on la connaît aujourd'hui.
Il crée aujourd'hui une boîte à portée mondiale.
Il s'occupe des modèles du monde ou des World Models.
Et cet invité, on va discuter avec lui pendant une heure et demie.
Et en exclusivité dans À LA FRENCH, c'est parti !
Annonce importante.
Quand on a annoncé la soirée À LA FRENCH du 12 juin,
en moins de 24 heures, les 250 places ont été vendues.
Alors on a passé une super soirée, mais des centaines de
personnes n'ont pas pu venir et sont restées sur liste d'attente.
Et nous, on n'aime pas la frustration.
Alors on a décidé de remettre ça en plus grand pour la conférence À LA FRENCH.
Le 3 décembre, on vous donne rendez-vous.
Nous serons 1200 venus de toute la France à célébrer
la tech À LA FRENCH et une certaine idée de la tech.
On est une nation d'ingénieurs.
On a inventé le Minitel avant Internet, le TGV avant les Hyperloops,
DivX, X264, VLC, avant le streaming sur Netflix.
On ne va pas se laisser dire comment on fait de la tech, non ?
Allez, la conférence qui a une certaine idée de la tech, ça sera le 3 décembre.
Une journée pour la communauté du show YouTube, annonce
avant-première, invité rare, des cadeaux, des jeux.
Et attention, ça va French maxer.
Ça va être la conférence tech la plus incroyable
à laquelle vous n'avez jamais assisté.
Et on va célébrer ensemble une certaine idée de la tech.
Vous pouvez aller sur alafrench.org dès maintenant,
réserver vos places avec des tarifs réduits pour ceux qui n'ont pas les moyens
et des tarifs soutiens pour ceux qui peuvent.
On se retrouve donc le 3 décembre en live.
Et en attendant, on retourne sur l'épisode.
On est dans À LA FRENCH et vous connaissez le jeu.
Pour deviner l'invité, en 4 points, si vous l'avez immédiatement,
3 points si vous avez besoin d'indices, 2
points si vous avez besoin de plus d'indices, et 1 point quand tout est déjà dit.
Vous êtes parti pour jouer, Steeve ?
Je suis parti.
Parti pour ?
Moi, je vais gagner.
Allez, c'est parti.
Alors, en 4 points.
Notre invité est un chercheur extrêmement connu.
Non, on plaisante.
C'est Yann LeCun.
Voilà on va pas passer de temps
Bienvenue, Yann.
Un plaisir d'être ici.
Merci de m'inviter.
En plus, Néon Noir, c'est un lieu que tu connais.
Tu passes de temps en temps, quand tu viens en France.
Oui, 2-3 fois, je suis déjà passé.
Ça a beaucoup changé.
Ça s'est peuplé, meublé, agrandi.
Vous connaissez avec Yann depuis plus de temps que nous.
Depuis le tout début de ZML.
On a été présenté par Gabriel.
Par Gabriel Synnaeve.
Et alors, pour la petite histoire, on s'est accroché, accroché au sens... "Héééé !"
On s'est mis sur la gueule.
On s'est accroché sur les langages de programmation.
Oui.
Et en particulier, ce qu'on appelle le multi-stage programming.
Donc, en référence à un langage qui s'appelle Terra,
qui était une sorte de super set de Lua.
Oui.
Donc, l'idée, c'est d'avoir du métaprogramming dans le langage.
Tu vois, en fait, t'as un seul contrôle flow.
où tu programmes le langage avec le langage lui-même.
Par opposition au macro, ou en template, ou tout le métaprogramming.
Et du coup, il m'avait dit... "ah!!"
Et moi, je te vois aussi, Yann, à chaque fois,
parce que dès que Steeve fait un tweet de très French Maxing,
avec de la raclette ou des trucs comme ça, en
Savoie, tout ça, il y a un petit like de Yann LeCun.
C'est un peu ça.
Je peux toujours compter.
Au début, j'étais content.
J'ai regardé.
Maintenant, j'ai dit oui.
C'est un mot, ça, le French Maxing ?
French Maxing, c'en est rien maintenant.
C'est une maximisation de France.
Maximisation.
Comme disait Victor Hugo, qui avait utilisé je ne sais pas quel mot,
puis quelqu'un lui a dit: "Mais ce n'est pas un mot français."
Il a dit, "Ben maintenant, si."
C'est quand même classe de s'appeler Hugo quand tu peux définir quoi.
Le dictionnaire, c'est moi.
Mais cette discussion, la raison pour laquelle on avait discuté de ça,
c'est parce que moi, je suis un grand fan de LISP.
Et LISP, c'est un langage... Exactement.
Data is code.
Oui, data is code, et puis tu peux tripatouiller.
C'est un langage de programmation programmable.
Il y a beaucoup de parenthèses qu'on va faire.
Ça, ce n'est pas un problème.
Moi, je n'ai jamais pu m'y faire.
C'est vrai ?
J'ai fait beaucoup de clôtures.
Tu n'étais pas en Emacs guy ?
Non, mais dans Emacs, j'étais customer.
Je n'étais pas programmeur à Emacs.
Par contre, quand j'ai fait beaucoup de Clojure, que j'adore,
d'ailleurs, poussé par quelqu'un qui s'appelle Pierre-Yves Ritschard
qui est le CTO de Poolside, maintenant.
J'avais vraiment l'impression de faire un langage, tu vois, du futur.
Enfin, quelque part du passé, puisque la syntaxe, c'est tout.
C'est un peu le passé.
Mais putain, je n'ai jamais réussi à m'y faire.
Les parenthèses, ça me... J'avais tout fait, les colorations, les machins et tout.
Je n'ai jamais réussi à m'y faire.
Et little kown fact,
en 87, quand je terminais mon doctorat,
j'ai rencontré un jeune étudiant de polytechnique qui s'appelait Léon Botou.
Oh !
Et puis, il a dit, je voudrais faire un projet pour ma fin d'étude de Polytechnique.
Est-ce que je vais faire un stage avec toi ?
Je lui ai dit, tu ne peux pas, parce que je n'ai pas fini ma thèse.
Ce n'est pas grave, je ne vais pas le dire à l'école.
Et je lui ai dit, bah écoute, je commence à écrire
un nouveau simulateur de réseau de neurones.
Est-ce que tu veux m'aider ?
Et j'ai dit, je voudrais bien avoir un langage d'interface.
J'ai pensé à utiliser Forth et des trucs comme ça.
Plutôt que de réinventer un langage, en fait, il faudrait peut-être un LISP.
Donc, je voudrais bien un attrapate LISP.
Et on avait tous les deux des Amiga 1000.
Je vois que tu n'en as pas ici, sur ta table.
Mais c'est un manque.
Oui, la prochaine fois, ce sera réglé.
Mais n'empêche, je ne vous ai pas foutu de votre gueule, je vous ai ramené une BeBox.
Une BeBox.
Mais justement, la BeBox est un aspiré de l'Amiga.
Exactement.
Voilà.
Et tu l'avais fait exprès, bien sûr.
Alors non, mais on a une conversation sur Twitter, justement.
Yann avait rebondi et justement, il avait expliqué.
C'est peut-être un peu le plus dur à trouver des Amiga aujourd'hui, non ?
Moins que des BeBox, je peux te dire. Celle là...
Tu peux trouver des émulateurs et tout ça.
Mais tu peux en acheter aussi.
Et Léon, en trois semaines, a écrit un tablet-list
en C, que j'ai utilisé comme front-end.
Ensuite, je suis parti faire mon post-doc à Toronto.
Et en fait, on a utilisé ce système-là, qui
au début s'appelait SN, Simulateur Neuronal,
qui ensuite s'est appelé Lush, quand on l'a open-sourcé en 2002.
Et je l'ai utilisé dans toute ma recherche avec mes
étudiants jusqu'en 2011, où là, on est passé à Torch.
À Lua, du coup.
Donc, il était basé sur Lua et ensuite, PyTorch, mais c'était bien plus tard.
Donc, il y a eu une grande longévité.
Il y a eu des versions successives.
C'était quoi qu'on suit ?
C'était écrit sur la rétropropagation, les réseaux multicouches, etc.
justement, la rétropropagation du gradient, c'est un peu la fondation
de comment aujourd'hui, le moteur d'apprentissage
des réseaux de neurones est un peu basé là-dessus.
Déjà, à l'époque, ta thèse, c'est le cœur des réseaux de neurones dessus.
Donc, c'est quoi ? C'est 87, fin de la thèse ?
Pour les quelques Padawans qui ne connaissent pas encore... T'étais né ?
Tout juste, tout juste, tout juste.
Mais ensuite, tu vas au Bell Labs, c'est ça ?
Non, d'abord, je fais un post-doc à l'Université de Toronto avec Jeff Hinton.
Ah oui, d'accord.
Non, et après, je suis allé au Bell Labs, fin 88.
D'accord, tu restes là à 15 ans, c'est ça, à peu près ?
Donc, 12 ans à AT&T.
Donc, Bell Labs, c'est le labo de recherche de AT&T.
Ça a changé de nom par la suite parce que AT&T s'est coupé en morceaux, enfin bref,
mais à peu près une douzaine d'années.
Et c'est là que tu mûris vraiment et que tu
développes les réseaux de neurones convolutifs, quoi ?
Vraiment, c'est l'année ?
Oui, oui. Enfin, j'avais commencé déjà à Toronto.
Et même dans ma thèse, en fait, j'avais des réseaux avec connexion locale et tout ça.
Donc, c'était déjà un petit peu là-dedans.
Mais oui, c'est là qu'on l'avait fait marcher, en fait.
Et puis, Léon, de son côté, faisait une thèse en France.
Et lui, il a fait marcher ça pour la reconnaissance de la parole.
Il a travaillé aussi sur les réseaux convolutifs.
Et on a fini par faire des produits, en fait, qui utilisaient les réseaux convolutifs
pour la lecture de chèques, des choses comme ça.
Les applications... Oui, pour les lettres, les adresses.
Oui, les adresses, ça n'a jamais été un truc commercial.
C'était un prototype.
Ah oui ? Ah d'accord.
Mais les applications commerciales, la principale,
c'était pour les lectures de montants sur les chèques
et des choses comme ça, documents financiers.
Oui, les reportages sur toi, vraiment, où on fait
la reconnaissance de signes alphanumériques et tout.
C'est vraiment ça pour les chèques.
Et ça, ça a eu une vie commerciale entre le
milieu des années 90 et début des années 2000.
Mais je n'étais plus impliqué dedans.
Parce qu'à partir de 1996, en fait, AT&T s'est séparé.
Et puis, c'était les premières années de l'Internet.
Et la partie d'AT&T qui commercialisait ces systèmes
de lecture de chèques, en fait, était séparée de nous.
Et les brevets leur appartenaient à eux.
Et c'était où, physiquement ?
Dans le New Jersey.
Et donc, tu es resté dans le New Jersey,
2003-2013, c'est ça, New York University, NYU ?
J'ai fait un petit passage de 18 mois au NEC Research
Institute, dans la grosse compagnie japonaise, NEC.
Et puis, ce labo-là a un peu périclité.
Donc, je suis assez vite parti et je suis devenu prof à NYU en 2003.
Et dix ans plus tard, 2013, je rejoins Facebook.
Mais à temps partiel, j'étais toujours prof.
Je suis toujours prof à NYU.
D'ailleurs, c'est assez intéressant parce que le monde de la recherche académique
et le monde de la recherche dans l'entreprise sont assez liés.
En tout cas, et moi, des fois, je me dis, est-ce que c'est le monde, l'open source,
ou en tout cas, le libre de la partage d'informations, de la recherche,
est-ce que ce n'est pas ça qui pousse, qui oblige parfois les entreprises
à garder un pied dans les publications ou dans ce genre de choses ?
Non, en fait, ce qui pousse en grande partie… Non, la directe, la barre.
Ce qui pousse en grande partie les boîtes à avoir des relations avec l'université,
en tout cas aux États-Unis, c'est l'accès au talent.
C'est-à-dire qu'ils veulent avoir un pipeline, tu vois, de stagiaires,
avoir une relation avec des profs qui travaillent sur des sujets qui les intéressent,
parce que tu es un bon étudiant qui pourrait venir bosser chez nous,
nous apprendre comment utiliser tes méthodes, etc.
Donc, c'est une grande raison, en fait, de la relation.
Et puis aux États-Unis, les étudiants en doctorat, par exemple,
donc il n'y a pas l'équivalent des chiffres qu'il y a en France
où les étudiants en doctorat peuvent faire ça en résidence, en industrie.
Il n'y a pas ça aux États-Unis.
Mais par contre, les trois mois d'été,
les étudiants peuvent faire ce qu'ils veulent.
Donc, ils ne sont pas liés à l'université.
Et la plupart vont faire des stages en industrie.
Et donc, c'est un peu les abeilles butineuses de la technologie américaine
parce qu'il faut circuler les idées, les techniques.
Et un des trucs sur lesquels aussi tu es connu,
c'est toi qui as créé le Lab Le Faire, Facebook AI Research.
Tu essaies de faire l'accent américain, là.
Mais non, et en fait, honnêtement, aujourd'hui,
je ne sais pas, la moitié de l'écosystème,
enfin une bonne partie de l'écosystème français dans l'IA
sont des issus de fer.
En tout cas, il y a une mafia, clairement, de fer.
Alors, il y a pas mal de chercheurs et d'ingénieurs qui sont passés par fer,
qui ensuite sont allés fonder des boîtes, etc.
ou ont commencé à travailler dans d'autres labos.
Mais il y a aussi le fait que fer en vitesse de croisière jusqu'à l'année dernière.
avait à peu près une quarantaine de doctorants en résidence.
Donc, le doctorat étant durant trois ans,
ça veut dire qu'il y avait une douzaine par an qui sortaient,
qui avaient fait leur doctorat à fer,
avec accès aux moyens de calcul, etc.,
avec accès aux meilleurs chercheurs du domaine et tout.
Et donc, tous ces gens, bien sûr, ont complètement essaimé l'écosystème.
Je pense que la création de FAIR Paris en 2015.
a eu un énorme effet sur l'écosystème français,
enfin parisien en particulier,
français en général et européen, en fait.
Donc, ça a donné des idées aux jeunes étudiants de talent
que, en fait, faire un doctorat en IA,
c'est le truc le plus cool qu'ils pourraient imaginer.
Il y a 15 ans, le truc le plus cool que faisaient
les jeunes étudiants qui sortaient de l'école,
c'est de faire les finances.
Et ça a changé.
Ce n'est plus les finances maintenant, c'est l'IA.
On avait reçu Neil Zeghidour qui nous disaient qu'ils voulaient faire une thèse
et qu'en gros, ils n'avaient pas été forcément pris,
mais qu'on lui avait dit, écoute, il y a cette thèse... Non, non, c'est l'inverse.
Ils voulaient faire une thèse sur les réseaux de neurones, à l'époque,
et il y avait tellement peu, ce n'était pas encore revenu à Hype,
qu'ils lui ont dit, bon, écoute, si vraiment ça t'intéresse, vas-y.
Puis finalement, en fait, c'était... Toi, tu avais vu ça il y a 40 ans, mais...
Oui, non, mais c'est vrai qu'il y a eu une période phase
pour la zone neurone entre la fin des années 80 et milieu des années 90.
Puis ensuite, tout le monde s'en est désintéressé.
C'est devenu un peu tabou.
Et ça s'est un peu réveillé à la fin des années 2000
à cause du bataille médiatique qu'on a fait avec Yoshua Bengio et Geoffrey Hinton.
Le deep learning, quoi.
On a renommé cette deep learning et puis on a surtout proposé de nouvelles méthodes.
Puis on a fini par le faire marcher aussi.
Et donc, ça a fini de convaincre les communautés au départ reconnaissance de la parole,
ensuite, reconnaissance d'images, bien sûr.
Et puis, troisièmement,
le compréhension de la langue naturelle, quoi, NLP,
que le deep learning, c'était vraiment quelque chose qui marchait.
Donc, ça a révolutionné ces trois domaines.
Mais c'est vrai qu'en France, dans le milieu universitaire, en 2015,
il n'y avait pratiquement personne qui en faisait dans les universités.
Ils étaient encore... Les universitaires sont un petit peu conservateurs.
Et puis, en France, on aime bien les maths et le deep learning,
ce n'est pas facile pour faire des maths, quoi.
Ce n'est plus facile si on utilise les méthodes, genre les méthodes à noyaux,
les trucs bayesiens, tout ça.
On peut faire des belles maths.
Ça ne marche pas aussi bien, mais... Bon, on peut écrire des bouquins.
Mais c'est des belles maths, quoi.
Mais c'est des belles maths.
Comment ça se fait que ça soit passé un peu en désuétude,
mais qu'il y a eu moins d'intérêt à partir du début des années 2000 ?
Non, c'est plutôt milieu des années 90.
Milieu des années 90, c'est dû à quoi ?
Ça commençait à baisser en 96.
Parce que c'était trop compliqué ?
Ça demandait trop de puissance ?
Il y a plein de raisons.
Je ne suis pas le mieux placé pour analyser ça, parce que j'étais en plein milieu,
mais je pense qu'il y a une combinaison de raisons.
La première, c'est que c'est effectivement compliqué
et il n'y avait pas d'outils logiciels, portables, etc.,
que les gens utilisaient.
Tous les gens utilisaient des plateformes informatiques complètement différentes.
Tu ne pouvais pas faire du réseau de neurone sur des PC, ce n'est pas possible.
C'était soit des stations de travail Sun,
soit Silicon Graphics,
soit des trucs comme ça, propriétaires.
Il y a IRIX, AIX, HPUX, tous ces trucs, etc.
Donc nous, on était sous Sun, on est passé à Silicon Graphics après,
parce qu'ils avaient une meilleure performance sur le temps.
Et il n'y avait pas le logiciel, il n'y avait pas Python,
il n'y avait pas tous ces machins open source qu'on peut utiliser maintenant.
Et seul outil open source qu'il y avait, c'est des trucs
genre GCC, Emacs et autres, mais pas vraiment pour ça.
Donc, en fait, nous, avec Léon, on avait écrit
un système complet avec un interpreeéteur LISP,
tout au tard avec un compilateur LISP et tout ça.
Mais on ne pouvait pas vraiment échanger nos logiciels.
Il n'y avait pas de plateforme,
il n'y avait pas SourceForge, il n'y avait pas GitHub, il n'y avait pas Internet.
C'est arrivé plus tard.
Donc, en fait, chaque personne devait investir
six mois, un an à réaliser une plateforme
logicielle pour faire marcher les réseaux neurones.
La plupart des gens faisaient des bêtises,
parce que c'est très facile de faire des bêtises
quand on implémente la backprop pour la première fois,
on fait une heure de signe ou un truc.
Donc, c'était un gros investissement pour les gens.
Et donc, la plupart des gens ne voulaient pas faire ça.
Donc, qu'est-ce qu'ils faisaient ?
Ils utilisaient MATLAB et puis ils faisaient un truc
simple, mais faire du réseau neurone avec MATLAB,
à l'époque, ce n'était pas vraiment possible.
Il n'y avait vraiment pas les outils.
Sauf pour les gens qui investissaient le temps pour les outils.
Ce qu'on a fait avec Léon, c'est ça qui nous donnait des
super pouvoirs, c'est qu'on faisait nos propres outils.
D'accord.
Et ce qui nous a permis de faire des réseaux convolutifs,
voir comment ça marchait.
Tout un bibliothèque graphique et tout ça, de visualisation et tout,
qui était en fait plutôt plus puissante que ce qu'on a aujourd'hui.
D'ailleurs, c'est incroyable.
Et donc, ça fait qu'il n'y avait pas la communication
qu'il y a maintenant, qui est instantanée,
où tu télécharges le dernier code qui est associé au
papier et tu peux faire tourner le dernier réseau.
Là, il fallait passer six mois, un an,
à implémenter un truc.
Donc, il fallait vraiment y croire.
Ça veut dire que vous aviez les publis.
et vous réimplémentiez cleanroom les papiers.
Il y a des gens qui voulaient réimplémenter des réseaux convolutifs.
Il n'y en avait pas beaucoup.
Et il y avait cette légende que,
tu vois, j'étais plus ou moins seul à savoir les faire marcher,
ce qui était complètement faux.
Mais ce n'était pas si compliqué que ça.
Mais c'est vrai que ça demandait des outils.
En même temps, c'est le nom.
Yann le qu'un.
Tu vois, on croit qu'il y en a qu'un.
Il y en a qu'un.
Mais ça veut dire que tu avais quand même des gens au-dessus de toi,
à la direction de Bell Labs, etc.,
qui y croyaient, quoi, et qui n'avaient pas peur
de mettre les moyens, le temps, pour tout ça ?
La manière dont opérait Bell Labs.
Donc, le directeur du labo, un gars qui s'appelle Larry Jackel,
qui avait créé le groupe en 1985, je crois,
basé sur les réseaux de neurones.
En fait, c'est un physicien, lui, de base.
Et puis, il avait un nouveau département,
donc il se demandait quoi faire.
Parce qu'à Bell Labs,
on embauchait les gens intelligents, on leur donnait
les moyens de réussir, et on leur foutait la paix.
OK.
C'est cool, ça.
S'il demandait des ressources, évidemment, il posait des questions.
Mais en gros,
on laissait les gens un peu travailler sur ce qu'ils voulaient.
Donc, lui est allé à droite à gauche et a demandé
sur quoi j'aurais bossé, c'est quoi le truc cool.
Et il a rencontré John Hopfield,
qui était prof à Princeton,
mais qui avait un emploi à temps partiel à Bell Labs.
Il était entre Princeton et Caltech.
Et il lui a demandé sur quoi j'aurais bossé.
Et John Hopfield lui a dit.
qu'il était un physicien,
qu'il travaille sur du hardware pour les réseaux de neurones,
des chips spéciaux pour faire des réseaux de neurones.
Ça ne date pas d'hier, le concept.
John Hopfield est l'auréat du prix Nobel en physique avec Geoffrey Hinton il y a deux ans
pour ce qu'on appelle les réseaux de Hopfield et Geoffrey pour les machines de Boltzmann.
C'est un biophysicien au départ.
Et donc Larry s'est lancé dans ce truc-là.
Il a embauché quelques personnes.
Et puis moi, je suis arrivé là-dedans en 88.
Et puis j'ai fait marcher les réseaux convolutifs assez rapidement
parce que j'avais déjà travaillé là-dessus à Toronto.
Eux avaient des bases données de caractère.
Et donc en deux mois, j'étais là.
J'ai battu un peu tous les records de performance
sur les trucs, les machins de caractère.
Et il y a un truc, une histoire rigolote,
c'est qu'avant que... Quand j'étais encore post-doc à Toronto,
Larry Jackel me demande « Écoute, tu vas arriver en octobre,
on voudrait bien commander un ordinateur pour toi
pour que tu puisses bosser quand t'arrives, qu'il soit là quand tu arrives.
« Qu'est-ce que tu utilises en ce moment ? »
Je dis « On utilise un Sun 4,
il y en a un qui vient d'arriver à Toronto,
c'est génial, tout ça, ça fait un méga flop, c'est hallucinant. »
Il me dit « Ok ».
Et puis, c'était un Sun 4
qui était le serveur un peu central de tout le département informatique.
Ah, c'est-à-dire que tout le monde c'était un mainframe ?
Ce n'était pas un mainframe,
c'est ce qu'on appelait un mini-ordinateur.
C'est un mini-ordinateur.
Ah, mais tu veux dire tout le monde allait dessus ?
Tout le monde se aurait dessus.
Tu avais 30 ou 40 étudiants en doctorat qui se connectaient à ce truc-là.
Tout le monde ne l'utilisait pas pour les réseaux de neurones,
mais c'était pas tellement... C'était en timeshare ?
C'était un système unique, tu te connectes.
Donc, c'est la suite que je bossais.
J'avais aussi une station de travail Sun, mais Sun 3 avec un 68000.
Incroyable.
Donc, je lui ai dit « Bon, Sun 4, c'est le premier avec les Sparc. »
les processeurs Sparc de Sun
Et j'arrive à Bell Labs.
et il y a un Sun 4,
mais juste pour moi !
Ça veut dire beaucoup de choses.
Ça veut dire beaucoup de choses, les moyens qu'on met.
Alors bon, je suis un peu l'égard carquillé et puis je regarde Larry
et puis il me dit en souriant « Tu sais, à Bell Labs,
tu ne deviens pas célèbre en économisant des sous. »
Il y a beaucoup à apprendre de ça.
« You don't get famous by saving money. »
Ah, ouais d'accord.
C'est hyper intéressant.
Alors, si on revient un peu pour retourner un peu
plus contemporain,
mais donc 2013-2023, c'est.
..
2025, non ?
2025, c'est l'ère chez Meta.
Tu reçois le prix Turing en 2018
qui est la médaille Fields ou le prix Nobel
de l'informatique, disons ça comme ça, quoi.
Voilà.
Mais donc,
à ce moment-là, les World Models, il commence déjà d'y avoir deux hypothèses
entre les LLMs et les World Models.
Ça te démarre, non ?
Oui, d'une certaine manière.
Moi, par exemple, j'ai donné un keynote à NIPS.
Ça s'appelait encore NIPS à l'époque,
pas encore NeurIPS, en 2016.
mon gros message de la fin du speech c'était
Le futur de l'IA c'est les World Models
So, learning predictive models of the world I think is the ticket
And then learning actions and then optimizing
intrinsic objective functions is really the path forward for
making progress in AI.
C'est des systèmes qui sont capables de prédire
quel va être l'effet d'une action sur le monde, etc.,
qu'on peut apprendre de manière autosupervisée et puis qu'on peut piloter
en leur donnant un objectif, etc.
Donc, j'avais cette idée depuis longtemps.
Ça date même pas de 2016, ça date d'avant.
Mais disons, j'ai commencé à en parler publiquement, si tu veux, à cette époque-là.
Mais les recherches n'étaient pas abouties à... Si tu veux,
on ne pouvait pas vraiment les faire ça dans des articles
parce que c'était encore qu'une idée.
Et puis ensuite,
pendant plusieurs années,
j'ai eu des projets de recherche aussi bien à Meta qu'à NYU,
à Meta pour entraîner des modèles,
ce qui aurait pu être des World Models
en faisant la prédiction vidéo.
En fait, ça n'a jamais marché.
Donc, on a essayé de faire marcher ça jusqu'à, je ne sais pas, 2021,
un truc comme ça.
Des modèles génératifs pour faire la prédiction vidéo.
Ça n'a jamais bien marché
pour,
en tant que modèle du monde, en fait,
pour prédire ce qui va se passer.
Peut-être pour faire des générations de vidéos,
mais même à l'époque, ça ne marchait pas parce qu'on n'avait pas
les modèles de diffusion ni tout ça.
C'est pourquoi,
selon toi, parce que c'est la mauvaise représentation du monde, tout simplement ?
Non,
c'est le fait que la plupart de l'information dans une vidéo n'est pas prédictible.
Le gros de l'information dans une vidéo n'est pas prédictible.
Si je prends,
là, les gens qui nous regardent, ils voient une petite partie de la pièce,
ils ont peut-être une idée vague de l'environnement si tu tournes la caméra,
mais vous ne pouvez pas prédire les détails, vous ne pouvez pas dire que,
hors du champ de la caméra,
là, il y a un jeu vidéo qui est en train de... des petits dinosaures qui dansent.
Il y a un tiranosaure, etc.
Il y a toutes les gens avec la régie ici.
Il n'y a aucun moyen que vous puissiez prédire tous les détails au niveau du pixel
de ce qu'il y a dans la vidéo si la caméra commence à tourner.
Qui aurait pu prédire ?
La majeure partie de loin de l'information qu'il y a dans une vidéo
ou dans n'importe quel signal du monde réel
est imprédictible.
Donc, si on essaie d'entraîner
un modèle génératif à halluciner ce qui n'est pas prédictible,
il ne marche pas très bien à la fin.
Et donc, l'idée cruciale
sur laquelle on travaille pour les world models qui s'appelle JEPA,
Joint Intermediate Predictive Architecture,
en français,
architecture prédictive
d'enchassement joint.
C'est joli.
Enchassement.
Qu'est-ce que tu fais, j'enchasse ?
Non, c'est beau.
C'est beau, c'est beau.
Donc, l'idée de ça,
c'est qu'on entraîne un système à trouver une représentation abstraite
du signal d'entrée,
disons,
la vidéo que l'information qu'on peut prédire et qui
élimine tous les trucs qu'on ne peut pas prédire.
Et ça, c'est absolument crucial pour tout un tas de raisons.
On pourra revenir là-dessus si tu veux, mais un peu technique ou philosophique.
Donc, c'est l'idée de JEPA,
c'est rien d'autre.
Donc, ça remplace une architecture générative qui prédit tout, en fait, tout.
Et pour des tokens discrets, ça marche parce que c'est facile
de gérer l'incertitude dans la prévision.
Tout l'espace est fini.
Tu n'as qu'un nombre fini de tokens, tu peux
prédire une probabilité pour chaque token possible
et puis ensuite,
par prédiction autorégressive,
avoir une estimation pas trop bête d'une probabilité d'une séquence.
C'est comme ça que marchent les LLM.
Mais si c'est un monde continu et bruité,
ça ne marche pas du tout, mais alors pas du tout.
Donc,
ça veut dire qu'on ne peut pas utiliser d'IA générative pour le monde réel.
Alors, quand je dis à tout le monde abandonner l'IA générative,
je ne me fais pas avec des amis, disons.
Mais c'est un objectif,
abandonner l'IA générative
pour prédire
pour des modèles du monde ou une intelligence de type humaine.
Voilà,
si on veut des systèmes qui comprennent le monde réel, le monde physique,
qui est beaucoup plus compliqué avec la langue ou que le code,
il faut effectivement des modèles non génératifs.
Est-ce que tu peux expliquer en, je ne sais pas,
30 secondes vraiment pour nos auditeurs,
c'est quoi un world model et c'est quoi,
enfin,
qu'est-ce qui n'est pas un world model ?
Bonne question.
En fait, quand les gens, tu leur parles de machine learning,
d'IA,
de générative, diffusion,
et puis,
world model, c'est quoi ?
En quoi c'est différent et en quoi c'est similaire ?
Ouais,
alors,
world model,
c'est en train de devenir un espèce de buzzword.
C'est bien le problème.
C'est pour ça que si tu peux définir, c'est quand même vachement mieux.
Et il y a plein de gens qui veulent dire des choses différentes
par la phrase world model.
Et en fait, il y a plein de boîtes qui disent qu'ils en font,
mais en fait, qu'ils en font pas.
En fait, c'est un peu la blague habituelle.
Bon, on est en français, donc on peut dire des blagues de mauvais goût.
Surtout, surtout.
Ça reste en France.
Ouais.
World model,
c'est comme
le sexe chez les adolescents.
Le teenage sexe.
Le teenage sexe, c'est-à-dire que.
tout le monde en parle, personne ne le fait.
C'est plus compliqué que ça.
Ah oui.
Tout le monde en parle,
tout le monde dit qu'il le fait.
Ah oui.
Mais en fait,
personne ne sait ce que c'est et personne ne le fait.
Ah oui, il y a différents niveaux de profondeur.
"Ça reste en France !"
Donc c'est quoi ?
Donc c'est quoi ?
Alors,
étant donné l'état du monde à l'instant T.
et étant donné une action que j'imagine prendre,
puis-je prédire
l'état du monde à l'instant T plus 1 après que j'ai.
exécuté cette action.
Donc ça veut dire que c'est de la physique
potentiellement ?
Ça veut dire comprendre la 3D ?
Comprendre... Non, pas forcément.
Ça peut être n'importe quoi parce que ce n'est pas forcément de la 3D.
C'est abstrait en fait.
C'est complètement abstrait.
Si on joue à un jeu vidéo 2D de plateforme comme il y a ici, c'est pas de la 3D.
Un grand jeu.
Un grand jeu.
Ce n'est pas de la 3D.
Mais on se construit aussi... Donc ça peut être... Est-ce qu'on peut dire
que c'est le passage de la corrélation
à la causalité ?
On peut,
mais il n'y a pas vraiment de méthode très sophistiquée pour établir la causalité.
C'est juste état,
action, état suivant.
Ça ne veut pas dire que j'ai fait un moteur de jeu vidéo.
Non.
Alors pas du tout, pas du tout, parce qu'on ne va pas produire des pixels.
On va... Tu vas produire une représentation abstraite du monde.
Une représentation abstraite du monde.
Après, tu dois, entre guillemets,
si tu veux faire des pixels ou de la vitesse
ou un courant électrique ou n'importe quoi.
Il n'y a pas du tout de token,
il n'y a pas de discretisation n'y a du tout.
Et ce n'est pas quelque chose... On a un world model dans la tête,
mais c'est le cas aussi de notre chat ou même d'un rat parisien.
Mais du coup,
une question que je me pose,
c'est que tu dois du coup... Il faut le créer,
ce modèle abstrait dans l'espace latent.
Oui.
Et donc, tu as un sujet quand même de... Alors,
dans les LLM, on appelle ça la tokenisation, mais finalement,
tu as un sujet de transformation et du coup, d'interprétation.
Peut-être d'abord d'acquisition.
puis de couches successives d'interprétation pour finir un espace latent.
Oui.
Sur lequel, après, tu peux travailler.
Sur lequel tu peux faire... Avec lequel tu peux faire des prédictions.
Et surtout,
en plus,
j'imagine qu'il y a un nombre infini, mais en
tout cas un nombre important de chemins entre.
..
si je dis que je prends la tasse et que je vais
l'amener là, je peux faire ça, je peux faire ça.
Il y a une distribution de probabilités.
Non, ce n'est pas des probabilités, forcément.
Même pas ?
Non, pas du tout.
Non, mais par contre,
c'est la physique intuitive qu'on apprend quand on
est bébé, que tous les animaux apprennent aussi.
Ils ont tous un role model aussi dans la tête qui leur donne la capacité de planifier.
et qui permet de nous dire si je pousse sur ce verre,
à la base, il va glisser.
Si je pousse en haut,
il va peut-être glisser, peut-être basculer, je ne sais pas,
ça dépend de la friction du truc.
Si je pousse, avec la même force sur la table, elle ne va pas bouger.
Il y a tout un tas, en fait, on apprend une quantité de connaissances,
de compréhension du fonctionnement du monde
dans les premiers mois de la vie qui est absolument incroyable.
et c'est ce qui nous permet à la fin,
quand on arrive à l'âge de 4 ou 5 ans,
d'accomplir tout un tas de tâches qui seraient hyper complexes pour un robot
que la plupart des robots ne sont pas du tout capables d'exécuter,
encore moins d'exécuter sans être entraîné explicitement à les faire
et puis qui permet à un gamin de 10 ans de se comporter quasiment comme un adulte
dans tout un tas de situations ou un adolescent de 17 ans d'apprendre à conduire
en une quinzaine d'heures de pratiques.
On ne sait pas faire ça.
C'est ton compte.
Il prend à chaque fois, tu lui donnes tout et il le fait tomber
pendant quelques mois de sa vie.
C'est pour voir.
Il entraîne son modèle de représentation.
Ou ton chat,
il prend le verre et il fait tomber ton verre une fois.
Ça, c'est juste pour faire qu'il n'y ait pas un verre de modèle.
C'est juste pour savoir qu'il est le patron.
Du coup, ça veut dire qu'il y a une forme associée à ça
qui est un peu d'empirisme
et plutôt que
de théorisation ou de découverte des règles mais de
manière complètement abstraite, pas du tout quantifiable.
Non, mais surtout qu'un rat ou un chat est capable de faire.
Donc, ce n'est pas
comprendre la physique en écrivant des équations.
C'est ça.
C'est comprendre la physique intuitive
par expérience,
par observation et en fait, c'est beaucoup plus complexe mais ça permet de modéliser
des phénomènes beaucoup plus complexes que ce
qu'on peut modéliser en écrivant des équations.
Par exemple,
il y a certains cas
où je pourrais écrire des équations mais c'est complètement inutile.
Par exemple,
si je voudrais prédire ce qui va se passer entre nous dans une minute,
ce que je pourrais faire,
c'est mesurer la fonction d'onde de l'univers dans un kilomètre cube autour de nous
et ensuite faire une grosse simulation quantique de tous les états
de tous les électrons de toute la théorie
quantique des champs machin tous les spins tout ça
ça simulerait nos cerveaux et ça fait l'intérêt
de prédire ce qu'on va raconter dans une minute.
Des bêtises quoi.
Et ça marcherait.
Et alors ça marcherait mais c'est une fois.
C'est pas possible parce qu'on ne peut pas mesurer d'abord la fonction d'onde
de l'univers deuxièmement en fait ça ne ferait pas une prédiction exacte parce que.
ce cube de l'univers est en interaction avec le reste de la galaxie et même du reste
de l'univers à cause d'intriguements donc ça ne serait pas possible en fait
il y aurait des phénomènes imprédictibles qui se passeraient
donc très vite la simulation divergerait de la réalité à cause du fait
qu'on ne peut pas modéliser tout ça et puis bon il faudrait un ordinateur quantique
la tête de la galaxie pour faire ça donc c'est pas la peine.
Bon alors qu'est-ce qu'on fait on invente des abstractions
l'abstraction qui est au-dessus de la théorie quantique
des champs c'est la théorie des particules élémentaires
ou la théorie atomique.
ou la chimie les molécules etc.
la biochimie peut-être mais même ça on ne va pas simuler nos cerveaux
avec la biochimie c'est pas possible on ne sait pas le faire
et ça serait trop compliqué donc au-dessus de ça il y
a quoi les organelles dans les cellules les cellules.
les organes les organismes et puis en fait le bon niveau pour simuler
ce qui va se passer peut-être prédire un petit peu ce
qui va se passer dans une minute c'est la psychologie.
et qui est un niveau de description de l'univers enfin de la réalité qui est
plus dense en information peut-être qui est beaucoup plus abstrait
donc qui ne contient pas tous les détails du mouvement de toutes les molécules
mais qui par contre permet de faire des prédictions à plus long terme
mais ça veut dire que quand je fais un world model il
faut que je réfléchisse à quel niveau d'abstraction
sur lequel je vais travailler c'est-à-dire que donc en fait c'est-à-dire que c'est pas
je vais prendre je fais du world model donc je
prends trois quatre dimensions l'espace-temps etc.
donc là je choisis une abstraction qui va être en fait non c'est plus compliqué que ça
parce qu'il faut que le système non seulement choisisse le niveau d'abstraction
mais apprenne la bonne représentation d'accord ah oui
donc tout le génie tout le choix c'est là-dessus c'est-à-dire c'est apprendre
des représentations du monde qui permet de faire des prédictions il y a des milliers
de types de world model c'est possible plein
plein plein mais en fait quand on réfléchit
c'est c'est la base du deep learning le deep learning tout le problème
du deep learning et ce qui m'obsède depuis 45 ans c'est c'est c'est comment trouver
des bonnes représentations du monde
qui permet de faire des prédictions alors
jusqu'à présent on savait faire ça pour la perception très bien le deep learning
on empile les couches on entraîne un truc à reconnaître des images de la parole etc
ou prédire le next token dans un texte ça marche très bien parce que prédire
le token suivant c'est apprendre les classifications en fait donc
ça marche très bien pour ça
pour apprendre des représentations hiérarchiques pour
une tâche particulière apprendre une tâche supervisée
ou auto-supervisée dans le cas des LLM
mais comment faire ça de manière plus générale pour des modèles du monde dans lesquels
on ne veut pas simplement.
trouver une représentation qui permet de.
reconnaître des images ou quelque chose mais qui soit conditionnée sur les actions
donc qui permet de prédire ce qui va se faire et à la fin ça nous donne
une représentation abstraite non pas seulement d'observation du monde
mais aussi d'action le tout problème c'est comment agir
les gens parlent de système agentique en ce moment c'est aussi un gros buzzword
c'est un gros buzzword cette année passée et je ne comprends pas comment les gens
peuvent penser s'imaginer qu'ils vont construire
des systèmes agentiques qui vont marcher.
sans que ces systèmes aient la capacité de prédire les conséquences de leurs actions.
c'est complètement débile ça ne peut pas marcher c'est tout simplement
une hallucination collective alors si ça peut
marcher de la même manière qu'on peut prendre
un petit mec qui ne connaît rien à la cuisine et lui faire appliquer une recette
d'un grand chef je ne me sens pas visé du tout derrière la cuisine je me sens visé
tout d'un coup n'importe qui peut apprendre à faire une recette de cuisine
à condition de suivre la recette donc les systèmes agentiques à l'heure actuelle
sont entraînés à suivre des recettes mais en fait
quand ils font une bêtise ils ne le savent pas
et le petit mec il vient d'apprendre à faire une sauce compliquée
des fois ça ne marche pas il ne sait pas pourquoi.
c'est ça la fondamentalité c'est que le jeu
c'est d'avoir le plus de recettes possible.
mais sans vraiment comprendre l'interaction des ingrédients entre eux on sait juste
tu l'as bien aujourd'hui quand tu utilises Claude ou ChatGPT le nombre de fois
il te raconte un truc tu lui fais poser les questions après et tu te rends compte
qu'en fait il t'a raconté n'importe quoi et il se rend même compte lui-même.
il y a des grands débats tu sais sur les histoires d'en fait d'aller récupérer
de l'information pour entraîner des modèles de workflow d'entreprise
et que du coup c'est empiler les recettes
et puis somehow on a une fonction de moyenne au milieu et ça se passe
pas trop mal mais l'intelligence c'est pas ça
c'est le savoir c'est pas l'intelligence ça c'est le savoir voilà
donc c'est la reproduction d'un savoir comment dire procédural empirique empirique
mais qui existe déjà qui a été développé par quelqu'un d'autre
comme l'apprenti cuisinier qui applique la recette.
mais qui crée la recette.
et l'intelligence
c'est pas une collection de connaissances.
ou une accumulation de connaissances déclaratives
c'est même pas une collection de compétences sur lesquelles on a appris les recettes
c'est plutôt la capacité à inventer de nouvelles recettes
ou quand on fait face à un problème nouveau
à s'y adapter très vite comme apprendre à conduire en une quinzaine d'heures
où la première fois qu'on fait face à un problème
nouveau on peut grâce à notre world model
trouver une séquence d'action qui va accomplir la tâche juste une question
mais est-ce qu'il n'y a pas parce que je les vois venir dans les commentaires
est-ce qu'il n'y a pas on va dire un entre deux mais en tout cas pour évacuer le sujet
des perroquets stochastiques en fait tu vois de dans le pour l'exemple d'LLM
dans les tokens il y a une forme d'information qui.
à l'échelle
existe non plus sous forme discrète de tokens mais dans l'espace latent
c'est-à-dire que soit que ce soit des règles les patterns enfin tu vois
tout ce qu'on peut imaginer et donc l'interaction entre eux.
existe dans l'espace à temps
et que donc du coup tu vois c'est plus que on va dire le rabâchage de patterns mais
que à force à l'échelle somehow on arrive à étonner ça y est
somehow on arrive à.
il arrive à se dessiner si tu veux voilà une forme de règle oui
et que donc en fait tu vois l'interaction je ne sais pas moi
si on met du Sucre c'est plus sucré
ça n'apparaît
ça n'apparaît pas dans le texte précisément mais
dans l'espace latent ça finit par se dessiner
en tout cas se décrire quoi
et que donc du coup en fait
quand ça redescend.
bah du coup tu vois on arrive à retrouver une
forme d'intelligence quoi alors oui et non.
en sens que le problème du LLM c'est que la seule communication d'information
d'une étape de calcul à une autre c'est à Travers un token ah voilà discret
ça reste pas dans l'espace latent c'est 3 octets ouais d'accord ok
un token c'est 3 octets en gros
même pas donc donc tu produis un octet
tu fais tu déplaces ça dans le contexte d'entrée et donc l'information
qui est communiquée entre une étape de calcul et la suivante c'est.
un symbole qui est stockable dans 2 ou 3 octets et si c'était l'espace latent
qu'on réinjectait alors il y a des gens pour que la discrétion
soit faite de manière asynchrone donc on va essayer de faire ça par exemple à mon avis
la meilleure correcte de faire ça c'est JEPA - Quelle chance! - C'est l'idée c'est l'idée
tu fais la prédiction dans l'espace latent.
et tu essaies jamais de reconstruire l'espace entré parce que si l'espace entré
est sur des données naturelles c'est pas possible d'accord
pour les tokens tu pourrais si tu es du texte des séquences
tu peux effectivement retourner dans l'espace original
alors il y a des modèles comme ça un peu bâtards entre les deux
qui essaient de faire la prédiction au niveau de la présentation
mais qui sont quand même entraînés
à la fin pour prédire les tokens donc tu as des modèles comme les state-space models
par exemple dans lequel la dynamique interne et linéaire ce qui est un peu limité
et puis des modèles comme coconut il y en a
deux ou trois comme ça dans lequel tu as un petit peu de prédiction dans un espace
non discret mais à la fin on discrétise quand même d'accord et à la fin
bon c'est un peu des LLM sinon l'autre méthode pour sortir un peu du carcan
de la prédiction auto-aggressive de symboles c'est tu te débrouilles
pour que ton système produise plein de séquences de symboles possibles et puis ensuite
tu en as un deuxième qui les évalue et qui te sort la meilleure
c'est un peu comme ça que marche le système de génération de code mais c'est une forme
de quantisation du coup parce que tu quantises l'espace latent non c'est une forme
de raisonnement c'est une forme de recherche d'accord le raisonnement
c'est un autre sujet complètement différent mais le raisonnement.
ne peut pas être ne peut pas se faire par prédiction
auto-reggressive c'est à dire quand on raisonne
on le fait pas en produisant des mots les uns après les autres on réfléchit on interne
dans notre espace latent ça reste dans l'espace latent ça reste dans l'espace latent
on manipule des modèles mentaux etc donc par exemple je suis sûr qu'il y a
plein de geeks qui nous regardent mais bon c'est un niveau de maths de terminale
ça va je vous dis je pose la question donne
moi une famille de trois vecteurs dans le plan.
qui sont linéairement indépendants.
alors tu réfléchis.
c'est quoi ta réponse alors moi faut pas me demander moi je j'ai vu
trois vecteurs dans le plan en deux dimensions
ah en deux dimensions dans le plan dans le plan
qui sont linéairement indépendants donne moi une famille de trois vecteurs
indépendants non indépendants indépendants ah pardon on a bien fait
de ne pas trouver de solution oui vous avez bien fait
mais ce qui est intéressant c'est le processus mental
donc la plupart des gens
je sais pas si c'est le cas pour vous mais la plupart des gens certainement
beaucoup de gens qui nous écoutent on se représente une espèce d'image mentale
de la situation ah bah oui et puis on se dit là là et puis tous les autres
en fait c'est une combinaison des deux autres bah oui donc c'est pas possible
t'as hésité à répondre mais t'avais la réponse déjà à
cause de cette image mentale on manipule l'image mentale
d'accord
il y a bien sûr une autre manière de faire ça qui est de dire ah mais nous
il y a un théorème qui te dit que tu peux pas avoir
plus de n vecteurs en dimension n qui sont indépendants.
mais personne fait ça tout le monde commence par l'image mentale
donc c'est cette histoire de modèle mental du monde
qui est importante alors maintenant
en maths en particulier et aussi pour l'écriture de code
et peut-être pour le texte légaux je sais pas quoi
une grande partie du raisonnement peut être fait dans le domaine des symboles
quand on fait des maths on fait des dérivations on manipule les symboles
et une partie du raisonnement qui en fait
résulte de la manipulation de symboles quand on écrit du code très souvent
on commence à écrire le code et puis ça nous éclaire sur la formulation en fait
les abstractions qu'il faut utiliser etc donc
ce sont des domaines le code et les maths
dans lequel la manipulation de symboles est le substrat
du raisonnement en tout cas un substrat possible du raisonnement pas tout
ce sont les deux applications pour les LLM je crois vraiment bien oui alors du coup
moi j'ai une question parce qu'il y a un an un an et demi maintenant
t'en avais parlé aussi mais je parlais beaucoup tu
sais des raisonnements justement en espace latent
et j'avais dit je pense que le truc dans un an ou
deux ans ça va être dans le cas des LLM en tout cas
que le reasoning va se faire en espace latent on
est un an et demi après il se fait toujours en token
et deuxièmement les raisonnements basés sur l'énergie donc du coup l'idée de minimiser
en fait l'énergie mais tout en restant dans l'espace latent alors moi j'ai essayé
avec ZML de réinjecter l'espace latent ça marche pas du tout
mais du coup à ton avis
là puisqu'on est là dessus
pourquoi c'est pas quelque chose qui est poussé parce que ça pourrait être
de mon point de vue ça pourrait être un win enfin en tout cas un gain incrémental
on resterait quand même dans le monde des LLM où tout le monde est content
mais on aurait quand même des raisonnements plus intéressants parce que là aujourd'hui
c'est vraiment brut forcé - la vraie question c'est comment faire marcher, c'est à dire le truc
qui a vraiment un peu surpris tout le monde après les Transformers
c'est quelles architectures utiliser qui vont vraiment marcher au début
c'était des architectures encodeur-décodeur à la BERT.
où tu prends un bout de texte tu fais passer dans un encodeur
avant ça tu masques certains mots
du texte et puis tu entraînes un gros réseau neurone encodeur-décodeur.
dans lequel le décodeur est autorégressif après dire les mots qui manquent
et puis finalement on s'est aperçu que pour vraiment
passer à l'échelle et faire marcher un truc bien
il fallait enlever l'encodeur et juste entraîner un décodeur.
et ce décodeur tu ne l'entraînes pas en prenant une séquence de symboles
et en enlevant en masquant des entrées
tu construis l'architecture de manière à ce
qu'elle soit strictement causale c'est-à-dire que
pour prédire une sortie tu ne peux pas regarder le token d'entrée correspondante
tu ne peux regarder que ceux qui sont à sa gauche.
donc l'architecture du système elle-même
fait qu'il y a une espèce de masquage implicite que quand tu lui donnes une séquence
il ne peut regarder que la première moitié de la séquence pour prédire un token
et en fait donc ça c'est l'architecture GPT.
et tu entraînes simplement ce truc
à reproduire son entrée sur sa sortie d'accord.
c'est un auto-encodeur en fait un GPT d'accord
ok qui ne se dit pas mais c'est un auto-encodeur
et dans les world models tu as aussi des différentes architectures
qui ont des encodeurs il y en a qui n'ont pas d'encodeurs alors dans les
la manière correcte de faire des world models
c'est la même chose c'est-à-dire
tu prédis une c'est pas un token mais un vecteur quoi
ok à partir de de ce qui précède mais tu fais ça dans un espace d'implantation
c'est-à-dire qu'il y a d'abord une couche
qui prend la séquence
qui l'encode et ensuite c'est cette séquence que tu fais passer par un truc
un peu à la GPT enfin qui est en tout cas strictement causal
que tu peux entraîner ça veut dire que cette séquence devient un vecteur.
c'est pas une succession de vecteurs comme dans le cas d'un LLM
alors c'est une succession de vecteurs mais pas une succession de tokens
ah oui d'accord.
t'as pas besoin de tokeniser tu peux prendre la vidéo et donc aussi donc t'as le même
tu fais un encodeur tu retravailles dessus t'as un encodeur qui te produit
une séquence si l'entrée est une séquence ça produit une séquence aussi.
de représentation
de chaque entrée qui chacune d'ailleurs peut prendre plusieurs entrées
une fenêtre donc si tu donnes de la vidéo par exemple
ton encodeur peut prendre je sais pas 16 ou 64
trames d'entrée et te produire une représentation pour ça qui est pas forcément
un vecteur qui elle-même peut être un torseur d'accord ok voilà et ça c'est un.
c'est un un objet dans la séquence.
et cette séquence tu entraînes
une architecture qu'on appelle un prédicteur qui est strictement causal
à reproduire simplement l'entrée sur sa sortie parce que justement dans le papier
le world model que tu as publié c'était quoi c'était en 2025
justement tu parles un peu de ça en fait donc si on comprend bien le papier
il y a un espace latent
il y a une analyse de la situation et ça tord un peu ou ça fait une projection
de l'espace latent sous un sous-espace latent un peu les poids sont un peu
sont un peu modifiés ou en tout cas projetés
et là c'est drôle parce qu'il y a une fonction
une fonction gaussienne que vous appliquez
moi je retrouvais la fonction d'onde
tu vois la fonction d'onde en physique je me suis dit mais est-ce qu'il y a un lien
ou absolument pas non il n'y a pas lien avec la physique de ce côté là
enfin pas avec les fonctions d'onde pas avec
la mécanique quantique en tout cas pas encore
mais bientôt pas encore pas encore là dans la vidéo il y a le tien elle transforme
les world models en quantiques et là dans un an il va accepter son prix Nobel et tout
je vous remercie Mehdi Mejari parce que donc non pas de quantique ok voilà le problème
voilà le problème qu'il faut résoudre quand on entraîne un JEPA
et c'est un argument que les gens utilisent contre cette idée de JEPA d'accord
c'est que il peut y avoir ce qu'on appelle en bon français un collapse
ok
le problème est le suivant
on prend disons une partie d'une vidéo qu'on encode
et puis la deuxième partie de la vidéo qu'on encode
et puis on essaie d'entraîner un prédicteur à prédire la représentation
de la deuxième partie en fonction de la
représentation de la première partie le truc peut très
facilement
si on l'entraîne à minimiser l'erreur de prédiction.
il peut décider d'ignorer l'entrée complètement et de produire des représentations
constantes qui ne dépendent pas de l'entrée et
donc là le problème de prédiction est trivial
et donc le truc revient et te dit ton erreur de prédiction elle est à zéro
tu as bien réussi mais en fait il ne marche pas parce que c'est un collapse
tu as trouvé une bonne traduction c'est un effondrement un effondrement c'est pour ça
que vous envoyez une gaussienne un peu pour créer différentes voies
de différentes probabilités alors c'est là qu'on commence à creuser dans la tranchée
de l'apprentissage auto-supervisé en joint embedding en chassement joint
et c'est un truc sur lequel mes premiers papiers
là-dessus datent de 1993 donc tu vois c'est pas 93 ?
ouais ouais
ah la vache t'avais quel âge en 93
t'avais quel âge ou j'avais 9 ans ok je t'explique au problème
c'est très simple on avait ce problème à AT&T des gens qui sont Venus
et qui se sont dit on voudrait bien stocker une signature.
de quelqu'un qui Signe sur une tablette mais sur la bande magnétique
d'une carte de crédit ils n'avaient pas de carte de puce à l'époque aux Etats-Unis.
et il y a 80 octets sur une bande magnétique
comment peut-on stocker la représentation d'une signature sur 80 octets alors
ah idée sympa on prend un réseau de neurones
un réseau convolutif où ils donnent la séquence
des points quelqu'un qui signe et puis c'est un réseau convolutif et puis à la fin.
on sort une sortie avec 80 sorties.
80 valeurs un vecteur à 80 dimensions qu'on va quantifier sur 8 bits
voilà donc
quelqu'un a fait une signature comment peut-on vérifier que cette signature
vient bien de cette personne on va entraîner ce réseau de neurones.
on ne sait pas a priori on n'a pas la collection
de toutes les signatures de tous les gens
donc il faut que ça marche pour n'importe quelle signature ce qu'on va faire
c'est qu'on va entraîner un réseau de neurones pour que quand on lui donne
deux signatures de la même personne
ça nous sort le même vecteur de 80 composantes.
et quand on donne une signature d'une personne et une signature d'une autre personne
ou une signature d'une autre personne qui essaie d'imiter la première
ça nous donne des vecteurs différents l'apprentissage est complètement trivial
maintenant on appelle ça l'apprentissage contrastif
mais ce que ça veut dire c'est tu mets deux
signatures si c'est deux signatures la même personne
tu as une fonction de coût qui dit attire tous
ces deux vecteurs l'un à l'autre d'accord.
si tu fais que ça
ça collapse d'un effondrement parce que le truc ignore
complètement l'entrée te produit un vecteur Constant.
donc tu as des exemples contrastifs
qui sont des signatures qui sont différentes nos séquelles sont différentes et là
tu repousses les deux vecteurs l'un de l'autre
d'accord tu les éloignes les uns des autres d'accord ok
donc ça c'est la production contractive c'est utilisé
absolument partout aujourd'hui pour dans les LLM les LLM
quand ils analysent une image en fait utilisent
la plupart d'entre eux pas tous
la plupart d'entre eux utilisent des des pipelines de perception qui sont entraînés
avec une méthode qui s'appelle clip.
qui est un truc qui a été proposé par par OpenAI il y a quelques années
mais c'est en fait ça c'est la même chose c'est à dire que tu montres une image
et au lieu de montrer une autre une autre image une signature.
tu montres une description textuelle de cette image et tu dis je vais avoir
un embedding du texte c'est un embedding de l'image si le texte
est une bonne description de l'image je les rapproche les uns des autres
et tu as des exemples contrastifs ou tu as une description d'une autre image.
et là tu les repousses c'est un peu piloté par la loss function
par la fonction de perte la fonction de perte qui a deux termes un terme attractif
et un terme répulsif qui dit les trucs dont je sais qu'ils sont identiques
sémantiquement je les rapproche et les trucs qui sont différents
je les repousse il y a plein de manières de faire ça ça me fait penser peut-être que
le côté contrastif ça me fait penser à ce que proposait Inton il y a quelques années
alors il y a un modèle qui s'appelle SimCLR
S-I-M-C-L-R qui est un truc contrastif et qui a été un des premiers.
réseaux convolutifs contrastifs en fait
qui donnait des performances raisonnables sur l'image nette
moi en fait j'avais essayé de raviver la méthode
de ce qu'on appelle ça les réseaux si à moi.
avec des méthodes contrastives aussi au milieu des années 2000
avec deux étudiants à moi Sumit Chopra et et Raia Hadsel et qui ont inspiré
pas mal de travaux après en fait le système de
reconnaissance de visage qui était utilisé par Facebook
jusqu'à ce qu'ils arrêtent de faire la reconnaissance de visage
en fait était affiné avec ce genre de méthode donc tu montres
deux images deux photos de la même personne les représentations sont attirées
et puis deux photos de gens différents tu les repousses il faut que
quand ça se ressemble ça converge et quand ça se ressemble pas ça diverge
sinon tu as des faux positifs tout le temps sinon des faux positifs tout le temps
où le truc collapse complètement donc CLIP, le C de CLIP, c'est contrastif
moi j'ai une question sur comment on entraîne
aujourd'hui les modèles c'est quoi c'est des vidéos
j'ai vu des data sets la Robocasa c'est des robots qui sont dans des cuisines en 3D
il y en a qui font avec des jeux vidéo
avec des moteurs Unreal, ou Atari même j'ai vu des trucs, Minecraft, il y en a qui essaient
d'entraîner les modèles avec Minecraft
il y a des vidéos réelles du monde physique c'est
comment on entraîne aujourd'hui un modèle du monde
à la sauce JEPA.
alors avant que je réponde à ces questions
tu vas me la rappeler dans une minute
il faut que je t'explique les alternatives aux méthodes contrastives
les méthodes d'entraînement de JEPA
ou de Joint Embedding donc de méthodes dans lesquelles il n'y a pas de reconstruction
dans lesquelles il faut trouver un espace de représentation dans lequel tu peux
faire des prédictions et éviter le collapse
donc j'ai parlé des méthodes contrastives
qui empêchent le collapse
mais en fait elles ne sont pas efficaces c'est à dire que
quand on essaie d'entraîner par méthode contrastive
des représentations un peu complètes
d'images ou de choses comme ça
en fait on n'arrive pas à ce que la représentation remplisse un peu l'espace complet
de représentation on a toujours des représentations un peu dégénérées
et puis ça nécessite énormément d'exemples contrastifs donc il y a une autre série
il y a deux autres catégories de méthodes.
une qui sont des méthodes qu'on appelle par distillation.
donc ils sont utilisés par des papiers qu'on a publiés qui s'appellent IJEPA VJEPA.
BYOL qui vient de DeepMind
et DINO qui vient de FAIR Paris.
donc ça c'est des méthodes par distillation
et puis il y en a eu d'autres avant, SimCLR etc.
Pas SimCLR pardon, MoCo.
Distillation... comme dans les LLMs ?
Alors distillation c'est...
la méthode de distillation c'est un truc un peu bizarre pareil tu as deux encodeurs donc tu prends
une entrée et une autre entrée qui peut être une version corrompue de la première
ou qui peut être un morceau différent de la vidéo etc tu les fais passer
par des encodeurs qui sont identiques au niveau
architecture et puis tu essaies de prédire
la représentation de l'entrée originale à partir
de celle qui a été corrompue ou transformée etc.
et donc DINO marche sur ce principe.
IJEPA aussi
et la manière dont on empêche le collapse
c'est qu'on ne rétropropage les gradients
que d'un côté c'est-à-dire qu'il y a
un côté où l'encodeur
ne reçoit pas le gradient
et ses poids ne sont pas mis à jour par gradient.
et les poids de cet encodeur en fait sont
une espèce de moyenne mobile sur le temps des poids de l'autre
qui lui est entraîné
et pour une raison mystérieuse ça ne collapse pas
pourquoi mystérieuse ?
mystérieuse parce qu'on n'a pas la théorie qui l'explique pas encore
ça marche mais on ne sait pas pourquoi
ça marche mais on ne sait pas pourquoi du vrai engineering comme on aime comme disent
si ce n'est pas cassé il ne faut pas toucher la théorie c'est if I ain't broke
don't fix it non non la recherche c'est on sait quoi mais ça ne marche pas
et du engineering c'est ça marche mais on ne sait pas pourquoi alors qu'ici on est là
ça ne marche pas ici ça ne marche pas on ne sait pas pourquoi alors il y a
un ou deux papiers théoriques qui essaient d'expliquer que la dynamique
d'apprentissage dans ce cas-là a des points fixes qui ne sont pas collapsés etc
mais bon c'est un peu ce qu'il y a broke et bon
il y a des inconvénients à utiliser ces méthodes
mais elles marchent et elles marchent à l'échelle
et donc les modèles de vidéo la VJEPA qu'on a entraîné
sur d'énormes quantités de données ça marche très bien.
mais ce n'est pas satisfaisant donc la méthode qu'on utilise dans le world model
qui est une méthode qui s'appelle SIGReg ça veut dire Sketched Isotropic Gaussian Regularization
et donc là tu vas nous le dire en français
ah oui ça c'est une question régulation alors attends
c'est quoi le premier régularisation par gaussienne
par gaussienne isotrope mais le sketch il n'y a pas de mot français dessiné
oui c'est par projection par projeté par par
par dessin projeté par projection intersection.
régularisation de gaussienne isotrope par par projection multiple ouais
genre ça comme ça allez ça c'est une exclusivité
pas mal non
c'est français totalement c'est tout nouveau ça dit à 10 secondes
c'est fraîchement sorti du four l'académie française vient
et d'ailleurs est sur le coup il faut qu'on appelle on appelle les québécois
on appelle l'office québécois la technologie
ça fait partie d'une classe de technique
en fait on en a découvert plusieurs et puis bien
sûr Jürgen Schmidhuber dit qu'il a inventé ça en 1990
mais en fait il y a des papiers qui datent des années 80
de Geoffrey Hinton et de Sue Becker qui sont un peu basés sur l'idée
qui est de dire si on a un truc comme ça qui
ne reconstruit pas donc qui peut collapser
on va essayer de maximiser la quantité d'informations qui sort
des encodeurs on va essayer de trouver une mesure
qui mesure la quantité d'informations.
alors il y a un gros problème avec ça c'est qu'on ne sait pas mesurer l'information
parce que pour mesurer l'information avec toutes les définitions
il faut connaître la distribution de probabilités
dans un espace continu de haute dimension
essayer de trouver une distribution de probabilités à partir d'échantillons
c'est un problème ultra compliqué qu'on ne sait absolument pas résoudre
qui est mathématiquement intractable qui est plus compliqué
que tout le machine learning donc ce n'est pas la peine.
donc on ne sait pas calculer l'information on ne peut faire que des approximations
et il y a un gros problème c'est que toutes les approximations qu'on peut faire
c'est estimer les quantités d'informations dans une série de vecteurs.
c'est que des surestimations.
c'est que des bandes supérieures pas inférieures
et on voudrait maximiser
si on veut maximiser quelque chose et qu'on a une bande inférieure
on pousse sur la bande inférieure ça pousse la quantité
mais si on n'a que des bandes supérieures et qu'on tire dessus on ne sait pas du tout
si ça va suivre alors on fait ça quand même
et on croise les doigts donc c'est aussi un peu l'engineering c'est ça que j'adore
mais il y a un peu des maths derrière quand même donc l'idée c'est comment
faire en sorte qu'on fait passer une quantité d'exemples dans l'encodeur et puis donc
ce qu'on va récupérer c'est une espèce de matrice
pour chaque exemple on a un vecteur de représentation et puis pour tous les exemples
qu'on a passés c'est une ligne donc on se retrouve avec une matrice chaque ligne
il y a une augmentation d'un vecteur
chaque colonne est une variable
pour tous les exemples d'accord comment maximiser l'information
qu'il y a dans cette matrice alors d'abord si toutes les valeurs sont égales
il n'y a pas d'information donc il faut s'assurer que par exemple
toutes les lignes soient différentes ça c'est
une méthode contrastive une méthode contrastive
tu dis voilà un exemple il y a un deuxième exemple il est différent
fais en sorte que les deux augmentations soient
différentes ça c'est une méthode contrastive
les méthodes un peu nouvelles comme Cy c'est plutôt un peu l'inverse
c'est-à-dire qu'on essaie de faire en sorte que les colonnes soient différentes.
c'est-à-dire que chaque variable.
véhicule une information différente d'accord
alors on a eu une première idée tu peux pas le faire ça avec des rotations
tout simplement alors tu peux faire ça en mesurant des corrélations
donc on avait deux méthodes en fait la première méthode qui m'a un peu moi allumé
qui m'a un peu convaincu que ces trucs-là pouvaient
marcher qu'on a appelé qu'on a appelé Barlow Twins
les jumeaux de Barlow d'accord Barlow c'est un un monstre de la
des neurosciences théoriques anglais
qui a basé beaucoup de ses théories sur les histoires de maximisation d'informations
efficacité du codage etc c'était un post-doc qui travaillait avec moi à Meta
qui s'appelait Stéphane Denis un français
qui est maintenant prof en Finlande et l'idée en fait de décorréler
les colonnes de cette matrice
on les rendant orthogonales les unosons.
donc ça a à voir avec rendre la matrice de covariance des données
donc tu prends cette matrice tu la prémultiplies par sa transposée
ça te donne une matrice de covariance
et tu te fais en sorte pour qu'elle soit diagonale
c'est-à-dire qu'il y a des 1 sur la diagonale des 0
et ça fait des variables qui ont toute une variance 1 et qui sont décorrélées
maintenant décorrélées ça ne veut pas dire indépendant.
donc on a une deuxième méthode qui s'appelait VC regularization (VICReg)
variance covariance regularization qui est une méthode
simplifiée de Barlow Twins qui marche très bien
avec Adrian Bard qui est un ancien étudiant en doctorat résident à FAIR
co-supervisé par Jean Ponce et moi.
il n'a pas fini à Google lui depuis il est devenu chercheur à FAIR.
et là depuis quelques semaines il est à AmiLabs - Ah! Trop bien! - Google ils ont eu Bard
ils ont eu Bard c'est pour ça je me suis dit est-ce que c'est lui qu'a donné le nom ?
est-ce que ça veut dire que le travail sur les world
models c'est un travail un peu plus mathématique
que les modèles de transformers, de diffusion, LLM est-ce qu'il y a une dimension ?
diffusion il y a des maths aussi c'est plutôt la physique d'ailleurs la physique
mais est-ce que ça veut dire que là tu as une dimension mathématique
sur les espaces vectoriels un peu plus compliqués est-ce que ça veut
disons qu'il y a il y a tout spectre il y a des théories théorie il y a des maths
la théorie théorie qui n'est pas encore trop faite
enfin si c'est plutôt Randall Balestriero qui est le premier auteur de
pas LeWorldModel mais LeJEPA qui est le papier d'avant
qui lui est pas mal branché sur l'aspect de ça il est aussi français
il est prof à Brown
il est aussi affilié à AmiLabs et
donc il y a des maths et puis il y a effectivement l'ingénierie et du bricolage
et du tournevis et puis il arrive à faire marcher... Alors l'idée de SIGReg
c'est de dire on veut pas simplement décorréler les variables mais on veut les rendre
statistiquement indépendantes et là c'est beaucoup plus compliqué.
et on ne sait mesurer la dépendance statistique de deux variables enfin on ne sait
mesurer la dépendance statistique que de deux variables
d'accord
ou même que d'une.
en haute dimension c'est très compliqué.
alors cette idée j'avais une idée vague et puis Randall en fait a.
complètement a pris l'idée a couru à 100 km/h avec
c'est de dire
si on si on a une collection de points donc on peut voir cette matrice
comme une collection de points dans un espace.
comment faire en sorte de bouger ces points pour que à la fin il soit une distribution
gaussienne isotrope c'est à dire qu'elle soit gaussienne
dans toutes les directions avec la même variance
et il y a un théorème qui dit que si une si une une distribution est gaussienne
de cette manière là en fait c'est la distribution
qui a le plus de contenu informationnel
pour une variance donnée alors bon ça c'est pas un argument qui est très très fort
mais c'est intéressant quand même
et puis il y a un deuxième théorème qui est beaucoup plus intéressant qui dit que
si toutes les projections donc on prend les points on les projette selon une dimension
ce qu'on va obtenir c'est une distribution unidimensionnelle.
si toutes les projections donc toutes les distributions marginales
d'une distribution en haute dimension
dans toutes les directions
sont toutes gaussiennes.
la distribution jointe est gaussienne donc idée
on va faire plein de projections des points qu'on
a et on va faire en sorte de bouger les points
selon toutes ces directions pour que la distribution unidimensionnelle soit gaussienne
et ça on sait le faire c'est-à-dire qu'on sait calculer
en une dimension la distance
entre une distribution empirique qui est donnée par des points.
et une distribution idéale qui pourrait être gaussienne ou n'importe quoi.
on peut calculer une distance
et non seulement ça on peut calculer le gradient
de cette distance donc ça veut dire qu'on sait
dans quelle direction et de combien
bouger chaque point.
selon chaque projection de manière à ce que la distribution marginale
dans cette direction-là soit gaussienne et dans celle-là soit gaussienne aussi
et puis il y a un troisième théorème qui dit
bon en fait tu n'as pas besoin de projeter sur toutes les dimensions si ta fonction
est un petit peu rigide en fait tu n'as besoin que de
un subset tu n'as pas besoin d'un nombre de dimensions exponentielles en fonction
de la nombre de projections exponentielles en fonction de la dimension
et donc ça ça marche super bien et puis il
n'y a pas beaucoup de paramètres à ajuster etc
mais ce n'est pas parfait ce qui manque.
dans cette technique c'est
le fait que on lui donne a priori.
une dimension qu'il faut remplir avec les points.
et il n'y a aucune raison que la distribution d'entrée
en fait remplisse toutes ces dimensions donc il faudra une manière d'adapter
les dimensions automatiquement que le système automatiquement découvre les dimensions
intrinsèques de la variété qui contient toutes les données en entrée.
d'une part et puis d'autre part il se peut très bien qu'on ne puisse pas réduire
cette distribution à une gaussienne donc par exemple si je prends
des images
d'objets
selon tous les angles
possibles si je prends des photos à mégapixels
de cet objet sous tous les angles possibles ok donc
chaque image c'est un vecteur à un million de dimensions
c'est un point dans l'espace d'un million de dimensions.
la trajectoire suivie par par tous ces points
à mesure que je fais tourner l'objet.
c'est une trajectoire très compliquée dans cet espace à un million de dimensions.
mais topologiquement c'est un cercle c'est un cercle parce que tu es capable
de projeter orthogonalement sur chaque parce que tu sais que tu vas revenir
à ton point de départ parce qu'une fois que tu as tourné 360 degrés tu reviens
à ton point de départ on joue on joue d'accord on
joue sur alors c'est c'est élégant c'est élégant oui
c'est une trajectoire qui est horriblement tarabiscotée qui n'est pas du tout
un cercle mais c'est topologiquement assimilable à un cercle c'est à dire que
tu lui tires dessus sans rien casser et ça devient un cercle.
maintenant si je le fais tourner comme ça.
et comme ça.
ça va être un truc un peu compliqué ça va être une sphère en fait enfin ça reste
oui voilà c'est ça mais il y a une troisième dimension où je n'ai pas fait tourner
et donc ça veut dire que celle-là elle est ouverte donc ça va être un tube
un peu de cylindre en fait c'est un peu sur
ce thème qui était les papiers de 2005-2006
avec mes étudiants Sumit Chopra, Raia Hadsell. Raia Hadsell qui est directrice
de la recherche à DeepMind by the way
donc... elle a bien raté sa carrière
manifestement! non elle est incroyablement talentueuse. Donc en fait c'est des maths assez avancées
de dimension élevée mais on retombe sur des choses qu'on connaît avec des
pas des tricks mais avec des formes ou de la géométrie - Bah conceptuellement en tout cas
avec la géométrie - mais il y a des problèmes sur lesquels on travaille
en ce moment qui est comment modifier SIGReg et des choses similaires
pour que le système découvre automatiquement la topologie des données d'entrée.
et la dimension intrinsèque
on a quelques idées là-dessus on a des trucs qui marchent à moitié mais il y a encore
du boulot à faire c'est pas un problème résolu le
Le temps passe vite il nous reste trois petits points
Il y en a un: données d'entraînement. Aujourd'hui les données d'entraînement
on voit plein de vidéos on voit des entreprises qui obligent les gens
à mettre des casques pour s'enregistrer avec les
mains, on voit des gens qui génèrent des vidéos
de la vie de tous les jours des balles de tennis
qui tapent dans tous les sens on voit des labs
qui se font avec où il y a besoin on donne les X, Y, Z
avec la force en Newton pour vraiment nourrir
les modèles donc là vraiment très supervisé
on voit des jeux vidéo
de la 3D voilà aujourd'hui c'est quoi l'écosystème un peu de
et qu'est-ce qu'il faut pour les jeux pas modèles alors la raison
pour laquelle les gens utilisent des jeux vidéo pour entraîner des modèles
ça se fait beaucoup à DeepMind par exemple et
puis il y a eu d'autres gens qui croient à ça.
la raison pour laquelle ils utilisent des jeux vidéo c'est que les jeux vidéo.
les données étant synthétiques qui captulent dans
tout l'état du monde tu peux prédire des pixels.
c'est-à-dire qu'il n'y a il n'y a pas l'incertitude qu'il y a dans le monde réel
ou prédire des pixels c'est pas complètement débile.
et donc ça fait qu'on peut utiliser des modèles génératifs un peu classiques
pour entraîner des modèles du monde
par prédiction de pixels
mais ça ne marche pas pour la vraie vidéo mais est-ce que c'est pas
celui qui a perdu ses clés devant chez lui dans le noir
et qui va sous le réverbère parce que c'est éclairé et qu'il les cherche sur place
c'est un peu ça quand même c'est parce qu'ils fonctionnent en pixels
qu'ils génèrent des pixels voilà et ça ne marche que pour les jeux vidéo en gros.
donc c'est l'une des raisons pour lesquelles les gens se mettent sur les vidéos
ou sur des vidéos de simulation de robots enfin des trucs synthétiques parce que là
il n'y a pas toutes les textures impossibles et le bruit qu'il y a dans le monde réel
il n'y a pas aussi une histoire de capture de l'état du monde complet
parce que dans les jeux vidéo tu peux capturer le monde à l'unité de granularité
que tu veux ouais mais c'est pas un problème de capteur on a tous les capteurs
qu'on veut nous on n'apprend pas comme des jeux vidéo enfin la thèse c'est de dire
si on fait des modèles qui apprennent comme on apprend comme un chat apprend
comme un enfant apprend comme un adulte apprend
nous on n'a pas besoin de connaître tout l'état du monde est-ce que tu peux devenir
un bon jeu vidéo grâce à ça pour Elon ça pourrait être cool
il a besoin de payer des gens par exemple il y a un truc
c'est qu'à un moment donné tu dois quand même revenir
pas pour tout évidemment mais revenir quand même il y a une équation dans pas mal
tu vois tu apprends la physique en lançant une balle alors après
tu apprends dans la gueule comme ça tu l'offres combien mais tu reviens finalement
est-ce que tu reviens quelque part
à une équation une vraie équation mathématique ou quelque part on n'en a rien à foutre
en fait c'est ça le chat il ne comprend pas les équations le chat de Schrödinger
il comprend les équations mais pas les deux est-ce qu'il y a une équation
pour créer de la donnée pour justement injecter dans le modèle chaque gouttière
a un très très très bon modèle prédictif de sa propre dynamique.
il retombe sur ses pattes il ne connaît pas les Noël Newton.
enfin il ne les connaît pas mais il les connaît
c'est-à-dire qu'il a sa représentation mais il ne sait pas
c'est-à-dire que c'est la place qui dit je n'ai pas eu besoin de cette hypothèse voilà
exactement d'accord mais il n'a pas besoin d'écrire un petit nombre d'équations
qu'il peut intégrer etc par contre il a un modèle
il a un modèle phénoménologique de sa propre dynamique qui est incroyablement
plus compliqué que tout ce qu'on peut écrire
sur la dynamique d'un robot parce qu'il y a l'élasticité des tordons des muscles
des machins enfin c'est hallucinant complexité on ne sait pas le faire on sait écrire
les équations dynamiques d'un robot humanoïde
et c'est parce que toutes les articulations sont très stif
on connaît les caractéristiques de tous les actuateurs on a mis du bruit
bien sûr aussi et c'est comme ça toutes les démos
qu'on voit de robots humanoïdes qui font du kung fu
c'est parce qu'on peut écrire les équations de la dynamique
on ne connaît pas tous les coefficients donc on a juste ça par reinforcement learning ou par simulation
mais tout ça c'est pré-calculé et là on le voit derrière des vidéos de robots
qui font des démonstrations puis qui tapent des gens dans le public
parce qu'ils n'ont pas la personne ils n'ont qu'à pas voir public aussi
t'es mignon toi mais ça fait penser à le joueur d'échec Capablanca il disait
moi je calcule qu'un seul coup elle avance mais c'est toujours le meilleur coup
ça fait un peu pour ça ça veut dire que presque l'équation physique en fait
perd l'information puisque c'est une simplification voilà c'est ça d'accord
de toute façon oui j'ai envie de te dire c'est un modèle c'est un modèle du monde
oui mais là du coup ce qui est hyper intéressant c'est qu'en fait
c'est pas un modèle parce que quand on parle de modèle du monde il y a un côté un peu
tu sais enfin en tout cas je parle pour moi
émotionnellement d'objectivité quoi c'est à dire que tu modèles le monde
alors qu'en fait au contraire là tu prends l'exemple du chat comme tu dis
il modèle le monde dans son propre référentiel avec ses propres contraintes
l'élasticité la condition physique si il a une personne de confiture
attachée sur son dos finalement c'est très subjectif par exemple
j'ai deux hobbies.
un c'est la voile et l'autre c'est fabriquer des petits avions ok
et dans ces deux trucs là très vent quoi très faut pas qu'on te parle de Kyber
très aérien très aérien des expériences qu'on va
faire chez Kyber parce que quand tu fais la voile
en tout cas moi quand je fais la voile pour régler les voiles
j'ai une espèce de.
pseudo simulateur dans la tête du
l'écoulement de l'air derrière la voile si je borde trop il va y avoir des turbulences
derrière au-delà de 120 degrés ça marche pas machin machin enfin j'ai ça
un peu dans la tête c'est le problème il n'y a pas besoin il n'y a pas besoin
parce qu'il y a un modèle phénoménologique qu'on a dans la tête on sait qu'il faut
aborder le foc un petit peu un petit peu plus pour faire
coller les machins derrière la grande voile etc etc
on sait qu'il ne faut pas aller complètement en voie arrière avec un multicoque
parce qu'on va moins vite que si on va un petit
peu et qu'on garde le flot laminaire et tout
et c'est grâce à une espèce de modèle mental
pareil si je suis en train de construire un avion télécommandé je fais un profil
un profil d'elle c'est un peu à la louche je ne vais pas faire la simulation de fluide
sur le machin mais bon je sais à peu près quelles sont les caractéristiques et tout
mais c'est pareil il y a une espèce de simulation mentale de ce qui se passe
les modèles MuZero, PlaNet, Dreamer ils sont dans cette idée de tout simuler en avance
avec beaucoup de paramètres non ?
c'est pas un peu ça leur modèle ?
alors je vais y venir dans une seconde alors donc tout ça.
c'est grâce à un modèle phénoménologique
d'un phénomène très compliqué collectif qu'on pourrait en principe réduire
à quelques équations mais qui est hyper compliqué
donc ce que font les gens qui font chez Dassault
qui font les rafales et tout ça
ils font la simulation de fluide d'écoulement de fluide autour des avions
par ce qu'on appelle CFD Computation Fluid Dynamics
ça consiste à dire je prends un volume je découpe le volume en petits cubes
et dans chaque cube
je modélise l'état de l'air là-dedans par une vitesse.
une densité température viscosité etc
et ça c'est une abstraction parce qu'en fait le phénomène sous-jacent
c'est des molécules d'air qui se collent les unes contre les autres et qui se collent
sur l'avion donc en fait on oublie on abstrait complètement
on élimine les positions et vitesses des molécules d'air
ça sera trop compliqué à simuler de toute façon ça ne collerait pas à la réalité.
on fait une abstraction qui sont on découpe l'air en petits cubes
et ensuite on résout les équations de Navier-Stokes.
et ça c'est une représentation de la réalité qui est plus ou moins incorrecte
quand il y a des turbulences ce n'est pas forcément exactement correct
mais c'est suffisant mais à la fin ce qu'on veut ce n'est pas ça ce qu'on veut
c'est une portance une traînée d'ailleurs ma planète donc Daniel Jerafner
je connais depuis longtemps et il est parti d'Iman d'ailleurs il a sa boîte donc lui
il fait la prédiction dans un espace de représentation.
mais le problème à mon avis
qui n'est pas la bonne manière de le faire c'est qu'il entraîne
l'espace de représentation avec un auto-encodeur
avec un VAE en fait donc donc tu prends une trame d'entrée tu l'auto-encode
tu réalises l'information la représentation pour
que ton auto-encodeur colle à ce pas justement
et puis ensuite tu utilises l'encodeur pré-entraîné.
avec un prédicteur
pour faire un modèle du monde.
c'est la bonne direction mais c'est pas un JEPA pur parce qu'il fait pas
l'entraînement end-to-end. - Amilab donc c'est une boîte basée en France
une boîte internationale vous avez des bureaux - c'est une boîte globale globale
since day one comme on dit depuis le jour 1
mais alors il y a une question c'est de
pourquoi la France pourquoi Paris
voilà la question c'est est-ce que parce que c'est toi qui as entraîné
toute la génération avec le lab FAIR Meta
tu as vu qu'en France il y avait ce qu'il fallait puis tu t'es dit qu'en fait
il y a tout ce qu'il faut ici pour que ce soit prospère quelles étaient les raisons
on va dire rationnelles de faire Amilab ici ?
plusieurs raisons la première raison c'est qu'il y a beaucoup de talent
en Europe et en France en particulier ou de talent
ailleurs dans le monde qui serait tout à fait
prêt à venir à Paris il y a des pires conditions il y a pire parce que bon
une partie de l'équipe qui a travaillé sur
tous ces projets de JEPA etc qui est en France.
une autre qui est au Canada une autre qui est à New York.
donc l'ouverture de ces trois sites
Paris, New York, Montréal avait du sens à cause du fait que l'équipe était là.
on a aussi un labo à Singapour la raison du labo à Singapour c'est pour
d'abord on a des clients des investisseurs asiatiques
on veut pouvoir leur parler localement
il y a beaucoup de talent à Singapour beaucoup qui viennent de Chine
mais aussi beaucoup local et puis surtout avec les politiques d'immigration stupides
de l'administration Trump il y a pas mal de Chinois qui voudraient partir de Chine
mais qui peuvent plus aller aux Etats-Unis et Singapour c'est un bon endroit
pour les récupérer donc il y a pas mal de talent qu'on peut attirer à Singapour.
de talent chinois
il y a beaucoup
donc en fait c'est une question plus de talent
plus que d'investissement ou de fonds ensuite il y a une autre grosse raison.
ce qui est plus géopolitique qui est le fait qu'il y a
une grosse demande de la part d'industrie et de gouvernement.
pour un fournisseur de technologies d'IA de pointe qui ne soit ni américain ni chinois
et donc établir le siège de l'entreprise en France
relève un peu de ça
pour dire aux gens on est une boîte globale mais.
on n'est pas américain on n'est pas chinois.
on est À LA FRENCH
nos investisseurs
pour tout vous dire
à peu près 40% de nos investisseurs sont européens.
soit des fonds soit des partenaires industriels potentiels ou des family office
des choses comme ça très diversifiés
33% est américain des fonds des family office donc il y a Jeff Bezos par exemple
et puis Greycroft qui est un fond
et puis et puis d'autres des family office etc
et 27% est asiatique avec un fond de Dubaï.
assez mineur et et donc ça vous donne une idée de la diversité
c'est la diversification des c'est tout ce qu'on défend c'est mondial
mais tech À LA FRENCH c'est mondial si il se dévoie on n'est pas
on n'est pas Franco-français on a une ambition complètement globale
mais on se repose sur les talents français et sur la
position de la France et de l'Europe plus généralement
comme non aligné par rapport au conflit américano-chinois ça s'appelle Ami Labs Ami
Ami ça se prononce en tout cas auto-aligné sans supervision c'est ça dernier mot
au vu de ce qui s'est passé avec les modèles qui se coupent et tout ça
toi tu es investi dans Tapestry tu es chief
scientific officer de Tapestry c'est quoi ?
c'est une fédération d'acteurs
pour une IA souveraine et fédérée
entre différents acteurs est-ce que tu peux
en dire quelques mots et puis on termine là ?
oui absolument c'est un sujet qui me tient à cœur qui
est un peu orthogonal à Ami Labs orthogonal tu vois ?
c'est Yann LeCun qui l'a dit là ça vient de lui parce qu'à chaque fois
moi j'ai deux mots c'est incarnation et orthogonal sauf que lui quand il utilise
c'est correct c'est pas grave c'est pas grave il faut juste
maintenant je pourrais dire comme le dit le grand Yann LeCun c'est orthogonal
c'est orthogonal oui c'est un effort un petit peu orthogonal mais pas complètement
qui consiste à dire il y a plein de.
plein de pays qui voudraient une espèce de souveraineté
dans l'IA
pour les LLM en particulier donc c'est plus orienté LLM ça va au-delà
mais pour l'instant c'est très LLM
tous les pays la France l'Allemagne enfin les pays européens l'Inde.
le Vietnam la Suisse.
les Emirats.
la Corée le Japon.
Kazakhstan tous ces pays voudraient bien.
une offre souveraine
d'IA
sans être dépendant de OpenAI, Anthropic, Google ou Meta.
ou des Chinois
donc pour l'instant il y a une grande partie de l'industrie qui commence à passer
au modèle chinois parce que c'est les meilleurs modèles Open Source
et on n'a pas besoin d'utiliser les serveurs chinois.
mais il y a quand même des hésitations à utiliser les
modèles chinois donc l'idée c'est d'avoir une fédération.
de groupes régionaux qui peuvent être universitaires, ONG.
ou gouvernement ou industrie privée.
qui contribuerait à entraîner un modèle global consensus sans échanger leurs données
c'est-à-dire qu'ils gardent la souveraineté sur leurs données.
ce qu'échangent les participants c'est des vecteurs de paramètres.
c'est-à-dire qu'une manière simple de faire ça
c'est chaque région
chaque participant
a son centre de calcul a ses données.
dans ses langues locales dans l'Inde il y en a déjà 300.
des langues il y a 22 langues officielles mais si on
compte toutes les langues locales et les dialectes
on ne finit pas
bonjour le tokeniseur
ça serait bien de s'en passer en fait
l'Indonésie c'est pareil il y a 300 dialectes je ne sais pas quoi
donc c'est un grand problème jamais.
les acteurs actuels ne vont entraîner leur LLM à parler
toutes ces langues jamais ils vont ajuster leur modèle
à comprendre les cultures les systèmes de valeurs etc.
de toutes les régions du monde
donc ces systèmes ne peuvent pas être alignés.
à tous les systèmes de valeurs les biais politiques etc.
de toutes les régions du monde la seule manière de faire ça.
c'est en fait de donner des modèles de fondation qui soient ouverts pour que
tout un chacun puisse les ajuster.
pour ses propres biais.
et ça c'est indispensable parce que à mon avis
tout le monde parle des dangers de l'IA etc.
donc il n'y a pas de danger de chômage de masse etc.
le gros danger de l'IA
c'est que très bientôt toutes nos informations toute l'information qu'on reçoit
va se faire par l'intermédiaire d'assistants d'IA.
et si ces assistants d'IA nous viennent de trois boîtes
sur la côte des Etats-Unis ou de trois ou quatre chinois.
c'est pas très bon pour la démocratie pour la diversité culturelle pour la culture
dont on a parlé plein de fois la multipolarisation du monde les équilibres
géostratégiques et surtout aussi s'ils introduisent des biais en fait
tu ne peux pas contrôler il y a forcément des biais tout système
est biaisé d'une manière particulière alors la question c'est est-ce que tout le monde
va être biaisé comme la Californie ce serait peut-être un moindre mal par rapport
à certains autres coins des Etats-Unis mais
est-ce que la solution ce ne serait pas plutôt d'avoir
des plateformes ouvertes et que tout un chacun puisse.
affiner le modèle.
pour ses propres biais ses propres systèmes tu as un métamodèle au milieu et tu le
fine-tune tu le customises en fonction de ta culture alors déjà
il y a un modèle de base qui est entraîné de manière distribuée c'est-à-dire
chaque personne a ses données son centre de calcul
et ce qu'ils échangent périodiquement c'est-à-dire ça peut être
toutes les millisecondes toutes les secondes ou toutes les heures
c'est un vecteur de paramètres
et l'entraînement global du système c'est un peu pas très différent
de ce qu'on appelle l'apprentissage fédéré
ou fédératif
c'est que périodiquement chaque acteur reçoit le paramètre moyen.
d'une certaine manière
et est régularisé pour essayer de se rapprocher de ce paramètre moyen
tout en étant entraîné sur ces données donc c'est une espèce
c'est comme des élastiques en fait
tu relis tous ces vecteurs de paramètres par des élastiques à leur moyenne
et donc ils ont une régularisation qui l'attire
vers le modèle consensus qui est la moyenne de tous ces trucs-là
donc ils ne s'éloignent jamais trop
du modèle c'est là que c'est eux aussi qui décident de s'en approcher
bon ils ont intérêt à s'en approcher ils ont intérêt à s'en approcher
mais ils ne sont pas obligés de s'en approcher parce qu'à la fin mais ils ont intérêt
c'est ça qui est chouette à la fin si ce truc-là converge
on a un modèle qui est un consensus global.
qui est similaire à s'il avait été entraîné sur toutes les données
sans que les données soient échangées d'accord donc chaque région
conserve sa souveraineté sur ces données.
échange un vecteur de paramètres et à la fin on a un modèle ouvert.
accessible à tout le monde
qui est une espèce de dépositaire de toute la connaissance humaine et bien écoute
franchement c'est un bel espoir pour une IA globale fédérée je trouve ça très chouette
parce qu'en plus c'est comment ça fonctionne par intérêt
et pas par c'est-à-dire que t'as tout intérêt à jouer le jeu voilà
tu vois
plutôt que ce qui est moi mon truc de cœur c'est des systèmes décentralisés
les systèmes décentralisés fonctionnent comme ça voilà.
alors on a fait un workshop de démarrage de
ce truc-là au début du mois de mai à Paris.
où on avait des participants européens suisses des émirats indiens.
japonais.
et puis parmi les américains aussi en fait
des boîtes comme Nvidia AMD etc eux ça les intéresse
du côté qu'ils aiment bien l'open source aussi
et donc il suffit de taper sur un moteur de recherche Project Tapestry.
et on trouve et on peut participer il y a un GitHub il y a du travail
qui a été commencé par IBM donc IBM est un grand participant à ce truc-là
eux ils sont très très favorables à des modèles open source.
et je pense ça va grandir c'est la voix du monde bah écoute franchement
c'est assez enthousiaste parce que là tout le monde se pose plein de questions
sur la souveraineté voilà tu participes c'est une approche qui est très élégante
t'es chef scientifique oui et j'ai j'ai commencé à à parler cette idée il y a
plusieurs années d'abord en interne à Facebook
enfin à Meta je ne sais pas aller très loin
à l'intérieur de Meta malheureusement
malgré le
à l'époque l'engouement de Meta pour l'open source ça n'avait pas vraiment démarré
donc depuis que j'ai quitté Meta en fait j'ai un peu
appuyé sur le champignon pour essayer de faire démarrer ça
et peut-être le seul truc qu'on n'a peut-être pas dit c'est que t'es le père de l'Yama
enfin de tous ces modèles par la main heureusement qu'on ne l'a pas dit alors
je dois dire quelque chose de très facile je n'ai jamais été impliqué
dans la recherche en LLM d'accord
je n'ai rien à voir avec les LLM qui ont été produits
par Meta et bien j'ai bien fait de mettre le pied dans le plat
parce que quand ces projets ont été démarrés je n'étais déjà plus directeur de fer
j'étais chief scientist ce qui veut dire que les gens pouvaient m'écouter
s'ils voulaient mais je n'étais pas leur boss donc bon et bien écoute
je n'ai aucune contribution technique à LLaMa par contre
je les encourageais etc LLaMa est un produit français
ça a été démarré par une équipe d'une douzaine de personnes à Paris
je suis sûr que vous êtes tous au courant vous
le connaissez beaucoup puis ensuite pour LLaMa 2
ça a été repris par l'entreprise donc il y a eu beaucoup qui s'est passé
non ma seule contribution à LLaMa ça a été de pousser à l'open sourcing de LLaMa 2
écoute c'était un grand et je me rappelle
et je me rappelle que c'est le CEO de HuggingFace Clément Delangue
qui avait fait un grand merci en disant que ça avait ouvert tout un mouvement
donc merci pour ce mouvement là là tu es je sais que derrière
on me crie dans l'oreillette qu'il faut absolument qu'on arrête
mais c'était un vrai plaisir Yann de t'avoir c'était le boss de fin
c'était le boss de fin pour la fin de l'épisode j'espère
que t'as passé à mon moment ouais ouais c'était très sympa
bah écoute c'est cool merci d'être venu je suis content qu'on ait pu aller dans le.
on va faire 3h ouais c'est ça oui bah et alors toi t'as fait 4h30
chez Lex Friedman - et bah écoute 7h - Amilab vous recrutez enfin voilà
vous recrutez des chercheurs vous recrutez le top mondial c'est ça ?
on recrute des chercheurs on recrute des ingénieurs.
bientôt probablement au début de l'année prochaine on va recruter
peut-être une catégorie différente d'ingénieurs parce qu'on va commencer à collaborer
avec des partenaires industriels qui pourraient utiliser
les techniques de JPA et One Model dans l'industrie.
donc là il va y avoir besoin de gens qui connaissent certaines industries
pour travailler avec ses partenaires et à long terme Total World Domination on va
World Model Domination c'était À LA FRENCH avec Yann LeCun
j'espère que vous avez apprécié on va mettre
plein d'annotations sur l'épisode c'est trop mieux
est-ce que nous on a tout compris ?
non non pas tout il faut qu'on tourne bosser voilà il y avait
quelques dimensions assez élevées il y a quelques
maths à retravailler haute dimensionnalité
merci Yann merci si vous ne voulez pas manquer nos prochains épisodes avec des invités
de la stature de Yann LeCun d'autres chercheurs d'autres entrepreneurs
d'autres visionnaires abonnez-vous à la chaîne À LA FRENCH likez l'épisode
commentez-le pour la faire monter dans l'algorithme annonce importante
quand on a annoncé la soirée à la French du 12 juin en moins de 24 heures
les 250 places ont été vendues alors on a passé une super soirée
mais des centaines de personnes n'ont pas pu venir et sont restées sur liste d'attente
et nous on n'aime pas la frustration alors on a décidé de remettre ça en plus grand
pour la conférence À LA FRENCH le 3 décembre on vous donne rendez-vous
nous serons 1200 Venus de toute la France à célébrer la tech À LA FRENCH
et une certaine idée de la tech. On est une nation d'ingénieurs. On a inventé le Minitel
avant Internet, le TGV avant les Hyperloops, DivX, X264, VLC
avant le streaming sur Netflix. On va pas se
laisser dire comment on fait de la tech non ?
Allez! La conférence qui a une certaine idée de la tech ça sera le 3 décembre
une journée pour la communauté du show YouTube. Annonces, avant premières, invités rares,
des cadeaux, des jeux et attention ça va Frenchmaxxer. Ça va être la conférence tech
la plus incroyable à laquelle vous avez jamais assisté et on va célébrer ensemble
"une certaine idée de la tech". Vous pouvez aller sur alafrench.org
dès maintenant réservez vos places avec des tarifs réduits
pour ceux qui n'ont pas les moyens et des tarifs soutiens pour ceux qui peuvent
on se retrouve donc le 3 décembre en live
Le truc qui est intéressant
c'est pour le transfert parce que par exemple tu vois sur Cloud Run les machines
elles sont limitées à 6 gigabits en fait le bottleneck maintenant ça devient
loader le modèle c'est bien pour ça donc on fait du Xet là on essaie
avec HuggingFace. - Ouais mais tu vois, en AV1 et en APV
t'as un mode lossless en fonction du modèle ça peut être intéressant
après si t'arrives à j'ai mes deux gars de Trinity College qui sont là dessus
on en reparle dans 3 semaines ils ont au moins un résultat avant de t'embêter
en fait c'est une idée à la con donc j'aime bien
si ça marche là tu dis putain et les gars
ouais bah oui c'est inutile donc indispensable en même temps qui d'autre que Mr VLC
pour faire un truc comme ça bah oui c'est le Mister
c'est le jeu c'est le jeu c'est le jeu c'est le jeu.