WEBVTT

00:00:00.000 --> 00:00:01.807
Bienvenue dans À LA FRENCH.
Dans cet épisode,

00:00:01.890 --> 00:00:04.057
on reçoit notre dernier
invité de la saison.

00:00:04.140 --> 00:00:05.880
Et cet invité, c'est un pionnier.

00:00:06.380 --> 00:00:08.580
C'est le taulier. C'est le boss de fin.

00:00:09.100 --> 00:00:11.197
Le boss de fin de l'IA telle
qu'on la connaît aujourd'hui.

00:00:11.280 --> 00:00:13.417
Il crée aujourd'hui une
boîte à portée mondiale.

00:00:13.500 --> 00:00:16.150
Il s'occupe des modèles du
monde ou des World Models.

00:00:16.550 --> 00:00:19.307
Et cet invité, on va discuter avec
lui pendant une heure et demie.

00:00:19.390 --> 00:00:22.040
Et en exclusivité dans
À LA FRENCH, c'est parti!

00:00:37.710 --> 00:00:44.710
Annonce importante.

00:00:45.930 --> 00:00:47.697
Quand on a annoncé la soirée
À LA FRENCH du 12 juin,

00:00:47.780 --> 00:00:50.307
en moins de 24 heures,
les 250 places ont été vendues.

00:00:50.390 --> 00:00:52.287
Alors on a passé une super
soirée, mais des centaines de

00:00:52.370 --> 00:00:54.607
personnes n'ont pas pu venir et
sont restées sur liste d'attente.

00:00:54.690 --> 00:00:55.917
Et nous, on n'aime pas la frustration.

00:00:56.000 --> 00:00:59.607
Alors on a décidé de remettre ça en plus
grand pour la conférence À LA FRENCH.

00:00:59.690 --> 00:01:01.607
Le 3 décembre, on vous donne rendez-vous.

00:01:01.690 --> 00:01:04.197
Nous serons 1200 venus de
toute la France à célébrer

00:01:04.280 --> 00:01:06.880
la tech À LA FRENCH et une
certaine idée de la tech.

00:01:07.070 --> 00:01:08.207
On est une nation d'ingénieurs.

00:01:08.290 --> 00:01:11.507
On a inventé le Minitel avant Internet,
le TGV avant les Hyperloops,

00:01:11.590 --> 00:01:14.350
DivX, X264, VLC, avant
le streaming sur Netflix.

00:01:14.630 --> 00:01:16.867
On ne va pas se laisser dire
comment on fait de la tech, non?

00:01:16.950 --> 00:01:20.157
Allez, la conférence qui a une certaine
idée de la tech, ça sera le 3 décembre.

00:01:20.240 --> 00:01:22.617
Une journée pour la communauté
du show YouTube, annonce

00:01:22.700 --> 00:01:25.250
avant-première, invité rare,
des cadeaux, des jeux.

00:01:25.350 --> 00:01:26.797
Et attention, ça va French maxer.

00:01:26.880 --> 00:01:28.527
Ça va être la conférence
tech la plus incroyable

00:01:28.610 --> 00:01:29.927
à laquelle vous n'avez jamais assisté.

00:01:30.010 --> 00:01:32.307
Et on va célébrer ensemble
une certaine idée de la tech.

00:01:32.390 --> 00:01:34.187
Vous pouvez aller sur
alafrench.org dès maintenant,

00:01:34.270 --> 00:01:36.707
réserver vos places avec des tarifs
réduits pour ceux qui n'ont pas les moyens

00:01:36.790 --> 00:01:38.747
et des tarifs soutiens
pour ceux qui peuvent.

00:01:38.830 --> 00:01:40.887
On se retrouve donc le 3 décembre en live.

00:01:40.970 --> 00:01:43.120
Et en attendant,
on retourne sur l'épisode.

00:01:43.660 --> 00:01:50.660
On est dans À LA FRENCH
et vous connaissez le jeu.

00:01:51.920 --> 00:01:54.617
Pour deviner l'invité, en 4 points,
si vous l'avez immédiatement,

00:01:54.700 --> 00:01:56.047
3 points si vous avez besoin d'indices, 2

00:01:56.130 --> 00:01:58.505
points si vous avez
besoin de plus d'indices,

00:01:58.588 --> 00:02:00.500
et 1 point quand tout est déjà dit.

00:02:01.080 --> 00:02:02.357
Vous êtes parti pour jouer, Steeve?

00:02:02.440 --> 00:02:03.917
Je suis parti. Parti pour?
Moi, je vais gagner.

00:02:04.000 --> 00:02:05.537
Allez, c'est parti. Alors, en 4 points.

00:02:05.620 --> 00:02:08.180
Notre invité est un
chercheur extrêmement connu.

00:02:08.280 --> 00:02:10.080
Non, on plaisante. C'est Yann LeCun.

00:02:16.910 --> 00:02:18.687
Voilà on va pas passer
de temps Bienvenue, Yann.

00:02:18.770 --> 00:02:20.307
Un plaisir d'être ici. Merci de m'inviter.

00:02:20.390 --> 00:02:22.487
En plus, Néon Noir,
c'est un lieu que tu connais.

00:02:22.570 --> 00:02:23.927
Tu passes de temps en temps,
quand tu viens en France.

00:02:24.010 --> 00:02:25.527
Oui, 2-3 fois, je suis déjà passé.

00:02:25.610 --> 00:02:29.750
Ça a beaucoup changé.
Ça s'est peuplé, meublé, agrandi.

00:02:31.110 --> 00:02:33.687
Vous connaissez avec Yann
depuis plus de temps que nous.

00:02:33.770 --> 00:02:37.090
Depuis le tout début de ZML.

00:02:38.150 --> 00:02:39.990
On a été présenté par Gabriel.

00:02:40.110 --> 00:02:41.250
Par Gabriel Synnaeve.

00:02:42.720 --> 00:02:45.614
Et alors, pour la petite
histoire, on s'est accroché,

00:02:45.697 --> 00:02:48.830
accroché au sens... "Héééé!"
On s'est mis sur la gueule.

00:02:49.500 --> 00:02:51.727
On s'est accroché sur les
langages de programmation.

00:02:51.810 --> 00:02:55.210
Oui. Et en particulier, ce qu'on
appelle le multi-stage programming.

00:02:55.470 --> 00:02:58.430
Donc, en référence à un
langage qui s'appelle Terra,

00:02:59.240 --> 00:03:02.010
qui était une sorte de super set de Lua.

00:03:02.470 --> 00:03:05.870
Oui. Donc, l'idée, c'est d'avoir
du métaprogramming dans le langage.

00:03:06.010 --> 00:03:08.007
Tu vois, en fait,
t'as un seul contrôle flow.

00:03:08.090 --> 00:03:10.477
où tu programmes le langage
avec le langage lui-même.

00:03:10.560 --> 00:03:13.517
Par opposition au macro, ou en template,
ou tout le métaprogramming.

00:03:13.600 --> 00:03:15.277
Et du coup, il m'avait dit... "ah!!"

00:03:15.360 --> 00:03:17.327
Et moi, je te vois aussi,
Yann, à chaque fois,

00:03:17.410 --> 00:03:20.710
parce que dès que Steeve fait
un tweet de très French Maxing,

00:03:21.090 --> 00:03:24.097
avec de la raclette ou
des trucs comme ça, en

00:03:24.180 --> 00:03:27.090
Savoie, tout ça, il y a un
petit like de Yann LeCun.

00:03:27.670 --> 00:03:29.577
C'est un peu ça. Je peux toujours compter.

00:03:29.660 --> 00:03:31.227
Au début, j'étais content. J'ai regardé.

00:03:31.310 --> 00:03:33.467
Maintenant, j'ai dit oui.
C'est un mot, ça, le French Maxing?

00:03:33.550 --> 00:03:35.037
French Maxing, c'en est rien maintenant.

00:03:35.120 --> 00:03:36.770
C'est une maximisation de France.

00:03:36.870 --> 00:03:39.727
Maximisation. Comme disait Victor Hugo,
qui avait utilisé je ne sais pas quel mot,

00:03:39.810 --> 00:03:41.387
puis quelqu'un lui a dit:
"Mais ce n'est pas un mot français."

00:03:41.470 --> 00:03:43.020
Il a dit, "Ben maintenant, si."

00:03:45.570 --> 00:03:48.607
C'est quand même classe de s'appeler
Hugo quand tu peux définir quoi.

00:03:48.690 --> 00:03:49.687
Le dictionnaire, c'est moi.

00:03:49.770 --> 00:03:53.270
Mais cette discussion, la raison
pour laquelle on avait discuté de ça,

00:03:53.370 --> 00:03:55.777
c'est parce que moi,
je suis un grand fan de LISP.

00:03:55.860 --> 00:03:57.890
Et LISP, c'est un langage... Exactement.

00:03:58.100 --> 00:04:03.370
Data is code. Oui, data is code,
et puis tu peux tripatouiller.

00:04:03.490 --> 00:04:05.617
C'est un langage de
programmation programmable.

00:04:05.700 --> 00:04:08.000
Il y a beaucoup de
parenthèses qu'on va faire.

00:04:08.330 --> 00:04:09.780
Ça, ce n'est pas un problème.

00:04:10.310 --> 00:04:11.527
Moi, je n'ai jamais pu m'y faire.

00:04:11.610 --> 00:04:13.007
C'est vrai? J'ai fait
beaucoup de clôtures.

00:04:13.090 --> 00:04:17.870
Tu n'étais pas en Emacs guy? Non,
mais dans Emacs, j'étais customer.

00:04:18.030 --> 00:04:19.387
Je n'étais pas programmeur à Emacs.

00:04:19.470 --> 00:04:22.520
Par contre, quand j'ai fait
beaucoup de Clojure, que j'adore,

00:04:23.890 --> 00:04:26.177
d'ailleurs, poussé par quelqu'un
qui s'appelle Pierre-Yves Ritschard

00:04:26.260 --> 00:04:28.310
qui est le CTO de Poolside, maintenant.

00:04:30.430 --> 00:04:33.950
J'avais vraiment l'impression de
faire un langage, tu vois, du futur.

00:04:34.670 --> 00:04:36.367
Enfin, quelque part du passé,
puisque la syntaxe, c'est tout.

00:04:36.450 --> 00:04:38.407
C'est un peu le passé. Mais putain,
je n'ai jamais réussi à m'y faire.

00:04:38.490 --> 00:04:41.073
Les parenthèses, ça me...
J'avais tout fait, les colorations,

00:04:41.156 --> 00:04:42.156
les machins et tout.

00:04:42.650 --> 00:04:44.350
Je n'ai jamais réussi à m'y faire.

00:04:44.610 --> 00:04:45.610
Et little kown fact,

00:04:45.730 --> 00:04:51.690
en 87, quand je terminais mon doctorat,

00:04:52.420 --> 00:04:55.967
j'ai rencontré un jeune étudiant de
polytechnique qui s'appelait Léon Botou.

00:04:56.050 --> 00:05:01.310
Oh! Et puis, il a dit, je voudrais
faire un projet pour ma fin d'étude de

00:05:01.393 --> 00:05:03.647
Polytechnique. Est-ce que je
vais faire un stage avec toi?

00:05:03.730 --> 00:05:05.437
Je lui ai dit, tu ne peux pas,
parce que je n'ai pas fini ma thèse.

00:05:05.520 --> 00:05:07.267
Ce n'est pas grave, je ne
vais pas le dire à l'école.

00:05:07.350 --> 00:05:11.357
Et je lui ai dit, bah écoute,
je commence à écrire

00:05:11.440 --> 00:05:15.350
un nouveau simulateur
de réseau de neurones.

00:05:15.670 --> 00:05:16.667
Est-ce que tu veux m'aider?

00:05:16.750 --> 00:05:19.700
Et j'ai dit, je voudrais bien
avoir un langage d'interface.

00:05:20.390 --> 00:05:25.650
J'ai pensé à utiliser
Forth et des trucs comme ça.

00:05:26.410 --> 00:05:29.047
Plutôt que de réinventer un langage,
en fait, il faudrait peut-être un LISP.

00:05:29.130 --> 00:05:31.470
Donc, je voudrais bien un attrapate LISP.

00:05:32.350 --> 00:05:34.690
Et on avait tous les deux des Amiga 1000.

00:05:34.870 --> 00:05:36.467
Je vois que tu n'en
as pas ici, sur ta table.

00:05:36.550 --> 00:05:40.490
Mais c'est un manque. Oui,
la prochaine fois, ce sera réglé.

00:05:40.590 --> 00:05:42.887
Mais n'empêche, je ne vous ai pas foutu de
votre gueule, je vous ai ramené une BeBox.

00:05:42.970 --> 00:05:46.950
Une BeBox. Mais justement,
la BeBox est un aspiré de l'Amiga.

00:05:48.170 --> 00:05:51.090
Exactement. Voilà.
Et tu l'avais fait exprès, bien sûr.

00:05:52.510 --> 00:05:54.687
Alors non, mais on a une
conversation sur Twitter, justement.

00:05:54.770 --> 00:05:56.827
Yann avait rebondi et justement,
il avait expliqué.

00:05:56.910 --> 00:05:59.627
C'est peut-être un peu le plus dur
à trouver des Amiga aujourd'hui, non?

00:05:59.710 --> 00:06:01.607
Moins que des BeBox,
je peux te dire. Celle là...

00:06:01.690 --> 00:06:04.010
Tu peux trouver des émulateurs et tout ça.

00:06:04.130 --> 00:06:05.630
Mais tu peux en acheter aussi.

00:06:05.740 --> 00:06:09.677
Et Léon, en trois semaines,
a écrit un tablet-list

00:06:09.760 --> 00:06:12.890
en C, que j'ai utilisé comme front-end.

00:06:12.990 --> 00:06:15.147
Ensuite, je suis parti
faire mon post-doc à Toronto.

00:06:15.230 --> 00:06:17.457
Et en fait, on a utilisé
ce système-là, qui

00:06:17.540 --> 00:06:19.910
au début s'appelait SN,
Simulateur Neuronal,

00:06:20.490 --> 00:06:23.417
qui ensuite s'est appelé Lush,
quand on l'a open-sourcé en 2002.

00:06:23.500 --> 00:06:26.267
Et je l'ai utilisé dans
toute ma recherche avec mes

00:06:26.350 --> 00:06:29.000
étudiants jusqu'en 2011,
où là, on est passé à Torch.

00:06:29.830 --> 00:06:30.830
À Lua, du coup.

00:06:31.140 --> 00:06:35.010
Donc, il était basé sur Lua et ensuite,
PyTorch, mais c'était bien plus tard.

00:06:36.030 --> 00:06:37.627
Donc, il y a eu une grande longévité.

00:06:37.710 --> 00:06:39.460
Il y a eu des versions successives.

00:06:40.440 --> 00:06:41.187
C'était quoi qu'on suit?

00:06:41.270 --> 00:06:45.547
C'était écrit sur la rétropropagation,
les réseaux multicouches, etc.

00:06:45.630 --> 00:06:49.187
justement, la rétropropagation du
gradient, c'est un peu la fondation

00:06:49.270 --> 00:06:51.407
de comment aujourd'hui,
le moteur d'apprentissage

00:06:51.490 --> 00:06:53.787
des réseaux de neurones
est un peu basé là-dessus.

00:06:53.870 --> 00:06:57.750
Déjà, à l'époque, ta thèse, c'est le
cœur des réseaux de neurones dessus.

00:06:58.040 --> 00:07:01.507
Donc, c'est quoi?
C'est 87, fin de la thèse?

00:07:01.590 --> 00:07:04.327
Pour les quelques Padawans qui ne
connaissent pas encore... T'étais né?

00:07:04.410 --> 00:07:07.130
Tout juste, tout juste, tout juste.

00:07:07.570 --> 00:07:09.627
Mais ensuite, tu vas
au Bell Labs, c'est ça?

00:07:09.710 --> 00:07:13.357
Non, d'abord, je fais un post-doc à
l'Université de Toronto avec Jeff Hinton.

00:07:13.440 --> 00:07:17.210
Ah oui, d'accord. Non, et après,
je suis allé au Bell Labs, fin 88.

00:07:17.820 --> 00:07:19.967
D'accord, tu restes là à 15
ans, c'est ça, à peu près?

00:07:20.050 --> 00:07:22.030
Donc, 12 ans à AT&T.

00:07:22.730 --> 00:07:24.907
Donc, Bell Labs, c'est le
labo de recherche de AT&T.

00:07:24.990 --> 00:07:28.797
Ça a changé de nom par la suite parce que
AT&T s'est coupé en morceaux, enfin bref,

00:07:28.880 --> 00:07:30.687
mais à peu près une douzaine d'années.

00:07:30.770 --> 00:07:32.457
Et c'est là que tu
mûris vraiment et que tu

00:07:32.540 --> 00:07:34.687
développes les réseaux de
neurones convolutifs, quoi?

00:07:34.770 --> 00:07:37.867
Vraiment, c'est l'année? Oui, oui.
Enfin, j'avais commencé déjà à Toronto.

00:07:37.950 --> 00:07:41.801
Et même dans ma thèse, en fait, j'avais
des réseaux avec connexion locale et tout

00:07:41.884 --> 00:07:43.387
ça. Donc, c'était déjà
un petit peu là-dedans.

00:07:43.470 --> 00:07:46.490
Mais oui, c'est là qu'on
l'avait fait marcher, en fait.

00:07:46.860 --> 00:07:50.490
Et puis, Léon, de son côté,
faisait une thèse en France.

00:07:50.610 --> 00:07:53.687
Et lui, il a fait marcher ça pour
la reconnaissance de la parole.

00:07:53.770 --> 00:07:56.220
Il a travaillé aussi sur
les réseaux convolutifs.

00:07:56.790 --> 00:08:00.189
Et on a fini par faire
des produits, en fait,

00:08:00.272 --> 00:08:03.207
qui utilisaient les réseaux convolutifs

00:08:03.290 --> 00:08:05.690
pour la lecture de chèques,
des choses comme ça.

00:08:05.980 --> 00:08:08.990
Les applications... Oui,
pour les lettres, les adresses.

00:08:09.410 --> 00:08:12.047
Oui, les adresses, ça n'a
jamais été un truc commercial.

00:08:12.130 --> 00:08:13.897
C'était un prototype. Ah oui? Ah d'accord.

00:08:13.980 --> 00:08:16.157
Mais les applications
commerciales, la principale,

00:08:16.240 --> 00:08:18.547
c'était pour les lectures
de montants sur les chèques

00:08:18.630 --> 00:08:20.970
et des choses comme ça,
documents financiers.

00:08:21.710 --> 00:08:23.607
Oui, les reportages sur toi,
vraiment, où on fait

00:08:23.690 --> 00:08:25.727
la reconnaissance de signes
alphanumériques et tout.

00:08:25.810 --> 00:08:27.560
C'est vraiment ça pour les chèques.

00:08:27.700 --> 00:08:30.487
Et ça, ça a eu une vie
commerciale entre le

00:08:30.570 --> 00:08:33.650
milieu des années 90 et
début des années 2000.

00:08:34.140 --> 00:08:35.437
Mais je n'étais plus impliqué dedans.

00:08:35.520 --> 00:08:39.790
Parce qu'à partir de 1996,
en fait, AT&T s'est séparé.

00:08:40.330 --> 00:08:43.230
Et puis, c'était les
premières années de l'Internet.

00:08:44.090 --> 00:08:46.647
Et la partie d'AT&T qui
commercialisait ces systèmes

00:08:46.730 --> 00:08:49.430
de lecture de chèques,
en fait, était séparée de nous.

00:08:49.880 --> 00:08:52.750
Et les brevets leur appartenaient à eux.

00:08:53.500 --> 00:08:57.070
Et c'était où, physiquement?
Dans le New Jersey.

00:08:57.890 --> 00:08:59.917
Et donc, tu es resté dans le New Jersey,

00:09:00.000 --> 00:09:02.387
2003-2013, c'est ça,
New York University, NYU?

00:09:02.470 --> 00:09:06.157
J'ai fait un petit passage
de 18 mois au NEC Research

00:09:06.240 --> 00:09:09.870
Institute, dans la grosse
compagnie japonaise, NEC.

00:09:10.870 --> 00:09:12.487
Et puis, ce labo-là a un peu périclité.

00:09:12.570 --> 00:09:16.750
Donc, je suis assez vite parti et
je suis devenu prof à NYU en 2003.

00:09:17.700 --> 00:09:21.870
Et dix ans plus tard,
2013, je rejoins Facebook.

00:09:22.110 --> 00:09:23.747
Mais à temps partiel,
j'étais toujours prof.

00:09:23.830 --> 00:09:25.750
Je suis toujours prof à NYU.

00:09:26.500 --> 00:09:29.247
D'ailleurs, c'est assez intéressant parce
que le monde de la recherche académique

00:09:29.330 --> 00:09:31.787
et le monde de la recherche dans
l'entreprise sont assez liés.

00:09:31.870 --> 00:09:36.450
En tout cas, et moi, des fois, je me dis,
est-ce que c'est le monde, l'open source,

00:09:36.610 --> 00:09:39.217
ou en tout cas, le libre de la partage
d'informations, de la recherche,

00:09:39.300 --> 00:09:41.587
est-ce que ce n'est pas ça qui pousse,
qui oblige parfois les entreprises

00:09:41.670 --> 00:09:45.127
à garder un pied dans les publications
ou dans ce genre de choses?

00:09:45.210 --> 00:09:48.810
Non, en fait, ce qui pousse en grande
partie… Non, la directe, la barre.

00:09:50.410 --> 00:09:53.387
Ce qui pousse en grande partie les boîtes
à avoir des relations avec l'université,

00:09:53.470 --> 00:09:56.070
en tout cas aux États-Unis,
c'est l'accès au talent.

00:09:56.240 --> 00:09:59.647
C'est-à-dire qu'ils veulent avoir
un pipeline, tu vois, de stagiaires,

00:09:59.730 --> 00:10:03.264
avoir une relation avec des profs
qui travaillent sur des sujets qui les

00:10:03.347 --> 00:10:04.127
intéressent,

00:10:04.210 --> 00:10:06.467
parce que tu es un bon étudiant
qui pourrait venir bosser chez nous,

00:10:06.550 --> 00:10:09.050
nous apprendre comment
utiliser tes méthodes, etc.

00:10:09.150 --> 00:10:12.570
Donc, c'est une grande raison,
en fait, de la relation.

00:10:13.970 --> 00:10:18.610
Et puis aux États-Unis,
les étudiants en doctorat, par exemple,

00:10:19.370 --> 00:10:22.167
donc il n'y a pas l'équivalent
des chiffres qu'il y a en France

00:10:22.250 --> 00:10:25.107
où les étudiants en doctorat peuvent
faire ça en résidence, en industrie.

00:10:25.190 --> 00:10:26.740
Il n'y a pas ça aux États-Unis.

00:10:26.910 --> 00:10:30.887
Mais par contre, les trois mois d'été, les
étudiants peuvent faire ce qu'ils veulent.

00:10:30.970 --> 00:10:33.070
Donc, ils ne sont pas liés à l'université.

00:10:33.290 --> 00:10:35.950
Et la plupart vont faire
des stages en industrie.

00:10:37.250 --> 00:10:40.527
Et donc, c'est un peu les abeilles
butineuses de la technologie américaine

00:10:40.610 --> 00:10:43.210
parce qu'il faut circuler
les idées, les techniques.

00:10:43.460 --> 00:10:45.487
Et un des trucs sur
lesquels aussi tu es connu,

00:10:45.570 --> 00:10:50.110
c'est toi qui as créé le Lab
Le Faire, Facebook AI Research.

00:10:50.970 --> 00:10:52.387
Tu essaies de faire
l'accent américain, là.

00:10:52.470 --> 00:10:55.490
Mais non, et en fait,
honnêtement, aujourd'hui,

00:10:55.610 --> 00:10:57.507
je ne sais pas, la moitié de l'écosystème,

00:10:57.590 --> 00:11:00.787
enfin une bonne partie de l'écosystème
français dans l'IA sont des issus de fer.

00:11:00.870 --> 00:11:03.327
En tout cas, il y a une
mafia, clairement, de fer.

00:11:03.410 --> 00:11:07.330
Alors, il y a pas mal de chercheurs et
d'ingénieurs qui sont passés par fer,

00:11:07.550 --> 00:11:09.910
qui ensuite sont allés
fonder des boîtes, etc.

00:11:10.130 --> 00:11:14.310
ou ont commencé à travailler
dans d'autres labos.

00:11:14.610 --> 00:11:19.601
Mais il y a aussi le fait que fer en
vitesse de croisière jusqu'à l'année

00:11:19.684 --> 00:11:20.518
dernière.

00:11:20.960 --> 00:11:23.960
avait à peu près une quarantaine
de doctorants en résidence.

00:11:24.780 --> 00:11:28.290
Donc, le doctorat étant durant trois ans,

00:11:28.630 --> 00:11:31.680
ça veut dire qu'il y avait une
douzaine par an qui sortaient,

00:11:32.070 --> 00:11:33.920
qui avaient fait leur doctorat à fer,

00:11:34.580 --> 00:11:37.447
avec accès aux moyens de calcul, etc.,

00:11:37.530 --> 00:11:39.987
avec accès aux meilleurs
chercheurs du domaine et tout.

00:11:40.070 --> 00:11:44.567
Et donc, tous ces gens, bien sûr,
ont complètement essaimé l'écosystème.

00:11:44.650 --> 00:11:47.830
Je pense que la création
de FAIR Paris en 2015.

00:11:48.530 --> 00:11:51.650
a eu un énorme effet sur
l'écosystème français,

00:11:52.510 --> 00:11:55.567
enfin parisien en particulier,
français en général et européen, en fait.

00:11:55.650 --> 00:12:01.010
Donc, ça a donné des idées
aux jeunes étudiants de talent

00:12:01.610 --> 00:12:04.747
que, en fait, faire un doctorat en IA,

00:12:04.830 --> 00:12:07.057
c'est le truc le plus cool
qu'ils pourraient imaginer.

00:12:07.140 --> 00:12:09.247
Il y a 15 ans, le truc
le plus cool que faisaient

00:12:09.330 --> 00:12:13.240
les jeunes étudiants qui sortaient de
l'école, c'est de faire les finances.

00:12:14.050 --> 00:12:16.727
Et ça a changé. Ce n'est plus les
finances maintenant, c'est l'IA.

00:12:16.810 --> 00:12:19.777
On avait reçu Neil Zeghidour qui nous
disaient qu'ils voulaient faire une thèse

00:12:19.860 --> 00:12:21.527
et qu'en gros, ils n'avaient
pas été forcément pris,

00:12:21.610 --> 00:12:24.107
mais qu'on lui avait dit, écoute, il y a
cette thèse... Non, non, c'est l'inverse.

00:12:24.190 --> 00:12:26.597
Ils voulaient faire une thèse sur
les réseaux de neurones, à l'époque,

00:12:26.680 --> 00:12:29.537
et il y avait tellement peu,
ce n'était pas encore revenu à Hype,

00:12:29.620 --> 00:12:32.147
qu'ils lui ont dit, bon, écoute,
si vraiment ça t'intéresse, vas-y.

00:12:32.230 --> 00:12:36.527
Puis finalement, en fait, c'était...
Toi, tu avais vu ça il y a 40 ans, mais...

00:12:36.610 --> 00:12:39.347
Oui, non, mais c'est vrai
qu'il y a eu une période phase

00:12:39.430 --> 00:12:42.767
pour la zone neurone entre la fin
des années 80 et milieu des années 90.

00:12:42.850 --> 00:12:45.227
Puis ensuite, tout le
monde s'en est désintéressé.

00:12:45.310 --> 00:12:49.287
C'est devenu un peu tabou. Et ça s'est
un peu réveillé à la fin des années 2000

00:12:49.370 --> 00:12:53.270
à cause du bataille médiatique qu'on
a fait avec Yoshua Bengio et Geoffrey

00:12:53.353 --> 00:12:54.187
Hinton.

00:12:54.860 --> 00:12:55.787
Le deep learning, quoi.

00:12:55.870 --> 00:12:58.515
On a renommé cette deep learning et
puis on a surtout proposé de nouvelles

00:12:58.598 --> 00:13:00.837
méthodes. Puis on a fini
par le faire marcher aussi.

00:13:00.920 --> 00:13:05.310
Et donc, ça a fini de convaincre les
communautés au départ reconnaissance de la

00:13:05.394 --> 00:13:08.070
parole, ensuite,
reconnaissance d'images, bien sûr.

00:13:08.510 --> 00:13:09.660
Et puis, troisièmement,

00:13:10.720 --> 00:13:12.867
le compréhension de la
langue naturelle, quoi, NLP,

00:13:12.950 --> 00:13:16.810
que le deep learning, c'était
vraiment quelque chose qui marchait.

00:13:17.420 --> 00:13:21.710
Donc, ça a révolutionné
ces trois domaines.

00:13:22.140 --> 00:13:26.350
Mais c'est vrai qu'en France,
dans le milieu universitaire, en 2015,

00:13:26.910 --> 00:13:30.167
il n'y avait pratiquement personne
qui en faisait dans les universités.

00:13:30.250 --> 00:13:33.117
Ils étaient encore... Les universitaires
sont un petit peu conservateurs.

00:13:33.200 --> 00:13:35.547
Et puis, en France, on aime bien
les maths et le deep learning,

00:13:35.630 --> 00:13:36.727
ce n'est pas facile pour
faire des maths, quoi.

00:13:36.810 --> 00:13:39.797
Ce n'est plus facile si on utilise les
méthodes, genre les méthodes à noyaux,

00:13:39.880 --> 00:13:41.907
les trucs bayesiens, tout ça.
On peut faire des belles maths.

00:13:41.990 --> 00:13:44.447
Ça ne marche pas aussi bien, mais...
Bon, on peut écrire des bouquins.

00:13:44.530 --> 00:13:45.187
Mais c'est des belles maths, quoi.

00:13:45.270 --> 00:13:45.907
Mais c'est des belles maths.

00:13:45.990 --> 00:13:48.907
Comment ça se fait que ça
soit passé un peu en désuétude,

00:13:48.990 --> 00:13:53.067
mais qu'il y a eu moins d'intérêt
à partir du début des années 2000?

00:13:53.150 --> 00:13:54.847
Non, c'est plutôt milieu des années 90.

00:13:54.930 --> 00:13:55.727
Milieu des années 90, c'est dû à quoi?

00:13:55.810 --> 00:13:57.330
Ça commençait à baisser en 96.

00:13:57.510 --> 00:13:59.007
Parce que c'était trop compliqué?

00:13:59.090 --> 00:14:00.227
Ça demandait trop de puissance?

00:14:00.310 --> 00:14:04.382
Il y a plein de raisons. Je ne suis
pas le mieux placé pour analyser ça,

00:14:04.466 --> 00:14:06.170
parce que j'étais en plein milieu,

00:14:06.780 --> 00:14:09.247
mais je pense qu'il y a une
combinaison de raisons.

00:14:09.330 --> 00:14:11.427
La première, c'est que
c'est effectivement compliqué

00:14:11.510 --> 00:14:17.510
et il n'y avait pas d'outils logiciels,
portables, etc., que les gens utilisaient.

00:14:17.790 --> 00:14:23.530
Tous les gens utilisaient des plateformes
informatiques complètement différentes.

00:14:23.930 --> 00:14:28.087
Tu ne pouvais pas faire du réseau de
neurone sur des PC, ce n'est pas possible.

00:14:28.170 --> 00:14:31.107
C'était soit des stations de
travail Sun, soit Silicon Graphics,

00:14:31.190 --> 00:14:33.527
soit des trucs comme ça, propriétaires.

00:14:33.610 --> 00:14:37.010
Il y a IRIX, AIX, HPUX,
tous ces trucs, etc.

00:14:38.210 --> 00:14:41.387
Donc nous, on était sous Sun,
on est passé à Silicon Graphics après,

00:14:41.470 --> 00:14:44.157
parce qu'ils avaient une
meilleure performance sur le temps.

00:14:44.240 --> 00:14:45.787
Et il n'y avait pas le logiciel,
il n'y avait pas Python,

00:14:45.870 --> 00:14:49.157
il n'y avait pas tous ces machins open
source qu'on peut utiliser maintenant.

00:14:49.240 --> 00:14:50.857
Et seul outil open source
qu'il y avait, c'est des trucs

00:14:50.940 --> 00:14:54.110
genre GCC, Emacs et autres,
mais pas vraiment pour ça.

00:14:54.250 --> 00:14:56.257
Donc, en fait, nous,
avec Léon, on avait écrit

00:14:56.340 --> 00:14:58.690
un système complet avec
un interpreeéteur LISP,

00:14:59.030 --> 00:15:02.070
tout au tard avec un
compilateur LISP et tout ça.

00:15:02.600 --> 00:15:05.350
Mais on ne pouvait pas
vraiment échanger nos logiciels.

00:15:05.870 --> 00:15:08.330
Il n'y avait pas de plateforme,

00:15:08.790 --> 00:15:10.567
il n'y avait pas SourceForge, il n'y avait
pas GitHub, il n'y avait pas Internet.

00:15:10.650 --> 00:15:13.950
C'est arrivé plus tard.

00:15:14.450 --> 00:15:18.210
Donc, en fait, chaque
personne devait investir

00:15:18.380 --> 00:15:21.607
six mois, un an à réaliser une plateforme

00:15:21.690 --> 00:15:23.707
logicielle pour faire
marcher les réseaux neurones.

00:15:23.790 --> 00:15:25.547
La plupart des gens faisaient des bêtises,

00:15:25.630 --> 00:15:26.987
parce que c'est très
facile de faire des bêtises

00:15:27.070 --> 00:15:29.547
quand on implémente la
backprop pour la première fois,

00:15:29.630 --> 00:15:31.530
on fait une heure de signe ou un truc.

00:15:32.110 --> 00:15:33.987
Donc, c'était un gros
investissement pour les gens.

00:15:34.070 --> 00:15:38.330
Et donc, la plupart des gens
ne voulaient pas faire ça.

00:15:38.550 --> 00:15:39.607
Donc, qu'est-ce qu'ils faisaient?

00:15:39.690 --> 00:15:41.167
Ils utilisaient MATLAB et
puis ils faisaient un truc

00:15:41.250 --> 00:15:43.967
simple, mais faire du
réseau neurone avec MATLAB,

00:15:44.050 --> 00:15:45.707
à l'époque, ce n'était
pas vraiment possible.

00:15:45.790 --> 00:15:48.010
Il n'y avait vraiment pas les outils.

00:15:48.990 --> 00:15:50.987
Sauf pour les gens qui investissaient
le temps pour les outils.

00:15:51.070 --> 00:15:52.727
Ce qu'on a fait avec Léon,
c'est ça qui nous donnait des

00:15:52.810 --> 00:15:54.347
super pouvoirs, c'est qu'on
faisait nos propres outils.

00:15:54.430 --> 00:15:58.990
D'accord. Et ce qui nous a permis
de faire des réseaux convolutifs,

00:15:59.450 --> 00:16:00.700
voir comment ça marchait.

00:16:01.790 --> 00:16:04.647
Tout un bibliothèque graphique et
tout ça, de visualisation et tout,

00:16:04.730 --> 00:16:06.547
qui était en fait plutôt plus
puissante que ce qu'on a aujourd'hui.

00:16:06.630 --> 00:16:08.080
D'ailleurs, c'est incroyable.

00:16:09.110 --> 00:16:13.447
Et donc, ça fait qu'il n'y
avait pas la communication

00:16:13.530 --> 00:16:15.607
qu'il y a maintenant, qui est instantanée,

00:16:15.690 --> 00:16:18.227
où tu télécharges le dernier
code qui est associé au

00:16:18.310 --> 00:16:21.530
papier et tu peux faire
tourner le dernier réseau.

00:16:22.530 --> 00:16:25.620
Là, il fallait passer six mois,
un an, à implémenter un truc.

00:16:26.450 --> 00:16:27.957
Donc, il fallait vraiment y croire.

00:16:28.040 --> 00:16:29.990
Ça veut dire que vous aviez les publis.

00:16:30.200 --> 00:16:34.710
et vous réimplémentiez
cleanroom les papiers.

00:16:34.970 --> 00:16:37.607
Il y a des gens qui voulaient
réimplémenter des réseaux convolutifs.

00:16:37.690 --> 00:16:39.140
Il n'y en avait pas beaucoup.

00:16:40.100 --> 00:16:41.700
Et il y avait cette légende que,

00:16:42.560 --> 00:16:44.907
tu vois, j'étais plus ou moins
seul à savoir les faire marcher,

00:16:44.990 --> 00:16:45.827
ce qui était complètement faux.

00:16:45.910 --> 00:16:47.227
Mais ce n'était pas si compliqué que ça.

00:16:47.310 --> 00:16:49.167
Mais c'est vrai que ça
demandait des outils.

00:16:49.250 --> 00:16:50.947
En même temps, c'est le nom.
Yann le qu'un.

00:16:51.030 --> 00:16:52.107
Tu vois, on croit qu'il y en a qu'un.

00:16:52.190 --> 00:16:53.250
Il y en a qu'un.

00:16:53.910 --> 00:16:57.087
Mais ça veut dire que tu avais
quand même des gens au-dessus de toi,

00:16:57.170 --> 00:17:01.567
à la direction de Bell Labs, etc., qui y
croyaient, quoi, et qui n'avaient pas peur

00:17:01.650 --> 00:17:04.367
de mettre les moyens,
le temps, pour tout ça?

00:17:04.450 --> 00:17:05.907
La manière dont opérait Bell Labs.

00:17:05.990 --> 00:17:09.410
Donc, le directeur du labo,
un gars qui s'appelle Larry Jackel,

00:17:10.250 --> 00:17:12.590
qui avait créé le
groupe en 1985, je crois,

00:17:13.990 --> 00:17:16.050
basé sur les réseaux de neurones.

00:17:17.480 --> 00:17:18.797
En fait, c'est un physicien, lui, de base.

00:17:18.880 --> 00:17:22.630
Et puis, il avait un nouveau département,
donc il se demandait quoi faire.

00:17:22.750 --> 00:17:23.800
Parce qu'à Bell Labs,

00:17:24.670 --> 00:17:26.237
on embauchait les gens
intelligents, on leur donnait

00:17:26.320 --> 00:17:28.187
les moyens de réussir,
et on leur foutait la paix.

00:17:28.270 --> 00:17:30.110
OK. C'est cool, ça.

00:17:30.350 --> 00:17:32.837
S'il demandait des ressources,
évidemment, il posait des questions.

00:17:32.920 --> 00:17:33.920
Mais en gros,

00:17:34.550 --> 00:17:37.087
on laissait les gens un peu
travailler sur ce qu'ils voulaient.

00:17:37.170 --> 00:17:39.397
Donc, lui est allé à
droite à gauche et a demandé

00:17:39.480 --> 00:17:41.037
sur quoi j'aurais bossé,
c'est quoi le truc cool.

00:17:41.120 --> 00:17:43.310
Et il a rencontré John Hopfield,

00:17:43.950 --> 00:17:48.130
qui était prof à Princeton, mais qui avait
un emploi à temps partiel à Bell Labs.

00:17:48.430 --> 00:17:50.230
Il était entre Princeton et Caltech.

00:17:50.890 --> 00:17:52.207
Et il lui a demandé
sur quoi j'aurais bossé.

00:17:52.290 --> 00:17:53.640
Et John Hopfield lui a dit.

00:17:54.310 --> 00:17:55.007
qu'il était un physicien,

00:17:55.090 --> 00:17:58.140
qu'il travaille sur du hardware
pour les réseaux de neurones,

00:17:58.270 --> 00:18:00.547
des chips spéciaux pour
faire des réseaux de neurones.

00:18:00.630 --> 00:18:02.330
Ça ne date pas d'hier, le concept.

00:18:02.570 --> 00:18:08.018
John Hopfield est l'auréat du prix Nobel
en physique avec Geoffrey Hinton il y

00:18:08.101 --> 00:18:08.827
a deux ans

00:18:08.910 --> 00:18:12.851
pour ce qu'on appelle les réseaux de
Hopfield et Geoffrey pour les machines de

00:18:12.934 --> 00:18:13.767
Boltzmann.

00:18:15.160 --> 00:18:16.760
C'est un biophysicien au départ.

00:18:17.100 --> 00:18:21.010
Et donc Larry s'est lancé dans ce truc-là.

00:18:21.110 --> 00:18:22.587
Il a embauché quelques personnes.

00:18:22.670 --> 00:18:24.870
Et puis moi, je suis
arrivé là-dedans en 88.

00:18:26.030 --> 00:18:28.207
Et puis j'ai fait marcher les
réseaux convolutifs assez rapidement

00:18:28.290 --> 00:18:30.557
parce que j'avais déjà
travaillé là-dessus à Toronto.

00:18:30.640 --> 00:18:32.790
Eux avaient des bases
données de caractère.

00:18:33.250 --> 00:18:35.110
Et donc en deux mois, j'étais là.

00:18:35.350 --> 00:18:38.397
J'ai battu un peu tous
les records de performance

00:18:38.480 --> 00:18:41.110
sur les trucs, les machins de caractère.

00:18:41.460 --> 00:18:45.870
Et il y a un truc, une histoire rigolote,

00:18:45.990 --> 00:18:49.690
c'est qu'avant que...
Quand j'étais encore post-doc à Toronto,

00:18:50.210 --> 00:18:53.350
Larry Jackel me demande « Écoute,
tu vas arriver en octobre,

00:18:53.450 --> 00:18:56.887
on voudrait bien commander
un ordinateur pour toi

00:18:56.970 --> 00:19:00.187
pour que tu puisses bosser quand
t'arrives, qu'il soit là quand tu arrives.

00:19:00.270 --> 00:19:03.087
« Qu'est-ce que tu utilises en ce moment?
» Je dis « On utilise un Sun 4,

00:19:03.170 --> 00:19:05.247
il y en a un qui vient
d'arriver à Toronto,

00:19:05.330 --> 00:19:08.597
c'est génial, tout ça, ça fait
un méga flop, c'est hallucinant. »

00:19:08.680 --> 00:19:14.987
Il me dit « Ok ».
Et puis, c'était un Sun 4

00:19:15.070 --> 00:19:19.407
qui était le serveur un peu central
de tout le département informatique.

00:19:19.490 --> 00:19:21.467
Ah, c'est-à-dire que tout le
monde c'était un mainframe?

00:19:21.550 --> 00:19:24.387
Ce n'était pas un mainframe, c'est
ce qu'on appelait un mini-ordinateur.

00:19:24.470 --> 00:19:26.507
C'est un mini-ordinateur. Ah, mais tu
veux dire tout le monde allait dessus?

00:19:26.590 --> 00:19:27.667
Tout le monde se aurait dessus.

00:19:27.750 --> 00:19:31.627
Tu avais 30 ou 40 étudiants en doctorat
qui se connectaient à ce truc-là.

00:19:31.710 --> 00:19:33.927
Tout le monde ne l'utilisait
pas pour les réseaux de neurones,

00:19:34.010 --> 00:19:36.847
mais c'était pas tellement...
C'était en timeshare?

00:19:36.930 --> 00:19:39.970
C'était un système unique,
tu te connectes.

00:19:40.270 --> 00:19:41.427
Donc, c'est la suite que je bossais.

00:19:41.510 --> 00:19:45.570
J'avais aussi une station de travail
Sun, mais Sun 3 avec un 68000.

00:19:46.750 --> 00:19:49.967
Incroyable. Donc, je lui ai dit « Bon,
Sun 4, c'est le premier avec les Sparc. »

00:19:50.050 --> 00:19:53.730
les processeurs Sparc de
Sun Et j'arrive à Bell Labs.

00:19:54.430 --> 00:19:56.700
et il y a un Sun 4, mais juste pour moi!

00:19:59.530 --> 00:20:00.727
Ça veut dire beaucoup de choses.

00:20:00.810 --> 00:20:02.647
Ça veut dire beaucoup de choses,
les moyens qu'on met.

00:20:02.730 --> 00:20:05.707
Alors bon, je suis un peu l'égard
carquillé et puis je regarde Larry

00:20:05.790 --> 00:20:08.490
et puis il me dit en souriant
« Tu sais, à Bell Labs,

00:20:09.350 --> 00:20:12.997
tu ne deviens pas célèbre
en économisant des sous. »

00:20:13.080 --> 00:20:15.010
Il y a beaucoup à apprendre de ça.

00:20:15.190 --> 00:20:18.057
« You don't get famous by saving money.
» Ah, ouais d'accord.

00:20:18.140 --> 00:20:22.190
C'est hyper intéressant. Alors,
si on revient un peu pour retourner un peu

00:20:22.340 --> 00:20:24.910
plus contemporain,
mais donc 2013-2023, c'est.

00:20:25.130 --> 00:20:27.530
2025, non? .. 2025, c'est l'ère chez Meta.

00:20:27.730 --> 00:20:31.077
Tu reçois le prix Turing en 2018 qui
est la médaille Fields ou le prix Nobel

00:20:31.160 --> 00:20:33.360
de l'informatique,
disons ça comme ça, quoi.

00:20:33.790 --> 00:20:34.640
Voilà. Mais donc,

00:20:35.110 --> 00:20:38.947
à ce moment-là, les World Models,
il commence déjà d'y avoir deux hypothèses

00:20:39.030 --> 00:20:40.367
entre les LLMs et les World Models.

00:20:40.450 --> 00:20:42.890
Ça te démarre, non?
Oui, d'une certaine manière.

00:20:43.270 --> 00:20:46.570
Moi, par exemple,
j'ai donné un keynote à NIPS.

00:20:46.670 --> 00:20:50.110
Ça s'appelait encore NIPS à l'époque,
pas encore NeurIPS, en 2016.

00:20:51.230 --> 00:20:55.177
mon gros message de la
fin du speech c'était

00:20:55.260 --> 00:20:57.197
Le futur de l'IA c'est les World Models

00:20:57.280 --> 00:21:01.020
So, learning predictive models
of the world I think is the ticket

00:21:01.790 --> 00:21:05.110
And then learning actions
and then optimizing

00:21:05.450 --> 00:21:09.627
intrinsic objective functions
is really the path forward for

00:21:09.710 --> 00:21:15.597
making progress in AI. C'est des
systèmes qui sont capables de prédire

00:21:15.680 --> 00:21:18.330
quel va être l'effet d'une
action sur le monde, etc.,

00:21:18.510 --> 00:21:22.407
qu'on peut apprendre de manière
autosupervisée et puis qu'on peut piloter

00:21:22.490 --> 00:21:24.140
en leur donnant un objectif, etc.

00:21:24.250 --> 00:21:26.027
Donc, j'avais cette idée depuis longtemps.

00:21:26.110 --> 00:21:28.210
Ça date même pas de 2016, ça date d'avant.

00:21:28.530 --> 00:21:30.835
Mais disons, j'ai commencé à en
parler publiquement, si tu veux,

00:21:30.918 --> 00:21:37.110
à cette époque-là. Mais les recherches
n'étaient pas abouties à... Si tu veux,

00:21:37.530 --> 00:21:39.467
on ne pouvait pas vraiment
les faire ça dans des articles

00:21:39.550 --> 00:21:41.450
parce que c'était encore qu'une idée.

00:21:41.930 --> 00:21:42.930
Et puis ensuite,

00:21:43.650 --> 00:21:44.667
pendant plusieurs années,

00:21:44.750 --> 00:21:48.290
j'ai eu des projets de recherche
aussi bien à Meta qu'à NYU,

00:21:48.470 --> 00:21:50.670
à Meta pour entraîner des modèles,

00:21:51.890 --> 00:21:55.390
ce qui aurait pu être des World
Models en faisant la prédiction vidéo.

00:21:56.030 --> 00:21:58.070
En fait, ça n'a jamais marché.

00:21:58.850 --> 00:22:03.530
Donc, on a essayé de faire marcher
ça jusqu'à, je ne sais pas, 2021,

00:22:03.670 --> 00:22:07.310
un truc comme ça. Des modèles génératifs
pour faire la prédiction vidéo.

00:22:07.420 --> 00:22:11.250
Ça n'a jamais bien marché pour,
en tant que modèle du monde, en fait,

00:22:11.590 --> 00:22:13.250
pour prédire ce qui va se passer.

00:22:13.990 --> 00:22:15.387
Peut-être pour faire des
générations de vidéos,

00:22:15.470 --> 00:22:16.847
mais même à l'époque, ça ne
marchait pas parce qu'on n'avait pas

00:22:16.930 --> 00:22:18.730
les modèles de diffusion ni tout ça.

00:22:19.270 --> 00:22:19.867
C'est pourquoi,

00:22:19.950 --> 00:22:22.607
selon toi, parce que c'est la mauvaise
représentation du monde, tout simplement?

00:22:22.690 --> 00:22:28.067
Non, c'est le fait que la plupart de
l'information dans une vidéo n'est pas

00:22:28.151 --> 00:22:28.984
prédictible.

00:22:29.730 --> 00:22:32.027
Le gros de l'information dans
une vidéo n'est pas prédictible.

00:22:32.110 --> 00:22:33.110
Si je prends,

00:22:34.630 --> 00:22:37.387
là, les gens qui nous regardent,
ils voient une petite partie de la pièce,

00:22:37.470 --> 00:22:42.330
ils ont peut-être une idée vague de
l'environnement si tu tournes la caméra,

00:22:42.470 --> 00:22:45.467
mais vous ne pouvez pas prédire les
détails, vous ne pouvez pas dire que,

00:22:45.550 --> 00:22:46.487
hors du champ de la caméra,

00:22:46.570 --> 00:22:50.247
là, il y a un jeu vidéo qui est en train
de... des petits dinosaures qui dansent.

00:22:50.330 --> 00:22:53.727
Il y a un tiranosaure, etc.
Il y a toutes les gens avec la régie ici.

00:22:53.810 --> 00:22:56.954
Il n'y a aucun moyen que vous puissiez
prédire tous les détails au niveau du

00:22:57.038 --> 00:22:59.987
pixel de ce qu'il y a dans la vidéo
si la caméra commence à tourner.

00:23:00.070 --> 00:23:01.107
Qui aurait pu prédire?

00:23:01.190 --> 00:23:04.787
La majeure partie de loin de
l'information qu'il y a dans une vidéo

00:23:04.870 --> 00:23:09.200
ou dans n'importe quel signal
du monde réel est imprédictible.

00:23:09.550 --> 00:23:10.817
Donc, si on essaie d'entraîner

00:23:10.900 --> 00:23:14.490
un modèle génératif à halluciner
ce qui n'est pas prédictible,

00:23:15.160 --> 00:23:17.250
il ne marche pas très bien à la fin.

00:23:17.350 --> 00:23:19.690
Et donc, l'idée cruciale

00:23:19.890 --> 00:23:22.447
sur laquelle on travaille pour les
world models qui s'appelle JEPA,

00:23:22.530 --> 00:23:24.680
Joint Intermediate
Predictive Architecture,

00:23:24.910 --> 00:23:29.010
en français, architecture
prédictive d'enchassement joint.

00:23:29.150 --> 00:23:31.030
C'est joli. Enchassement.

00:23:31.870 --> 00:23:33.047
Qu'est-ce que tu fais, j'enchasse?

00:23:33.130 --> 00:23:35.130
Non, c'est beau. C'est beau, c'est beau.

00:23:36.250 --> 00:23:37.187
Donc, l'idée de ça,

00:23:37.270 --> 00:23:41.310
c'est qu'on entraîne un système à
trouver une représentation abstraite

00:23:41.710 --> 00:23:44.110
du signal d'entrée, disons,

00:23:46.550 --> 00:23:48.707
la vidéo que l'information
qu'on peut prédire et qui

00:23:48.790 --> 00:23:51.240
élimine tous les trucs
qu'on ne peut pas prédire.

00:23:51.570 --> 00:23:53.467
Et ça, c'est absolument crucial
pour tout un tas de raisons.

00:23:53.550 --> 00:23:57.500
On pourra revenir là-dessus si tu veux,
mais un peu technique ou philosophique.

00:23:58.650 --> 00:24:00.407
Donc, c'est l'idée de JEPA,
c'est rien d'autre.

00:24:00.490 --> 00:24:05.010
Donc, ça remplace une architecture
générative qui prédit tout, en fait, tout.

00:24:05.640 --> 00:24:08.910
Et pour des tokens discrets,
ça marche parce que c'est facile

00:24:09.020 --> 00:24:11.630
de gérer l'incertitude dans la prévision.

00:24:11.970 --> 00:24:13.120
Tout l'espace est fini.

00:24:13.700 --> 00:24:15.797
Tu n'as qu'un nombre
fini de tokens, tu peux

00:24:15.880 --> 00:24:19.350
prédire une probabilité pour chaque
token possible et puis ensuite,

00:24:19.570 --> 00:24:20.747
par prédiction autorégressive,

00:24:20.830 --> 00:24:24.730
avoir une estimation pas trop bête
d'une probabilité d'une séquence.

00:24:24.910 --> 00:24:26.257
C'est comme ça que marchent les LLM.

00:24:26.340 --> 00:24:28.970
Mais si c'est un monde continu et bruité,

00:24:29.290 --> 00:24:31.367
ça ne marche pas du tout,
mais alors pas du tout.

00:24:31.450 --> 00:24:31.787
Donc,

00:24:31.870 --> 00:24:35.620
ça veut dire qu'on ne peut pas utiliser
d'IA générative pour le monde réel.

00:24:36.150 --> 00:24:39.300
Alors, quand je dis à tout le
monde abandonner l'IA générative,

00:24:39.790 --> 00:24:45.287
je ne me fais pas avec des amis, disons.

00:24:45.370 --> 00:24:49.110
Mais c'est un objectif,
abandonner l'IA générative pour prédire

00:24:49.560 --> 00:24:52.127
pour des modèles du monde ou
une intelligence de type humaine.

00:24:52.210 --> 00:24:52.987
Voilà,

00:24:53.070 --> 00:24:56.910
si on veut des systèmes qui comprennent
le monde réel, le monde physique,

00:24:57.610 --> 00:25:00.710
qui est beaucoup plus compliqué
avec la langue ou que le code,

00:25:01.310 --> 00:25:03.760
il faut effectivement des
modèles non génératifs.

00:25:03.950 --> 00:25:05.657
Est-ce que tu peux expliquer en,
je ne sais pas,

00:25:05.740 --> 00:25:09.790
30 secondes vraiment pour nos auditeurs,
c'est quoi un world model et c'est quoi,

00:25:10.170 --> 00:25:11.947
enfin, qu'est-ce qui
n'est pas un world model?

00:25:12.030 --> 00:25:16.930
Bonne question. En fait, quand les gens,
tu leur parles de machine learning, d'IA,

00:25:17.150 --> 00:25:19.667
de générative, diffusion,
et puis, world model, c'est quoi?

00:25:19.750 --> 00:25:22.187
En quoi c'est différent
et en quoi c'est similaire?

00:25:22.270 --> 00:25:28.050
Ouais, alors, world model, c'est en
train de devenir un espèce de buzzword.

00:25:28.270 --> 00:25:29.420
C'est bien le problème.

00:25:29.550 --> 00:25:31.867
C'est pour ça que si tu peux définir,
c'est quand même vachement mieux.

00:25:31.950 --> 00:25:35.100
Et il y a plein de gens qui
veulent dire des choses différentes

00:25:35.430 --> 00:25:38.270
par la phrase world model.

00:25:39.510 --> 00:25:41.247
Et en fait, il y a plein de
boîtes qui disent qu'ils en font,

00:25:41.330 --> 00:25:42.247
mais en fait, qu'ils en font pas.

00:25:42.330 --> 00:25:44.480
En fait, c'est un peu
la blague habituelle.

00:25:45.470 --> 00:25:48.907
Bon, on est en français, donc on peut
dire des blagues de mauvais goût.

00:25:48.990 --> 00:25:50.470
Surtout, surtout.

00:25:51.210 --> 00:25:53.350
Ça reste en France. Ouais.

00:25:54.150 --> 00:25:58.830
World model, c'est comme le
sexe chez les adolescents.

00:25:58.990 --> 00:26:01.730
Le teenage sexe.
Le teenage sexe, c'est-à-dire que.

00:26:02.180 --> 00:26:04.380
tout le monde en parle,
personne ne le fait.

00:26:04.580 --> 00:26:06.830
C'est plus compliqué que ça. Ah oui.

00:26:07.450 --> 00:26:09.407
Tout le monde en parle,
tout le monde dit qu'il le fait.

00:26:09.490 --> 00:26:13.007
Ah oui. Mais en fait, personne ne sait
ce que c'est et personne ne le fait.

00:26:13.090 --> 00:26:15.087
Ah oui, il y a différents
niveaux de profondeur.

00:26:15.170 --> 00:26:17.267
"Ça reste en France!" Donc c'est quoi?

00:26:17.350 --> 00:26:22.610
Donc c'est quoi? Alors, étant
donné l'état du monde à l'instant T.

00:26:23.250 --> 00:26:25.750
et étant donné une action
que j'imagine prendre,

00:26:26.360 --> 00:26:30.330
puis-je prédire l'état du monde à
l'instant T plus 1 après que j'ai.

00:26:30.970 --> 00:26:34.847
exécuté cette action. Donc ça veut dire
que c'est de la physique potentiellement?

00:26:34.930 --> 00:26:36.570
Ça veut dire comprendre la 3D?

00:26:36.720 --> 00:26:38.107
Comprendre... Non, pas forcément.

00:26:38.190 --> 00:26:40.427
Ça peut être n'importe quoi parce
que ce n'est pas forcément de la 3D.

00:26:40.510 --> 00:26:42.167
C'est abstrait en fait.
C'est complètement abstrait.

00:26:42.250 --> 00:26:46.387
Si on joue à un jeu vidéo 2D de plateforme
comme il y a ici, c'est pas de la 3D.

00:26:46.470 --> 00:26:48.890
Un grand jeu. Un grand jeu.

00:26:50.230 --> 00:26:51.330
Ce n'est pas de la 3D.

00:26:51.870 --> 00:26:54.847
Mais on se construit aussi... Donc
ça peut être... Est-ce qu'on peut dire

00:26:54.930 --> 00:26:58.407
que c'est le passage de la
corrélation à la causalité?

00:26:58.490 --> 00:26:59.227
On peut,

00:26:59.310 --> 00:27:05.170
mais il n'y a pas vraiment de méthode très
sophistiquée pour établir la causalité.

00:27:05.310 --> 00:27:07.550
C'est juste état, action, état suivant.

00:27:07.670 --> 00:27:09.387
Ça ne veut pas dire que j'ai
fait un moteur de jeu vidéo.

00:27:09.470 --> 00:27:13.377
Non. Alors pas du tout, pas du tout,
parce qu'on ne va pas produire des pixels.

00:27:13.460 --> 00:27:15.907
On va... Tu vas produire une
représentation abstraite du monde.

00:27:15.990 --> 00:27:16.967
Une représentation abstraite du monde.

00:27:17.050 --> 00:27:18.770
Après, tu dois, entre guillemets,

00:27:24.370 --> 00:27:26.827
si tu veux faire des
pixels ou de la vitesse

00:27:26.910 --> 00:27:28.827
ou un courant électrique
ou n'importe quoi.

00:27:28.910 --> 00:27:32.710
Il n'y a pas du tout de token, il n'y
a pas de discretisation n'y a du tout.

00:27:33.560 --> 00:27:36.767
Et ce n'est pas quelque chose...
On a un world model dans la tête,

00:27:36.850 --> 00:27:43.710
mais c'est le cas aussi de notre
chat ou même d'un rat parisien.

00:27:43.810 --> 00:27:45.857
Mais du coup, une question que je me pose,

00:27:45.940 --> 00:27:48.930
c'est que tu dois du coup...
Il faut le créer,

00:27:49.050 --> 00:27:51.930
ce modèle abstrait dans l'espace latent.

00:27:52.270 --> 00:27:56.170
Oui. Et donc, tu as un
sujet quand même de... Alors,

00:27:56.310 --> 00:27:58.867
dans les LLM, on appelle ça la
tokenisation, mais finalement,

00:27:58.950 --> 00:28:02.810
tu as un sujet de transformation
et du coup, d'interprétation.

00:28:03.150 --> 00:28:05.040
Peut-être d'abord d'acquisition.

00:28:05.660 --> 00:28:09.143
puis de couches successives
d'interprétation pour finir un espace

00:28:09.226 --> 00:28:11.776
latent. Oui. Sur lequel,
après, tu peux travailler.

00:28:12.110 --> 00:28:14.007
Sur lequel tu peux faire...
Avec lequel tu peux faire des prédictions.

00:28:14.090 --> 00:28:17.577
Et surtout, en plus, j'imagine
qu'il y a un nombre infini, mais en

00:28:17.660 --> 00:28:21.580
tout cas un nombre
important de chemins entre.

00:28:21.670 --> 00:28:23.767
.. si je dis que je prends
la tasse et que je vais

00:28:23.850 --> 00:28:26.250
l'amener là, je peux faire ça,
je peux faire ça.

00:28:26.540 --> 00:28:28.770
Il y a une distribution de probabilités.

00:28:29.170 --> 00:28:30.447
Non, ce n'est pas des
probabilités, forcément.

00:28:30.530 --> 00:28:33.270
Même pas? Non, pas du tout.
Non, mais par contre,

00:28:33.890 --> 00:28:36.617
c'est la physique intuitive
qu'on apprend quand on

00:28:36.700 --> 00:28:38.987
est bébé, que tous les
animaux apprennent aussi.

00:28:39.070 --> 00:28:42.763
Ils ont tous un role model aussi dans
la tête qui leur donne la capacité de

00:28:42.846 --> 00:28:46.850
planifier. et qui permet de nous
dire si je pousse sur ce verre,

00:28:47.250 --> 00:28:49.600
à la base, il va glisser.
Si je pousse en haut,

00:28:49.930 --> 00:28:51.927
il va peut-être glisser,
peut-être basculer, je ne sais pas,

00:28:52.010 --> 00:28:54.747
ça dépend de la friction du truc.

00:28:54.830 --> 00:28:57.607
Si je pousse, avec la même force
sur la table, elle ne va pas bouger.

00:28:57.690 --> 00:29:01.390
Il y a tout un tas, en fait,
on apprend une quantité de connaissances,

00:29:01.510 --> 00:29:03.527
de compréhension du
fonctionnement du monde

00:29:03.610 --> 00:29:06.357
dans les premiers mois de la vie
qui est absolument incroyable.

00:29:06.440 --> 00:29:08.970
et c'est ce qui nous permet à la fin,

00:29:09.600 --> 00:29:13.830
quand on arrive à l'âge de 4 ou 5 ans,

00:29:14.190 --> 00:29:17.787
d'accomplir tout un tas de tâches qui
seraient hyper complexes pour un robot

00:29:17.870 --> 00:29:21.077
que la plupart des robots ne sont
pas du tout capables d'exécuter,

00:29:21.160 --> 00:29:25.850
encore moins d'exécuter sans être
entraîné explicitement à les faire

00:29:26.180 --> 00:29:30.487
et puis qui permet à un gamin de 10 ans
de se comporter quasiment comme un adulte

00:29:30.570 --> 00:29:34.980
dans tout un tas de situations ou
un adolescent de 17 ans d'apprendre à

00:29:35.064 --> 00:29:37.367
conduire en une quinzaine
d'heures de pratiques.

00:29:37.450 --> 00:29:38.627
On ne sait pas faire ça. C'est ton compte.

00:29:38.710 --> 00:29:40.967
Il prend à chaque fois, tu lui
donnes tout et il le fait tomber

00:29:41.050 --> 00:29:42.587
pendant quelques mois de sa vie.

00:29:42.670 --> 00:29:45.407
C'est pour voir. Il entraîne
son modèle de représentation.

00:29:45.490 --> 00:29:49.870
Ou ton chat, il prend le verre et
il fait tomber ton verre une fois.

00:29:50.190 --> 00:29:52.387
Ça, c'est juste pour faire qu'il
n'y ait pas un verre de modèle.

00:29:52.470 --> 00:29:54.790
C'est juste pour savoir
qu'il est le patron.

00:29:54.950 --> 00:29:58.390
Du coup, ça veut dire qu'il
y a une forme associée à ça

00:29:58.790 --> 00:30:04.070
qui est un peu d'empirisme et plutôt que

00:30:04.270 --> 00:30:09.547
de théorisation ou de
découverte des règles mais de

00:30:09.630 --> 00:30:13.470
manière complètement abstraite,
pas du tout quantifiable.

00:30:14.470 --> 00:30:16.927
Non, mais surtout qu'un rat ou
un chat est capable de faire.

00:30:17.010 --> 00:30:20.287
Donc, ce n'est pas comprendre la
physique en écrivant des équations.

00:30:20.370 --> 00:30:24.870
C'est ça. C'est comprendre la
physique intuitive par expérience,

00:30:24.970 --> 00:30:29.087
par observation et en fait, c'est beaucoup
plus complexe mais ça permet de modéliser

00:30:29.170 --> 00:30:31.437
des phénomènes beaucoup
plus complexes que ce

00:30:31.520 --> 00:30:33.950
qu'on peut modéliser en
écrivant des équations.

00:30:34.050 --> 00:30:38.030
Par exemple, il y a certains cas

00:30:38.430 --> 00:30:43.570
où je pourrais écrire des équations
mais c'est complètement inutile.

00:30:43.670 --> 00:30:49.210
Par exemple, si je voudrais prédire ce qui
va se passer entre nous dans une minute,

00:30:50.320 --> 00:30:51.087
ce que je pourrais faire,

00:30:51.170 --> 00:30:54.834
c'est mesurer la fonction d'onde de
l'univers dans un kilomètre cube autour de

00:30:54.918 --> 00:31:00.747
nous et ensuite faire une grosse
simulation quantique de tous les états

00:31:00.830 --> 00:31:02.987
de tous les électrons de toute la théorie

00:31:03.070 --> 00:31:05.910
quantique des champs machin
tous les spins tout ça

00:31:06.110 --> 00:31:08.737
ça simulerait nos cerveaux
et ça fait l'intérêt

00:31:08.820 --> 00:31:11.220
de prédire ce qu'on va
raconter dans une minute.

00:31:11.490 --> 00:31:13.240
Des bêtises quoi. Et ça marcherait.

00:31:13.370 --> 00:31:15.407
Et alors ça marcherait
mais c'est une fois.

00:31:15.490 --> 00:31:18.147
C'est pas possible parce qu'on ne peut
pas mesurer d'abord la fonction d'onde

00:31:18.230 --> 00:31:23.435
de l'univers deuxièmement en fait ça ne
ferait pas une prédiction exacte parce

00:31:23.519 --> 00:31:24.307
que.

00:31:24.390 --> 00:31:28.630
ce cube de l'univers est en interaction
avec le reste de la galaxie et même du

00:31:28.713 --> 00:31:33.227
reste de l'univers à cause d'intriguements
donc ça ne serait pas possible en fait

00:31:33.310 --> 00:31:35.437
il y aurait des phénomènes
imprédictibles qui se passeraient

00:31:35.520 --> 00:31:39.987
donc très vite la simulation
divergerait de la réalité à cause du fait

00:31:40.070 --> 00:31:42.853
qu'on ne peut pas modéliser tout ça
et puis bon il faudrait un ordinateur

00:31:42.937 --> 00:31:46.437
quantique la tête de la galaxie pour
faire ça donc c'est pas la peine.

00:31:47.690 --> 00:31:50.590
Bon alors qu'est-ce qu'on fait
on invente des abstractions

00:31:50.700 --> 00:31:52.597
l'abstraction qui est au-dessus
de la théorie quantique

00:31:52.680 --> 00:31:56.880
des champs c'est la théorie des particules
élémentaires ou la théorie atomique.

00:31:57.510 --> 00:32:01.350
ou la chimie les molécules etc.

00:32:01.710 --> 00:32:05.307
la biochimie peut-être mais même
ça on ne va pas simuler nos cerveaux

00:32:05.390 --> 00:32:07.767
avec la biochimie c'est pas
possible on ne sait pas le faire

00:32:07.850 --> 00:32:10.537
et ça serait trop compliqué
donc au-dessus de ça il y

00:32:10.620 --> 00:32:14.190
a quoi les organelles dans
les cellules les cellules.

00:32:14.700 --> 00:32:18.527
les organes les organismes et puis
en fait le bon niveau pour simuler

00:32:18.610 --> 00:32:20.207
ce qui va se passer peut-être
prédire un petit peu ce

00:32:20.290 --> 00:32:22.990
qui va se passer dans une
minute c'est la psychologie.

00:32:23.300 --> 00:32:28.827
et qui est un niveau de description de
l'univers enfin de la réalité qui est

00:32:28.910 --> 00:32:32.210
plus dense en information peut-être
qui est beaucoup plus abstrait

00:32:32.310 --> 00:32:36.770
donc qui ne contient pas tous les détails
du mouvement de toutes les molécules

00:32:36.870 --> 00:32:39.987
mais qui par contre permet de faire
des prédictions à plus long terme

00:32:40.070 --> 00:32:41.857
mais ça veut dire que quand
je fais un world model il

00:32:41.940 --> 00:32:44.810
faut que je réfléchisse à
quel niveau d'abstraction

00:32:44.960 --> 00:32:47.896
sur lequel je vais travailler c'est-à-dire
que donc en fait c'est-à-dire que c'est

00:32:47.980 --> 00:32:51.227
pas je vais prendre je
fais du world model donc je

00:32:51.310 --> 00:32:54.050
prends trois quatre
dimensions l'espace-temps etc.

00:32:54.190 --> 00:32:59.301
donc là je choisis une abstraction qui va
être en fait non c'est plus compliqué que

00:32:59.385 --> 00:33:01.927
ça parce qu'il faut que le système
non seulement choisisse le niveau

00:33:02.010 --> 00:33:06.430
d'abstraction mais apprenne la
bonne représentation d'accord ah oui

00:33:06.580 --> 00:33:11.987
donc tout le génie tout le choix c'est
là-dessus c'est-à-dire c'est apprendre

00:33:12.070 --> 00:33:15.607
des représentations du monde qui permet de
faire des prédictions il y a des milliers

00:33:15.690 --> 00:33:17.817
de types de world model
c'est possible plein

00:33:17.900 --> 00:33:19.867
plein plein mais en
fait quand on réfléchit

00:33:19.950 --> 00:33:24.107
c'est c'est la base du deep learning
le deep learning tout le problème

00:33:24.190 --> 00:33:30.207
du deep learning et ce qui m'obsède depuis
45 ans c'est c'est c'est comment trouver

00:33:30.290 --> 00:33:33.647
des bonnes représentations du monde qui
permet de faire des prédictions alors

00:33:33.730 --> 00:33:37.187
jusqu'à présent on savait faire ça pour
la perception très bien le deep learning

00:33:37.270 --> 00:33:42.007
on empile les couches on entraîne un truc
à reconnaître des images de la parole etc

00:33:42.090 --> 00:33:47.727
ou prédire le next token dans un texte
ça marche très bien parce que prédire

00:33:47.810 --> 00:33:52.370
le token suivant c'est apprendre
les classifications en fait donc

00:33:52.520 --> 00:33:56.107
ça marche très bien pour ça pour apprendre
des représentations hiérarchiques pour

00:33:56.190 --> 00:33:58.870
une tâche particulière
apprendre une tâche supervisée

00:33:59.290 --> 00:34:02.210
ou auto-supervisée dans le cas des LLM

00:34:02.360 --> 00:34:09.207
mais comment faire ça de manière plus
générale pour des modèles du monde dans

00:34:09.290 --> 00:34:11.930
lesquels on ne veut pas simplement.

00:34:12.530 --> 00:34:14.580
trouver une représentation qui permet de.

00:34:15.030 --> 00:34:19.027
reconnaître des images ou quelque chose
mais qui soit conditionnée sur les actions

00:34:19.110 --> 00:34:21.627
donc qui permet de prédire ce qui
va se faire et à la fin ça nous donne

00:34:21.710 --> 00:34:24.747
une représentation abstraite non
pas seulement d'observation du monde

00:34:24.830 --> 00:34:28.230
mais aussi d'action le tout
problème c'est comment agir

00:34:28.370 --> 00:34:31.807
les gens parlent de système agentique
en ce moment c'est aussi un gros buzzword

00:34:31.890 --> 00:34:35.917
c'est un gros buzzword cette année passée
et je ne comprends pas comment les gens

00:34:36.000 --> 00:34:38.597
peuvent penser s'imaginer
qu'ils vont construire

00:34:38.680 --> 00:34:41.020
des systèmes agentiques qui vont marcher.

00:34:41.370 --> 00:34:45.670
sans que ces systèmes aient la capacité de
prédire les conséquences de leurs actions.

00:34:45.930 --> 00:34:48.777
c'est complètement débile ça ne peut
pas marcher c'est tout simplement

00:34:48.860 --> 00:34:51.717
une hallucination
collective alors si ça peut

00:34:51.800 --> 00:34:55.030
marcher de la même
manière qu'on peut prendre

00:34:55.480 --> 00:35:00.967
un petit mec qui ne connaît rien à la
cuisine et lui faire appliquer une recette

00:35:01.050 --> 00:35:05.767
d'un grand chef je ne me sens pas visé du
tout derrière la cuisine je me sens visé

00:35:05.850 --> 00:35:09.970
tout d'un coup n'importe qui peut
apprendre à faire une recette de cuisine

00:35:10.070 --> 00:35:13.937
à condition de suivre la recette donc
les systèmes agentiques à l'heure actuelle

00:35:14.020 --> 00:35:16.790
sont entraînés à suivre
des recettes mais en fait

00:35:16.890 --> 00:35:18.467
quand ils font une bêtise
ils ne le savent pas

00:35:18.550 --> 00:35:24.107
et le petit mec il vient d'apprendre
à faire une sauce compliquée

00:35:24.190 --> 00:35:26.690
des fois ça ne marche pas
il ne sait pas pourquoi.

00:35:26.780 --> 00:35:28.827
c'est ça la fondamentalité
c'est que le jeu

00:35:28.910 --> 00:35:31.060
c'est d'avoir le plus
de recettes possible.

00:35:31.300 --> 00:35:34.338
mais sans vraiment comprendre
l'interaction des ingrédients entre eux

00:35:34.422 --> 00:35:34.927
on sait juste

00:35:35.010 --> 00:35:39.107
tu l'as bien aujourd'hui quand tu utilises
Claude ou ChatGPT le nombre de fois

00:35:39.190 --> 00:35:41.807
il te raconte un truc tu lui fais poser
les questions après et tu te rends compte

00:35:41.890 --> 00:35:45.527
qu'en fait il t'a raconté n'importe
quoi et il se rend même compte lui-même.

00:35:45.610 --> 00:35:52.610
il y a des grands débats tu sais sur
les histoires d'en fait d'aller récupérer

00:35:53.200 --> 00:35:56.107
de l'information pour entraîner
des modèles de workflow d'entreprise

00:35:56.190 --> 00:35:58.990
et que du coup c'est empiler les recettes

00:35:59.090 --> 00:36:03.510
et puis somehow on a une fonction
de moyenne au milieu et ça se passe

00:36:03.660 --> 00:36:05.777
pas trop mal mais
l'intelligence c'est pas ça

00:36:05.860 --> 00:36:09.167
c'est le savoir c'est pas
l'intelligence ça c'est le savoir voilà

00:36:09.250 --> 00:36:15.229
donc c'est la reproduction d'un savoir
comment dire procédural empirique

00:36:15.312 --> 00:36:18.847
empirique mais qui existe déjà qui
a été développé par quelqu'un d'autre

00:36:18.930 --> 00:36:21.480
comme l'apprenti cuisinier
qui applique la recette.

00:36:21.870 --> 00:36:24.290
mais qui crée la recette.

00:36:25.390 --> 00:36:29.410
et l'intelligence c'est pas
une collection de connaissances.

00:36:30.260 --> 00:36:32.970
ou une accumulation de
connaissances déclaratives

00:36:33.470 --> 00:36:38.320
c'est même pas une collection de
compétences sur lesquelles on a appris les

00:36:38.404 --> 00:36:42.190
recettes c'est plutôt la capacité
à inventer de nouvelles recettes

00:36:42.360 --> 00:36:44.387
ou quand on fait face
à un problème nouveau

00:36:44.470 --> 00:36:47.907
à s'y adapter très vite comme apprendre
à conduire en une quinzaine d'heures

00:36:47.990 --> 00:36:51.527
où la première fois qu'on
fait face à un problème

00:36:51.610 --> 00:36:55.250
nouveau on peut grâce à notre world model

00:36:55.500 --> 00:36:58.867
trouver une séquence d'action qui va
accomplir la tâche juste une question

00:36:58.950 --> 00:37:01.797
mais est-ce qu'il n'y a pas parce que
je les vois venir dans les commentaires

00:37:01.880 --> 00:37:08.394
est-ce qu'il n'y a pas on va dire un entre
deux mais en tout cas pour évacuer le

00:37:08.478 --> 00:37:14.640
sujet des perroquets stochastiques en fait
tu vois de dans le pour l'exemple d'LLM

00:37:15.050 --> 00:37:18.370
dans les tokens il y a une
forme d'information qui.

00:37:18.620 --> 00:37:19.297
à l'échelle

00:37:19.380 --> 00:37:22.147
existe non plus sous forme discrète
de tokens mais dans l'espace latent

00:37:22.230 --> 00:37:25.247
c'est-à-dire que soit que ce soit
des règles les patterns enfin tu vois

00:37:25.330 --> 00:37:28.610
tout ce qu'on peut imaginer et
donc l'interaction entre eux.

00:37:29.100 --> 00:37:30.337
existe dans l'espace à temps

00:37:30.420 --> 00:37:37.210
et que donc du coup tu vois c'est plus que
on va dire le rabâchage de patterns mais

00:37:37.590 --> 00:37:44.050
que à force à l'échelle somehow on arrive
à étonner ça y est somehow on arrive à.

00:37:44.900 --> 00:37:47.757
il arrive à se dessiner si tu
veux voilà une forme de règle oui

00:37:47.840 --> 00:37:52.250
et que donc en fait tu vois
l'interaction je ne sais pas moi

00:37:52.380 --> 00:37:56.410
si on met du Sucre c'est
plus sucré ça n'apparaît

00:37:56.510 --> 00:37:58.737
ça n'apparaît pas dans
le texte précisément mais

00:37:58.820 --> 00:38:02.730
dans l'espace latent ça finit par se
dessiner en tout cas se décrire quoi

00:38:02.830 --> 00:38:05.180
et que donc du coup en
fait quand ça redescend.

00:38:05.600 --> 00:38:08.697
bah du coup tu vois
on arrive à retrouver une

00:38:08.780 --> 00:38:11.530
forme d'intelligence
quoi alors oui et non.

00:38:12.110 --> 00:38:18.087
en sens que le problème du LLM c'est
que la seule communication d'information

00:38:18.170 --> 00:38:22.307
d'une étape de calcul à une autre c'est
à Travers un token ah voilà discret

00:38:22.390 --> 00:38:25.690
ça reste pas dans l'espace latent
c'est 3 octets ouais d'accord ok

00:38:26.040 --> 00:38:31.830
un token c'est 3 octets en gros même
pas donc donc tu produis un octet

00:38:32.120 --> 00:38:38.267
tu fais tu déplaces ça dans le
contexte d'entrée et donc l'information

00:38:38.350 --> 00:38:41.770
qui est communiquée entre une étape
de calcul et la suivante c'est.

00:38:42.260 --> 00:38:47.047
un symbole qui est stockable dans 2 ou
3 octets et si c'était l'espace latent

00:38:47.130 --> 00:38:49.767
qu'on réinjectait alors il y
a des gens pour que la discrétion

00:38:49.850 --> 00:38:52.492
soit faite de manière asynchrone donc on
va essayer de faire ça par exemple à mon

00:38:52.575 --> 00:38:57.839
avis la meilleure correcte de
faire ça c'est JEPA - Quelle chance!

00:38:57.923 --> 00:39:02.410
- C'est l'idée c'est l'idée tu fais
la prédiction dans l'espace latent.

00:39:02.800 --> 00:39:06.207
et tu essaies jamais de reconstruire
l'espace entré parce que si l'espace entré

00:39:06.290 --> 00:39:09.780
est sur des données naturelles
c'est pas possible d'accord

00:39:09.930 --> 00:39:12.427
pour les tokens tu pourrais
si tu es du texte des séquences

00:39:12.510 --> 00:39:14.917
tu peux effectivement
retourner dans l'espace original

00:39:15.000 --> 00:39:17.527
alors il y a des modèles comme
ça un peu bâtards entre les deux

00:39:17.610 --> 00:39:19.107
qui essaient de faire la prédiction
au niveau de la présentation

00:39:19.190 --> 00:39:21.130
mais qui sont quand même entraînés

00:39:21.230 --> 00:39:27.938
à la fin pour prédire les tokens donc
tu as des modèles comme les state-space

00:39:28.021 --> 00:39:28.467
models

00:39:28.550 --> 00:39:31.593
par exemple dans lequel la dynamique
interne et linéaire ce qui est un peu

00:39:31.676 --> 00:39:34.650
limité et puis des modèles
comme coconut il y en a

00:39:34.900 --> 00:39:39.467
deux ou trois comme ça dans lequel tu as
un petit peu de prédiction dans un espace

00:39:39.550 --> 00:39:45.407
non discret mais à la fin on discrétise
quand même d'accord et à la fin

00:39:45.490 --> 00:39:49.240
bon c'est un peu des LLM sinon l'autre
méthode pour sortir un peu du carcan

00:39:49.620 --> 00:39:54.187
de la prédiction auto-aggressive
de symboles c'est tu te débrouilles

00:39:54.270 --> 00:39:58.316
pour que ton système produise plein de
séquences de symboles possibles et puis

00:39:58.399 --> 00:40:03.770
ensuite tu en as un deuxième qui les
évalue et qui te sort la meilleure

00:40:04.020 --> 00:40:06.127
c'est un peu comme ça que marche le
système de génération de code mais c'est

00:40:06.211 --> 00:40:06.387
une forme

00:40:06.470 --> 00:40:09.596
de quantisation du coup parce que tu
quantises l'espace latent non c'est une

00:40:09.679 --> 00:40:13.047
forme de raisonnement c'est une forme
de recherche d'accord le raisonnement

00:40:13.130 --> 00:40:16.380
c'est un autre sujet complètement
différent mais le raisonnement.

00:40:16.530 --> 00:40:18.487
ne peut pas être ne peut
pas se faire par prédiction

00:40:18.570 --> 00:40:21.010
auto-reggressive c'est
à dire quand on raisonne

00:40:21.110 --> 00:40:26.285
on le fait pas en produisant des mots
les uns après les autres on réfléchit

00:40:26.369 --> 00:40:27.037
on interne

00:40:27.120 --> 00:40:29.866
dans notre espace latent ça reste dans
l'espace latent ça reste dans l'espace

00:40:29.950 --> 00:40:34.167
latent on manipule des modèles mentaux
etc donc par exemple je suis sûr qu'il y a

00:40:34.250 --> 00:40:37.677
plein de geeks qui nous regardent mais
bon c'est un niveau de maths de terminale

00:40:37.760 --> 00:40:40.527
ça va je vous dis je
pose la question donne

00:40:40.610 --> 00:40:43.447
moi une famille de trois
vecteurs dans le plan.

00:40:43.530 --> 00:40:45.530
qui sont linéairement indépendants.

00:40:46.240 --> 00:40:47.490
alors tu réfléchis.

00:40:48.540 --> 00:40:52.430
c'est quoi ta réponse alors moi
faut pas me demander moi je j'ai vu

00:40:52.730 --> 00:40:55.137
trois vecteurs dans le
plan en deux dimensions

00:40:55.220 --> 00:40:57.507
ah en deux dimensions
dans le plan dans le plan

00:40:57.590 --> 00:40:59.947
qui sont linéairement indépendants
donne moi une famille de trois vecteurs

00:41:00.030 --> 00:41:05.127
indépendants non indépendants
indépendants ah pardon on a bien fait

00:41:05.210 --> 00:41:07.687
de ne pas trouver de solution
oui vous avez bien fait

00:41:07.770 --> 00:41:13.070
mais ce qui est intéressant c'est le
processus mental donc la plupart des gens

00:41:13.570 --> 00:41:15.867
je sais pas si c'est le cas pour vous
mais la plupart des gens certainement

00:41:15.950 --> 00:41:20.087
beaucoup de gens qui nous écoutent on se
représente une espèce d'image mentale

00:41:20.170 --> 00:41:24.467
de la situation ah bah oui et puis
on se dit là là et puis tous les autres

00:41:24.550 --> 00:41:27.247
en fait c'est une combinaison des deux
autres bah oui donc c'est pas possible

00:41:27.330 --> 00:41:29.487
t'as hésité à répondre mais
t'avais la réponse déjà à

00:41:29.570 --> 00:41:33.910
cause de cette image mentale
on manipule l'image mentale d'accord

00:41:34.010 --> 00:41:37.267
il y a bien sûr une autre manière de
faire ça qui est de dire ah mais nous

00:41:37.350 --> 00:41:39.667
il y a un théorème qui te
dit que tu peux pas avoir

00:41:39.750 --> 00:41:42.550
plus de n vecteurs en dimension
n qui sont indépendants.

00:41:42.810 --> 00:41:46.787
mais personne fait ça tout le
monde commence par l'image mentale

00:41:46.870 --> 00:41:49.830
donc c'est cette histoire
de modèle mental du monde

00:41:50.280 --> 00:41:52.230
qui est importante alors maintenant

00:41:52.360 --> 00:41:55.590
en maths en particulier et
aussi pour l'écriture de code

00:41:55.740 --> 00:42:00.550
et peut-être pour le texte
légaux je sais pas quoi

00:42:00.880 --> 00:42:04.487
une grande partie du raisonnement peut
être fait dans le domaine des symboles

00:42:04.570 --> 00:42:07.567
quand on fait des maths on fait des
dérivations on manipule les symboles

00:42:07.650 --> 00:42:09.137
et une partie du raisonnement qui en fait

00:42:09.220 --> 00:42:12.707
résulte de la manipulation de symboles
quand on écrit du code très souvent

00:42:12.790 --> 00:42:16.667
on commence à écrire le code et puis ça
nous éclaire sur la formulation en fait

00:42:16.750 --> 00:42:20.367
les abstractions qu'il
faut utiliser etc donc

00:42:20.450 --> 00:42:23.050
ce sont des domaines le code et les maths

00:42:23.150 --> 00:42:26.250
dans lequel la manipulation
de symboles est le substrat

00:42:26.400 --> 00:42:29.487
du raisonnement en tout cas un substrat
possible du raisonnement pas tout

00:42:29.570 --> 00:42:34.067
ce sont les deux applications pour les LLM
je crois vraiment bien oui alors du coup

00:42:34.150 --> 00:42:38.187
moi j'ai une question parce qu'il
y a un an un an et demi maintenant

00:42:38.270 --> 00:42:41.927
t'en avais parlé aussi
mais je parlais beaucoup tu

00:42:42.010 --> 00:42:44.630
sais des raisonnements
justement en espace latent

00:42:44.780 --> 00:42:47.587
et j'avais dit je pense
que le truc dans un an ou

00:42:47.670 --> 00:42:50.087
deux ans ça va être dans
le cas des LLM en tout cas

00:42:50.170 --> 00:42:51.957
que le reasoning va se
faire en espace latent on

00:42:52.040 --> 00:42:53.827
est un an et demi après il
se fait toujours en token

00:42:53.910 --> 00:42:58.726
et deuxièmement les raisonnements basés
sur l'énergie donc du coup l'idée de

00:42:58.810 --> 00:42:59.307
minimiser

00:42:59.390 --> 00:43:02.287
en fait l'énergie mais tout en restant
dans l'espace latent alors moi j'ai essayé

00:43:02.370 --> 00:43:07.710
avec ZML de réinjecter l'espace latent ça
marche pas du tout mais du coup à ton avis

00:43:07.860 --> 00:43:09.790
là puisqu'on est là dessus

00:43:09.890 --> 00:43:13.567
pourquoi c'est pas quelque chose qui
est poussé parce que ça pourrait être

00:43:13.650 --> 00:43:17.700
de mon point de vue ça pourrait être un
win enfin en tout cas un gain incrémental

00:43:17.950 --> 00:43:20.927
on resterait quand même dans le monde
des LLM où tout le monde est content

00:43:21.010 --> 00:43:25.053
mais on aurait quand même des
raisonnements plus intéressants parce que

00:43:25.136 --> 00:43:25.867
là aujourd'hui

00:43:25.950 --> 00:43:31.094
c'est vraiment brut forcé - la vraie
question c'est comment faire marcher,

00:43:31.177 --> 00:43:32.507
c'est à dire le truc

00:43:32.590 --> 00:43:38.530
qui a vraiment un peu surpris tout
le monde après les Transformers

00:43:38.730 --> 00:43:42.567
c'est quelles architectures utiliser
qui vont vraiment marcher au début

00:43:42.650 --> 00:43:46.267
c'était des architectures
encodeur-décodeur à la BERT.

00:43:46.350 --> 00:43:49.650
où tu prends un bout de texte
tu fais passer dans un encodeur

00:43:49.830 --> 00:43:54.910
avant ça tu masques certains mots

00:43:55.060 --> 00:43:59.510
du texte et puis tu entraînes un
gros réseau neurone encodeur-décodeur.

00:43:59.960 --> 00:44:03.377
dans lequel le décodeur est autorégressif
après dire les mots qui manquent

00:44:03.460 --> 00:44:06.267
et puis finalement on s'est
aperçu que pour vraiment

00:44:06.350 --> 00:44:08.127
passer à l'échelle et
faire marcher un truc bien

00:44:08.210 --> 00:44:11.410
il fallait enlever l'encodeur
et juste entraîner un décodeur.

00:44:12.210 --> 00:44:16.507
et ce décodeur tu ne l'entraînes pas
en prenant une séquence de symboles

00:44:16.590 --> 00:44:20.827
et en enlevant en masquant des entrées tu
construis l'architecture de manière à ce

00:44:20.910 --> 00:44:23.830
qu'elle soit strictement
causale c'est-à-dire que

00:44:24.000 --> 00:44:28.587
pour prédire une sortie tu ne peux pas
regarder le token d'entrée correspondante

00:44:28.670 --> 00:44:31.170
tu ne peux regarder que
ceux qui sont à sa gauche.

00:44:31.760 --> 00:44:33.657
donc l'architecture du système elle-même

00:44:33.740 --> 00:44:37.461
fait qu'il y a une espèce de masquage
implicite que quand tu lui donnes une

00:44:37.544 --> 00:44:37.967
séquence

00:44:38.050 --> 00:44:41.467
il ne peut regarder que la première moitié
de la séquence pour prédire un token

00:44:41.550 --> 00:44:44.250
et en fait donc ça
c'est l'architecture GPT.

00:44:45.150 --> 00:44:47.610
et tu entraînes simplement ce truc

00:44:47.780 --> 00:44:52.290
à reproduire son entrée
sur sa sortie d'accord.

00:44:52.890 --> 00:44:55.497
c'est un auto-encodeur
en fait un GPT d'accord

00:44:55.580 --> 00:44:58.130
ok qui ne se dit pas mais
c'est un auto-encodeur

00:44:58.580 --> 00:45:01.887
et dans les world models tu as aussi
des différentes architectures

00:45:01.970 --> 00:45:04.387
qui ont des encodeurs il y en a qui
n'ont pas d'encodeurs alors dans les

00:45:04.470 --> 00:45:08.430
la manière correcte de faire des world
models c'est la même chose c'est-à-dire

00:45:08.780 --> 00:45:14.850
tu prédis une c'est pas un
token mais un vecteur quoi

00:45:14.950 --> 00:45:19.707
ok à partir de de ce qui précède mais
tu fais ça dans un espace d'implantation

00:45:19.790 --> 00:45:22.527
c'est-à-dire qu'il y a d'abord
une couche qui prend la séquence

00:45:22.610 --> 00:45:26.407
qui l'encode et ensuite c'est cette
séquence que tu fais passer par un truc

00:45:26.490 --> 00:45:29.057
un peu à la GPT enfin qui est
en tout cas strictement causal

00:45:29.140 --> 00:45:32.727
que tu peux entraîner ça veut dire
que cette séquence devient un vecteur.

00:45:32.810 --> 00:45:34.807
c'est pas une succession de
vecteurs comme dans le cas d'un LLM

00:45:34.890 --> 00:45:37.647
alors c'est une succession de vecteurs
mais pas une succession de tokens

00:45:37.730 --> 00:45:38.730
ah oui d'accord.

00:45:39.100 --> 00:45:43.334
t'as pas besoin de tokeniser tu peux
prendre la vidéo et donc aussi donc t'as

00:45:43.418 --> 00:45:43.727
le même

00:45:43.810 --> 00:45:47.147
tu fais un encodeur tu retravailles
dessus t'as un encodeur qui te produit

00:45:47.230 --> 00:45:51.910
une séquence si l'entrée est une
séquence ça produit une séquence aussi.

00:45:52.560 --> 00:45:53.730
de représentation

00:45:54.130 --> 00:45:57.730
de chaque entrée qui chacune d'ailleurs
peut prendre plusieurs entrées

00:45:57.930 --> 00:46:00.867
une fenêtre donc si tu
donnes de la vidéo par exemple

00:46:00.950 --> 00:46:04.947
ton encodeur peut prendre
je sais pas 16 ou 64

00:46:05.030 --> 00:46:10.573
trames d'entrée et te produire une
représentation pour ça qui est pas

00:46:10.656 --> 00:46:11.307
forcément

00:46:11.390 --> 00:46:18.330
un vecteur qui elle-même peut être un
torseur d'accord ok voilà et ça c'est un.

00:46:18.840 --> 00:46:23.350
c'est un un objet dans la séquence.

00:46:24.700 --> 00:46:26.810
et cette séquence tu entraînes

00:46:27.310 --> 00:46:31.430
une architecture qu'on appelle un
prédicteur qui est strictement causal

00:46:31.530 --> 00:46:34.967
à reproduire simplement l'entrée sur sa
sortie parce que justement dans le papier

00:46:35.050 --> 00:46:38.987
le world model que tu as publié
c'était quoi c'était en 2025

00:46:39.070 --> 00:46:43.350
justement tu parles un peu de ça en
fait donc si on comprend bien le papier

00:46:43.700 --> 00:46:44.627
il y a un espace latent

00:46:44.710 --> 00:46:48.207
il y a une analyse de la situation et
ça tord un peu ou ça fait une projection

00:46:48.290 --> 00:46:51.457
de l'espace latent sous un sous-espace
latent un peu les poids sont un peu

00:46:51.540 --> 00:46:54.910
sont un peu modifiés
ou en tout cas projetés

00:46:55.080 --> 00:46:57.067
et là c'est drôle parce
qu'il y a une fonction

00:46:57.150 --> 00:47:00.827
une fonction gaussienne que vous appliquez
moi je retrouvais la fonction d'onde

00:47:00.910 --> 00:47:03.807
tu vois la fonction d'onde en physique je
me suis dit mais est-ce qu'il y a un lien

00:47:03.890 --> 00:47:06.607
ou absolument pas non il n'y a pas
lien avec la physique de ce côté là

00:47:06.690 --> 00:47:08.347
enfin pas avec les
fonctions d'onde pas avec

00:47:08.430 --> 00:47:10.077
la mécanique quantique
en tout cas pas encore

00:47:10.160 --> 00:47:16.987
mais bientôt pas encore pas encore là dans
la vidéo il y a le tien elle transforme

00:47:17.070 --> 00:47:23.710
les world models en quantiques et là dans
un an il va accepter son prix Nobel et

00:47:23.794 --> 00:47:29.373
tout je vous remercie Mehdi Mejari parce
que donc non pas de quantique ok voilà le

00:47:29.457 --> 00:47:32.517
problème voilà le problème qu'il faut
résoudre quand on entraîne un JEPA

00:47:32.600 --> 00:47:36.558
et c'est un argument que les gens
utilisent contre cette idée de JEPA

00:47:36.641 --> 00:47:41.110
d'accord c'est que il peut y avoir ce
qu'on appelle en bon français un collapse

00:47:41.210 --> 00:47:45.210
ok le problème est le suivant

00:47:45.460 --> 00:47:48.837
on prend disons une partie
d'une vidéo qu'on encode

00:47:48.920 --> 00:47:51.710
et puis la deuxième partie
de la vidéo qu'on encode

00:47:51.960 --> 00:47:54.787
et puis on essaie d'entraîner un
prédicteur à prédire la représentation

00:47:54.870 --> 00:47:56.267
de la deuxième partie en fonction de la

00:47:56.350 --> 00:47:59.780
représentation de la première
partie le truc peut très facilement

00:48:00.000 --> 00:48:02.600
si on l'entraîne à minimiser
l'erreur de prédiction.

00:48:02.760 --> 00:48:05.732
il peut décider d'ignorer l'entrée
complètement et de produire des

00:48:05.816 --> 00:48:09.077
représentations constantes qui
ne dépendent pas de l'entrée et

00:48:09.160 --> 00:48:11.407
donc là le problème de
prédiction est trivial

00:48:11.490 --> 00:48:17.347
et donc le truc revient et te dit ton
erreur de prédiction elle est à zéro

00:48:17.430 --> 00:48:22.607
tu as bien réussi mais en fait il ne
marche pas parce que c'est un collapse

00:48:22.690 --> 00:48:27.387
tu as trouvé une bonne traduction c'est un
effondrement un effondrement c'est pour ça

00:48:27.470 --> 00:48:31.707
que vous envoyez une gaussienne
un peu pour créer différentes voies

00:48:31.790 --> 00:48:35.707
de différentes probabilités alors c'est là
qu'on commence à creuser dans la tranchée

00:48:35.790 --> 00:48:40.530
de l'apprentissage auto-supervisé en
joint embedding en chassement joint

00:48:41.080 --> 00:48:43.127
et c'est un truc sur
lequel mes premiers papiers

00:48:43.210 --> 00:48:46.367
là-dessus datent de 1993
donc tu vois c'est pas 93?

00:48:46.450 --> 00:48:49.207
ouais ouais ah la vache
t'avais quel âge en 93

00:48:49.290 --> 00:48:55.230
t'avais quel âge ou j'avais 9
ans ok je t'explique au problème

00:48:55.580 --> 00:49:00.827
c'est très simple on avait ce
problème à AT&T des gens qui sont Venus

00:49:00.910 --> 00:49:03.767
et qui se sont dit on voudrait
bien stocker une signature.

00:49:03.850 --> 00:49:08.187
de quelqu'un qui Signe sur une
tablette mais sur la bande magnétique

00:49:08.270 --> 00:49:12.420
d'une carte de crédit ils n'avaient pas de
carte de puce à l'époque aux Etats-Unis.

00:49:12.530 --> 00:49:17.010
et il y a 80 octets
sur une bande magnétique

00:49:17.460 --> 00:49:20.687
comment peut-on stocker la représentation
d'une signature sur 80 octets alors

00:49:20.770 --> 00:49:23.177
ah idée sympa on prend
un réseau de neurones

00:49:23.260 --> 00:49:25.790
un réseau convolutif où
ils donnent la séquence

00:49:25.890 --> 00:49:30.487
des points quelqu'un qui signe et puis
c'est un réseau convolutif et puis à la

00:49:30.570 --> 00:49:32.850
fin. on sort une sortie avec 80 sorties.

00:49:33.450 --> 00:49:39.010
80 valeurs un vecteur à 80 dimensions
qu'on va quantifier sur 8 bits

00:49:39.160 --> 00:49:40.950
voilà donc

00:49:41.200 --> 00:49:43.807
quelqu'un a fait une signature comment
peut-on vérifier que cette signature

00:49:43.890 --> 00:49:47.250
vient bien de cette personne on va
entraîner ce réseau de neurones.

00:49:47.810 --> 00:49:49.407
on ne sait pas a priori
on n'a pas la collection

00:49:49.490 --> 00:49:50.947
de toutes les signatures de tous les gens

00:49:51.030 --> 00:49:53.227
donc il faut que ça marche pour n'importe
quelle signature ce qu'on va faire

00:49:53.310 --> 00:49:55.107
c'est qu'on va entraîner un réseau de
neurones pour que quand on lui donne

00:49:55.190 --> 00:49:56.940
deux signatures de la même personne

00:49:57.150 --> 00:50:00.150
ça nous sort le même
vecteur de 80 composantes.

00:50:00.750 --> 00:50:03.865
et quand on donne une signature d'une
personne et une signature d'une autre

00:50:03.949 --> 00:50:07.017
personne ou une signature d'une autre
personne qui essaie d'imiter la première

00:50:07.100 --> 00:50:11.147
ça nous donne des vecteurs différents
l'apprentissage est complètement trivial

00:50:11.230 --> 00:50:13.810
maintenant on appelle ça
l'apprentissage contrastif

00:50:14.180 --> 00:50:17.027
mais ce que ça veut
dire c'est tu mets deux

00:50:17.110 --> 00:50:20.510
signatures si c'est deux
signatures la même personne

00:50:20.650 --> 00:50:22.457
tu as une fonction de
coût qui dit attire tous

00:50:22.540 --> 00:50:24.900
ces deux vecteurs l'un à l'autre d'accord.

00:50:25.530 --> 00:50:28.807
si tu fais que ça ça collapse d'un
effondrement parce que le truc ignore

00:50:28.890 --> 00:50:32.170
complètement l'entrée te
produit un vecteur Constant.

00:50:32.920 --> 00:50:34.730
donc tu as des exemples contrastifs

00:50:34.940 --> 00:50:40.022
qui sont des signatures qui sont
différentes nos séquelles sont différentes

00:50:40.106 --> 00:50:42.657
et là tu repousses les deux
vecteurs l'un de l'autre

00:50:42.740 --> 00:50:45.890
d'accord tu les éloignes les
uns des autres d'accord ok

00:50:46.040 --> 00:50:47.717
donc ça c'est la production
contractive c'est utilisé

00:50:47.800 --> 00:50:53.450
absolument partout aujourd'hui
pour dans les LLM les LLM

00:50:53.800 --> 00:50:59.910
quand ils analysent une image en fait
utilisent la plupart d'entre eux pas tous

00:51:00.110 --> 00:51:06.887
la plupart d'entre eux utilisent des des
pipelines de perception qui sont entraînés

00:51:06.970 --> 00:51:08.790
avec une méthode qui s'appelle clip.

00:51:09.030 --> 00:51:14.110
qui est un truc qui a été proposé
par par OpenAI il y a quelques années

00:51:14.260 --> 00:51:17.607
mais c'est en fait ça c'est la même chose
c'est à dire que tu montres une image

00:51:17.690 --> 00:51:21.930
et au lieu de montrer une autre
une autre image une signature.

00:51:22.180 --> 00:51:28.867
tu montres une description textuelle
de cette image et tu dis je vais avoir

00:51:28.950 --> 00:51:31.807
un embedding du texte c'est un
embedding de l'image si le texte

00:51:31.890 --> 00:51:34.247
est une bonne description de l'image
je les rapproche les uns des autres

00:51:34.330 --> 00:51:38.870
et tu as des exemples contrastifs ou
tu as une description d'une autre image.

00:51:39.830 --> 00:51:43.207
et là tu les repousses c'est un
peu piloté par la loss function

00:51:43.290 --> 00:51:47.967
par la fonction de perte la fonction de
perte qui a deux termes un terme attractif

00:51:48.050 --> 00:51:52.067
et un terme répulsif qui dit les trucs
dont je sais qu'ils sont identiques

00:51:52.150 --> 00:51:55.107
sémantiquement je les rapproche
et les trucs qui sont différents

00:51:55.190 --> 00:51:59.830
je les repousse il y a plein de manières
de faire ça ça me fait penser peut-être

00:51:59.913 --> 00:52:00.007
que

00:52:00.090 --> 00:52:04.507
le côté contrastif ça me fait penser à ce
que proposait Inton il y a quelques années

00:52:04.590 --> 00:52:08.610
alors il y a un modèle
qui s'appelle SimCLR

00:52:09.110 --> 00:52:16.090
S-I-M-C-L-R qui est un truc contrastif
et qui a été un des premiers.

00:52:16.790 --> 00:52:19.970
réseaux convolutifs contrastifs en fait

00:52:20.420 --> 00:52:23.690
qui donnait des performances
raisonnables sur l'image nette

00:52:23.890 --> 00:52:27.230
moi en fait j'avais essayé
de raviver la méthode

00:52:27.780 --> 00:52:29.867
de ce qu'on appelle ça
les réseaux si à moi.

00:52:29.950 --> 00:52:32.607
avec des méthodes contrastives
aussi au milieu des années 2000

00:52:32.690 --> 00:52:37.587
avec deux étudiants à moi Sumit Chopra
et et Raia Hadsel et qui ont inspiré

00:52:37.670 --> 00:52:40.437
pas mal de travaux après
en fait le système de

00:52:40.520 --> 00:52:42.907
reconnaissance de visage qui
était utilisé par Facebook

00:52:42.990 --> 00:52:46.007
jusqu'à ce qu'ils arrêtent de
faire la reconnaissance de visage

00:52:46.090 --> 00:52:50.980
en fait était affiné avec ce
genre de méthode donc tu montres

00:52:51.310 --> 00:52:55.930
deux images deux photos de la même
personne les représentations sont attirées

00:52:56.030 --> 00:52:59.427
et puis deux photos de gens
différents tu les repousses il faut que

00:52:59.510 --> 00:53:01.847
quand ça se ressemble ça converge et
quand ça se ressemble pas ça diverge

00:53:01.930 --> 00:53:04.434
sinon tu as des faux positifs tout le
temps sinon des faux positifs tout le

00:53:04.518 --> 00:53:08.047
temps où le truc collapse complètement
donc CLIP, le C de CLIP, c'est contrastif

00:53:08.130 --> 00:53:10.467
moi j'ai une question
sur comment on entraîne

00:53:10.550 --> 00:53:12.707
aujourd'hui les modèles
c'est quoi c'est des vidéos

00:53:12.790 --> 00:53:16.687
j'ai vu des data sets la Robocasa c'est
des robots qui sont dans des cuisines en

00:53:16.770 --> 00:53:17.947
3D il y en a qui font avec des jeux vidéo

00:53:18.030 --> 00:53:21.286
avec des moteurs Unreal, ou Atari
même j'ai vu des trucs, Minecraft,

00:53:21.370 --> 00:53:23.657
il y en a qui essaient d'entraîner
les modèles avec Minecraft

00:53:23.740 --> 00:53:25.067
il y a des vidéos réelles
du monde physique c'est

00:53:25.150 --> 00:53:28.790
comment on entraîne aujourd'hui
un modèle du monde à la sauce JEPA.

00:53:30.070 --> 00:53:33.517
alors avant que je réponde à ces questions
tu vas me la rappeler dans une minute

00:53:33.600 --> 00:53:36.757
il faut que je t'explique les
alternatives aux méthodes contrastives

00:53:36.840 --> 00:53:38.347
les méthodes d'entraînement de JEPA

00:53:38.430 --> 00:53:41.247
ou de Joint Embedding donc de méthodes
dans lesquelles il n'y a pas de

00:53:41.330 --> 00:53:41.827
reconstruction

00:53:41.910 --> 00:53:46.107
dans lesquelles il faut trouver un espace
de représentation dans lequel tu peux

00:53:46.190 --> 00:53:48.007
faire des prédictions
et éviter le collapse

00:53:48.090 --> 00:53:50.827
donc j'ai parlé des méthodes
contrastives qui empêchent le collapse

00:53:50.910 --> 00:53:53.117
mais en fait elles ne sont
pas efficaces c'est à dire que

00:53:53.200 --> 00:53:55.407
quand on essaie d'entraîner
par méthode contrastive

00:53:55.490 --> 00:54:00.190
des représentations un peu complètes
d'images ou de choses comme ça

00:54:00.290 --> 00:54:05.279
en fait on n'arrive pas à ce que la
représentation remplisse un peu l'espace

00:54:05.363 --> 00:54:09.777
complet de représentation on a toujours
des représentations un peu dégénérées

00:54:09.860 --> 00:54:15.767
et puis ça nécessite énormément d'exemples
contrastifs donc il y a une autre série

00:54:15.850 --> 00:54:17.950
il y a deux autres catégories de méthodes.

00:54:18.230 --> 00:54:21.350
une qui sont des méthodes
qu'on appelle par distillation.

00:54:22.190 --> 00:54:27.501
donc ils sont utilisés par des papiers
qu'on a publiés qui s'appellent IJEPA

00:54:27.584 --> 00:54:32.590
VJEPA. BYOL qui vient de DeepMind
et DINO qui vient de FAIR Paris.

00:54:33.160 --> 00:54:34.847
donc ça c'est des
méthodes par distillation

00:54:34.930 --> 00:54:38.657
et puis il y en a eu
d'autres avant, SimCLR etc.

00:54:38.740 --> 00:54:43.547
Pas SimCLR pardon, MoCo.
Distillation... comme dans les LLMs?

00:54:43.630 --> 00:54:45.567
Alors distillation c'est...

00:54:45.650 --> 00:54:49.999
la méthode de distillation c'est un truc
un peu bizarre pareil tu as deux encodeurs

00:54:50.082 --> 00:54:50.747
donc tu prends

00:54:50.830 --> 00:54:55.427
une entrée et une autre entrée qui peut
être une version corrompue de la première

00:54:55.510 --> 00:55:00.127
ou qui peut être un morceau différent
de la vidéo etc tu les fais passer

00:55:00.210 --> 00:55:02.507
par des encodeurs qui
sont identiques au niveau

00:55:02.590 --> 00:55:04.730
architecture et puis tu essaies de prédire

00:55:04.830 --> 00:55:07.057
la représentation de
l'entrée originale à partir

00:55:07.140 --> 00:55:10.410
de celle qui a été
corrompue ou transformée etc.

00:55:10.540 --> 00:55:12.570
et donc DINO marche sur ce principe.

00:55:13.050 --> 00:55:18.630
IJEPA aussi et la manière
dont on empêche le collapse

00:55:18.830 --> 00:55:23.430
c'est qu'on ne rétropropage les gradients
que d'un côté c'est-à-dire qu'il y a

00:55:23.580 --> 00:55:25.930
un côté où l'encodeur
ne reçoit pas le gradient

00:55:26.070 --> 00:55:28.550
et ses poids ne sont pas
mis à jour par gradient.

00:55:29.170 --> 00:55:31.470
et les poids de cet encodeur en fait sont

00:55:31.670 --> 00:55:37.850
une espèce de moyenne mobile sur le temps
des poids de l'autre qui lui est entraîné

00:55:38.030 --> 00:55:41.287
et pour une raison mystérieuse ça
ne collapse pas pourquoi mystérieuse?

00:55:41.370 --> 00:55:43.857
mystérieuse parce qu'on n'a pas la
théorie qui l'explique pas encore

00:55:43.940 --> 00:55:45.157
ça marche mais on ne sait pas pourquoi

00:55:45.240 --> 00:55:49.159
ça marche mais on ne sait pas pourquoi
du vrai engineering comme on aime comme

00:55:49.242 --> 00:55:49.467
disent

00:55:49.550 --> 00:55:54.487
si ce n'est pas cassé il ne faut pas
toucher la théorie c'est if I ain't broke

00:55:54.570 --> 00:56:00.327
don't fix it non non la recherche
c'est on sait quoi mais ça ne marche pas

00:56:00.410 --> 00:56:04.759
et du engineering c'est ça marche mais on
ne sait pas pourquoi alors qu'ici on est

00:56:04.842 --> 00:56:08.767
là ça ne marche pas ici ça ne marche
pas on ne sait pas pourquoi alors il y a

00:56:08.850 --> 00:56:11.827
un ou deux papiers théoriques qui
essaient d'expliquer que la dynamique

00:56:11.910 --> 00:56:14.927
d'apprentissage dans ce cas-là a des
points fixes qui ne sont pas collapsés etc

00:56:15.010 --> 00:56:17.307
mais bon c'est un peu
ce qu'il y a broke et bon

00:56:17.390 --> 00:56:19.387
il y a des inconvénients
à utiliser ces méthodes

00:56:19.470 --> 00:56:21.920
mais elles marchent et
elles marchent à l'échelle

00:56:22.140 --> 00:56:25.117
et donc les modèles de vidéo
la VJEPA qu'on a entraîné

00:56:25.200 --> 00:56:27.950
sur d'énormes quantités de
données ça marche très bien.

00:56:28.050 --> 00:56:33.167
mais ce n'est pas satisfaisant donc la
méthode qu'on utilise dans le world model

00:56:33.250 --> 00:56:39.979
qui est une méthode qui s'appelle SIGReg
ça veut dire Sketched Isotropic Gaussian

00:56:40.063 --> 00:56:42.607
Regularization et donc là tu
vas nous le dire en français

00:56:42.690 --> 00:56:45.437
ah oui ça c'est une question
régulation alors attends

00:56:45.520 --> 00:56:49.550
c'est quoi le premier
régularisation par gaussienne

00:56:49.950 --> 00:56:55.727
par gaussienne isotrope mais le sketch
il n'y a pas de mot français dessiné

00:56:55.810 --> 00:57:00.057
oui c'est par projection
par projeté par par

00:57:00.140 --> 00:57:05.017
par dessin projeté par
projection intersection.

00:57:05.100 --> 00:57:10.667
régularisation de gaussienne isotrope
par par projection multiple ouais

00:57:10.750 --> 00:57:16.190
genre ça comme ça allez ça
c'est une exclusivité pas mal non

00:57:16.320 --> 00:57:19.867
c'est français totalement c'est
tout nouveau ça dit à 10 secondes

00:57:19.950 --> 00:57:22.287
c'est fraîchement sorti du
four l'académie française vient

00:57:22.370 --> 00:57:24.867
et d'ailleurs est sur le coup il faut
qu'on appelle on appelle les québécois

00:57:24.950 --> 00:57:27.067
on appelle l'office
québécois la technologie

00:57:27.150 --> 00:57:29.150
ça fait partie d'une classe de technique

00:57:29.290 --> 00:57:32.057
en fait on en a découvert
plusieurs et puis bien

00:57:32.140 --> 00:57:34.827
sûr Jürgen Schmidhuber dit
qu'il a inventé ça en 1990

00:57:34.910 --> 00:57:37.987
mais en fait il y a des
papiers qui datent des années 80

00:57:38.070 --> 00:57:40.987
de Geoffrey Hinton et de Sue Becker
qui sont un peu basés sur l'idée

00:57:41.070 --> 00:57:43.107
qui est de dire si
on a un truc comme ça qui

00:57:43.190 --> 00:57:45.277
ne reconstruit pas donc qui peut collapser

00:57:45.360 --> 00:57:49.310
on va essayer de maximiser la
quantité d'informations qui sort

00:57:49.440 --> 00:57:52.527
des encodeurs on va essayer
de trouver une mesure

00:57:52.610 --> 00:57:54.830
qui mesure la quantité d'informations.

00:57:54.980 --> 00:57:57.328
alors il y a un gros problème avec
ça c'est qu'on ne sait pas mesurer

00:57:57.412 --> 00:58:01.177
l'information parce que pour mesurer
l'information avec toutes les définitions

00:58:01.260 --> 00:58:03.387
il faut connaître la
distribution de probabilités

00:58:03.470 --> 00:58:05.570
dans un espace continu de haute dimension

00:58:05.740 --> 00:58:11.847
essayer de trouver une distribution
de probabilités à partir d'échantillons

00:58:11.930 --> 00:58:14.507
c'est un problème ultra compliqué
qu'on ne sait absolument pas résoudre

00:58:14.590 --> 00:58:17.027
qui est mathématiquement
intractable qui est plus compliqué

00:58:17.110 --> 00:58:19.267
que tout le machine learning
donc ce n'est pas la peine.

00:58:19.350 --> 00:58:22.427
donc on ne sait pas calculer l'information
on ne peut faire que des approximations

00:58:22.510 --> 00:58:26.227
et il y a un gros problème c'est que
toutes les approximations qu'on peut faire

00:58:26.310 --> 00:58:30.930
c'est estimer les quantités
d'informations dans une série de vecteurs.

00:58:31.530 --> 00:58:36.090
c'est que des surestimations. c'est que
des bandes supérieures pas inférieures

00:58:36.340 --> 00:58:37.247
et on voudrait maximiser

00:58:37.330 --> 00:58:39.717
si on veut maximiser quelque chose
et qu'on a une bande inférieure

00:58:39.800 --> 00:58:43.070
on pousse sur la bande
inférieure ça pousse la quantité

00:58:43.450 --> 00:58:45.995
mais si on n'a que des bandes supérieures
et qu'on tire dessus on ne sait pas du

00:58:46.079 --> 00:58:50.030
tout si ça va suivre
alors on fait ça quand même

00:58:50.180 --> 00:58:54.447
et on croise les doigts donc c'est aussi
un peu l'engineering c'est ça que j'adore

00:58:54.530 --> 00:59:00.190
mais il y a un peu des maths derrière
quand même donc l'idée c'est comment

00:59:00.390 --> 00:59:05.771
faire en sorte qu'on fait passer une
quantité d'exemples dans l'encodeur et

00:59:05.854 --> 00:59:08.287
puis donc ce qu'on va récupérer
c'est une espèce de matrice

00:59:08.370 --> 00:59:12.208
pour chaque exemple on a un vecteur
de représentation et puis pour tous les

00:59:12.292 --> 00:59:12.627
exemples

00:59:12.710 --> 00:59:15.707
qu'on a passés c'est une ligne donc on se
retrouve avec une matrice chaque ligne

00:59:15.790 --> 00:59:19.430
il y a une augmentation d'un vecteur
chaque colonne est une variable

00:59:19.700 --> 00:59:24.107
pour tous les exemples d'accord
comment maximiser l'information

00:59:24.190 --> 00:59:27.167
qu'il y a dans cette matrice alors
d'abord si toutes les valeurs sont égales

00:59:27.250 --> 00:59:31.930
il n'y a pas d'information donc
il faut s'assurer que par exemple

00:59:32.080 --> 00:59:34.477
toutes les lignes soient
différentes ça c'est

00:59:34.560 --> 00:59:36.527
une méthode contrastive
une méthode contrastive

00:59:36.610 --> 00:59:39.007
tu dis voilà un exemple il y a un
deuxième exemple il est différent

00:59:39.090 --> 00:59:41.137
fais en sorte que les
deux augmentations soient

00:59:41.220 --> 00:59:43.670
différentes ça c'est
une méthode contrastive

00:59:44.020 --> 00:59:48.927
les méthodes un peu nouvelles comme
Cy c'est plutôt un peu l'inverse

00:59:49.010 --> 00:59:52.357
c'est-à-dire qu'on essaie de faire en
sorte que les colonnes soient différentes.

00:59:52.440 --> 00:59:54.510
c'est-à-dire que chaque variable.

00:59:55.210 --> 00:59:59.470
véhicule une information
différente d'accord

00:59:59.680 --> 01:00:02.307
alors on a eu une première idée tu
peux pas le faire ça avec des rotations

01:00:02.390 --> 01:00:05.737
tout simplement alors tu peux faire
ça en mesurant des corrélations

01:00:05.820 --> 01:00:09.567
donc on avait deux méthodes en fait la
première méthode qui m'a un peu moi allumé

01:00:09.650 --> 01:00:12.617
qui m'a un peu convaincu
que ces trucs-là pouvaient

01:00:12.700 --> 01:00:16.550
marcher qu'on a appelé
qu'on a appelé Barlow Twins

01:00:16.700 --> 01:00:23.110
les jumeaux de Barlow d'accord
Barlow c'est un un monstre de la

01:00:23.310 --> 01:00:26.110
des neurosciences théoriques anglais

01:00:26.310 --> 01:00:29.386
qui a basé beaucoup de ses théories
sur les histoires de maximisation

01:00:29.469 --> 01:00:30.027
d'informations

01:00:30.110 --> 01:00:36.147
efficacité du codage etc c'était un
post-doc qui travaillait avec moi à Meta

01:00:36.230 --> 01:00:37.717
qui s'appelait Stéphane Denis un français

01:00:37.800 --> 01:00:44.190
qui est maintenant prof en Finlande
et l'idée en fait de décorréler

01:00:44.440 --> 01:00:49.190
les colonnes de cette matrice on les
rendant orthogonales les unosons.

01:00:49.720 --> 01:00:54.267
donc ça a à voir avec rendre la
matrice de covariance des données

01:00:54.350 --> 01:00:56.967
donc tu prends cette matrice tu
la prémultiplies par sa transposée

01:00:57.050 --> 01:00:58.787
ça te donne une matrice de covariance

01:00:58.870 --> 01:01:00.957
et tu te fais en sorte
pour qu'elle soit diagonale

01:01:01.040 --> 01:01:03.067
c'est-à-dire qu'il y a des
1 sur la diagonale des 0

01:01:03.150 --> 01:01:08.110
et ça fait des variables qui ont toute
une variance 1 et qui sont décorrélées

01:01:08.310 --> 01:01:10.907
maintenant décorrélées ça
ne veut pas dire indépendant.

01:01:10.990 --> 01:01:14.107
donc on a une deuxième méthode qui
s'appelait VC regularization (VICReg)

01:01:14.190 --> 01:01:17.217
variance covariance
regularization qui est une méthode

01:01:17.300 --> 01:01:20.150
simplifiée de Barlow
Twins qui marche très bien

01:01:20.400 --> 01:01:27.400
avec Adrian Bard qui est un ancien
étudiant en doctorat résident à FAIR

01:01:28.680 --> 01:01:31.510
co-supervisé par Jean Ponce et moi.

01:01:32.360 --> 01:01:37.430
il n'a pas fini à Google lui depuis
il est devenu chercheur à FAIR.

01:01:38.080 --> 01:01:42.149
et là depuis quelques semaines
il est à AmiLabs - Ah! Trop bien!

01:01:42.233 --> 01:01:43.707
- Google ils ont eu Bard

01:01:43.790 --> 01:01:45.896
ils ont eu Bard c'est pour ça je me suis
dit est-ce que c'est lui qu'a donné le

01:01:45.979 --> 01:01:49.157
nom? est-ce que ça veut dire
que le travail sur les world

01:01:49.240 --> 01:01:51.710
models c'est un travail
un peu plus mathématique

01:01:51.840 --> 01:01:55.147
que les modèles de
transformers, de diffusion,

01:01:55.230 --> 01:01:57.727
LLM est-ce qu'il y a une dimension?

01:01:57.810 --> 01:02:01.767
diffusion il y a des maths aussi c'est
plutôt la physique d'ailleurs la physique

01:02:01.850 --> 01:02:04.267
mais est-ce que ça veut dire que
là tu as une dimension mathématique

01:02:04.350 --> 01:02:07.037
sur les espaces vectoriels un peu
plus compliqués est-ce que ça veut

01:02:07.120 --> 01:02:11.827
disons qu'il y a il y a tout spectre il
y a des théories théorie il y a des maths

01:02:11.910 --> 01:02:14.377
la théorie théorie qui
n'est pas encore trop faite

01:02:14.460 --> 01:02:17.917
enfin si c'est plutôt Randall
Balestriero qui est le premier auteur de

01:02:18.000 --> 01:02:23.230
pas LeWorldModel mais LeJEPA
qui est le papier d'avant

01:02:23.330 --> 01:02:27.210
qui lui est pas mal branché sur
l'aspect de ça il est aussi français

01:02:27.510 --> 01:02:32.590
il est prof à Brown il est
aussi affilié à AmiLabs et

01:02:32.890 --> 01:02:39.427
donc il y a des maths et puis il y a
effectivement l'ingénierie et du bricolage

01:02:39.510 --> 01:02:46.227
et du tournevis et puis il arrive à
faire marcher... Alors l'idée de SIGReg

01:02:46.310 --> 01:02:50.127
c'est de dire on veut pas simplement
décorréler les variables mais on veut les

01:02:50.210 --> 01:02:53.860
rendre statistiquement indépendantes
et là c'est beaucoup plus compliqué.

01:02:53.990 --> 01:02:59.877
et on ne sait mesurer la dépendance
statistique de deux variables enfin on ne

01:02:59.960 --> 01:03:04.390
sait mesurer la dépendance statistique
que de deux variables d'accord

01:03:04.890 --> 01:03:06.670
ou même que d'une.

01:03:07.370 --> 01:03:09.710
en haute dimension c'est très compliqué.

01:03:10.550 --> 01:03:17.290
alors cette idée j'avais une idée
vague et puis Randall en fait a.

01:03:17.490 --> 01:03:24.490
complètement a pris l'idée
a couru à 100 km/h avec

01:03:25.250 --> 01:03:31.227
c'est de dire si on si on a une collection
de points donc on peut voir cette matrice

01:03:31.310 --> 01:03:33.610
comme une collection de
points dans un espace.

01:03:34.210 --> 01:03:41.049
comment faire en sorte de bouger ces
points pour que à la fin il soit une

01:03:41.132 --> 01:03:45.527
distribution gaussienne isotrope
c'est à dire qu'elle soit gaussienne

01:03:45.610 --> 01:03:47.847
dans toutes les directions
avec la même variance

01:03:47.930 --> 01:03:54.930
et il y a un théorème qui dit que si une
si une une distribution est gaussienne

01:03:55.850 --> 01:03:57.757
de cette manière là en
fait c'est la distribution

01:03:57.840 --> 01:03:59.790
qui a le plus de contenu informationnel

01:04:00.170 --> 01:04:03.281
pour une variance donnée alors bon ça
c'est pas un argument qui est très très

01:04:03.364 --> 01:04:05.264
fort mais c'est intéressant quand même

01:04:05.660 --> 01:04:09.297
et puis il y a un deuxième théorème qui
est beaucoup plus intéressant qui dit que

01:04:09.380 --> 01:04:13.866
si toutes les projections donc on prend
les points on les projette selon une

01:04:13.949 --> 01:04:17.590
dimension ce qu'on va obtenir c'est
une distribution unidimensionnelle.

01:04:18.940 --> 01:04:21.847
si toutes les projections donc
toutes les distributions marginales

01:04:21.930 --> 01:04:25.620
d'une distribution en haute
dimension dans toutes les directions

01:04:25.730 --> 01:04:30.470
sont toutes gaussiennes. la distribution
jointe est gaussienne donc idée

01:04:30.620 --> 01:04:33.367
on va faire plein de
projections des points qu'on

01:04:33.450 --> 01:04:36.190
a et on va faire en
sorte de bouger les points

01:04:36.640 --> 01:04:40.607
selon toutes ces directions pour que
la distribution unidimensionnelle soit

01:04:40.690 --> 01:04:43.777
gaussienne et ça on sait le faire
c'est-à-dire qu'on sait calculer

01:04:43.860 --> 01:04:45.790
en une dimension la distance

01:04:46.070 --> 01:04:48.927
entre une distribution empirique
qui est donnée par des points.

01:04:49.010 --> 01:04:52.407
et une distribution idéale qui pourrait
être gaussienne ou n'importe quoi.

01:04:52.490 --> 01:04:55.987
on peut calculer une distance et non
seulement ça on peut calculer le gradient

01:04:56.070 --> 01:04:59.887
de cette distance donc ça veut dire qu'on
sait dans quelle direction et de combien

01:04:59.970 --> 01:05:00.970
bouger chaque point.

01:05:01.460 --> 01:05:07.387
selon chaque projection de manière
à ce que la distribution marginale

01:05:07.470 --> 01:05:10.197
dans cette direction-là soit gaussienne
et dans celle-là soit gaussienne aussi

01:05:10.280 --> 01:05:12.447
et puis il y a un
troisième théorème qui dit

01:05:12.530 --> 01:05:17.187
bon en fait tu n'as pas besoin de projeter
sur toutes les dimensions si ta fonction

01:05:17.270 --> 01:05:19.950
est un petit peu rigide en
fait tu n'as besoin que de

01:05:20.050 --> 01:05:24.207
un subset tu n'as pas besoin d'un nombre
de dimensions exponentielles en fonction

01:05:24.290 --> 01:05:28.150
de la nombre de projections
exponentielles en fonction de la dimension

01:05:28.340 --> 01:05:30.417
et donc ça ça marche super bien et puis il

01:05:30.500 --> 01:05:33.230
n'y a pas beaucoup de
paramètres à ajuster etc

01:05:33.550 --> 01:05:35.930
mais ce n'est pas parfait ce qui manque.

01:05:36.680 --> 01:05:41.810
dans cette technique c'est le
fait que on lui donne a priori.

01:05:42.080 --> 01:05:44.790
une dimension qu'il faut
remplir avec les points.

01:05:45.400 --> 01:05:48.097
et il n'y a aucune raison
que la distribution d'entrée

01:05:48.180 --> 01:05:51.827
en fait remplisse toutes ces dimensions
donc il faudra une manière d'adapter

01:05:51.910 --> 01:05:55.897
les dimensions automatiquement que le
système automatiquement découvre les

01:05:55.980 --> 01:06:01.310
dimensions intrinsèques de la variété
qui contient toutes les données en entrée.

01:06:01.670 --> 01:06:05.847
d'une part et puis d'autre part il se
peut très bien qu'on ne puisse pas réduire

01:06:05.930 --> 01:06:10.710
cette distribution à une gaussienne
donc par exemple si je prends des images

01:06:10.860 --> 01:06:12.590
d'objets selon tous les angles

01:06:12.690 --> 01:06:18.890
possibles si je prends
des photos à mégapixels

01:06:19.040 --> 01:06:22.897
de cet objet sous tous les
angles possibles ok donc

01:06:22.980 --> 01:06:25.507
chaque image c'est un vecteur
à un million de dimensions

01:06:25.590 --> 01:06:28.390
c'est un point dans l'espace
d'un million de dimensions.

01:06:29.120 --> 01:06:33.490
la trajectoire suivie
par par tous ces points

01:06:33.690 --> 01:06:35.540
à mesure que je fais tourner l'objet.

01:06:36.060 --> 01:06:39.767
c'est une trajectoire très compliquée dans
cet espace à un million de dimensions.

01:06:39.850 --> 01:06:42.767
mais topologiquement c'est un cercle
c'est un cercle parce que tu es capable

01:06:42.850 --> 01:06:45.907
de projeter orthogonalement sur chaque
parce que tu sais que tu vas revenir

01:06:45.990 --> 01:06:49.427
à ton point de départ parce qu'une fois
que tu as tourné 360 degrés tu reviens

01:06:49.510 --> 01:06:52.077
à ton point de départ
on joue on joue d'accord on

01:06:52.160 --> 01:06:55.190
joue sur alors c'est c'est
élégant c'est élégant oui

01:06:55.290 --> 01:06:59.307
c'est une trajectoire qui est horriblement
tarabiscotée qui n'est pas du tout

01:06:59.390 --> 01:07:03.240
un cercle mais c'est topologiquement
assimilable à un cercle c'est à dire que

01:07:03.460 --> 01:07:06.710
tu lui tires dessus sans rien
casser et ça devient un cercle.

01:07:07.460 --> 01:07:10.730
maintenant si je le fais tourner comme ça.

01:07:11.530 --> 01:07:12.530
et comme ça.

01:07:13.150 --> 01:07:17.907
ça va être un truc un peu compliqué ça
va être une sphère en fait enfin ça reste

01:07:17.990 --> 01:07:20.848
oui voilà c'est ça mais il y a une
troisième dimension où je n'ai pas fait

01:07:20.932 --> 01:07:23.777
tourner et donc ça veut dire que celle-là
elle est ouverte donc ça va être un tube

01:07:23.860 --> 01:07:26.487
un peu de cylindre en
fait c'est un peu sur

01:07:26.570 --> 01:07:30.227
ce thème qui était les
papiers de 2005-2006

01:07:30.310 --> 01:07:33.707
avec mes étudiants Sumit Chopra, Raia
Hadsell. Raia Hadsell qui est directrice

01:07:33.790 --> 01:07:40.210
de la recherche à DeepMind by the way
donc... elle a bien raté sa carrière

01:07:44.400 --> 01:07:47.173
manifestement! non elle est
incroyablement talentueuse.

01:07:47.257 --> 01:07:49.407
Donc en fait c'est des
maths assez avancées

01:07:49.490 --> 01:07:52.707
de dimension élevée mais on retombe
sur des choses qu'on connaît avec des

01:07:52.790 --> 01:07:58.616
pas des tricks mais avec des formes ou
de la géométrie - Bah conceptuellement en

01:07:58.699 --> 01:07:59.207
tout cas

01:07:59.290 --> 01:08:05.787
avec la géométrie - mais il y a des
problèmes sur lesquels on travaille

01:08:05.870 --> 01:08:09.430
en ce moment qui est comment modifier
SIGReg et des choses similaires

01:08:09.530 --> 01:08:12.401
pour que le système découvre
automatiquement la topologie des données

01:08:12.485 --> 01:08:14.590
d'entrée. et la dimension intrinsèque

01:08:15.090 --> 01:08:17.956
on a quelques idées là-dessus on a des
trucs qui marchent à moitié mais il y

01:08:18.040 --> 01:08:20.177
a encore du boulot à faire
c'est pas un problème résolu le

01:08:20.260 --> 01:08:22.327
Le temps passe vite il nous
reste trois petits points

01:08:22.410 --> 01:08:25.887
Il y en a un: données d'entraînement.
Aujourd'hui les données d'entraînement

01:08:25.970 --> 01:08:29.067
on voit plein de vidéos on voit des
entreprises qui obligent les gens

01:08:29.150 --> 01:08:30.877
à mettre des casques pour
s'enregistrer avec les

01:08:30.960 --> 01:08:33.117
mains, on voit des gens
qui génèrent des vidéos

01:08:33.200 --> 01:08:34.917
de la vie de tous les
jours des balles de tennis

01:08:35.000 --> 01:08:37.117
qui tapent dans tous
les sens on voit des labs

01:08:37.200 --> 01:08:41.270
qui se font avec où il y
a besoin on donne les X, Y, Z

01:08:41.470 --> 01:08:43.927
avec la force en Newton
pour vraiment nourrir

01:08:44.010 --> 01:08:47.450
les modèles donc là vraiment très
supervisé on voit des jeux vidéo

01:08:47.700 --> 01:08:50.537
de la 3D voilà aujourd'hui
c'est quoi l'écosystème un peu de

01:08:50.620 --> 01:08:53.787
et qu'est-ce qu'il faut pour les
jeux pas modèles alors la raison

01:08:53.870 --> 01:08:56.467
pour laquelle les gens utilisent des
jeux vidéo pour entraîner des modèles

01:08:56.550 --> 01:08:58.447
ça se fait beaucoup à
DeepMind par exemple et

01:08:58.530 --> 01:09:02.090
puis il y a eu d'autres
gens qui croient à ça.

01:09:02.690 --> 01:09:06.590
la raison pour laquelle ils utilisent
des jeux vidéo c'est que les jeux vidéo.

01:09:07.510 --> 01:09:08.967
les données étant
synthétiques qui captulent dans

01:09:09.050 --> 01:09:11.930
tout l'état du monde tu
peux prédire des pixels.

01:09:13.180 --> 01:09:16.557
c'est-à-dire qu'il n'y a il n'y a pas
l'incertitude qu'il y a dans le monde réel

01:09:16.640 --> 01:09:19.240
ou prédire des pixels c'est
pas complètement débile.

01:09:19.690 --> 01:09:23.457
et donc ça fait qu'on peut utiliser
des modèles génératifs un peu classiques

01:09:23.540 --> 01:09:26.650
pour entraîner des modèles du
monde par prédiction de pixels

01:09:26.850 --> 01:09:29.507
mais ça ne marche pas pour la vraie
vidéo mais est-ce que c'est pas

01:09:29.590 --> 01:09:32.197
celui qui a perdu ses clés
devant chez lui dans le noir

01:09:32.280 --> 01:09:34.758
et qui va sous le réverbère parce que
c'est éclairé et qu'il les cherche sur

01:09:34.841 --> 01:09:38.217
place c'est un peu ça quand même c'est
parce qu'ils fonctionnent en pixels

01:09:38.300 --> 01:09:42.630
qu'ils génèrent des pixels voilà et ça
ne marche que pour les jeux vidéo en gros.

01:09:42.720 --> 01:09:45.083
donc c'est l'une des raisons pour
lesquelles les gens se mettent sur les

01:09:45.166 --> 01:09:45.287
vidéos

01:09:45.370 --> 01:09:51.207
ou sur des vidéos de simulation de robots
enfin des trucs synthétiques parce que là

01:09:51.290 --> 01:09:55.048
il n'y a pas toutes les textures
impossibles et le bruit qu'il y a dans le

01:09:55.131 --> 01:09:59.867
monde réel il n'y a pas aussi une histoire
de capture de l'état du monde complet

01:09:59.950 --> 01:10:05.747
parce que dans les jeux vidéo tu peux
capturer le monde à l'unité de granularité

01:10:05.830 --> 01:10:09.067
que tu veux ouais mais c'est pas un
problème de capteur on a tous les capteurs

01:10:09.150 --> 01:10:12.207
qu'on veut nous on n'apprend pas comme des
jeux vidéo enfin la thèse c'est de dire

01:10:12.290 --> 01:10:14.987
si on fait des modèles qui apprennent
comme on apprend comme un chat apprend

01:10:15.070 --> 01:10:16.857
comme un enfant apprend
comme un adulte apprend

01:10:16.940 --> 01:10:19.747
nous on n'a pas besoin de connaître tout
l'état du monde est-ce que tu peux devenir

01:10:19.830 --> 01:10:22.047
un bon jeu vidéo grâce à ça
pour Elon ça pourrait être cool

01:10:22.130 --> 01:10:27.027
il a besoin de payer des gens
par exemple il y a un truc

01:10:27.110 --> 01:10:30.290
c'est qu'à un moment donné
tu dois quand même revenir

01:10:30.490 --> 01:10:33.429
pas pour tout évidemment mais revenir
quand même il y a une équation dans pas

01:10:33.512 --> 01:10:36.747
mal tu vois tu apprends la physique
en lançant une balle alors après

01:10:36.830 --> 01:10:42.111
tu apprends dans la gueule comme ça
tu l'offres combien mais tu reviens

01:10:42.194 --> 01:10:44.870
finalement est-ce que
tu reviens quelque part

01:10:45.100 --> 01:10:47.924
à une équation une vraie équation
mathématique ou quelque part on n'en

01:10:48.007 --> 01:10:48.547
a rien à foutre

01:10:48.630 --> 01:10:53.687
en fait c'est ça le chat il ne comprend
pas les équations le chat de Schrödinger

01:10:53.770 --> 01:10:56.567
il comprend les équations mais pas
les deux est-ce qu'il y a une équation

01:10:56.650 --> 01:11:00.807
pour créer de la donnée pour justement
injecter dans le modèle chaque gouttière

01:11:00.890 --> 01:11:04.570
a un très très très bon modèle
prédictif de sa propre dynamique.

01:11:05.420 --> 01:11:08.730
il retombe sur ses pattes il
ne connaît pas les Noël Newton.

01:11:09.400 --> 01:11:11.017
enfin il ne les connaît
pas mais il les connaît

01:11:11.100 --> 01:11:13.287
c'est-à-dire qu'il a sa
représentation mais il ne sait pas

01:11:13.370 --> 01:11:16.562
c'est-à-dire que c'est la place qui dit
je n'ai pas eu besoin de cette hypothèse

01:11:16.645 --> 01:11:16.767
voilà

01:11:16.850 --> 01:11:21.027
exactement d'accord mais il n'a pas besoin
d'écrire un petit nombre d'équations

01:11:21.110 --> 01:11:24.410
qu'il peut intégrer etc
par contre il a un modèle

01:11:24.660 --> 01:11:27.307
il a un modèle phénoménologique de sa
propre dynamique qui est incroyablement

01:11:27.390 --> 01:11:29.507
plus compliqué que tout
ce qu'on peut écrire

01:11:29.590 --> 01:11:32.727
sur la dynamique d'un robot parce qu'il
y a l'élasticité des tordons des muscles

01:11:32.810 --> 01:11:36.330
des machins enfin c'est hallucinant
complexité on ne sait pas le faire on sait

01:11:36.413 --> 01:11:39.030
écrire les équations
dynamiques d'un robot humanoïde

01:11:39.400 --> 01:11:42.927
et c'est parce que toutes les
articulations sont très stif

01:11:43.010 --> 01:11:45.667
on connaît les caractéristiques de
tous les actuateurs on a mis du bruit

01:11:45.750 --> 01:11:48.517
bien sûr aussi et c'est
comme ça toutes les démos

01:11:48.600 --> 01:11:51.410
qu'on voit de robots
humanoïdes qui font du kung fu

01:11:51.680 --> 01:11:55.350
c'est parce qu'on peut écrire
les équations de la dynamique

01:11:55.730 --> 01:11:59.134
on ne connaît pas tous les coefficients
donc on a juste ça par reinforcement

01:11:59.217 --> 01:12:00.327
learning ou par simulation

01:12:00.410 --> 01:12:05.627
mais tout ça c'est pré-calculé et là
on le voit derrière des vidéos de robots

01:12:05.710 --> 01:12:07.867
qui font des démonstrations puis
qui tapent des gens dans le public

01:12:07.950 --> 01:12:11.667
parce qu'ils n'ont pas la personne
ils n'ont qu'à pas voir public aussi

01:12:11.750 --> 01:12:15.187
t'es mignon toi mais ça fait penser à
le joueur d'échec Capablanca il disait

01:12:15.270 --> 01:12:17.627
moi je calcule qu'un seul coup elle avance
mais c'est toujours le meilleur coup

01:12:17.710 --> 01:12:24.710
ça fait un peu pour ça ça veut dire
que presque l'équation physique en fait

01:12:25.550 --> 01:12:30.647
perd l'information puisque c'est une
simplification voilà c'est ça d'accord

01:12:30.730 --> 01:12:33.387
de toute façon oui j'ai envie de te dire
c'est un modèle c'est un modèle du monde

01:12:33.470 --> 01:12:35.667
oui mais là du coup ce qui est
hyper intéressant c'est qu'en fait

01:12:35.750 --> 01:12:38.232
c'est pas un modèle parce que quand on
parle de modèle du monde il y a un côté un

01:12:38.315 --> 01:12:40.427
peu tu sais enfin en
tout cas je parle pour moi

01:12:40.510 --> 01:12:43.447
émotionnellement d'objectivité quoi
c'est à dire que tu modèles le monde

01:12:43.530 --> 01:12:46.467
alors qu'en fait au contraire là tu
prends l'exemple du chat comme tu dis

01:12:46.550 --> 01:12:50.087
il modèle le monde dans son propre
référentiel avec ses propres contraintes

01:12:50.170 --> 01:12:54.587
l'élasticité la condition physique
si il a une personne de confiture

01:12:54.670 --> 01:12:59.010
attachée sur son dos finalement c'est très
subjectif par exemple j'ai deux hobbies.

01:12:59.660 --> 01:13:03.050
un c'est la voile et l'autre c'est
fabriquer des petits avions ok

01:13:03.450 --> 01:13:07.387
et dans ces deux trucs là très vent quoi
très faut pas qu'on te parle de Kyber

01:13:07.470 --> 01:13:09.097
très aérien très aérien
des expériences qu'on va

01:13:09.180 --> 01:13:12.550
faire chez Kyber parce
que quand tu fais la voile

01:13:13.020 --> 01:13:18.050
en tout cas moi quand je fais la voile
pour régler les voiles j'ai une espèce de.

01:13:18.650 --> 01:13:20.650
pseudo simulateur dans la tête du

01:13:20.800 --> 01:13:23.511
l'écoulement de l'air derrière la
voile si je borde trop il va y avoir des

01:13:23.595 --> 01:13:29.127
turbulences derrière au-delà de 120 degrés
ça marche pas machin machin enfin j'ai ça

01:13:29.210 --> 01:13:33.707
un peu dans la tête c'est le problème
il n'y a pas besoin il n'y a pas besoin

01:13:33.790 --> 01:13:37.647
parce qu'il y a un modèle phénoménologique
qu'on a dans la tête on sait qu'il faut

01:13:37.730 --> 01:13:41.427
aborder le foc un petit peu
un petit peu plus pour faire

01:13:41.510 --> 01:13:44.410
coller les machins derrière
la grande voile etc etc

01:13:44.760 --> 01:13:47.806
on sait qu'il ne faut pas aller
complètement en voie arrière avec un

01:13:47.890 --> 01:13:50.767
multicoque parce qu'on va
moins vite que si on va un petit

01:13:50.850 --> 01:13:53.210
peu et qu'on garde le
flot laminaire et tout

01:13:53.640 --> 01:13:56.050
et c'est grâce à une
espèce de modèle mental

01:13:56.250 --> 01:14:02.127
pareil si je suis en train de construire
un avion télécommandé je fais un profil

01:14:02.210 --> 01:14:07.666
un profil d'elle c'est un peu à la louche
je ne vais pas faire la simulation de

01:14:07.749 --> 01:14:08.087
fluide

01:14:08.170 --> 01:14:11.627
sur le machin mais bon je sais à peu près
quelles sont les caractéristiques et tout

01:14:11.710 --> 01:14:15.387
mais c'est pareil il y a une espèce de
simulation mentale de ce qui se passe

01:14:15.470 --> 01:14:21.446
les modèles MuZero, PlaNet, Dreamer ils
sont dans cette idée de tout simuler en

01:14:21.530 --> 01:14:24.147
avance avec beaucoup de paramètres non?

01:14:24.230 --> 01:14:25.107
c'est pas un peu ça leur modèle?

01:14:25.190 --> 01:14:29.400
alors je vais y venir dans
une seconde alors donc tout ça.

01:14:29.840 --> 01:14:31.910
c'est grâce à un modèle phénoménologique

01:14:32.010 --> 01:14:36.027
d'un phénomène très compliqué collectif
qu'on pourrait en principe réduire

01:14:36.110 --> 01:14:37.947
à quelques équations mais
qui est hyper compliqué

01:14:38.030 --> 01:14:43.770
donc ce que font les gens qui font chez
Dassault qui font les rafales et tout ça

01:14:44.070 --> 01:14:47.910
ils font la simulation de fluide
d'écoulement de fluide autour des avions

01:14:48.110 --> 01:14:50.710
par ce qu'on appelle CFD
Computation Fluid Dynamics

01:14:51.230 --> 01:14:57.090
ça consiste à dire je prends un volume
je découpe le volume en petits cubes

01:14:57.240 --> 01:15:01.950
et dans chaque cube je modélise l'état
de l'air là-dedans par une vitesse.

01:15:02.600 --> 01:15:07.550
une densité température viscosité etc

01:15:07.700 --> 01:15:11.227
et ça c'est une abstraction parce
qu'en fait le phénomène sous-jacent

01:15:11.310 --> 01:15:13.775
c'est des molécules d'air qui se collent
les unes contre les autres et qui se

01:15:13.858 --> 01:15:19.030
collent sur l'avion donc en fait
on oublie on abstrait complètement

01:15:19.230 --> 01:15:22.110
on élimine les positions et
vitesses des molécules d'air

01:15:22.210 --> 01:15:25.717
ça sera trop compliqué à simuler de toute
façon ça ne collerait pas à la réalité.

01:15:25.800 --> 01:15:29.070
on fait une abstraction qui sont
on découpe l'air en petits cubes

01:15:29.170 --> 01:15:31.770
et ensuite on résout les
équations de Navier-Stokes.

01:15:31.900 --> 01:15:36.687
et ça c'est une représentation de la
réalité qui est plus ou moins incorrecte

01:15:36.770 --> 01:15:38.807
quand il y a des turbulences ce
n'est pas forcément exactement correct

01:15:38.890 --> 01:15:41.787
mais c'est suffisant mais à la fin ce
qu'on veut ce n'est pas ça ce qu'on veut

01:15:41.870 --> 01:15:45.427
c'est une portance une traînée
d'ailleurs ma planète donc Daniel Jerafner

01:15:45.510 --> 01:15:50.940
je connais depuis longtemps et il est
parti d'Iman d'ailleurs il a sa boîte donc

01:15:51.023 --> 01:15:54.970
lui il fait la prédiction dans
un espace de représentation.

01:15:55.370 --> 01:15:57.670
mais le problème à mon avis

01:15:57.820 --> 01:15:59.687
qui n'est pas la bonne manière
de le faire c'est qu'il entraîne

01:15:59.770 --> 01:16:02.157
l'espace de représentation
avec un auto-encodeur

01:16:02.240 --> 01:16:08.710
avec un VAE en fait donc donc tu prends
une trame d'entrée tu l'auto-encode

01:16:08.860 --> 01:16:12.217
tu réalises l'information
la représentation pour

01:16:12.300 --> 01:16:15.090
que ton auto-encodeur
colle à ce pas justement

01:16:15.240 --> 01:16:18.170
et puis ensuite tu utilises
l'encodeur pré-entraîné.

01:16:18.820 --> 01:16:23.750
avec un prédicteur pour
faire un modèle du monde.

01:16:24.100 --> 01:16:27.107
c'est la bonne direction mais c'est
pas un JEPA pur parce qu'il fait pas

01:16:27.190 --> 01:16:29.707
l'entraînement end-to-end. - Amilab
donc c'est une boîte basée en France

01:16:29.790 --> 01:16:33.647
une boîte internationale vous avez des
bureaux - c'est une boîte globale globale

01:16:33.730 --> 01:16:38.130
since day one comme on dit depuis le jour
1 mais alors il y a une question c'est de

01:16:38.310 --> 01:16:40.450
pourquoi la France pourquoi Paris

01:16:40.550 --> 01:16:43.347
voilà la question c'est est-ce que
parce que c'est toi qui as entraîné

01:16:43.430 --> 01:16:45.710
toute la génération avec le lab FAIR Meta

01:16:46.230 --> 01:16:49.287
tu as vu qu'en France il y avait ce
qu'il fallait puis tu t'es dit qu'en fait

01:16:49.370 --> 01:16:53.147
il y a tout ce qu'il faut ici pour que ce
soit prospère quelles étaient les raisons

01:16:53.230 --> 01:16:57.547
on va dire rationnelles
de faire Amilab ici?

01:16:57.630 --> 01:17:01.167
plusieurs raisons la première raison
c'est qu'il y a beaucoup de talent

01:17:01.250 --> 01:17:04.577
en Europe et en France en
particulier ou de talent

01:17:04.660 --> 01:17:06.910
ailleurs dans le monde
qui serait tout à fait

01:17:07.010 --> 01:17:10.727
prêt à venir à Paris il y a des pires
conditions il y a pire parce que bon

01:17:10.810 --> 01:17:12.537
une partie de l'équipe qui a travaillé sur

01:17:12.620 --> 01:17:15.250
tous ces projets de JEPA
etc qui est en France.

01:17:15.900 --> 01:17:18.750
une autre qui est au Canada
une autre qui est à New York.

01:17:19.230 --> 01:17:22.950
donc l'ouverture de ces trois sites

01:17:23.400 --> 01:17:29.250
Paris, New York, Montréal avait du sens
à cause du fait que l'équipe était là.

01:17:30.000 --> 01:17:34.527
on a aussi un labo à Singapour la
raison du labo à Singapour c'est pour

01:17:34.610 --> 01:17:38.390
d'abord on a des clients
des investisseurs asiatiques

01:17:38.840 --> 01:17:41.230
on veut pouvoir leur parler localement

01:17:41.680 --> 01:17:45.347
il y a beaucoup de talent à Singapour
beaucoup qui viennent de Chine

01:17:45.430 --> 01:17:51.767
mais aussi beaucoup local et puis surtout
avec les politiques d'immigration stupides

01:17:51.850 --> 01:17:55.287
de l'administration Trump il y a pas mal
de Chinois qui voudraient partir de Chine

01:17:55.370 --> 01:17:58.687
mais qui peuvent plus aller aux Etats-Unis
et Singapour c'est un bon endroit

01:17:58.770 --> 01:18:02.577
pour les récupérer donc il y a pas mal
de talent qu'on peut attirer à Singapour.

01:18:02.660 --> 01:18:06.417
de talent chinois il y a beaucoup donc
en fait c'est une question plus de talent

01:18:06.500 --> 01:18:11.530
plus que d'investissement ou de fonds
ensuite il y a une autre grosse raison.

01:18:11.780 --> 01:18:16.270
ce qui est plus géopolitique
qui est le fait qu'il y a

01:18:16.720 --> 01:18:20.310
une grosse demande de la part
d'industrie et de gouvernement.

01:18:20.680 --> 01:18:27.250
pour un fournisseur de technologies d'IA
de pointe qui ne soit ni américain ni

01:18:27.333 --> 01:18:32.590
chinois et donc établir le
siège de l'entreprise en France

01:18:32.800 --> 01:18:38.210
relève un peu de ça pour dire aux
gens on est une boîte globale mais.

01:18:39.370 --> 01:18:41.570
on n'est pas américain
on n'est pas chinois.

01:18:41.900 --> 01:18:47.410
on est À LA FRENCH nos
investisseurs pour tout vous dire

01:18:47.960 --> 01:18:50.990
à peu près 40% de nos
investisseurs sont européens.

01:18:51.320 --> 01:18:56.212
soit des fonds soit des partenaires
industriels potentiels ou des family

01:18:56.295 --> 01:18:59.850
office des choses comme
ça très diversifiés

01:19:00.250 --> 01:19:05.627
33% est américain des fonds des family
office donc il y a Jeff Bezos par exemple

01:19:05.710 --> 01:19:12.070
et puis Greycroft qui est un fond

01:19:12.620 --> 01:19:17.290
et puis et puis d'autres
des family office etc

01:19:17.640 --> 01:19:24.050
et 27% est asiatique
avec un fond de Dubaï.

01:19:25.100 --> 01:19:30.367
assez mineur et et donc ça vous
donne une idée de la diversité

01:19:30.450 --> 01:19:34.007
c'est la diversification des c'est
tout ce qu'on défend c'est mondial

01:19:34.090 --> 01:19:37.567
mais tech À LA FRENCH c'est
mondial si il se dévoie on n'est pas

01:19:37.650 --> 01:19:41.000
on n'est pas Franco-français on a
une ambition complètement globale

01:19:41.340 --> 01:19:46.037
mais on se repose sur les
talents français et sur la

01:19:46.120 --> 01:19:49.110
position de la France et de
l'Europe plus généralement

01:19:49.270 --> 01:19:54.986
comme non aligné par rapport au conflit
américano-chinois ça s'appelle Ami Labs

01:19:55.070 --> 01:19:55.207
Ami

01:19:55.290 --> 01:20:02.290
Ami ça se prononce en tout cas auto-aligné
sans supervision c'est ça dernier mot

01:20:03.530 --> 01:20:06.147
au vu de ce qui s'est passé avec
les modèles qui se coupent et tout ça

01:20:06.230 --> 01:20:07.627
toi tu es investi dans
Tapestry tu es chief

01:20:07.710 --> 01:20:09.947
scientific officer de Tapestry c'est quoi?

01:20:10.030 --> 01:20:14.410
c'est une fédération d'acteurs
pour une IA souveraine et fédérée

01:20:14.660 --> 01:20:15.797
entre différents acteurs
est-ce que tu peux

01:20:15.880 --> 01:20:17.327
en dire quelques mots
et puis on termine là?

01:20:17.410 --> 01:20:19.637
oui absolument c'est un
sujet qui me tient à cœur qui

01:20:19.720 --> 01:20:23.147
est un peu orthogonal à
Ami Labs orthogonal tu vois?

01:20:23.230 --> 01:20:25.247
c'est Yann LeCun qui l'a dit là ça
vient de lui parce qu'à chaque fois

01:20:25.330 --> 01:20:27.827
moi j'ai deux mots c'est incarnation et
orthogonal sauf que lui quand il utilise

01:20:27.910 --> 01:20:32.467
c'est correct c'est pas grave
c'est pas grave il faut juste

01:20:32.550 --> 01:20:35.887
maintenant je pourrais dire comme le
dit le grand Yann LeCun c'est orthogonal

01:20:35.970 --> 01:20:41.487
c'est orthogonal oui c'est un effort un
petit peu orthogonal mais pas complètement

01:20:41.570 --> 01:20:44.990
qui consiste à dire il y a plein de.

01:20:45.640 --> 01:20:49.330
plein de pays qui voudraient une
espèce de souveraineté dans l'IA

01:20:49.530 --> 01:20:53.487
pour les LLM en particulier donc
c'est plus orienté LLM ça va au-delà

01:20:53.570 --> 01:20:55.990
mais pour l'instant c'est très LLM

01:20:56.140 --> 01:21:03.140
tous les pays la France l'Allemagne
enfin les pays européens l'Inde.

01:21:04.800 --> 01:21:08.880
le Vietnam la Suisse. les Emirats.

01:21:09.680 --> 01:21:13.380
la Corée le Japon.

01:21:14.090 --> 01:21:17.920
Kazakhstan tous ces pays voudraient bien.

01:21:18.530 --> 01:21:21.680
une offre souveraine d'IA

01:21:21.930 --> 01:21:25.920
sans être dépendant de OpenAI,
Anthropic, Google ou Meta.

01:21:26.870 --> 01:21:28.780
ou des Chinois

01:21:28.930 --> 01:21:31.723
donc pour l'instant il y a une grande
partie de l'industrie qui commence à

01:21:31.807 --> 01:21:33.777
passer au modèle chinois parce que
c'est les meilleurs modèles Open Source

01:21:33.860 --> 01:21:36.307
et on n'a pas besoin
d'utiliser les serveurs chinois.

01:21:36.390 --> 01:21:40.277
mais il y a quand même des
hésitations à utiliser les

01:21:40.360 --> 01:21:44.500
modèles chinois donc l'idée
c'est d'avoir une fédération.

01:21:44.820 --> 01:21:49.220
de groupes régionaux qui
peuvent être universitaires, ONG.

01:21:49.520 --> 01:21:52.800
ou gouvernement ou industrie privée.

01:21:53.550 --> 01:22:00.197
qui contribuerait à entraîner un modèle
global consensus sans échanger leurs

01:22:00.280 --> 01:22:04.120
données c'est-à-dire qu'ils gardent
la souveraineté sur leurs données.

01:22:04.760 --> 01:22:08.440
ce qu'échangent les participants
c'est des vecteurs de paramètres.

01:22:08.870 --> 01:22:14.100
c'est-à-dire qu'une manière simple
de faire ça c'est chaque région

01:22:14.250 --> 01:22:19.000
chaque participant a son
centre de calcul a ses données.

01:22:19.800 --> 01:22:23.720
dans ses langues locales dans
l'Inde il y en a déjà 300.

01:22:24.530 --> 01:22:27.757
des langues il y a 22
langues officielles mais si on

01:22:27.840 --> 01:22:32.150
compte toutes les langues locales
et les dialectes on ne finit pas

01:22:32.390 --> 01:22:36.360
bonjour le tokeniseur ça serait
bien de s'en passer en fait

01:22:36.470 --> 01:22:41.037
l'Indonésie c'est pareil il y
a 300 dialectes je ne sais pas quoi

01:22:41.120 --> 01:22:44.310
donc c'est un grand problème jamais.

01:22:45.020 --> 01:22:47.627
les acteurs actuels ne vont
entraîner leur LLM à parler

01:22:47.710 --> 01:22:50.410
toutes ces langues jamais
ils vont ajuster leur modèle

01:22:50.860 --> 01:22:55.240
à comprendre les cultures
les systèmes de valeurs etc.

01:22:55.620 --> 01:23:00.480
de toutes les régions du monde donc ces
systèmes ne peuvent pas être alignés.

01:23:01.050 --> 01:23:04.280
à tous les systèmes de valeurs
les biais politiques etc.

01:23:04.440 --> 01:23:07.287
de toutes les régions du monde
la seule manière de faire ça.

01:23:07.370 --> 01:23:12.737
c'est en fait de donner des modèles de
fondation qui soient ouverts pour que

01:23:12.820 --> 01:23:15.720
tout un chacun puisse les ajuster.

01:23:16.320 --> 01:23:17.470
pour ses propres biais.

01:23:18.300 --> 01:23:20.597
et ça c'est indispensable
parce que à mon avis

01:23:20.680 --> 01:23:22.797
tout le monde parle
des dangers de l'IA etc.

01:23:22.880 --> 01:23:25.480
donc il n'y a pas de danger
de chômage de masse etc.

01:23:25.940 --> 01:23:27.120
le gros danger de l'IA

01:23:27.670 --> 01:23:33.559
c'est que très bientôt toutes nos
informations toute l'information qu'on

01:23:33.642 --> 01:23:37.500
reçoit va se faire par
l'intermédiaire d'assistants d'IA.

01:23:37.850 --> 01:23:40.547
et si ces assistants d'IA
nous viennent de trois boîtes

01:23:40.630 --> 01:23:44.987
sur la côte des Etats-Unis
ou de trois ou quatre chinois.

01:23:45.070 --> 01:23:49.297
c'est pas très bon pour la démocratie pour
la diversité culturelle pour la culture

01:23:49.380 --> 01:23:54.177
dont on a parlé plein de fois la
multipolarisation du monde les équilibres

01:23:54.260 --> 01:24:00.637
géostratégiques et surtout aussi
s'ils introduisent des biais en fait

01:24:00.720 --> 01:24:03.897
tu ne peux pas contrôler il y
a forcément des biais tout système

01:24:03.980 --> 01:24:07.003
est biaisé d'une manière particulière
alors la question c'est est-ce que tout le

01:24:07.086 --> 01:24:11.996
monde va être biaisé comme la Californie
ce serait peut-être un moindre mal par

01:24:12.080 --> 01:24:15.440
rapport à certains autres
coins des Etats-Unis mais

01:24:15.720 --> 01:24:19.817
est-ce que la solution ce
ne serait pas plutôt d'avoir

01:24:19.900 --> 01:24:23.900
des plateformes ouvertes et
que tout un chacun puisse.

01:24:24.360 --> 01:24:26.200
affiner le modèle.

01:24:26.760 --> 01:24:31.143
pour ses propres biais ses propres
systèmes tu as un métamodèle au milieu et

01:24:31.226 --> 01:24:35.157
tu le fine-tune tu le customises
en fonction de ta culture alors déjà

01:24:35.240 --> 01:24:37.737
il y a un modèle de base qui est entraîné
de manière distribuée c'est-à-dire

01:24:37.820 --> 01:24:40.620
chaque personne a ses
données son centre de calcul

01:24:40.970 --> 01:24:43.597
et ce qu'ils échangent périodiquement
c'est-à-dire ça peut être

01:24:43.680 --> 01:24:45.587
toutes les millisecondes toutes
les secondes ou toutes les heures

01:24:45.670 --> 01:24:46.957
c'est un vecteur de paramètres

01:24:47.040 --> 01:24:51.877
et l'entraînement global du système
c'est un peu pas très différent

01:24:51.960 --> 01:24:55.340
de ce qu'on appelle
l'apprentissage fédéré ou fédératif

01:24:55.740 --> 01:25:02.740
c'est que périodiquement chaque
acteur reçoit le paramètre moyen.

01:25:04.440 --> 01:25:05.467
d'une certaine manière

01:25:05.550 --> 01:25:08.197
et est régularisé pour essayer de
se rapprocher de ce paramètre moyen

01:25:08.280 --> 01:25:10.557
tout en étant entraîné sur ces
données donc c'est une espèce

01:25:10.640 --> 01:25:12.400
c'est comme des élastiques en fait

01:25:12.700 --> 01:25:16.217
tu relis tous ces vecteurs de paramètres
par des élastiques à leur moyenne

01:25:16.300 --> 01:25:18.720
et donc ils ont une
régularisation qui l'attire

01:25:18.890 --> 01:25:22.017
vers le modèle consensus qui est
la moyenne de tous ces trucs-là

01:25:22.100 --> 01:25:23.850
donc ils ne s'éloignent jamais trop

01:25:24.100 --> 01:25:26.857
du modèle c'est là que c'est eux
aussi qui décident de s'en approcher

01:25:26.940 --> 01:25:29.397
bon ils ont intérêt à s'en approcher
ils ont intérêt à s'en approcher

01:25:29.480 --> 01:25:31.230
mais ils ne sont pas obligés de s'en
approcher parce qu'à la fin mais ils ont

01:25:31.313 --> 01:25:34.227
intérêt c'est ça qui est chouette
à la fin si ce truc-là converge

01:25:34.310 --> 01:25:37.560
on a un modèle qui est
un consensus global.

01:25:38.160 --> 01:25:40.657
qui est similaire à s'il avait
été entraîné sur toutes les données

01:25:40.740 --> 01:25:43.337
sans que les données soient
échangées d'accord donc chaque région

01:25:43.420 --> 01:25:45.520
conserve sa souveraineté sur ces données.

01:25:45.820 --> 01:25:50.310
échange un vecteur de paramètres
et à la fin on a un modèle ouvert.

01:25:50.750 --> 01:25:52.017
accessible à tout le monde

01:25:52.100 --> 01:25:55.877
qui est une espèce de dépositaire de toute
la connaissance humaine et bien écoute

01:25:55.960 --> 01:25:59.047
franchement c'est un bel espoir pour
une IA globale fédérée je trouve ça très

01:25:59.131 --> 01:26:03.960
chouette parce qu'en plus c'est
comment ça fonctionne par intérêt

01:26:04.110 --> 01:26:08.440
et pas par c'est-à-dire que t'as tout
intérêt à jouer le jeu voilà tu vois

01:26:08.540 --> 01:26:13.620
plutôt que ce qui est moi mon truc de
cœur c'est des systèmes décentralisés

01:26:13.770 --> 01:26:15.857
les systèmes décentralisés
fonctionnent comme ça voilà.

01:26:15.940 --> 01:26:20.617
alors on a fait un
workshop de démarrage de

01:26:20.700 --> 01:26:23.580
ce truc-là au début
du mois de mai à Paris.

01:26:24.000 --> 01:26:31.000
où on avait des participants
européens suisses des émirats indiens.

01:26:31.940 --> 01:26:33.520
japonais.

01:26:34.320 --> 01:26:36.420
et puis parmi les américains aussi en fait

01:26:36.610 --> 01:26:39.887
des boîtes comme Nvidia
AMD etc eux ça les intéresse

01:26:39.970 --> 01:26:42.267
du côté qu'ils aiment
bien l'open source aussi

01:26:42.350 --> 01:26:48.820
et donc il suffit de taper sur un
moteur de recherche Project Tapestry.

01:26:49.970 --> 01:26:55.117
et on trouve et on peut participer
il y a un GitHub il y a du travail

01:26:55.200 --> 01:26:58.577
qui a été commencé par IBM donc IBM
est un grand participant à ce truc-là

01:26:58.660 --> 01:27:02.820
eux ils sont très très favorables
à des modèles open source.

01:27:02.940 --> 01:27:09.417
et je pense ça va grandir c'est la
voix du monde bah écoute franchement

01:27:09.500 --> 01:27:12.077
c'est assez enthousiaste parce que là
tout le monde se pose plein de questions

01:27:12.160 --> 01:27:14.637
sur la souveraineté voilà tu participes
c'est une approche qui est très élégante

01:27:14.720 --> 01:27:21.720
t'es chef scientifique oui et j'ai j'ai
commencé à à parler cette idée il y a

01:27:23.320 --> 01:27:26.807
plusieurs années d'abord
en interne à Facebook

01:27:26.890 --> 01:27:31.180
enfin à Meta je ne sais pas aller très
loin à l'intérieur de Meta malheureusement

01:27:31.340 --> 01:27:37.215
malgré le à l'époque l'engouement de Meta
pour l'open source ça n'avait pas vraiment

01:27:37.298 --> 01:27:40.167
démarré donc depuis que j'ai
quitté Meta en fait j'ai un peu

01:27:40.250 --> 01:27:42.667
appuyé sur le champignon pour
essayer de faire démarrer ça

01:27:42.750 --> 01:27:45.841
et peut-être le seul truc qu'on n'a
peut-être pas dit c'est que t'es le père

01:27:45.924 --> 01:27:46.217
de l'Yama

01:27:46.300 --> 01:27:50.117
enfin de tous ces modèles par la main
heureusement qu'on ne l'a pas dit alors

01:27:50.200 --> 01:27:55.017
je dois dire quelque chose de très
facile je n'ai jamais été impliqué

01:27:55.100 --> 01:27:57.260
dans la recherche en LLM d'accord

01:27:57.360 --> 01:27:59.597
je n'ai rien à voir avec
les LLM qui ont été produits

01:27:59.680 --> 01:28:02.607
par Meta et bien j'ai bien fait
de mettre le pied dans le plat

01:28:02.690 --> 01:28:06.199
parce que quand ces projets ont été
démarrés je n'étais déjà plus directeur de

01:28:06.282 --> 01:28:09.277
fer j'étais chief scientist ce qui veut
dire que les gens pouvaient m'écouter

01:28:09.360 --> 01:28:11.987
s'ils voulaient mais je n'étais pas
leur boss donc bon et bien écoute

01:28:12.070 --> 01:28:17.217
je n'ai aucune contribution
technique à LLaMa par contre

01:28:17.300 --> 01:28:21.300
je les encourageais etc
LLaMa est un produit français

01:28:21.550 --> 01:28:24.717
ça a été démarré par une équipe
d'une douzaine de personnes à Paris

01:28:24.800 --> 01:28:26.687
je suis sûr que vous
êtes tous au courant vous

01:28:26.770 --> 01:28:29.397
le connaissez beaucoup
puis ensuite pour LLaMa 2

01:28:29.480 --> 01:28:32.837
ça a été repris par l'entreprise donc
il y a eu beaucoup qui s'est passé

01:28:32.920 --> 01:28:39.920
non ma seule contribution à LLaMa ça a été
de pousser à l'open sourcing de LLaMa 2

01:28:40.150 --> 01:28:42.560
écoute c'était un grand et je me rappelle

01:28:42.710 --> 01:28:47.857
et je me rappelle que c'est le
CEO de HuggingFace Clément Delangue

01:28:47.940 --> 01:28:51.097
qui avait fait un grand merci en disant
que ça avait ouvert tout un mouvement

01:28:51.180 --> 01:28:53.757
donc merci pour ce mouvement
là là tu es je sais que derrière

01:28:53.840 --> 01:28:56.227
on me crie dans l'oreillette
qu'il faut absolument qu'on arrête

01:28:56.310 --> 01:28:58.857
mais c'était un vrai plaisir Yann
de t'avoir c'était le boss de fin

01:28:58.940 --> 01:29:00.757
c'était le boss de fin pour
la fin de l'épisode j'espère

01:29:00.840 --> 01:29:03.427
que t'as passé à mon moment
ouais ouais c'était très sympa

01:29:03.510 --> 01:29:08.280
bah écoute c'est cool merci d'être venu je
suis content qu'on ait pu aller dans le.

01:29:12.000 --> 01:29:15.417
on va faire 3h ouais c'est ça oui
bah et alors toi t'as fait 4h30

01:29:15.500 --> 01:29:20.097
chez Lex Friedman - et bah écoute
7h - Amilab vous recrutez enfin voilà

01:29:20.180 --> 01:29:22.617
vous recrutez des chercheurs vous
recrutez le top mondial c'est ça?

01:29:22.700 --> 01:29:25.300
on recrute des chercheurs
on recrute des ingénieurs.

01:29:25.470 --> 01:29:28.157
bientôt probablement au début de
l'année prochaine on va recruter

01:29:28.240 --> 01:29:32.544
peut-être une catégorie différente
d'ingénieurs parce qu'on va commencer à

01:29:32.627 --> 01:29:36.377
collaborer avec des partenaires
industriels qui pourraient utiliser

01:29:36.460 --> 01:29:39.400
les techniques de JPA et
One Model dans l'industrie.

01:29:40.050 --> 01:29:44.017
donc là il va y avoir besoin de gens
qui connaissent certaines industries

01:29:44.100 --> 01:29:49.297
pour travailler avec ses partenaires et
à long terme Total World Domination on va

01:29:49.380 --> 01:29:53.917
World Model Domination c'était
À LA FRENCH avec Yann LeCun

01:29:54.000 --> 01:29:55.647
j'espère que vous avez
apprécié on va mettre

01:29:55.730 --> 01:29:57.177
plein d'annotations sur
l'épisode c'est trop mieux

01:29:57.260 --> 01:29:58.897
est-ce que nous on a tout compris?

01:29:58.980 --> 01:30:01.557
non non pas tout il faut qu'on
tourne bosser voilà il y avait

01:30:01.640 --> 01:30:03.287
quelques dimensions assez
élevées il y a quelques

01:30:03.370 --> 01:30:04.887
maths à retravailler haute dimensionnalité

01:30:04.970 --> 01:30:09.135
merci Yann merci si vous ne voulez pas
manquer nos prochains épisodes avec des

01:30:09.219 --> 01:30:12.677
invités de la stature de Yann LeCun
d'autres chercheurs d'autres entrepreneurs

01:30:12.760 --> 01:30:16.537
d'autres visionnaires abonnez-vous à
la chaîne À LA FRENCH likez l'épisode

01:30:16.620 --> 01:30:23.620
commentez-le pour la faire monter
dans l'algorithme annonce importante

01:30:26.070 --> 01:30:28.907
quand on a annoncé la soirée à la
French du 12 juin en moins de 24 heures

01:30:28.990 --> 01:30:32.007
les 250 places ont été vendues
alors on a passé une super soirée

01:30:32.090 --> 01:30:34.528
mais des centaines de personnes n'ont
pas pu venir et sont restées sur liste

01:30:34.611 --> 01:30:34.827
d'attente

01:30:34.910 --> 01:30:37.927
et nous on n'aime pas la frustration alors
on a décidé de remettre ça en plus grand

01:30:38.010 --> 01:30:41.627
pour la conférence À LA FRENCH le
3 décembre on vous donne rendez-vous

01:30:41.710 --> 01:30:45.867
nous serons 1200 Venus de toute la
France à célébrer la tech À LA FRENCH

01:30:45.950 --> 01:30:48.441
et une certaine idée de la tech.
On est une nation d'ingénieurs.

01:30:48.525 --> 01:30:53.207
On a inventé le Minitel avant Internet, le
TGV avant les Hyperloops, DivX, X264, VLC

01:30:53.290 --> 01:30:55.347
avant le streaming sur
Netflix. On va pas se

01:30:55.430 --> 01:30:57.247
laisser dire comment
on fait de la tech non?

01:30:57.330 --> 01:31:00.307
Allez! La conférence qui a une certaine
idée de la tech ça sera le 3 décembre

01:31:00.390 --> 01:31:02.949
une journée pour la communauté
du show YouTube. Annonces,

01:31:03.033 --> 01:31:04.387
avant premières, invités rares,

01:31:04.470 --> 01:31:06.820
des cadeaux, des jeux et
attention ça va Frenchmaxxer.

01:31:06.903 --> 01:31:08.127
Ça va être la conférence tech

01:31:08.210 --> 01:31:11.407
la plus incroyable à laquelle vous avez
jamais assisté et on va célébrer ensemble

01:31:11.490 --> 01:31:13.657
"une certaine idée de la tech".
Vous pouvez aller sur alafrench.org

01:31:13.740 --> 01:31:16.227
dès maintenant réservez vos
places avec des tarifs réduits

01:31:16.310 --> 01:31:18.927
pour ceux qui n'ont pas les moyens et
des tarifs soutiens pour ceux qui peuvent

01:31:19.010 --> 01:31:21.980
on se retrouve donc le 3 décembre en live

01:31:27.220 --> 01:31:27.817
Le truc qui est intéressant

01:31:27.900 --> 01:31:30.857
c'est pour le transfert parce que par
exemple tu vois sur Cloud Run les machines

01:31:30.940 --> 01:31:33.597
elles sont limitées à 6 gigabits en
fait le bottleneck maintenant ça devient

01:31:33.680 --> 01:31:37.097
loader le modèle c'est bien pour
ça donc on fait du Xet là on essaie

01:31:37.180 --> 01:31:40.280
avec HuggingFace.
- Ouais mais tu vois, en AV1 et en APV

01:31:40.430 --> 01:31:43.477
t'as un mode lossless en fonction
du modèle ça peut être intéressant

01:31:43.560 --> 01:31:47.917
après si t'arrives à j'ai mes deux gars
de Trinity College qui sont là dessus

01:31:48.000 --> 01:31:51.077
on en reparle dans 3 semaines ils ont
au moins un résultat avant de t'embêter

01:31:51.160 --> 01:31:52.717
en fait c'est une idée
à la con donc j'aime bien

01:31:52.800 --> 01:31:54.880
si ça marche là tu dis putain et les gars

01:31:55.030 --> 01:31:59.100
ouais bah oui c'est inutile donc
indispensable en même temps qui d'autre

01:31:59.183 --> 01:32:02.047
que Mr VLC pour faire un truc
comme ça bah oui c'est le Mister

01:32:02.130 --> 01:32:05.120
c'est le jeu c'est le jeu
c'est le jeu c'est le jeu.