1
00:00:00,000 --> 00:00:01,807
Bienvenue dans À LA FRENCH.
Dans cet épisode,

2
00:00:01,890 --> 00:00:04,057
on reçoit notre dernier
invité de la saison.

3
00:00:04,140 --> 00:00:05,880
Et cet invité, c'est un pionnier.

4
00:00:06,380 --> 00:00:08,580
C'est le taulier. C'est le boss de fin.

5
00:00:09,100 --> 00:00:11,197
Le boss de fin de l'IA telle
qu'on la connaît aujourd'hui.

6
00:00:11,280 --> 00:00:13,417
Il crée aujourd'hui une
boîte à portée mondiale.

7
00:00:13,500 --> 00:00:16,150
Il s'occupe des modèles du
monde ou des World Models.

8
00:00:16,550 --> 00:00:19,307
Et cet invité, on va discuter avec
lui pendant une heure et demie.

9
00:00:19,390 --> 00:00:22,040
Et en exclusivité dans
À LA FRENCH, c'est parti!

10
00:00:37,710 --> 00:00:44,710
Annonce importante.

11
00:00:45,930 --> 00:00:47,697
Quand on a annoncé la soirée
À LA FRENCH du 12 juin,

12
00:00:47,780 --> 00:00:50,307
en moins de 24 heures,
les 250 places ont été vendues.

13
00:00:50,390 --> 00:00:52,287
Alors on a passé une super
soirée, mais des centaines de

14
00:00:52,370 --> 00:00:54,607
personnes n'ont pas pu venir et
sont restées sur liste d'attente.

15
00:00:54,690 --> 00:00:55,917
Et nous, on n'aime pas la frustration.

16
00:00:56,000 --> 00:00:59,607
Alors on a décidé de remettre ça en plus
grand pour la conférence À LA FRENCH.

17
00:00:59,690 --> 00:01:01,607
Le 3 décembre, on vous donne rendez-vous.

18
00:01:01,690 --> 00:01:04,197
Nous serons 1200 venus de
toute la France à célébrer

19
00:01:04,280 --> 00:01:06,880
la tech À LA FRENCH et une
certaine idée de la tech.

20
00:01:07,070 --> 00:01:08,207
On est une nation d'ingénieurs.

21
00:01:08,290 --> 00:01:11,507
On a inventé le Minitel avant Internet,
le TGV avant les Hyperloops,

22
00:01:11,590 --> 00:01:14,350
DivX, X264, VLC, avant
le streaming sur Netflix.

23
00:01:14,630 --> 00:01:16,867
On ne va pas se laisser dire
comment on fait de la tech, non?

24
00:01:16,950 --> 00:01:20,157
Allez, la conférence qui a une certaine
idée de la tech, ça sera le 3 décembre.

25
00:01:20,240 --> 00:01:22,617
Une journée pour la communauté
du show YouTube, annonce

26
00:01:22,700 --> 00:01:25,250
avant-première, invité rare,
des cadeaux, des jeux.

27
00:01:25,350 --> 00:01:26,797
Et attention, ça va French maxer.

28
00:01:26,880 --> 00:01:28,527
Ça va être la conférence
tech la plus incroyable

29
00:01:28,610 --> 00:01:29,927
à laquelle vous n'avez jamais assisté.

30
00:01:30,010 --> 00:01:32,307
Et on va célébrer ensemble
une certaine idée de la tech.

31
00:01:32,390 --> 00:01:34,187
Vous pouvez aller sur
alafrench.org dès maintenant,

32
00:01:34,270 --> 00:01:36,707
réserver vos places avec des tarifs
réduits pour ceux qui n'ont pas les moyens

33
00:01:36,790 --> 00:01:38,747
et des tarifs soutiens
pour ceux qui peuvent.

34
00:01:38,830 --> 00:01:40,887
On se retrouve donc le 3 décembre en live.

35
00:01:40,970 --> 00:01:43,120
Et en attendant,
on retourne sur l'épisode.

36
00:01:43,660 --> 00:01:50,660
On est dans À LA FRENCH
et vous connaissez le jeu.

37
00:01:51,920 --> 00:01:54,617
Pour deviner l'invité, en 4 points,
si vous l'avez immédiatement,

38
00:01:54,700 --> 00:01:56,047
3 points si vous avez besoin d'indices, 2

39
00:01:56,130 --> 00:01:58,505
points si vous avez
besoin de plus d'indices,

40
00:01:58,588 --> 00:02:00,500
et 1 point quand tout est déjà dit.

41
00:02:01,080 --> 00:02:02,357
Vous êtes parti pour jouer, Steeve?

42
00:02:02,440 --> 00:02:03,917
Je suis parti. Parti pour?
Moi, je vais gagner.

43
00:02:04,000 --> 00:02:05,537
Allez, c'est parti. Alors, en 4 points.

44
00:02:05,620 --> 00:02:08,180
Notre invité est un
chercheur extrêmement connu.

45
00:02:08,280 --> 00:02:10,080
Non, on plaisante. C'est Yann LeCun.

46
00:02:16,910 --> 00:02:18,687
Voilà on va pas passer
de temps Bienvenue, Yann.

47
00:02:18,770 --> 00:02:20,307
Un plaisir d'être ici. Merci de m'inviter.

48
00:02:20,390 --> 00:02:22,487
En plus, Néon Noir,
c'est un lieu que tu connais.

49
00:02:22,570 --> 00:02:23,927
Tu passes de temps en temps,
quand tu viens en France.

50
00:02:24,010 --> 00:02:25,527
Oui, 2-3 fois, je suis déjà passé.

51
00:02:25,610 --> 00:02:29,750
Ça a beaucoup changé.
Ça s'est peuplé, meublé, agrandi.

52
00:02:31,110 --> 00:02:33,687
Vous connaissez avec Yann
depuis plus de temps que nous.

53
00:02:33,770 --> 00:02:37,090
Depuis le tout début de ZML.

54
00:02:38,150 --> 00:02:39,990
On a été présenté par Gabriel.

55
00:02:40,110 --> 00:02:41,250
Par Gabriel Synnaeve.

56
00:02:42,720 --> 00:02:45,614
Et alors, pour la petite
histoire, on s'est accroché,

57
00:02:45,697 --> 00:02:48,830
accroché au sens... "Héééé!"
On s'est mis sur la gueule.

58
00:02:49,500 --> 00:02:51,727
On s'est accroché sur les
langages de programmation.

59
00:02:51,810 --> 00:02:55,210
Oui. Et en particulier, ce qu'on
appelle le multi-stage programming.

60
00:02:55,470 --> 00:02:58,430
Donc, en référence à un
langage qui s'appelle Terra,

61
00:02:59,240 --> 00:03:02,010
qui était une sorte de super set de Lua.

62
00:03:02,470 --> 00:03:05,870
Oui. Donc, l'idée, c'est d'avoir
du métaprogramming dans le langage.

63
00:03:06,010 --> 00:03:08,007
Tu vois, en fait,
t'as un seul contrôle flow.

64
00:03:08,090 --> 00:03:10,477
où tu programmes le langage
avec le langage lui-même.

65
00:03:10,560 --> 00:03:13,517
Par opposition au macro, ou en template,
ou tout le métaprogramming.

66
00:03:13,600 --> 00:03:15,277
Et du coup, il m'avait dit... "ah!!"

67
00:03:15,360 --> 00:03:17,327
Et moi, je te vois aussi,
Yann, à chaque fois,

68
00:03:17,410 --> 00:03:20,710
parce que dès que Steeve fait
un tweet de très French Maxing,

69
00:03:21,090 --> 00:03:24,097
avec de la raclette ou
des trucs comme ça, en

70
00:03:24,180 --> 00:03:27,090
Savoie, tout ça, il y a un
petit like de Yann LeCun.

71
00:03:27,670 --> 00:03:29,577
C'est un peu ça. Je peux toujours compter.

72
00:03:29,660 --> 00:03:31,227
Au début, j'étais content. J'ai regardé.

73
00:03:31,310 --> 00:03:33,467
Maintenant, j'ai dit oui.
C'est un mot, ça, le French Maxing?

74
00:03:33,550 --> 00:03:35,037
French Maxing, c'en est rien maintenant.

75
00:03:35,120 --> 00:03:36,770
C'est une maximisation de France.

76
00:03:36,870 --> 00:03:39,727
Maximisation. Comme disait Victor Hugo,
qui avait utilisé je ne sais pas quel mot,

77
00:03:39,810 --> 00:03:41,387
puis quelqu'un lui a dit:
"Mais ce n'est pas un mot français."

78
00:03:41,470 --> 00:03:43,020
Il a dit, "Ben maintenant, si."

79
00:03:45,570 --> 00:03:48,607
C'est quand même classe de s'appeler
Hugo quand tu peux définir quoi.

80
00:03:48,690 --> 00:03:49,687
Le dictionnaire, c'est moi.

81
00:03:49,770 --> 00:03:53,270
Mais cette discussion, la raison
pour laquelle on avait discuté de ça,

82
00:03:53,370 --> 00:03:55,777
c'est parce que moi,
je suis un grand fan de LISP.

83
00:03:55,860 --> 00:03:57,890
Et LISP, c'est un langage... Exactement.

84
00:03:58,100 --> 00:04:03,370
Data is code. Oui, data is code,
et puis tu peux tripatouiller.

85
00:04:03,490 --> 00:04:05,617
C'est un langage de
programmation programmable.

86
00:04:05,700 --> 00:04:08,000
Il y a beaucoup de
parenthèses qu'on va faire.

87
00:04:08,330 --> 00:04:09,780
Ça, ce n'est pas un problème.

88
00:04:10,310 --> 00:04:11,527
Moi, je n'ai jamais pu m'y faire.

89
00:04:11,610 --> 00:04:13,007
C'est vrai? J'ai fait
beaucoup de clôtures.

90
00:04:13,090 --> 00:04:17,870
Tu n'étais pas en Emacs guy? Non,
mais dans Emacs, j'étais customer.

91
00:04:18,030 --> 00:04:19,387
Je n'étais pas programmeur à Emacs.

92
00:04:19,470 --> 00:04:22,520
Par contre, quand j'ai fait
beaucoup de Clojure, que j'adore,

93
00:04:23,890 --> 00:04:26,177
d'ailleurs, poussé par quelqu'un
qui s'appelle Pierre-Yves Ritschard

94
00:04:26,260 --> 00:04:28,310
qui est le CTO de Poolside, maintenant.

95
00:04:30,430 --> 00:04:33,950
J'avais vraiment l'impression de
faire un langage, tu vois, du futur.

96
00:04:34,670 --> 00:04:36,367
Enfin, quelque part du passé,
puisque la syntaxe, c'est tout.

97
00:04:36,450 --> 00:04:38,407
C'est un peu le passé. Mais putain,
je n'ai jamais réussi à m'y faire.

98
00:04:38,490 --> 00:04:41,073
Les parenthèses, ça me...
J'avais tout fait, les colorations,

99
00:04:41,156 --> 00:04:42,156
les machins et tout.

100
00:04:42,650 --> 00:04:44,350
Je n'ai jamais réussi à m'y faire.

101
00:04:44,610 --> 00:04:45,610
Et little kown fact,

102
00:04:45,730 --> 00:04:51,690
en 87, quand je terminais mon doctorat,

103
00:04:52,420 --> 00:04:55,967
j'ai rencontré un jeune étudiant de
polytechnique qui s'appelait Léon Botou.

104
00:04:56,050 --> 00:05:01,310
Oh! Et puis, il a dit, je voudrais
faire un projet pour ma fin d'étude de

105
00:05:01,393 --> 00:05:03,647
Polytechnique. Est-ce que je
vais faire un stage avec toi?

106
00:05:03,730 --> 00:05:05,437
Je lui ai dit, tu ne peux pas,
parce que je n'ai pas fini ma thèse.

107
00:05:05,520 --> 00:05:07,267
Ce n'est pas grave, je ne
vais pas le dire à l'école.

108
00:05:07,350 --> 00:05:11,357
Et je lui ai dit, bah écoute,
je commence à écrire

109
00:05:11,440 --> 00:05:15,350
un nouveau simulateur
de réseau de neurones.

110
00:05:15,670 --> 00:05:16,667
Est-ce que tu veux m'aider?

111
00:05:16,750 --> 00:05:19,700
Et j'ai dit, je voudrais bien
avoir un langage d'interface.

112
00:05:20,390 --> 00:05:25,650
J'ai pensé à utiliser
Forth et des trucs comme ça.

113
00:05:26,410 --> 00:05:29,047
Plutôt que de réinventer un langage,
en fait, il faudrait peut-être un LISP.

114
00:05:29,130 --> 00:05:31,470
Donc, je voudrais bien un attrapate LISP.

115
00:05:32,350 --> 00:05:34,690
Et on avait tous les deux des Amiga 1000.

116
00:05:34,870 --> 00:05:36,467
Je vois que tu n'en
as pas ici, sur ta table.

117
00:05:36,550 --> 00:05:40,490
Mais c'est un manque. Oui,
la prochaine fois, ce sera réglé.

118
00:05:40,590 --> 00:05:42,887
Mais n'empêche, je ne vous ai pas foutu de
votre gueule, je vous ai ramené une BeBox.

119
00:05:42,970 --> 00:05:46,950
Une BeBox. Mais justement,
la BeBox est un aspiré de l'Amiga.

120
00:05:48,170 --> 00:05:51,090
Exactement. Voilà.
Et tu l'avais fait exprès, bien sûr.

121
00:05:52,510 --> 00:05:54,687
Alors non, mais on a une
conversation sur Twitter, justement.

122
00:05:54,770 --> 00:05:56,827
Yann avait rebondi et justement,
il avait expliqué.

123
00:05:56,910 --> 00:05:59,627
C'est peut-être un peu le plus dur
à trouver des Amiga aujourd'hui, non?

124
00:05:59,710 --> 00:06:01,607
Moins que des BeBox,
je peux te dire. Celle là...

125
00:06:01,690 --> 00:06:04,010
Tu peux trouver des émulateurs et tout ça.

126
00:06:04,130 --> 00:06:05,630
Mais tu peux en acheter aussi.

127
00:06:05,740 --> 00:06:09,677
Et Léon, en trois semaines,
a écrit un tablet-list

128
00:06:09,760 --> 00:06:12,890
en C, que j'ai utilisé comme front-end.

129
00:06:12,990 --> 00:06:15,147
Ensuite, je suis parti
faire mon post-doc à Toronto.

130
00:06:15,230 --> 00:06:17,457
Et en fait, on a utilisé
ce système-là, qui

131
00:06:17,540 --> 00:06:19,910
au début s'appelait SN,
Simulateur Neuronal,

132
00:06:20,490 --> 00:06:23,417
qui ensuite s'est appelé Lush,
quand on l'a open-sourcé en 2002.

133
00:06:23,500 --> 00:06:26,267
Et je l'ai utilisé dans
toute ma recherche avec mes

134
00:06:26,350 --> 00:06:29,000
étudiants jusqu'en 2011,
où là, on est passé à Torch.

135
00:06:29,830 --> 00:06:30,830
À Lua, du coup.

136
00:06:31,140 --> 00:06:35,010
Donc, il était basé sur Lua et ensuite,
PyTorch, mais c'était bien plus tard.

137
00:06:36,030 --> 00:06:37,627
Donc, il y a eu une grande longévité.

138
00:06:37,710 --> 00:06:39,460
Il y a eu des versions successives.

139
00:06:40,440 --> 00:06:41,187
C'était quoi qu'on suit?

140
00:06:41,270 --> 00:06:45,547
C'était écrit sur la rétropropagation,
les réseaux multicouches, etc.

141
00:06:45,630 --> 00:06:49,187
justement, la rétropropagation du
gradient, c'est un peu la fondation

142
00:06:49,270 --> 00:06:51,407
de comment aujourd'hui,
le moteur d'apprentissage

143
00:06:51,490 --> 00:06:53,787
des réseaux de neurones
est un peu basé là-dessus.

144
00:06:53,870 --> 00:06:57,750
Déjà, à l'époque, ta thèse, c'est le
cœur des réseaux de neurones dessus.

145
00:06:58,040 --> 00:07:01,507
Donc, c'est quoi?
C'est 87, fin de la thèse?

146
00:07:01,590 --> 00:07:04,327
Pour les quelques Padawans qui ne
connaissent pas encore... T'étais né?

147
00:07:04,410 --> 00:07:07,130
Tout juste, tout juste, tout juste.

148
00:07:07,570 --> 00:07:09,627
Mais ensuite, tu vas
au Bell Labs, c'est ça?

149
00:07:09,710 --> 00:07:13,357
Non, d'abord, je fais un post-doc à
l'Université de Toronto avec Jeff Hinton.

150
00:07:13,440 --> 00:07:17,210
Ah oui, d'accord. Non, et après,
je suis allé au Bell Labs, fin 88.

151
00:07:17,820 --> 00:07:19,967
D'accord, tu restes là à 15
ans, c'est ça, à peu près?

152
00:07:20,050 --> 00:07:22,030
Donc, 12 ans à AT&T.

153
00:07:22,730 --> 00:07:24,907
Donc, Bell Labs, c'est le
labo de recherche de AT&T.

154
00:07:24,990 --> 00:07:28,797
Ça a changé de nom par la suite parce que
AT&T s'est coupé en morceaux, enfin bref,

155
00:07:28,880 --> 00:07:30,687
mais à peu près une douzaine d'années.

156
00:07:30,770 --> 00:07:32,457
Et c'est là que tu
mûris vraiment et que tu

157
00:07:32,540 --> 00:07:34,687
développes les réseaux de
neurones convolutifs, quoi?

158
00:07:34,770 --> 00:07:37,867
Vraiment, c'est l'année? Oui, oui.
Enfin, j'avais commencé déjà à Toronto.

159
00:07:37,950 --> 00:07:41,801
Et même dans ma thèse, en fait, j'avais
des réseaux avec connexion locale et tout

160
00:07:41,884 --> 00:07:43,387
ça. Donc, c'était déjà
un petit peu là-dedans.

161
00:07:43,470 --> 00:07:46,490
Mais oui, c'est là qu'on
l'avait fait marcher, en fait.

162
00:07:46,860 --> 00:07:50,490
Et puis, Léon, de son côté,
faisait une thèse en France.

163
00:07:50,610 --> 00:07:53,687
Et lui, il a fait marcher ça pour
la reconnaissance de la parole.

164
00:07:53,770 --> 00:07:56,220
Il a travaillé aussi sur
les réseaux convolutifs.

165
00:07:56,790 --> 00:08:00,189
Et on a fini par faire
des produits, en fait,

166
00:08:00,272 --> 00:08:03,207
qui utilisaient les réseaux convolutifs

167
00:08:03,290 --> 00:08:05,690
pour la lecture de chèques,
des choses comme ça.

168
00:08:05,980 --> 00:08:08,990
Les applications... Oui,
pour les lettres, les adresses.

169
00:08:09,410 --> 00:08:12,047
Oui, les adresses, ça n'a
jamais été un truc commercial.

170
00:08:12,130 --> 00:08:13,897
C'était un prototype. Ah oui? Ah d'accord.

171
00:08:13,980 --> 00:08:16,157
Mais les applications
commerciales, la principale,

172
00:08:16,240 --> 00:08:18,547
c'était pour les lectures
de montants sur les chèques

173
00:08:18,630 --> 00:08:20,970
et des choses comme ça,
documents financiers.

174
00:08:21,710 --> 00:08:23,607
Oui, les reportages sur toi,
vraiment, où on fait

175
00:08:23,690 --> 00:08:25,727
la reconnaissance de signes
alphanumériques et tout.

176
00:08:25,810 --> 00:08:27,560
C'est vraiment ça pour les chèques.

177
00:08:27,700 --> 00:08:30,487
Et ça, ça a eu une vie
commerciale entre le

178
00:08:30,570 --> 00:08:33,650
milieu des années 90 et
début des années 2000.

179
00:08:34,140 --> 00:08:35,437
Mais je n'étais plus impliqué dedans.

180
00:08:35,520 --> 00:08:39,790
Parce qu'à partir de 1996,
en fait, AT&T s'est séparé.

181
00:08:40,330 --> 00:08:43,230
Et puis, c'était les
premières années de l'Internet.

182
00:08:44,090 --> 00:08:46,647
Et la partie d'AT&T qui
commercialisait ces systèmes

183
00:08:46,730 --> 00:08:49,430
de lecture de chèques,
en fait, était séparée de nous.

184
00:08:49,880 --> 00:08:52,750
Et les brevets leur appartenaient à eux.

185
00:08:53,500 --> 00:08:57,070
Et c'était où, physiquement?
Dans le New Jersey.

186
00:08:57,890 --> 00:08:59,917
Et donc, tu es resté dans le New Jersey,

187
00:09:00,000 --> 00:09:02,387
2003-2013, c'est ça,
New York University, NYU?

188
00:09:02,470 --> 00:09:06,157
J'ai fait un petit passage
de 18 mois au NEC Research

189
00:09:06,240 --> 00:09:09,870
Institute, dans la grosse
compagnie japonaise, NEC.

190
00:09:10,870 --> 00:09:12,487
Et puis, ce labo-là a un peu périclité.

191
00:09:12,570 --> 00:09:16,750
Donc, je suis assez vite parti et
je suis devenu prof à NYU en 2003.

192
00:09:17,700 --> 00:09:21,870
Et dix ans plus tard,
2013, je rejoins Facebook.

193
00:09:22,110 --> 00:09:23,747
Mais à temps partiel,
j'étais toujours prof.

194
00:09:23,830 --> 00:09:25,750
Je suis toujours prof à NYU.

195
00:09:26,500 --> 00:09:29,247
D'ailleurs, c'est assez intéressant parce
que le monde de la recherche académique

196
00:09:29,330 --> 00:09:31,787
et le monde de la recherche dans
l'entreprise sont assez liés.

197
00:09:31,870 --> 00:09:36,450
En tout cas, et moi, des fois, je me dis,
est-ce que c'est le monde, l'open source,

198
00:09:36,610 --> 00:09:39,217
ou en tout cas, le libre de la partage
d'informations, de la recherche,

199
00:09:39,300 --> 00:09:41,587
est-ce que ce n'est pas ça qui pousse,
qui oblige parfois les entreprises

200
00:09:41,670 --> 00:09:45,127
à garder un pied dans les publications
ou dans ce genre de choses?

201
00:09:45,210 --> 00:09:48,810
Non, en fait, ce qui pousse en grande
partie… Non, la directe, la barre.

202
00:09:50,410 --> 00:09:53,387
Ce qui pousse en grande partie les boîtes
à avoir des relations avec l'université,

203
00:09:53,470 --> 00:09:56,070
en tout cas aux États-Unis,
c'est l'accès au talent.

204
00:09:56,240 --> 00:09:59,647
C'est-à-dire qu'ils veulent avoir
un pipeline, tu vois, de stagiaires,

205
00:09:59,730 --> 00:10:03,264
avoir une relation avec des profs
qui travaillent sur des sujets qui les

206
00:10:03,347 --> 00:10:04,127
intéressent,

207
00:10:04,210 --> 00:10:06,467
parce que tu es un bon étudiant
qui pourrait venir bosser chez nous,

208
00:10:06,550 --> 00:10:09,050
nous apprendre comment
utiliser tes méthodes, etc.

209
00:10:09,150 --> 00:10:12,570
Donc, c'est une grande raison,
en fait, de la relation.

210
00:10:13,970 --> 00:10:18,610
Et puis aux États-Unis,
les étudiants en doctorat, par exemple,

211
00:10:19,370 --> 00:10:22,167
donc il n'y a pas l'équivalent
des chiffres qu'il y a en France

212
00:10:22,250 --> 00:10:25,107
où les étudiants en doctorat peuvent
faire ça en résidence, en industrie.

213
00:10:25,190 --> 00:10:26,740
Il n'y a pas ça aux États-Unis.

214
00:10:26,910 --> 00:10:30,887
Mais par contre, les trois mois d'été, les
étudiants peuvent faire ce qu'ils veulent.

215
00:10:30,970 --> 00:10:33,070
Donc, ils ne sont pas liés à l'université.

216
00:10:33,290 --> 00:10:35,950
Et la plupart vont faire
des stages en industrie.

217
00:10:37,250 --> 00:10:40,527
Et donc, c'est un peu les abeilles
butineuses de la technologie américaine

218
00:10:40,610 --> 00:10:43,210
parce qu'il faut circuler
les idées, les techniques.

219
00:10:43,460 --> 00:10:45,487
Et un des trucs sur
lesquels aussi tu es connu,

220
00:10:45,570 --> 00:10:50,110
c'est toi qui as créé le Lab
Le Faire, Facebook AI Research.

221
00:10:50,970 --> 00:10:52,387
Tu essaies de faire
l'accent américain, là.

222
00:10:52,470 --> 00:10:55,490
Mais non, et en fait,
honnêtement, aujourd'hui,

223
00:10:55,610 --> 00:10:57,507
je ne sais pas, la moitié de l'écosystème,

224
00:10:57,590 --> 00:11:00,787
enfin une bonne partie de l'écosystème
français dans l'IA sont des issus de fer.

225
00:11:00,870 --> 00:11:03,327
En tout cas, il y a une
mafia, clairement, de fer.

226
00:11:03,410 --> 00:11:07,330
Alors, il y a pas mal de chercheurs et
d'ingénieurs qui sont passés par fer,

227
00:11:07,550 --> 00:11:09,910
qui ensuite sont allés
fonder des boîtes, etc.

228
00:11:10,130 --> 00:11:14,310
ou ont commencé à travailler
dans d'autres labos.

229
00:11:14,610 --> 00:11:19,601
Mais il y a aussi le fait que fer en
vitesse de croisière jusqu'à l'année

230
00:11:19,684 --> 00:11:20,518
dernière.

231
00:11:20,960 --> 00:11:23,960
avait à peu près une quarantaine
de doctorants en résidence.

232
00:11:24,780 --> 00:11:28,290
Donc, le doctorat étant durant trois ans,

233
00:11:28,630 --> 00:11:31,680
ça veut dire qu'il y avait une
douzaine par an qui sortaient,

234
00:11:32,070 --> 00:11:33,920
qui avaient fait leur doctorat à fer,

235
00:11:34,580 --> 00:11:37,447
avec accès aux moyens de calcul, etc.,

236
00:11:37,530 --> 00:11:39,987
avec accès aux meilleurs
chercheurs du domaine et tout.

237
00:11:40,070 --> 00:11:44,567
Et donc, tous ces gens, bien sûr,
ont complètement essaimé l'écosystème.

238
00:11:44,650 --> 00:11:47,830
Je pense que la création
de FAIR Paris en 2015.

239
00:11:48,530 --> 00:11:51,650
a eu un énorme effet sur
l'écosystème français,

240
00:11:52,510 --> 00:11:55,567
enfin parisien en particulier,
français en général et européen, en fait.

241
00:11:55,650 --> 00:12:01,010
Donc, ça a donné des idées
aux jeunes étudiants de talent

242
00:12:01,610 --> 00:12:04,747
que, en fait, faire un doctorat en IA,

243
00:12:04,830 --> 00:12:07,057
c'est le truc le plus cool
qu'ils pourraient imaginer.

244
00:12:07,140 --> 00:12:09,247
Il y a 15 ans, le truc
le plus cool que faisaient

245
00:12:09,330 --> 00:12:13,240
les jeunes étudiants qui sortaient de
l'école, c'est de faire les finances.

246
00:12:14,050 --> 00:12:16,727
Et ça a changé. Ce n'est plus les
finances maintenant, c'est l'IA.

247
00:12:16,810 --> 00:12:19,777
On avait reçu Neil Zeghidour qui nous
disaient qu'ils voulaient faire une thèse

248
00:12:19,860 --> 00:12:21,527
et qu'en gros, ils n'avaient
pas été forcément pris,

249
00:12:21,610 --> 00:12:24,107
mais qu'on lui avait dit, écoute, il y a
cette thèse... Non, non, c'est l'inverse.

250
00:12:24,190 --> 00:12:26,597
Ils voulaient faire une thèse sur
les réseaux de neurones, à l'époque,

251
00:12:26,680 --> 00:12:29,537
et il y avait tellement peu,
ce n'était pas encore revenu à Hype,

252
00:12:29,620 --> 00:12:32,147
qu'ils lui ont dit, bon, écoute,
si vraiment ça t'intéresse, vas-y.

253
00:12:32,230 --> 00:12:36,527
Puis finalement, en fait, c'était...
Toi, tu avais vu ça il y a 40 ans, mais...

254
00:12:36,610 --> 00:12:39,347
Oui, non, mais c'est vrai
qu'il y a eu une période phase

255
00:12:39,430 --> 00:12:42,767
pour la zone neurone entre la fin
des années 80 et milieu des années 90.

256
00:12:42,850 --> 00:12:45,227
Puis ensuite, tout le
monde s'en est désintéressé.

257
00:12:45,310 --> 00:12:49,287
C'est devenu un peu tabou. Et ça s'est
un peu réveillé à la fin des années 2000

258
00:12:49,370 --> 00:12:53,270
à cause du bataille médiatique qu'on
a fait avec Yoshua Bengio et Geoffrey

259
00:12:53,353 --> 00:12:54,187
Hinton.

260
00:12:54,860 --> 00:12:55,787
Le deep learning, quoi.

261
00:12:55,870 --> 00:12:58,515
On a renommé cette deep learning et
puis on a surtout proposé de nouvelles

262
00:12:58,598 --> 00:13:00,837
méthodes. Puis on a fini
par le faire marcher aussi.

263
00:13:00,920 --> 00:13:05,310
Et donc, ça a fini de convaincre les
communautés au départ reconnaissance de la

264
00:13:05,394 --> 00:13:08,070
parole, ensuite,
reconnaissance d'images, bien sûr.

265
00:13:08,510 --> 00:13:09,660
Et puis, troisièmement,

266
00:13:10,720 --> 00:13:12,867
le compréhension de la
langue naturelle, quoi, NLP,

267
00:13:12,950 --> 00:13:16,810
que le deep learning, c'était
vraiment quelque chose qui marchait.

268
00:13:17,420 --> 00:13:21,710
Donc, ça a révolutionné
ces trois domaines.

269
00:13:22,140 --> 00:13:26,350
Mais c'est vrai qu'en France,
dans le milieu universitaire, en 2015,

270
00:13:26,910 --> 00:13:30,167
il n'y avait pratiquement personne
qui en faisait dans les universités.

271
00:13:30,250 --> 00:13:33,117
Ils étaient encore... Les universitaires
sont un petit peu conservateurs.

272
00:13:33,200 --> 00:13:35,547
Et puis, en France, on aime bien
les maths et le deep learning,

273
00:13:35,630 --> 00:13:36,727
ce n'est pas facile pour
faire des maths, quoi.

274
00:13:36,810 --> 00:13:39,797
Ce n'est plus facile si on utilise les
méthodes, genre les méthodes à noyaux,

275
00:13:39,880 --> 00:13:41,907
les trucs bayesiens, tout ça.
On peut faire des belles maths.

276
00:13:41,990 --> 00:13:44,447
Ça ne marche pas aussi bien, mais...
Bon, on peut écrire des bouquins.

277
00:13:44,530 --> 00:13:45,187
Mais c'est des belles maths, quoi.

278
00:13:45,270 --> 00:13:45,907
Mais c'est des belles maths.

279
00:13:45,990 --> 00:13:48,907
Comment ça se fait que ça
soit passé un peu en désuétude,

280
00:13:48,990 --> 00:13:53,067
mais qu'il y a eu moins d'intérêt
à partir du début des années 2000?

281
00:13:53,150 --> 00:13:54,847
Non, c'est plutôt milieu des années 90.

282
00:13:54,930 --> 00:13:55,727
Milieu des années 90, c'est dû à quoi?

283
00:13:55,810 --> 00:13:57,330
Ça commençait à baisser en 96.

284
00:13:57,510 --> 00:13:59,007
Parce que c'était trop compliqué?

285
00:13:59,090 --> 00:14:00,227
Ça demandait trop de puissance?

286
00:14:00,310 --> 00:14:04,382
Il y a plein de raisons. Je ne suis
pas le mieux placé pour analyser ça,

287
00:14:04,466 --> 00:14:06,170
parce que j'étais en plein milieu,

288
00:14:06,780 --> 00:14:09,247
mais je pense qu'il y a une
combinaison de raisons.

289
00:14:09,330 --> 00:14:11,427
La première, c'est que
c'est effectivement compliqué

290
00:14:11,510 --> 00:14:17,510
et il n'y avait pas d'outils logiciels,
portables, etc., que les gens utilisaient.

291
00:14:17,790 --> 00:14:23,530
Tous les gens utilisaient des plateformes
informatiques complètement différentes.

292
00:14:23,930 --> 00:14:28,087
Tu ne pouvais pas faire du réseau de
neurone sur des PC, ce n'est pas possible.

293
00:14:28,170 --> 00:14:31,107
C'était soit des stations de
travail Sun, soit Silicon Graphics,

294
00:14:31,190 --> 00:14:33,527
soit des trucs comme ça, propriétaires.

295
00:14:33,610 --> 00:14:37,010
Il y a IRIX, AIX, HPUX,
tous ces trucs, etc.

296
00:14:38,210 --> 00:14:41,387
Donc nous, on était sous Sun,
on est passé à Silicon Graphics après,

297
00:14:41,470 --> 00:14:44,157
parce qu'ils avaient une
meilleure performance sur le temps.

298
00:14:44,240 --> 00:14:45,787
Et il n'y avait pas le logiciel,
il n'y avait pas Python,

299
00:14:45,870 --> 00:14:49,157
il n'y avait pas tous ces machins open
source qu'on peut utiliser maintenant.

300
00:14:49,240 --> 00:14:50,857
Et seul outil open source
qu'il y avait, c'est des trucs

301
00:14:50,940 --> 00:14:54,110
genre GCC, Emacs et autres,
mais pas vraiment pour ça.

302
00:14:54,250 --> 00:14:56,257
Donc, en fait, nous,
avec Léon, on avait écrit

303
00:14:56,340 --> 00:14:58,690
un système complet avec
un interpreeéteur LISP,

304
00:14:59,030 --> 00:15:02,070
tout au tard avec un
compilateur LISP et tout ça.

305
00:15:02,600 --> 00:15:05,350
Mais on ne pouvait pas
vraiment échanger nos logiciels.

306
00:15:05,870 --> 00:15:08,330
Il n'y avait pas de plateforme,

307
00:15:08,790 --> 00:15:10,567
il n'y avait pas SourceForge, il n'y avait
pas GitHub, il n'y avait pas Internet.

308
00:15:10,650 --> 00:15:13,950
C'est arrivé plus tard.

309
00:15:14,450 --> 00:15:18,210
Donc, en fait, chaque
personne devait investir

310
00:15:18,380 --> 00:15:21,607
six mois, un an à réaliser une plateforme

311
00:15:21,690 --> 00:15:23,707
logicielle pour faire
marcher les réseaux neurones.

312
00:15:23,790 --> 00:15:25,547
La plupart des gens faisaient des bêtises,

313
00:15:25,630 --> 00:15:26,987
parce que c'est très
facile de faire des bêtises

314
00:15:27,070 --> 00:15:29,547
quand on implémente la
backprop pour la première fois,

315
00:15:29,630 --> 00:15:31,530
on fait une heure de signe ou un truc.

316
00:15:32,110 --> 00:15:33,987
Donc, c'était un gros
investissement pour les gens.

317
00:15:34,070 --> 00:15:38,330
Et donc, la plupart des gens
ne voulaient pas faire ça.

318
00:15:38,550 --> 00:15:39,607
Donc, qu'est-ce qu'ils faisaient?

319
00:15:39,690 --> 00:15:41,167
Ils utilisaient MATLAB et
puis ils faisaient un truc

320
00:15:41,250 --> 00:15:43,967
simple, mais faire du
réseau neurone avec MATLAB,

321
00:15:44,050 --> 00:15:45,707
à l'époque, ce n'était
pas vraiment possible.

322
00:15:45,790 --> 00:15:48,010
Il n'y avait vraiment pas les outils.

323
00:15:48,990 --> 00:15:50,987
Sauf pour les gens qui investissaient
le temps pour les outils.

324
00:15:51,070 --> 00:15:52,727
Ce qu'on a fait avec Léon,
c'est ça qui nous donnait des

325
00:15:52,810 --> 00:15:54,347
super pouvoirs, c'est qu'on
faisait nos propres outils.

326
00:15:54,430 --> 00:15:58,990
D'accord. Et ce qui nous a permis
de faire des réseaux convolutifs,

327
00:15:59,450 --> 00:16:00,700
voir comment ça marchait.

328
00:16:01,790 --> 00:16:04,647
Tout un bibliothèque graphique et
tout ça, de visualisation et tout,

329
00:16:04,730 --> 00:16:06,547
qui était en fait plutôt plus
puissante que ce qu'on a aujourd'hui.

330
00:16:06,630 --> 00:16:08,080
D'ailleurs, c'est incroyable.

331
00:16:09,110 --> 00:16:13,447
Et donc, ça fait qu'il n'y
avait pas la communication

332
00:16:13,530 --> 00:16:15,607
qu'il y a maintenant, qui est instantanée,

333
00:16:15,690 --> 00:16:18,227
où tu télécharges le dernier
code qui est associé au

334
00:16:18,310 --> 00:16:21,530
papier et tu peux faire
tourner le dernier réseau.

335
00:16:22,530 --> 00:16:25,620
Là, il fallait passer six mois,
un an, à implémenter un truc.

336
00:16:26,450 --> 00:16:27,957
Donc, il fallait vraiment y croire.

337
00:16:28,040 --> 00:16:29,990
Ça veut dire que vous aviez les publis.

338
00:16:30,200 --> 00:16:34,710
et vous réimplémentiez
cleanroom les papiers.

339
00:16:34,970 --> 00:16:37,607
Il y a des gens qui voulaient
réimplémenter des réseaux convolutifs.

340
00:16:37,690 --> 00:16:39,140
Il n'y en avait pas beaucoup.

341
00:16:40,100 --> 00:16:41,700
Et il y avait cette légende que,

342
00:16:42,560 --> 00:16:44,907
tu vois, j'étais plus ou moins
seul à savoir les faire marcher,

343
00:16:44,990 --> 00:16:45,827
ce qui était complètement faux.

344
00:16:45,910 --> 00:16:47,227
Mais ce n'était pas si compliqué que ça.

345
00:16:47,310 --> 00:16:49,167
Mais c'est vrai que ça
demandait des outils.

346
00:16:49,250 --> 00:16:50,947
En même temps, c'est le nom.
Yann le qu'un.

347
00:16:51,030 --> 00:16:52,107
Tu vois, on croit qu'il y en a qu'un.

348
00:16:52,190 --> 00:16:53,250
Il y en a qu'un.

349
00:16:53,910 --> 00:16:57,087
Mais ça veut dire que tu avais
quand même des gens au-dessus de toi,

350
00:16:57,170 --> 00:17:01,567
à la direction de Bell Labs, etc., qui y
croyaient, quoi, et qui n'avaient pas peur

351
00:17:01,650 --> 00:17:04,367
de mettre les moyens,
le temps, pour tout ça?

352
00:17:04,450 --> 00:17:05,907
La manière dont opérait Bell Labs.

353
00:17:05,990 --> 00:17:09,410
Donc, le directeur du labo,
un gars qui s'appelle Larry Jackel,

354
00:17:10,250 --> 00:17:12,590
qui avait créé le
groupe en 1985, je crois,

355
00:17:13,990 --> 00:17:16,050
basé sur les réseaux de neurones.

356
00:17:17,480 --> 00:17:18,797
En fait, c'est un physicien, lui, de base.

357
00:17:18,880 --> 00:17:22,630
Et puis, il avait un nouveau département,
donc il se demandait quoi faire.

358
00:17:22,750 --> 00:17:23,800
Parce qu'à Bell Labs,

359
00:17:24,670 --> 00:17:26,237
on embauchait les gens
intelligents, on leur donnait

360
00:17:26,320 --> 00:17:28,187
les moyens de réussir,
et on leur foutait la paix.

361
00:17:28,270 --> 00:17:30,110
OK. C'est cool, ça.

362
00:17:30,350 --> 00:17:32,837
S'il demandait des ressources,
évidemment, il posait des questions.

363
00:17:32,920 --> 00:17:33,920
Mais en gros,

364
00:17:34,550 --> 00:17:37,087
on laissait les gens un peu
travailler sur ce qu'ils voulaient.

365
00:17:37,170 --> 00:17:39,397
Donc, lui est allé à
droite à gauche et a demandé

366
00:17:39,480 --> 00:17:41,037
sur quoi j'aurais bossé,
c'est quoi le truc cool.

367
00:17:41,120 --> 00:17:43,310
Et il a rencontré John Hopfield,

368
00:17:43,950 --> 00:17:48,130
qui était prof à Princeton, mais qui avait
un emploi à temps partiel à Bell Labs.

369
00:17:48,430 --> 00:17:50,230
Il était entre Princeton et Caltech.

370
00:17:50,890 --> 00:17:52,207
Et il lui a demandé
sur quoi j'aurais bossé.

371
00:17:52,290 --> 00:17:53,640
Et John Hopfield lui a dit.

372
00:17:54,310 --> 00:17:55,007
qu'il était un physicien,

373
00:17:55,090 --> 00:17:58,140
qu'il travaille sur du hardware
pour les réseaux de neurones,

374
00:17:58,270 --> 00:18:00,547
des chips spéciaux pour
faire des réseaux de neurones.

375
00:18:00,630 --> 00:18:02,330
Ça ne date pas d'hier, le concept.

376
00:18:02,570 --> 00:18:08,018
John Hopfield est l'auréat du prix Nobel
en physique avec Geoffrey Hinton il y

377
00:18:08,101 --> 00:18:08,827
a deux ans

378
00:18:08,910 --> 00:18:12,851
pour ce qu'on appelle les réseaux de
Hopfield et Geoffrey pour les machines de

379
00:18:12,934 --> 00:18:13,767
Boltzmann.

380
00:18:15,160 --> 00:18:16,760
C'est un biophysicien au départ.

381
00:18:17,100 --> 00:18:21,010
Et donc Larry s'est lancé dans ce truc-là.

382
00:18:21,110 --> 00:18:22,587
Il a embauché quelques personnes.

383
00:18:22,670 --> 00:18:24,870
Et puis moi, je suis
arrivé là-dedans en 88.

384
00:18:26,030 --> 00:18:28,207
Et puis j'ai fait marcher les
réseaux convolutifs assez rapidement

385
00:18:28,290 --> 00:18:30,557
parce que j'avais déjà
travaillé là-dessus à Toronto.

386
00:18:30,640 --> 00:18:32,790
Eux avaient des bases
données de caractère.

387
00:18:33,250 --> 00:18:35,110
Et donc en deux mois, j'étais là.

388
00:18:35,350 --> 00:18:38,397
J'ai battu un peu tous
les records de performance

389
00:18:38,480 --> 00:18:41,110
sur les trucs, les machins de caractère.

390
00:18:41,460 --> 00:18:45,870
Et il y a un truc, une histoire rigolote,

391
00:18:45,990 --> 00:18:49,690
c'est qu'avant que...
Quand j'étais encore post-doc à Toronto,

392
00:18:50,210 --> 00:18:53,350
Larry Jackel me demande « Écoute,
tu vas arriver en octobre,

393
00:18:53,450 --> 00:18:56,887
on voudrait bien commander
un ordinateur pour toi

394
00:18:56,970 --> 00:19:00,187
pour que tu puisses bosser quand
t'arrives, qu'il soit là quand tu arrives.

395
00:19:00,270 --> 00:19:03,087
« Qu'est-ce que tu utilises en ce moment?
» Je dis « On utilise un Sun 4,

396
00:19:03,170 --> 00:19:05,247
il y en a un qui vient
d'arriver à Toronto,

397
00:19:05,330 --> 00:19:08,597
c'est génial, tout ça, ça fait
un méga flop, c'est hallucinant. »

398
00:19:08,680 --> 00:19:14,987
Il me dit « Ok ».
Et puis, c'était un Sun 4

399
00:19:15,070 --> 00:19:19,407
qui était le serveur un peu central
de tout le département informatique.

400
00:19:19,490 --> 00:19:21,467
Ah, c'est-à-dire que tout le
monde c'était un mainframe?

401
00:19:21,550 --> 00:19:24,387
Ce n'était pas un mainframe, c'est
ce qu'on appelait un mini-ordinateur.

402
00:19:24,470 --> 00:19:26,507
C'est un mini-ordinateur. Ah, mais tu
veux dire tout le monde allait dessus?

403
00:19:26,590 --> 00:19:27,667
Tout le monde se aurait dessus.

404
00:19:27,750 --> 00:19:31,627
Tu avais 30 ou 40 étudiants en doctorat
qui se connectaient à ce truc-là.

405
00:19:31,710 --> 00:19:33,927
Tout le monde ne l'utilisait
pas pour les réseaux de neurones,

406
00:19:34,010 --> 00:19:36,847
mais c'était pas tellement...
C'était en timeshare?

407
00:19:36,930 --> 00:19:39,970
C'était un système unique,
tu te connectes.

408
00:19:40,270 --> 00:19:41,427
Donc, c'est la suite que je bossais.

409
00:19:41,510 --> 00:19:45,570
J'avais aussi une station de travail
Sun, mais Sun 3 avec un 68000.

410
00:19:46,750 --> 00:19:49,967
Incroyable. Donc, je lui ai dit « Bon,
Sun 4, c'est le premier avec les Sparc. »

411
00:19:50,050 --> 00:19:53,730
les processeurs Sparc de
Sun Et j'arrive à Bell Labs.

412
00:19:54,430 --> 00:19:56,700
et il y a un Sun 4, mais juste pour moi!

413
00:19:59,530 --> 00:20:00,727
Ça veut dire beaucoup de choses.

414
00:20:00,810 --> 00:20:02,647
Ça veut dire beaucoup de choses,
les moyens qu'on met.

415
00:20:02,730 --> 00:20:05,707
Alors bon, je suis un peu l'égard
carquillé et puis je regarde Larry

416
00:20:05,790 --> 00:20:08,490
et puis il me dit en souriant
« Tu sais, à Bell Labs,

417
00:20:09,350 --> 00:20:12,997
tu ne deviens pas célèbre
en économisant des sous. »

418
00:20:13,080 --> 00:20:15,010
Il y a beaucoup à apprendre de ça.

419
00:20:15,190 --> 00:20:18,057
« You don't get famous by saving money.
» Ah, ouais d'accord.

420
00:20:18,140 --> 00:20:22,190
C'est hyper intéressant. Alors,
si on revient un peu pour retourner un peu

421
00:20:22,340 --> 00:20:24,910
plus contemporain,
mais donc 2013-2023, c'est.

422
00:20:25,130 --> 00:20:27,530
2025, non? .. 2025, c'est l'ère chez Meta.

423
00:20:27,730 --> 00:20:31,077
Tu reçois le prix Turing en 2018 qui
est la médaille Fields ou le prix Nobel

424
00:20:31,160 --> 00:20:33,360
de l'informatique,
disons ça comme ça, quoi.

425
00:20:33,790 --> 00:20:34,640
Voilà. Mais donc,

426
00:20:35,110 --> 00:20:38,947
à ce moment-là, les World Models,
il commence déjà d'y avoir deux hypothèses

427
00:20:39,030 --> 00:20:40,367
entre les LLMs et les World Models.

428
00:20:40,450 --> 00:20:42,890
Ça te démarre, non?
Oui, d'une certaine manière.

429
00:20:43,270 --> 00:20:46,570
Moi, par exemple,
j'ai donné un keynote à NIPS.

430
00:20:46,670 --> 00:20:50,110
Ça s'appelait encore NIPS à l'époque,
pas encore NeurIPS, en 2016.

431
00:20:51,230 --> 00:20:55,177
mon gros message de la
fin du speech c'était

432
00:20:55,260 --> 00:20:57,197
Le futur de l'IA c'est les World Models

433
00:20:57,280 --> 00:21:01,020
So, learning predictive models
of the world I think is the ticket

434
00:21:01,790 --> 00:21:05,110
And then learning actions
and then optimizing

435
00:21:05,450 --> 00:21:09,627
intrinsic objective functions
is really the path forward for

436
00:21:09,710 --> 00:21:15,597
making progress in AI. C'est des
systèmes qui sont capables de prédire

437
00:21:15,680 --> 00:21:18,330
quel va être l'effet d'une
action sur le monde, etc.,

438
00:21:18,510 --> 00:21:22,407
qu'on peut apprendre de manière
autosupervisée et puis qu'on peut piloter

439
00:21:22,490 --> 00:21:24,140
en leur donnant un objectif, etc.

440
00:21:24,250 --> 00:21:26,027
Donc, j'avais cette idée depuis longtemps.

441
00:21:26,110 --> 00:21:28,210
Ça date même pas de 2016, ça date d'avant.

442
00:21:28,530 --> 00:21:30,835
Mais disons, j'ai commencé à en
parler publiquement, si tu veux,

443
00:21:30,918 --> 00:21:37,110
à cette époque-là. Mais les recherches
n'étaient pas abouties à... Si tu veux,

444
00:21:37,530 --> 00:21:39,467
on ne pouvait pas vraiment
les faire ça dans des articles

445
00:21:39,550 --> 00:21:41,450
parce que c'était encore qu'une idée.

446
00:21:41,930 --> 00:21:42,930
Et puis ensuite,

447
00:21:43,650 --> 00:21:44,667
pendant plusieurs années,

448
00:21:44,750 --> 00:21:48,290
j'ai eu des projets de recherche
aussi bien à Meta qu'à NYU,

449
00:21:48,470 --> 00:21:50,670
à Meta pour entraîner des modèles,

450
00:21:51,890 --> 00:21:55,390
ce qui aurait pu être des World
Models en faisant la prédiction vidéo.

451
00:21:56,030 --> 00:21:58,070
En fait, ça n'a jamais marché.

452
00:21:58,850 --> 00:22:03,530
Donc, on a essayé de faire marcher
ça jusqu'à, je ne sais pas, 2021,

453
00:22:03,670 --> 00:22:07,310
un truc comme ça. Des modèles génératifs
pour faire la prédiction vidéo.

454
00:22:07,420 --> 00:22:11,250
Ça n'a jamais bien marché pour,
en tant que modèle du monde, en fait,

455
00:22:11,590 --> 00:22:13,250
pour prédire ce qui va se passer.

456
00:22:13,990 --> 00:22:15,387
Peut-être pour faire des
générations de vidéos,

457
00:22:15,470 --> 00:22:16,847
mais même à l'époque, ça ne
marchait pas parce qu'on n'avait pas

458
00:22:16,930 --> 00:22:18,730
les modèles de diffusion ni tout ça.

459
00:22:19,270 --> 00:22:19,867
C'est pourquoi,

460
00:22:19,950 --> 00:22:22,607
selon toi, parce que c'est la mauvaise
représentation du monde, tout simplement?

461
00:22:22,690 --> 00:22:28,067
Non, c'est le fait que la plupart de
l'information dans une vidéo n'est pas

462
00:22:28,151 --> 00:22:28,984
prédictible.

463
00:22:29,730 --> 00:22:32,027
Le gros de l'information dans
une vidéo n'est pas prédictible.

464
00:22:32,110 --> 00:22:33,110
Si je prends,

465
00:22:34,630 --> 00:22:37,387
là, les gens qui nous regardent,
ils voient une petite partie de la pièce,

466
00:22:37,470 --> 00:22:42,330
ils ont peut-être une idée vague de
l'environnement si tu tournes la caméra,

467
00:22:42,470 --> 00:22:45,467
mais vous ne pouvez pas prédire les
détails, vous ne pouvez pas dire que,

468
00:22:45,550 --> 00:22:46,487
hors du champ de la caméra,

469
00:22:46,570 --> 00:22:50,247
là, il y a un jeu vidéo qui est en train
de... des petits dinosaures qui dansent.

470
00:22:50,330 --> 00:22:53,727
Il y a un tiranosaure, etc.
Il y a toutes les gens avec la régie ici.

471
00:22:53,810 --> 00:22:56,954
Il n'y a aucun moyen que vous puissiez
prédire tous les détails au niveau du

472
00:22:57,038 --> 00:22:59,987
pixel de ce qu'il y a dans la vidéo
si la caméra commence à tourner.

473
00:23:00,070 --> 00:23:01,107
Qui aurait pu prédire?

474
00:23:01,190 --> 00:23:04,787
La majeure partie de loin de
l'information qu'il y a dans une vidéo

475
00:23:04,870 --> 00:23:09,200
ou dans n'importe quel signal
du monde réel est imprédictible.

476
00:23:09,550 --> 00:23:10,817
Donc, si on essaie d'entraîner

477
00:23:10,900 --> 00:23:14,490
un modèle génératif à halluciner
ce qui n'est pas prédictible,

478
00:23:15,160 --> 00:23:17,250
il ne marche pas très bien à la fin.

479
00:23:17,350 --> 00:23:19,690
Et donc, l'idée cruciale

480
00:23:19,890 --> 00:23:22,447
sur laquelle on travaille pour les
world models qui s'appelle JEPA,

481
00:23:22,530 --> 00:23:24,680
Joint Intermediate
Predictive Architecture,

482
00:23:24,910 --> 00:23:29,010
en français, architecture
prédictive d'enchassement joint.

483
00:23:29,150 --> 00:23:31,030
C'est joli. Enchassement.

484
00:23:31,870 --> 00:23:33,047
Qu'est-ce que tu fais, j'enchasse?

485
00:23:33,130 --> 00:23:35,130
Non, c'est beau. C'est beau, c'est beau.

486
00:23:36,250 --> 00:23:37,187
Donc, l'idée de ça,

487
00:23:37,270 --> 00:23:41,310
c'est qu'on entraîne un système à
trouver une représentation abstraite

488
00:23:41,710 --> 00:23:44,110
du signal d'entrée, disons,

489
00:23:46,550 --> 00:23:48,707
la vidéo que l'information
qu'on peut prédire et qui

490
00:23:48,790 --> 00:23:51,240
élimine tous les trucs
qu'on ne peut pas prédire.

491
00:23:51,570 --> 00:23:53,467
Et ça, c'est absolument crucial
pour tout un tas de raisons.

492
00:23:53,550 --> 00:23:57,500
On pourra revenir là-dessus si tu veux,
mais un peu technique ou philosophique.

493
00:23:58,650 --> 00:24:00,407
Donc, c'est l'idée de JEPA,
c'est rien d'autre.

494
00:24:00,490 --> 00:24:05,010
Donc, ça remplace une architecture
générative qui prédit tout, en fait, tout.

495
00:24:05,640 --> 00:24:08,910
Et pour des tokens discrets,
ça marche parce que c'est facile

496
00:24:09,020 --> 00:24:11,630
de gérer l'incertitude dans la prévision.

497
00:24:11,970 --> 00:24:13,120
Tout l'espace est fini.

498
00:24:13,700 --> 00:24:15,797
Tu n'as qu'un nombre
fini de tokens, tu peux

499
00:24:15,880 --> 00:24:19,350
prédire une probabilité pour chaque
token possible et puis ensuite,

500
00:24:19,570 --> 00:24:20,747
par prédiction autorégressive,

501
00:24:20,830 --> 00:24:24,730
avoir une estimation pas trop bête
d'une probabilité d'une séquence.

502
00:24:24,910 --> 00:24:26,257
C'est comme ça que marchent les LLM.

503
00:24:26,340 --> 00:24:28,970
Mais si c'est un monde continu et bruité,

504
00:24:29,290 --> 00:24:31,367
ça ne marche pas du tout,
mais alors pas du tout.

505
00:24:31,450 --> 00:24:31,787
Donc,

506
00:24:31,870 --> 00:24:35,620
ça veut dire qu'on ne peut pas utiliser
d'IA générative pour le monde réel.

507
00:24:36,150 --> 00:24:39,300
Alors, quand je dis à tout le
monde abandonner l'IA générative,

508
00:24:39,790 --> 00:24:45,287
je ne me fais pas avec des amis, disons.

509
00:24:45,370 --> 00:24:49,110
Mais c'est un objectif,
abandonner l'IA générative pour prédire

510
00:24:49,560 --> 00:24:52,127
pour des modèles du monde ou
une intelligence de type humaine.

511
00:24:52,210 --> 00:24:52,987
Voilà,

512
00:24:53,070 --> 00:24:56,910
si on veut des systèmes qui comprennent
le monde réel, le monde physique,

513
00:24:57,610 --> 00:25:00,710
qui est beaucoup plus compliqué
avec la langue ou que le code,

514
00:25:01,310 --> 00:25:03,760
il faut effectivement des
modèles non génératifs.

515
00:25:03,950 --> 00:25:05,657
Est-ce que tu peux expliquer en,
je ne sais pas,

516
00:25:05,740 --> 00:25:09,790
30 secondes vraiment pour nos auditeurs,
c'est quoi un world model et c'est quoi,

517
00:25:10,170 --> 00:25:11,947
enfin, qu'est-ce qui
n'est pas un world model?

518
00:25:12,030 --> 00:25:16,930
Bonne question. En fait, quand les gens,
tu leur parles de machine learning, d'IA,

519
00:25:17,150 --> 00:25:19,667
de générative, diffusion,
et puis, world model, c'est quoi?

520
00:25:19,750 --> 00:25:22,187
En quoi c'est différent
et en quoi c'est similaire?

521
00:25:22,270 --> 00:25:28,050
Ouais, alors, world model, c'est en
train de devenir un espèce de buzzword.

522
00:25:28,270 --> 00:25:29,420
C'est bien le problème.

523
00:25:29,550 --> 00:25:31,867
C'est pour ça que si tu peux définir,
c'est quand même vachement mieux.

524
00:25:31,950 --> 00:25:35,100
Et il y a plein de gens qui
veulent dire des choses différentes

525
00:25:35,430 --> 00:25:38,270
par la phrase world model.

526
00:25:39,510 --> 00:25:41,247
Et en fait, il y a plein de
boîtes qui disent qu'ils en font,

527
00:25:41,330 --> 00:25:42,247
mais en fait, qu'ils en font pas.

528
00:25:42,330 --> 00:25:44,480
En fait, c'est un peu
la blague habituelle.

529
00:25:45,470 --> 00:25:48,907
Bon, on est en français, donc on peut
dire des blagues de mauvais goût.

530
00:25:48,990 --> 00:25:50,470
Surtout, surtout.

531
00:25:51,210 --> 00:25:53,350
Ça reste en France. Ouais.

532
00:25:54,150 --> 00:25:58,830
World model, c'est comme le
sexe chez les adolescents.

533
00:25:58,990 --> 00:26:01,730
Le teenage sexe.
Le teenage sexe, c'est-à-dire que.

534
00:26:02,180 --> 00:26:04,380
tout le monde en parle,
personne ne le fait.

535
00:26:04,580 --> 00:26:06,830
C'est plus compliqué que ça. Ah oui.

536
00:26:07,450 --> 00:26:09,407
Tout le monde en parle,
tout le monde dit qu'il le fait.

537
00:26:09,490 --> 00:26:13,007
Ah oui. Mais en fait, personne ne sait
ce que c'est et personne ne le fait.

538
00:26:13,090 --> 00:26:15,087
Ah oui, il y a différents
niveaux de profondeur.

539
00:26:15,170 --> 00:26:17,267
"Ça reste en France!" Donc c'est quoi?

540
00:26:17,350 --> 00:26:22,610
Donc c'est quoi? Alors, étant
donné l'état du monde à l'instant T.

541
00:26:23,250 --> 00:26:25,750
et étant donné une action
que j'imagine prendre,

542
00:26:26,360 --> 00:26:30,330
puis-je prédire l'état du monde à
l'instant T plus 1 après que j'ai.

543
00:26:30,970 --> 00:26:34,847
exécuté cette action. Donc ça veut dire
que c'est de la physique potentiellement?

544
00:26:34,930 --> 00:26:36,570
Ça veut dire comprendre la 3D?

545
00:26:36,720 --> 00:26:38,107
Comprendre... Non, pas forcément.

546
00:26:38,190 --> 00:26:40,427
Ça peut être n'importe quoi parce
que ce n'est pas forcément de la 3D.

547
00:26:40,510 --> 00:26:42,167
C'est abstrait en fait.
C'est complètement abstrait.

548
00:26:42,250 --> 00:26:46,387
Si on joue à un jeu vidéo 2D de plateforme
comme il y a ici, c'est pas de la 3D.

549
00:26:46,470 --> 00:26:48,890
Un grand jeu. Un grand jeu.

550
00:26:50,230 --> 00:26:51,330
Ce n'est pas de la 3D.

551
00:26:51,870 --> 00:26:54,847
Mais on se construit aussi... Donc
ça peut être... Est-ce qu'on peut dire

552
00:26:54,930 --> 00:26:58,407
que c'est le passage de la
corrélation à la causalité?

553
00:26:58,490 --> 00:26:59,227
On peut,

554
00:26:59,310 --> 00:27:05,170
mais il n'y a pas vraiment de méthode très
sophistiquée pour établir la causalité.

555
00:27:05,310 --> 00:27:07,550
C'est juste état, action, état suivant.

556
00:27:07,670 --> 00:27:09,387
Ça ne veut pas dire que j'ai
fait un moteur de jeu vidéo.

557
00:27:09,470 --> 00:27:13,377
Non. Alors pas du tout, pas du tout,
parce qu'on ne va pas produire des pixels.

558
00:27:13,460 --> 00:27:15,907
On va... Tu vas produire une
représentation abstraite du monde.

559
00:27:15,990 --> 00:27:16,967
Une représentation abstraite du monde.

560
00:27:17,050 --> 00:27:18,770
Après, tu dois, entre guillemets,

561
00:27:24,370 --> 00:27:26,827
si tu veux faire des
pixels ou de la vitesse

562
00:27:26,910 --> 00:27:28,827
ou un courant électrique
ou n'importe quoi.

563
00:27:28,910 --> 00:27:32,710
Il n'y a pas du tout de token, il n'y
a pas de discretisation n'y a du tout.

564
00:27:33,560 --> 00:27:36,767
Et ce n'est pas quelque chose...
On a un world model dans la tête,

565
00:27:36,850 --> 00:27:43,710
mais c'est le cas aussi de notre
chat ou même d'un rat parisien.

566
00:27:43,810 --> 00:27:45,857
Mais du coup, une question que je me pose,

567
00:27:45,940 --> 00:27:48,930
c'est que tu dois du coup...
Il faut le créer,

568
00:27:49,050 --> 00:27:51,930
ce modèle abstrait dans l'espace latent.

569
00:27:52,270 --> 00:27:56,170
Oui. Et donc, tu as un
sujet quand même de... Alors,

570
00:27:56,310 --> 00:27:58,867
dans les LLM, on appelle ça la
tokenisation, mais finalement,

571
00:27:58,950 --> 00:28:02,810
tu as un sujet de transformation
et du coup, d'interprétation.

572
00:28:03,150 --> 00:28:05,040
Peut-être d'abord d'acquisition.

573
00:28:05,660 --> 00:28:09,143
puis de couches successives
d'interprétation pour finir un espace

574
00:28:09,226 --> 00:28:11,776
latent. Oui. Sur lequel,
après, tu peux travailler.

575
00:28:12,110 --> 00:28:14,007
Sur lequel tu peux faire...
Avec lequel tu peux faire des prédictions.

576
00:28:14,090 --> 00:28:17,577
Et surtout, en plus, j'imagine
qu'il y a un nombre infini, mais en

577
00:28:17,660 --> 00:28:21,580
tout cas un nombre
important de chemins entre.

578
00:28:21,670 --> 00:28:23,767
.. si je dis que je prends
la tasse et que je vais

579
00:28:23,850 --> 00:28:26,250
l'amener là, je peux faire ça,
je peux faire ça.

580
00:28:26,540 --> 00:28:28,770
Il y a une distribution de probabilités.

581
00:28:29,170 --> 00:28:30,447
Non, ce n'est pas des
probabilités, forcément.

582
00:28:30,530 --> 00:28:33,270
Même pas? Non, pas du tout.
Non, mais par contre,

583
00:28:33,890 --> 00:28:36,617
c'est la physique intuitive
qu'on apprend quand on

584
00:28:36,700 --> 00:28:38,987
est bébé, que tous les
animaux apprennent aussi.

585
00:28:39,070 --> 00:28:42,763
Ils ont tous un role model aussi dans
la tête qui leur donne la capacité de

586
00:28:42,846 --> 00:28:46,850
planifier. et qui permet de nous
dire si je pousse sur ce verre,

587
00:28:47,250 --> 00:28:49,600
à la base, il va glisser.
Si je pousse en haut,

588
00:28:49,930 --> 00:28:51,927
il va peut-être glisser,
peut-être basculer, je ne sais pas,

589
00:28:52,010 --> 00:28:54,747
ça dépend de la friction du truc.

590
00:28:54,830 --> 00:28:57,607
Si je pousse, avec la même force
sur la table, elle ne va pas bouger.

591
00:28:57,690 --> 00:29:01,390
Il y a tout un tas, en fait,
on apprend une quantité de connaissances,

592
00:29:01,510 --> 00:29:03,527
de compréhension du
fonctionnement du monde

593
00:29:03,610 --> 00:29:06,357
dans les premiers mois de la vie
qui est absolument incroyable.

594
00:29:06,440 --> 00:29:08,970
et c'est ce qui nous permet à la fin,

595
00:29:09,600 --> 00:29:13,830
quand on arrive à l'âge de 4 ou 5 ans,

596
00:29:14,190 --> 00:29:17,787
d'accomplir tout un tas de tâches qui
seraient hyper complexes pour un robot

597
00:29:17,870 --> 00:29:21,077
que la plupart des robots ne sont
pas du tout capables d'exécuter,

598
00:29:21,160 --> 00:29:25,850
encore moins d'exécuter sans être
entraîné explicitement à les faire

599
00:29:26,180 --> 00:29:30,487
et puis qui permet à un gamin de 10 ans
de se comporter quasiment comme un adulte

600
00:29:30,570 --> 00:29:34,980
dans tout un tas de situations ou
un adolescent de 17 ans d'apprendre à

601
00:29:35,064 --> 00:29:37,367
conduire en une quinzaine
d'heures de pratiques.

602
00:29:37,450 --> 00:29:38,627
On ne sait pas faire ça. C'est ton compte.

603
00:29:38,710 --> 00:29:40,967
Il prend à chaque fois, tu lui
donnes tout et il le fait tomber

604
00:29:41,050 --> 00:29:42,587
pendant quelques mois de sa vie.

605
00:29:42,670 --> 00:29:45,407
C'est pour voir. Il entraîne
son modèle de représentation.

606
00:29:45,490 --> 00:29:49,870
Ou ton chat, il prend le verre et
il fait tomber ton verre une fois.

607
00:29:50,190 --> 00:29:52,387
Ça, c'est juste pour faire qu'il
n'y ait pas un verre de modèle.

608
00:29:52,470 --> 00:29:54,790
C'est juste pour savoir
qu'il est le patron.

609
00:29:54,950 --> 00:29:58,390
Du coup, ça veut dire qu'il
y a une forme associée à ça

610
00:29:58,790 --> 00:30:04,070
qui est un peu d'empirisme et plutôt que

611
00:30:04,270 --> 00:30:09,547
de théorisation ou de
découverte des règles mais de

612
00:30:09,630 --> 00:30:13,470
manière complètement abstraite,
pas du tout quantifiable.

613
00:30:14,470 --> 00:30:16,927
Non, mais surtout qu'un rat ou
un chat est capable de faire.

614
00:30:17,010 --> 00:30:20,287
Donc, ce n'est pas comprendre la
physique en écrivant des équations.

615
00:30:20,370 --> 00:30:24,870
C'est ça. C'est comprendre la
physique intuitive par expérience,

616
00:30:24,970 --> 00:30:29,087
par observation et en fait, c'est beaucoup
plus complexe mais ça permet de modéliser

617
00:30:29,170 --> 00:30:31,437
des phénomènes beaucoup
plus complexes que ce

618
00:30:31,520 --> 00:30:33,950
qu'on peut modéliser en
écrivant des équations.

619
00:30:34,050 --> 00:30:38,030
Par exemple, il y a certains cas

620
00:30:38,430 --> 00:30:43,570
où je pourrais écrire des équations
mais c'est complètement inutile.

621
00:30:43,670 --> 00:30:49,210
Par exemple, si je voudrais prédire ce qui
va se passer entre nous dans une minute,

622
00:30:50,320 --> 00:30:51,087
ce que je pourrais faire,

623
00:30:51,170 --> 00:30:54,834
c'est mesurer la fonction d'onde de
l'univers dans un kilomètre cube autour de

624
00:30:54,918 --> 00:31:00,747
nous et ensuite faire une grosse
simulation quantique de tous les états

625
00:31:00,830 --> 00:31:02,987
de tous les électrons de toute la théorie

626
00:31:03,070 --> 00:31:05,910
quantique des champs machin
tous les spins tout ça

627
00:31:06,110 --> 00:31:08,737
ça simulerait nos cerveaux
et ça fait l'intérêt

628
00:31:08,820 --> 00:31:11,220
de prédire ce qu'on va
raconter dans une minute.

629
00:31:11,490 --> 00:31:13,240
Des bêtises quoi. Et ça marcherait.

630
00:31:13,370 --> 00:31:15,407
Et alors ça marcherait
mais c'est une fois.

631
00:31:15,490 --> 00:31:18,147
C'est pas possible parce qu'on ne peut
pas mesurer d'abord la fonction d'onde

632
00:31:18,230 --> 00:31:23,435
de l'univers deuxièmement en fait ça ne
ferait pas une prédiction exacte parce

633
00:31:23,519 --> 00:31:24,307
que.

634
00:31:24,390 --> 00:31:28,630
ce cube de l'univers est en interaction
avec le reste de la galaxie et même du

635
00:31:28,713 --> 00:31:33,227
reste de l'univers à cause d'intriguements
donc ça ne serait pas possible en fait

636
00:31:33,310 --> 00:31:35,437
il y aurait des phénomènes
imprédictibles qui se passeraient

637
00:31:35,520 --> 00:31:39,987
donc très vite la simulation
divergerait de la réalité à cause du fait

638
00:31:40,070 --> 00:31:42,853
qu'on ne peut pas modéliser tout ça
et puis bon il faudrait un ordinateur

639
00:31:42,937 --> 00:31:46,437
quantique la tête de la galaxie pour
faire ça donc c'est pas la peine.

640
00:31:47,690 --> 00:31:50,590
Bon alors qu'est-ce qu'on fait
on invente des abstractions

641
00:31:50,700 --> 00:31:52,597
l'abstraction qui est au-dessus
de la théorie quantique

642
00:31:52,680 --> 00:31:56,880
des champs c'est la théorie des particules
élémentaires ou la théorie atomique.

643
00:31:57,510 --> 00:32:01,350
ou la chimie les molécules etc.

644
00:32:01,710 --> 00:32:05,307
la biochimie peut-être mais même
ça on ne va pas simuler nos cerveaux

645
00:32:05,390 --> 00:32:07,767
avec la biochimie c'est pas
possible on ne sait pas le faire

646
00:32:07,850 --> 00:32:10,537
et ça serait trop compliqué
donc au-dessus de ça il y

647
00:32:10,620 --> 00:32:14,190
a quoi les organelles dans
les cellules les cellules.

648
00:32:14,700 --> 00:32:18,527
les organes les organismes et puis
en fait le bon niveau pour simuler

649
00:32:18,610 --> 00:32:20,207
ce qui va se passer peut-être
prédire un petit peu ce

650
00:32:20,290 --> 00:32:22,990
qui va se passer dans une
minute c'est la psychologie.

651
00:32:23,300 --> 00:32:28,827
et qui est un niveau de description de
l'univers enfin de la réalité qui est

652
00:32:28,910 --> 00:32:32,210
plus dense en information peut-être
qui est beaucoup plus abstrait

653
00:32:32,310 --> 00:32:36,770
donc qui ne contient pas tous les détails
du mouvement de toutes les molécules

654
00:32:36,870 --> 00:32:39,987
mais qui par contre permet de faire
des prédictions à plus long terme

655
00:32:40,070 --> 00:32:41,857
mais ça veut dire que quand
je fais un world model il

656
00:32:41,940 --> 00:32:44,810
faut que je réfléchisse à
quel niveau d'abstraction

657
00:32:44,960 --> 00:32:47,896
sur lequel je vais travailler c'est-à-dire
que donc en fait c'est-à-dire que c'est

658
00:32:47,980 --> 00:32:51,227
pas je vais prendre je
fais du world model donc je

659
00:32:51,310 --> 00:32:54,050
prends trois quatre
dimensions l'espace-temps etc.

660
00:32:54,190 --> 00:32:59,301
donc là je choisis une abstraction qui va
être en fait non c'est plus compliqué que

661
00:32:59,385 --> 00:33:01,927
ça parce qu'il faut que le système
non seulement choisisse le niveau

662
00:33:02,010 --> 00:33:06,430
d'abstraction mais apprenne la
bonne représentation d'accord ah oui

663
00:33:06,580 --> 00:33:11,987
donc tout le génie tout le choix c'est
là-dessus c'est-à-dire c'est apprendre

664
00:33:12,070 --> 00:33:15,607
des représentations du monde qui permet de
faire des prédictions il y a des milliers

665
00:33:15,690 --> 00:33:17,817
de types de world model
c'est possible plein

666
00:33:17,900 --> 00:33:19,867
plein plein mais en
fait quand on réfléchit

667
00:33:19,950 --> 00:33:24,107
c'est c'est la base du deep learning
le deep learning tout le problème

668
00:33:24,190 --> 00:33:30,207
du deep learning et ce qui m'obsède depuis
45 ans c'est c'est c'est comment trouver

669
00:33:30,290 --> 00:33:33,647
des bonnes représentations du monde qui
permet de faire des prédictions alors

670
00:33:33,730 --> 00:33:37,187
jusqu'à présent on savait faire ça pour
la perception très bien le deep learning

671
00:33:37,270 --> 00:33:42,007
on empile les couches on entraîne un truc
à reconnaître des images de la parole etc

672
00:33:42,090 --> 00:33:47,727
ou prédire le next token dans un texte
ça marche très bien parce que prédire

673
00:33:47,810 --> 00:33:52,370
le token suivant c'est apprendre
les classifications en fait donc

674
00:33:52,520 --> 00:33:56,107
ça marche très bien pour ça pour apprendre
des représentations hiérarchiques pour

675
00:33:56,190 --> 00:33:58,870
une tâche particulière
apprendre une tâche supervisée

676
00:33:59,290 --> 00:34:02,210
ou auto-supervisée dans le cas des LLM

677
00:34:02,360 --> 00:34:09,207
mais comment faire ça de manière plus
générale pour des modèles du monde dans

678
00:34:09,290 --> 00:34:11,930
lesquels on ne veut pas simplement.

679
00:34:12,530 --> 00:34:14,580
trouver une représentation qui permet de.

680
00:34:15,030 --> 00:34:19,027
reconnaître des images ou quelque chose
mais qui soit conditionnée sur les actions

681
00:34:19,110 --> 00:34:21,627
donc qui permet de prédire ce qui
va se faire et à la fin ça nous donne

682
00:34:21,710 --> 00:34:24,747
une représentation abstraite non
pas seulement d'observation du monde

683
00:34:24,830 --> 00:34:28,230
mais aussi d'action le tout
problème c'est comment agir

684
00:34:28,370 --> 00:34:31,807
les gens parlent de système agentique
en ce moment c'est aussi un gros buzzword

685
00:34:31,890 --> 00:34:35,917
c'est un gros buzzword cette année passée
et je ne comprends pas comment les gens

686
00:34:36,000 --> 00:34:38,597
peuvent penser s'imaginer
qu'ils vont construire

687
00:34:38,680 --> 00:34:41,020
des systèmes agentiques qui vont marcher.

688
00:34:41,370 --> 00:34:45,670
sans que ces systèmes aient la capacité de
prédire les conséquences de leurs actions.

689
00:34:45,930 --> 00:34:48,777
c'est complètement débile ça ne peut
pas marcher c'est tout simplement

690
00:34:48,860 --> 00:34:51,717
une hallucination
collective alors si ça peut

691
00:34:51,800 --> 00:34:55,030
marcher de la même
manière qu'on peut prendre

692
00:34:55,480 --> 00:35:00,967
un petit mec qui ne connaît rien à la
cuisine et lui faire appliquer une recette

693
00:35:01,050 --> 00:35:05,767
d'un grand chef je ne me sens pas visé du
tout derrière la cuisine je me sens visé

694
00:35:05,850 --> 00:35:09,970
tout d'un coup n'importe qui peut
apprendre à faire une recette de cuisine

695
00:35:10,070 --> 00:35:13,937
à condition de suivre la recette donc
les systèmes agentiques à l'heure actuelle

696
00:35:14,020 --> 00:35:16,790
sont entraînés à suivre
des recettes mais en fait

697
00:35:16,890 --> 00:35:18,467
quand ils font une bêtise
ils ne le savent pas

698
00:35:18,550 --> 00:35:24,107
et le petit mec il vient d'apprendre
à faire une sauce compliquée

699
00:35:24,190 --> 00:35:26,690
des fois ça ne marche pas
il ne sait pas pourquoi.

700
00:35:26,780 --> 00:35:28,827
c'est ça la fondamentalité
c'est que le jeu

701
00:35:28,910 --> 00:35:31,060
c'est d'avoir le plus
de recettes possible.

702
00:35:31,300 --> 00:35:34,338
mais sans vraiment comprendre
l'interaction des ingrédients entre eux

703
00:35:34,422 --> 00:35:34,927
on sait juste

704
00:35:35,010 --> 00:35:39,107
tu l'as bien aujourd'hui quand tu utilises
Claude ou ChatGPT le nombre de fois

705
00:35:39,190 --> 00:35:41,807
il te raconte un truc tu lui fais poser
les questions après et tu te rends compte

706
00:35:41,890 --> 00:35:45,527
qu'en fait il t'a raconté n'importe
quoi et il se rend même compte lui-même.

707
00:35:45,610 --> 00:35:52,610
il y a des grands débats tu sais sur
les histoires d'en fait d'aller récupérer

708
00:35:53,200 --> 00:35:56,107
de l'information pour entraîner
des modèles de workflow d'entreprise

709
00:35:56,190 --> 00:35:58,990
et que du coup c'est empiler les recettes

710
00:35:59,090 --> 00:36:03,510
et puis somehow on a une fonction
de moyenne au milieu et ça se passe

711
00:36:03,660 --> 00:36:05,777
pas trop mal mais
l'intelligence c'est pas ça

712
00:36:05,860 --> 00:36:09,167
c'est le savoir c'est pas
l'intelligence ça c'est le savoir voilà

713
00:36:09,250 --> 00:36:15,229
donc c'est la reproduction d'un savoir
comment dire procédural empirique

714
00:36:15,312 --> 00:36:18,847
empirique mais qui existe déjà qui
a été développé par quelqu'un d'autre

715
00:36:18,930 --> 00:36:21,480
comme l'apprenti cuisinier
qui applique la recette.

716
00:36:21,870 --> 00:36:24,290
mais qui crée la recette.

717
00:36:25,390 --> 00:36:29,410
et l'intelligence c'est pas
une collection de connaissances.

718
00:36:30,260 --> 00:36:32,970
ou une accumulation de
connaissances déclaratives

719
00:36:33,470 --> 00:36:38,320
c'est même pas une collection de
compétences sur lesquelles on a appris les

720
00:36:38,404 --> 00:36:42,190
recettes c'est plutôt la capacité
à inventer de nouvelles recettes

721
00:36:42,360 --> 00:36:44,387
ou quand on fait face
à un problème nouveau

722
00:36:44,470 --> 00:36:47,907
à s'y adapter très vite comme apprendre
à conduire en une quinzaine d'heures

723
00:36:47,990 --> 00:36:51,527
où la première fois qu'on
fait face à un problème

724
00:36:51,610 --> 00:36:55,250
nouveau on peut grâce à notre world model

725
00:36:55,500 --> 00:36:58,867
trouver une séquence d'action qui va
accomplir la tâche juste une question

726
00:36:58,950 --> 00:37:01,797
mais est-ce qu'il n'y a pas parce que
je les vois venir dans les commentaires

727
00:37:01,880 --> 00:37:08,394
est-ce qu'il n'y a pas on va dire un entre
deux mais en tout cas pour évacuer le

728
00:37:08,478 --> 00:37:14,640
sujet des perroquets stochastiques en fait
tu vois de dans le pour l'exemple d'LLM

729
00:37:15,050 --> 00:37:18,370
dans les tokens il y a une
forme d'information qui.

730
00:37:18,620 --> 00:37:19,297
à l'échelle

731
00:37:19,380 --> 00:37:22,147
existe non plus sous forme discrète
de tokens mais dans l'espace latent

732
00:37:22,230 --> 00:37:25,247
c'est-à-dire que soit que ce soit
des règles les patterns enfin tu vois

733
00:37:25,330 --> 00:37:28,610
tout ce qu'on peut imaginer et
donc l'interaction entre eux.

734
00:37:29,100 --> 00:37:30,337
existe dans l'espace à temps

735
00:37:30,420 --> 00:37:37,210
et que donc du coup tu vois c'est plus que
on va dire le rabâchage de patterns mais

736
00:37:37,590 --> 00:37:44,050
que à force à l'échelle somehow on arrive
à étonner ça y est somehow on arrive à.

737
00:37:44,900 --> 00:37:47,757
il arrive à se dessiner si tu
veux voilà une forme de règle oui

738
00:37:47,840 --> 00:37:52,250
et que donc en fait tu vois
l'interaction je ne sais pas moi

739
00:37:52,380 --> 00:37:56,410
si on met du Sucre c'est
plus sucré ça n'apparaît

740
00:37:56,510 --> 00:37:58,737
ça n'apparaît pas dans
le texte précisément mais

741
00:37:58,820 --> 00:38:02,730
dans l'espace latent ça finit par se
dessiner en tout cas se décrire quoi

742
00:38:02,830 --> 00:38:05,180
et que donc du coup en
fait quand ça redescend.

743
00:38:05,600 --> 00:38:08,697
bah du coup tu vois
on arrive à retrouver une

744
00:38:08,780 --> 00:38:11,530
forme d'intelligence
quoi alors oui et non.

745
00:38:12,110 --> 00:38:18,087
en sens que le problème du LLM c'est
que la seule communication d'information

746
00:38:18,170 --> 00:38:22,307
d'une étape de calcul à une autre c'est
à Travers un token ah voilà discret

747
00:38:22,390 --> 00:38:25,690
ça reste pas dans l'espace latent
c'est 3 octets ouais d'accord ok

748
00:38:26,040 --> 00:38:31,830
un token c'est 3 octets en gros même
pas donc donc tu produis un octet

749
00:38:32,120 --> 00:38:38,267
tu fais tu déplaces ça dans le
contexte d'entrée et donc l'information

750
00:38:38,350 --> 00:38:41,770
qui est communiquée entre une étape
de calcul et la suivante c'est.

751
00:38:42,260 --> 00:38:47,047
un symbole qui est stockable dans 2 ou
3 octets et si c'était l'espace latent

752
00:38:47,130 --> 00:38:49,767
qu'on réinjectait alors il y
a des gens pour que la discrétion

753
00:38:49,850 --> 00:38:52,492
soit faite de manière asynchrone donc on
va essayer de faire ça par exemple à mon

754
00:38:52,575 --> 00:38:57,839
avis la meilleure correcte de
faire ça c'est JEPA - Quelle chance!

755
00:38:57,923 --> 00:39:02,410
- C'est l'idée c'est l'idée tu fais
la prédiction dans l'espace latent.

756
00:39:02,800 --> 00:39:06,207
et tu essaies jamais de reconstruire
l'espace entré parce que si l'espace entré

757
00:39:06,290 --> 00:39:09,780
est sur des données naturelles
c'est pas possible d'accord

758
00:39:09,930 --> 00:39:12,427
pour les tokens tu pourrais
si tu es du texte des séquences

759
00:39:12,510 --> 00:39:14,917
tu peux effectivement
retourner dans l'espace original

760
00:39:15,000 --> 00:39:17,527
alors il y a des modèles comme
ça un peu bâtards entre les deux

761
00:39:17,610 --> 00:39:19,107
qui essaient de faire la prédiction
au niveau de la présentation

762
00:39:19,190 --> 00:39:21,130
mais qui sont quand même entraînés

763
00:39:21,230 --> 00:39:27,938
à la fin pour prédire les tokens donc
tu as des modèles comme les state-space

764
00:39:28,021 --> 00:39:28,467
models

765
00:39:28,550 --> 00:39:31,593
par exemple dans lequel la dynamique
interne et linéaire ce qui est un peu

766
00:39:31,676 --> 00:39:34,650
limité et puis des modèles
comme coconut il y en a

767
00:39:34,900 --> 00:39:39,467
deux ou trois comme ça dans lequel tu as
un petit peu de prédiction dans un espace

768
00:39:39,550 --> 00:39:45,407
non discret mais à la fin on discrétise
quand même d'accord et à la fin

769
00:39:45,490 --> 00:39:49,240
bon c'est un peu des LLM sinon l'autre
méthode pour sortir un peu du carcan

770
00:39:49,620 --> 00:39:54,187
de la prédiction auto-aggressive
de symboles c'est tu te débrouilles

771
00:39:54,270 --> 00:39:58,316
pour que ton système produise plein de
séquences de symboles possibles et puis

772
00:39:58,399 --> 00:40:03,770
ensuite tu en as un deuxième qui les
évalue et qui te sort la meilleure

773
00:40:04,020 --> 00:40:06,127
c'est un peu comme ça que marche le
système de génération de code mais c'est

774
00:40:06,211 --> 00:40:06,387
une forme

775
00:40:06,470 --> 00:40:09,596
de quantisation du coup parce que tu
quantises l'espace latent non c'est une

776
00:40:09,679 --> 00:40:13,047
forme de raisonnement c'est une forme
de recherche d'accord le raisonnement

777
00:40:13,130 --> 00:40:16,380
c'est un autre sujet complètement
différent mais le raisonnement.

778
00:40:16,530 --> 00:40:18,487
ne peut pas être ne peut
pas se faire par prédiction

779
00:40:18,570 --> 00:40:21,010
auto-reggressive c'est
à dire quand on raisonne

780
00:40:21,110 --> 00:40:26,285
on le fait pas en produisant des mots
les uns après les autres on réfléchit

781
00:40:26,369 --> 00:40:27,037
on interne

782
00:40:27,120 --> 00:40:29,866
dans notre espace latent ça reste dans
l'espace latent ça reste dans l'espace

783
00:40:29,950 --> 00:40:34,167
latent on manipule des modèles mentaux
etc donc par exemple je suis sûr qu'il y a

784
00:40:34,250 --> 00:40:37,677
plein de geeks qui nous regardent mais
bon c'est un niveau de maths de terminale

785
00:40:37,760 --> 00:40:40,527
ça va je vous dis je
pose la question donne

786
00:40:40,610 --> 00:40:43,447
moi une famille de trois
vecteurs dans le plan.

787
00:40:43,530 --> 00:40:45,530
qui sont linéairement indépendants.

788
00:40:46,240 --> 00:40:47,490
alors tu réfléchis.

789
00:40:48,540 --> 00:40:52,430
c'est quoi ta réponse alors moi
faut pas me demander moi je j'ai vu

790
00:40:52,730 --> 00:40:55,137
trois vecteurs dans le
plan en deux dimensions

791
00:40:55,220 --> 00:40:57,507
ah en deux dimensions
dans le plan dans le plan

792
00:40:57,590 --> 00:40:59,947
qui sont linéairement indépendants
donne moi une famille de trois vecteurs

793
00:41:00,030 --> 00:41:05,127
indépendants non indépendants
indépendants ah pardon on a bien fait

794
00:41:05,210 --> 00:41:07,687
de ne pas trouver de solution
oui vous avez bien fait

795
00:41:07,770 --> 00:41:13,070
mais ce qui est intéressant c'est le
processus mental donc la plupart des gens

796
00:41:13,570 --> 00:41:15,867
je sais pas si c'est le cas pour vous
mais la plupart des gens certainement

797
00:41:15,950 --> 00:41:20,087
beaucoup de gens qui nous écoutent on se
représente une espèce d'image mentale

798
00:41:20,170 --> 00:41:24,467
de la situation ah bah oui et puis
on se dit là là et puis tous les autres

799
00:41:24,550 --> 00:41:27,247
en fait c'est une combinaison des deux
autres bah oui donc c'est pas possible

800
00:41:27,330 --> 00:41:29,487
t'as hésité à répondre mais
t'avais la réponse déjà à

801
00:41:29,570 --> 00:41:33,910
cause de cette image mentale
on manipule l'image mentale d'accord

802
00:41:34,010 --> 00:41:37,267
il y a bien sûr une autre manière de
faire ça qui est de dire ah mais nous

803
00:41:37,350 --> 00:41:39,667
il y a un théorème qui te
dit que tu peux pas avoir

804
00:41:39,750 --> 00:41:42,550
plus de n vecteurs en dimension
n qui sont indépendants.

805
00:41:42,810 --> 00:41:46,787
mais personne fait ça tout le
monde commence par l'image mentale

806
00:41:46,870 --> 00:41:49,830
donc c'est cette histoire
de modèle mental du monde

807
00:41:50,280 --> 00:41:52,230
qui est importante alors maintenant

808
00:41:52,360 --> 00:41:55,590
en maths en particulier et
aussi pour l'écriture de code

809
00:41:55,740 --> 00:42:00,550
et peut-être pour le texte
légaux je sais pas quoi

810
00:42:00,880 --> 00:42:04,487
une grande partie du raisonnement peut
être fait dans le domaine des symboles

811
00:42:04,570 --> 00:42:07,567
quand on fait des maths on fait des
dérivations on manipule les symboles

812
00:42:07,650 --> 00:42:09,137
et une partie du raisonnement qui en fait

813
00:42:09,220 --> 00:42:12,707
résulte de la manipulation de symboles
quand on écrit du code très souvent

814
00:42:12,790 --> 00:42:16,667
on commence à écrire le code et puis ça
nous éclaire sur la formulation en fait

815
00:42:16,750 --> 00:42:20,367
les abstractions qu'il
faut utiliser etc donc

816
00:42:20,450 --> 00:42:23,050
ce sont des domaines le code et les maths

817
00:42:23,150 --> 00:42:26,250
dans lequel la manipulation
de symboles est le substrat

818
00:42:26,400 --> 00:42:29,487
du raisonnement en tout cas un substrat
possible du raisonnement pas tout

819
00:42:29,570 --> 00:42:34,067
ce sont les deux applications pour les LLM
je crois vraiment bien oui alors du coup

820
00:42:34,150 --> 00:42:38,187
moi j'ai une question parce qu'il
y a un an un an et demi maintenant

821
00:42:38,270 --> 00:42:41,927
t'en avais parlé aussi
mais je parlais beaucoup tu

822
00:42:42,010 --> 00:42:44,630
sais des raisonnements
justement en espace latent

823
00:42:44,780 --> 00:42:47,587
et j'avais dit je pense
que le truc dans un an ou

824
00:42:47,670 --> 00:42:50,087
deux ans ça va être dans
le cas des LLM en tout cas

825
00:42:50,170 --> 00:42:51,957
que le reasoning va se
faire en espace latent on

826
00:42:52,040 --> 00:42:53,827
est un an et demi après il
se fait toujours en token

827
00:42:53,910 --> 00:42:58,726
et deuxièmement les raisonnements basés
sur l'énergie donc du coup l'idée de

828
00:42:58,810 --> 00:42:59,307
minimiser

829
00:42:59,390 --> 00:43:02,287
en fait l'énergie mais tout en restant
dans l'espace latent alors moi j'ai essayé

830
00:43:02,370 --> 00:43:07,710
avec ZML de réinjecter l'espace latent ça
marche pas du tout mais du coup à ton avis

831
00:43:07,860 --> 00:43:09,790
là puisqu'on est là dessus

832
00:43:09,890 --> 00:43:13,567
pourquoi c'est pas quelque chose qui
est poussé parce que ça pourrait être

833
00:43:13,650 --> 00:43:17,700
de mon point de vue ça pourrait être un
win enfin en tout cas un gain incrémental

834
00:43:17,950 --> 00:43:20,927
on resterait quand même dans le monde
des LLM où tout le monde est content

835
00:43:21,010 --> 00:43:25,053
mais on aurait quand même des
raisonnements plus intéressants parce que

836
00:43:25,136 --> 00:43:25,867
là aujourd'hui

837
00:43:25,950 --> 00:43:31,094
c'est vraiment brut forcé - la vraie
question c'est comment faire marcher,

838
00:43:31,177 --> 00:43:32,507
c'est à dire le truc

839
00:43:32,590 --> 00:43:38,530
qui a vraiment un peu surpris tout
le monde après les Transformers

840
00:43:38,730 --> 00:43:42,567
c'est quelles architectures utiliser
qui vont vraiment marcher au début

841
00:43:42,650 --> 00:43:46,267
c'était des architectures
encodeur-décodeur à la BERT.

842
00:43:46,350 --> 00:43:49,650
où tu prends un bout de texte
tu fais passer dans un encodeur

843
00:43:49,830 --> 00:43:54,910
avant ça tu masques certains mots

844
00:43:55,060 --> 00:43:59,510
du texte et puis tu entraînes un
gros réseau neurone encodeur-décodeur.

845
00:43:59,960 --> 00:44:03,377
dans lequel le décodeur est autorégressif
après dire les mots qui manquent

846
00:44:03,460 --> 00:44:06,267
et puis finalement on s'est
aperçu que pour vraiment

847
00:44:06,350 --> 00:44:08,127
passer à l'échelle et
faire marcher un truc bien

848
00:44:08,210 --> 00:44:11,410
il fallait enlever l'encodeur
et juste entraîner un décodeur.

849
00:44:12,210 --> 00:44:16,507
et ce décodeur tu ne l'entraînes pas
en prenant une séquence de symboles

850
00:44:16,590 --> 00:44:20,827
et en enlevant en masquant des entrées tu
construis l'architecture de manière à ce

851
00:44:20,910 --> 00:44:23,830
qu'elle soit strictement
causale c'est-à-dire que

852
00:44:24,000 --> 00:44:28,587
pour prédire une sortie tu ne peux pas
regarder le token d'entrée correspondante

853
00:44:28,670 --> 00:44:31,170
tu ne peux regarder que
ceux qui sont à sa gauche.

854
00:44:31,760 --> 00:44:33,657
donc l'architecture du système elle-même

855
00:44:33,740 --> 00:44:37,461
fait qu'il y a une espèce de masquage
implicite que quand tu lui donnes une

856
00:44:37,544 --> 00:44:37,967
séquence

857
00:44:38,050 --> 00:44:41,467
il ne peut regarder que la première moitié
de la séquence pour prédire un token

858
00:44:41,550 --> 00:44:44,250
et en fait donc ça
c'est l'architecture GPT.

859
00:44:45,150 --> 00:44:47,610
et tu entraînes simplement ce truc

860
00:44:47,780 --> 00:44:52,290
à reproduire son entrée
sur sa sortie d'accord.

861
00:44:52,890 --> 00:44:55,497
c'est un auto-encodeur
en fait un GPT d'accord

862
00:44:55,580 --> 00:44:58,130
ok qui ne se dit pas mais
c'est un auto-encodeur

863
00:44:58,580 --> 00:45:01,887
et dans les world models tu as aussi
des différentes architectures

864
00:45:01,970 --> 00:45:04,387
qui ont des encodeurs il y en a qui
n'ont pas d'encodeurs alors dans les

865
00:45:04,470 --> 00:45:08,430
la manière correcte de faire des world
models c'est la même chose c'est-à-dire

866
00:45:08,780 --> 00:45:14,850
tu prédis une c'est pas un
token mais un vecteur quoi

867
00:45:14,950 --> 00:45:19,707
ok à partir de de ce qui précède mais
tu fais ça dans un espace d'implantation

868
00:45:19,790 --> 00:45:22,527
c'est-à-dire qu'il y a d'abord
une couche qui prend la séquence

869
00:45:22,610 --> 00:45:26,407
qui l'encode et ensuite c'est cette
séquence que tu fais passer par un truc

870
00:45:26,490 --> 00:45:29,057
un peu à la GPT enfin qui est
en tout cas strictement causal

871
00:45:29,140 --> 00:45:32,727
que tu peux entraîner ça veut dire
que cette séquence devient un vecteur.

872
00:45:32,810 --> 00:45:34,807
c'est pas une succession de
vecteurs comme dans le cas d'un LLM

873
00:45:34,890 --> 00:45:37,647
alors c'est une succession de vecteurs
mais pas une succession de tokens

874
00:45:37,730 --> 00:45:38,730
ah oui d'accord.

875
00:45:39,100 --> 00:45:43,334
t'as pas besoin de tokeniser tu peux
prendre la vidéo et donc aussi donc t'as

876
00:45:43,418 --> 00:45:43,727
le même

877
00:45:43,810 --> 00:45:47,147
tu fais un encodeur tu retravailles
dessus t'as un encodeur qui te produit

878
00:45:47,230 --> 00:45:51,910
une séquence si l'entrée est une
séquence ça produit une séquence aussi.

879
00:45:52,560 --> 00:45:53,730
de représentation

880
00:45:54,130 --> 00:45:57,730
de chaque entrée qui chacune d'ailleurs
peut prendre plusieurs entrées

881
00:45:57,930 --> 00:46:00,867
une fenêtre donc si tu
donnes de la vidéo par exemple

882
00:46:00,950 --> 00:46:04,947
ton encodeur peut prendre
je sais pas 16 ou 64

883
00:46:05,030 --> 00:46:10,573
trames d'entrée et te produire une
représentation pour ça qui est pas

884
00:46:10,656 --> 00:46:11,307
forcément

885
00:46:11,390 --> 00:46:18,330
un vecteur qui elle-même peut être un
torseur d'accord ok voilà et ça c'est un.

886
00:46:18,840 --> 00:46:23,350
c'est un un objet dans la séquence.

887
00:46:24,700 --> 00:46:26,810
et cette séquence tu entraînes

888
00:46:27,310 --> 00:46:31,430
une architecture qu'on appelle un
prédicteur qui est strictement causal

889
00:46:31,530 --> 00:46:34,967
à reproduire simplement l'entrée sur sa
sortie parce que justement dans le papier

890
00:46:35,050 --> 00:46:38,987
le world model que tu as publié
c'était quoi c'était en 2025

891
00:46:39,070 --> 00:46:43,350
justement tu parles un peu de ça en
fait donc si on comprend bien le papier

892
00:46:43,700 --> 00:46:44,627
il y a un espace latent

893
00:46:44,710 --> 00:46:48,207
il y a une analyse de la situation et
ça tord un peu ou ça fait une projection

894
00:46:48,290 --> 00:46:51,457
de l'espace latent sous un sous-espace
latent un peu les poids sont un peu

895
00:46:51,540 --> 00:46:54,910
sont un peu modifiés
ou en tout cas projetés

896
00:46:55,080 --> 00:46:57,067
et là c'est drôle parce
qu'il y a une fonction

897
00:46:57,150 --> 00:47:00,827
une fonction gaussienne que vous appliquez
moi je retrouvais la fonction d'onde

898
00:47:00,910 --> 00:47:03,807
tu vois la fonction d'onde en physique je
me suis dit mais est-ce qu'il y a un lien

899
00:47:03,890 --> 00:47:06,607
ou absolument pas non il n'y a pas
lien avec la physique de ce côté là

900
00:47:06,690 --> 00:47:08,347
enfin pas avec les
fonctions d'onde pas avec

901
00:47:08,430 --> 00:47:10,077
la mécanique quantique
en tout cas pas encore

902
00:47:10,160 --> 00:47:16,987
mais bientôt pas encore pas encore là dans
la vidéo il y a le tien elle transforme

903
00:47:17,070 --> 00:47:23,710
les world models en quantiques et là dans
un an il va accepter son prix Nobel et

904
00:47:23,794 --> 00:47:29,373
tout je vous remercie Mehdi Mejari parce
que donc non pas de quantique ok voilà le

905
00:47:29,457 --> 00:47:32,517
problème voilà le problème qu'il faut
résoudre quand on entraîne un JEPA

906
00:47:32,600 --> 00:47:36,558
et c'est un argument que les gens
utilisent contre cette idée de JEPA

907
00:47:36,641 --> 00:47:41,110
d'accord c'est que il peut y avoir ce
qu'on appelle en bon français un collapse

908
00:47:41,210 --> 00:47:45,210
ok le problème est le suivant

909
00:47:45,460 --> 00:47:48,837
on prend disons une partie
d'une vidéo qu'on encode

910
00:47:48,920 --> 00:47:51,710
et puis la deuxième partie
de la vidéo qu'on encode

911
00:47:51,960 --> 00:47:54,787
et puis on essaie d'entraîner un
prédicteur à prédire la représentation

912
00:47:54,870 --> 00:47:56,267
de la deuxième partie en fonction de la

913
00:47:56,350 --> 00:47:59,780
représentation de la première
partie le truc peut très facilement

914
00:48:00,000 --> 00:48:02,600
si on l'entraîne à minimiser
l'erreur de prédiction.

915
00:48:02,760 --> 00:48:05,732
il peut décider d'ignorer l'entrée
complètement et de produire des

916
00:48:05,816 --> 00:48:09,077
représentations constantes qui
ne dépendent pas de l'entrée et

917
00:48:09,160 --> 00:48:11,407
donc là le problème de
prédiction est trivial

918
00:48:11,490 --> 00:48:17,347
et donc le truc revient et te dit ton
erreur de prédiction elle est à zéro

919
00:48:17,430 --> 00:48:22,607
tu as bien réussi mais en fait il ne
marche pas parce que c'est un collapse

920
00:48:22,690 --> 00:48:27,387
tu as trouvé une bonne traduction c'est un
effondrement un effondrement c'est pour ça

921
00:48:27,470 --> 00:48:31,707
que vous envoyez une gaussienne
un peu pour créer différentes voies

922
00:48:31,790 --> 00:48:35,707
de différentes probabilités alors c'est là
qu'on commence à creuser dans la tranchée

923
00:48:35,790 --> 00:48:40,530
de l'apprentissage auto-supervisé en
joint embedding en chassement joint

924
00:48:41,080 --> 00:48:43,127
et c'est un truc sur
lequel mes premiers papiers

925
00:48:43,210 --> 00:48:46,367
là-dessus datent de 1993
donc tu vois c'est pas 93?

926
00:48:46,450 --> 00:48:49,207
ouais ouais ah la vache
t'avais quel âge en 93

927
00:48:49,290 --> 00:48:55,230
t'avais quel âge ou j'avais 9
ans ok je t'explique au problème

928
00:48:55,580 --> 00:49:00,827
c'est très simple on avait ce
problème à AT&T des gens qui sont Venus

929
00:49:00,910 --> 00:49:03,767
et qui se sont dit on voudrait
bien stocker une signature.

930
00:49:03,850 --> 00:49:08,187
de quelqu'un qui Signe sur une
tablette mais sur la bande magnétique

931
00:49:08,270 --> 00:49:12,420
d'une carte de crédit ils n'avaient pas de
carte de puce à l'époque aux Etats-Unis.

932
00:49:12,530 --> 00:49:17,010
et il y a 80 octets
sur une bande magnétique

933
00:49:17,460 --> 00:49:20,687
comment peut-on stocker la représentation
d'une signature sur 80 octets alors

934
00:49:20,770 --> 00:49:23,177
ah idée sympa on prend
un réseau de neurones

935
00:49:23,260 --> 00:49:25,790
un réseau convolutif où
ils donnent la séquence

936
00:49:25,890 --> 00:49:30,487
des points quelqu'un qui signe et puis
c'est un réseau convolutif et puis à la

937
00:49:30,570 --> 00:49:32,850
fin. on sort une sortie avec 80 sorties.

938
00:49:33,450 --> 00:49:39,010
80 valeurs un vecteur à 80 dimensions
qu'on va quantifier sur 8 bits

939
00:49:39,160 --> 00:49:40,950
voilà donc

940
00:49:41,200 --> 00:49:43,807
quelqu'un a fait une signature comment
peut-on vérifier que cette signature

941
00:49:43,890 --> 00:49:47,250
vient bien de cette personne on va
entraîner ce réseau de neurones.

942
00:49:47,810 --> 00:49:49,407
on ne sait pas a priori
on n'a pas la collection

943
00:49:49,490 --> 00:49:50,947
de toutes les signatures de tous les gens

944
00:49:51,030 --> 00:49:53,227
donc il faut que ça marche pour n'importe
quelle signature ce qu'on va faire

945
00:49:53,310 --> 00:49:55,107
c'est qu'on va entraîner un réseau de
neurones pour que quand on lui donne

946
00:49:55,190 --> 00:49:56,940
deux signatures de la même personne

947
00:49:57,150 --> 00:50:00,150
ça nous sort le même
vecteur de 80 composantes.

948
00:50:00,750 --> 00:50:03,865
et quand on donne une signature d'une
personne et une signature d'une autre

949
00:50:03,949 --> 00:50:07,017
personne ou une signature d'une autre
personne qui essaie d'imiter la première

950
00:50:07,100 --> 00:50:11,147
ça nous donne des vecteurs différents
l'apprentissage est complètement trivial

951
00:50:11,230 --> 00:50:13,810
maintenant on appelle ça
l'apprentissage contrastif

952
00:50:14,180 --> 00:50:17,027
mais ce que ça veut
dire c'est tu mets deux

953
00:50:17,110 --> 00:50:20,510
signatures si c'est deux
signatures la même personne

954
00:50:20,650 --> 00:50:22,457
tu as une fonction de
coût qui dit attire tous

955
00:50:22,540 --> 00:50:24,900
ces deux vecteurs l'un à l'autre d'accord.

956
00:50:25,530 --> 00:50:28,807
si tu fais que ça ça collapse d'un
effondrement parce que le truc ignore

957
00:50:28,890 --> 00:50:32,170
complètement l'entrée te
produit un vecteur Constant.

958
00:50:32,920 --> 00:50:34,730
donc tu as des exemples contrastifs

959
00:50:34,940 --> 00:50:40,022
qui sont des signatures qui sont
différentes nos séquelles sont différentes

960
00:50:40,106 --> 00:50:42,657
et là tu repousses les deux
vecteurs l'un de l'autre

961
00:50:42,740 --> 00:50:45,890
d'accord tu les éloignes les
uns des autres d'accord ok

962
00:50:46,040 --> 00:50:47,717
donc ça c'est la production
contractive c'est utilisé

963
00:50:47,800 --> 00:50:53,450
absolument partout aujourd'hui
pour dans les LLM les LLM

964
00:50:53,800 --> 00:50:59,910
quand ils analysent une image en fait
utilisent la plupart d'entre eux pas tous

965
00:51:00,110 --> 00:51:06,887
la plupart d'entre eux utilisent des des
pipelines de perception qui sont entraînés

966
00:51:06,970 --> 00:51:08,790
avec une méthode qui s'appelle clip.

967
00:51:09,030 --> 00:51:14,110
qui est un truc qui a été proposé
par par OpenAI il y a quelques années

968
00:51:14,260 --> 00:51:17,607
mais c'est en fait ça c'est la même chose
c'est à dire que tu montres une image

969
00:51:17,690 --> 00:51:21,930
et au lieu de montrer une autre
une autre image une signature.

970
00:51:22,180 --> 00:51:28,867
tu montres une description textuelle
de cette image et tu dis je vais avoir

971
00:51:28,950 --> 00:51:31,807
un embedding du texte c'est un
embedding de l'image si le texte

972
00:51:31,890 --> 00:51:34,247
est une bonne description de l'image
je les rapproche les uns des autres

973
00:51:34,330 --> 00:51:38,870
et tu as des exemples contrastifs ou
tu as une description d'une autre image.

974
00:51:39,830 --> 00:51:43,207
et là tu les repousses c'est un
peu piloté par la loss function

975
00:51:43,290 --> 00:51:47,967
par la fonction de perte la fonction de
perte qui a deux termes un terme attractif

976
00:51:48,050 --> 00:51:52,067
et un terme répulsif qui dit les trucs
dont je sais qu'ils sont identiques

977
00:51:52,150 --> 00:51:55,107
sémantiquement je les rapproche
et les trucs qui sont différents

978
00:51:55,190 --> 00:51:59,830
je les repousse il y a plein de manières
de faire ça ça me fait penser peut-être

979
00:51:59,913 --> 00:52:00,007
que

980
00:52:00,090 --> 00:52:04,507
le côté contrastif ça me fait penser à ce
que proposait Inton il y a quelques années

981
00:52:04,590 --> 00:52:08,610
alors il y a un modèle
qui s'appelle SimCLR

982
00:52:09,110 --> 00:52:16,090
S-I-M-C-L-R qui est un truc contrastif
et qui a été un des premiers.

983
00:52:16,790 --> 00:52:19,970
réseaux convolutifs contrastifs en fait

984
00:52:20,420 --> 00:52:23,690
qui donnait des performances
raisonnables sur l'image nette

985
00:52:23,890 --> 00:52:27,230
moi en fait j'avais essayé
de raviver la méthode

986
00:52:27,780 --> 00:52:29,867
de ce qu'on appelle ça
les réseaux si à moi.

987
00:52:29,950 --> 00:52:32,607
avec des méthodes contrastives
aussi au milieu des années 2000

988
00:52:32,690 --> 00:52:37,587
avec deux étudiants à moi Sumit Chopra
et et Raia Hadsel et qui ont inspiré

989
00:52:37,670 --> 00:52:40,437
pas mal de travaux après
en fait le système de

990
00:52:40,520 --> 00:52:42,907
reconnaissance de visage qui
était utilisé par Facebook

991
00:52:42,990 --> 00:52:46,007
jusqu'à ce qu'ils arrêtent de
faire la reconnaissance de visage

992
00:52:46,090 --> 00:52:50,980
en fait était affiné avec ce
genre de méthode donc tu montres

993
00:52:51,310 --> 00:52:55,930
deux images deux photos de la même
personne les représentations sont attirées

994
00:52:56,030 --> 00:52:59,427
et puis deux photos de gens
différents tu les repousses il faut que

995
00:52:59,510 --> 00:53:01,847
quand ça se ressemble ça converge et
quand ça se ressemble pas ça diverge

996
00:53:01,930 --> 00:53:04,434
sinon tu as des faux positifs tout le
temps sinon des faux positifs tout le

997
00:53:04,518 --> 00:53:08,047
temps où le truc collapse complètement
donc CLIP, le C de CLIP, c'est contrastif

998
00:53:08,130 --> 00:53:10,467
moi j'ai une question
sur comment on entraîne

999
00:53:10,550 --> 00:53:12,707
aujourd'hui les modèles
c'est quoi c'est des vidéos

1000
00:53:12,790 --> 00:53:16,687
j'ai vu des data sets la Robocasa c'est
des robots qui sont dans des cuisines en

1001
00:53:16,770 --> 00:53:17,947
3D il y en a qui font avec des jeux vidéo

1002
00:53:18,030 --> 00:53:21,286
avec des moteurs Unreal, ou Atari
même j'ai vu des trucs, Minecraft,

1003
00:53:21,370 --> 00:53:23,657
il y en a qui essaient d'entraîner
les modèles avec Minecraft

1004
00:53:23,740 --> 00:53:25,067
il y a des vidéos réelles
du monde physique c'est

1005
00:53:25,150 --> 00:53:28,790
comment on entraîne aujourd'hui
un modèle du monde à la sauce JEPA.

1006
00:53:30,070 --> 00:53:33,517
alors avant que je réponde à ces questions
tu vas me la rappeler dans une minute

1007
00:53:33,600 --> 00:53:36,757
il faut que je t'explique les
alternatives aux méthodes contrastives

1008
00:53:36,840 --> 00:53:38,347
les méthodes d'entraînement de JEPA

1009
00:53:38,430 --> 00:53:41,247
ou de Joint Embedding donc de méthodes
dans lesquelles il n'y a pas de

1010
00:53:41,330 --> 00:53:41,827
reconstruction

1011
00:53:41,910 --> 00:53:46,107
dans lesquelles il faut trouver un espace
de représentation dans lequel tu peux

1012
00:53:46,190 --> 00:53:48,007
faire des prédictions
et éviter le collapse

1013
00:53:48,090 --> 00:53:50,827
donc j'ai parlé des méthodes
contrastives qui empêchent le collapse

1014
00:53:50,910 --> 00:53:53,117
mais en fait elles ne sont
pas efficaces c'est à dire que

1015
00:53:53,200 --> 00:53:55,407
quand on essaie d'entraîner
par méthode contrastive

1016
00:53:55,490 --> 00:54:00,190
des représentations un peu complètes
d'images ou de choses comme ça

1017
00:54:00,290 --> 00:54:05,279
en fait on n'arrive pas à ce que la
représentation remplisse un peu l'espace

1018
00:54:05,363 --> 00:54:09,777
complet de représentation on a toujours
des représentations un peu dégénérées

1019
00:54:09,860 --> 00:54:15,767
et puis ça nécessite énormément d'exemples
contrastifs donc il y a une autre série

1020
00:54:15,850 --> 00:54:17,950
il y a deux autres catégories de méthodes.

1021
00:54:18,230 --> 00:54:21,350
une qui sont des méthodes
qu'on appelle par distillation.

1022
00:54:22,190 --> 00:54:27,501
donc ils sont utilisés par des papiers
qu'on a publiés qui s'appellent IJEPA

1023
00:54:27,584 --> 00:54:32,590
VJEPA. BYOL qui vient de DeepMind
et DINO qui vient de FAIR Paris.

1024
00:54:33,160 --> 00:54:34,847
donc ça c'est des
méthodes par distillation

1025
00:54:34,930 --> 00:54:38,657
et puis il y en a eu
d'autres avant, SimCLR etc.

1026
00:54:38,740 --> 00:54:43,547
Pas SimCLR pardon, MoCo.
Distillation... comme dans les LLMs?

1027
00:54:43,630 --> 00:54:45,567
Alors distillation c'est...

1028
00:54:45,650 --> 00:54:49,999
la méthode de distillation c'est un truc
un peu bizarre pareil tu as deux encodeurs

1029
00:54:50,082 --> 00:54:50,747
donc tu prends

1030
00:54:50,830 --> 00:54:55,427
une entrée et une autre entrée qui peut
être une version corrompue de la première

1031
00:54:55,510 --> 00:55:00,127
ou qui peut être un morceau différent
de la vidéo etc tu les fais passer

1032
00:55:00,210 --> 00:55:02,507
par des encodeurs qui
sont identiques au niveau

1033
00:55:02,590 --> 00:55:04,730
architecture et puis tu essaies de prédire

1034
00:55:04,830 --> 00:55:07,057
la représentation de
l'entrée originale à partir

1035
00:55:07,140 --> 00:55:10,410
de celle qui a été
corrompue ou transformée etc.

1036
00:55:10,540 --> 00:55:12,570
et donc DINO marche sur ce principe.

1037
00:55:13,050 --> 00:55:18,630
IJEPA aussi et la manière
dont on empêche le collapse

1038
00:55:18,830 --> 00:55:23,430
c'est qu'on ne rétropropage les gradients
que d'un côté c'est-à-dire qu'il y a

1039
00:55:23,580 --> 00:55:25,930
un côté où l'encodeur
ne reçoit pas le gradient

1040
00:55:26,070 --> 00:55:28,550
et ses poids ne sont pas
mis à jour par gradient.

1041
00:55:29,170 --> 00:55:31,470
et les poids de cet encodeur en fait sont

1042
00:55:31,670 --> 00:55:37,850
une espèce de moyenne mobile sur le temps
des poids de l'autre qui lui est entraîné

1043
00:55:38,030 --> 00:55:41,287
et pour une raison mystérieuse ça
ne collapse pas pourquoi mystérieuse?

1044
00:55:41,370 --> 00:55:43,857
mystérieuse parce qu'on n'a pas la
théorie qui l'explique pas encore

1045
00:55:43,940 --> 00:55:45,157
ça marche mais on ne sait pas pourquoi

1046
00:55:45,240 --> 00:55:49,159
ça marche mais on ne sait pas pourquoi
du vrai engineering comme on aime comme

1047
00:55:49,242 --> 00:55:49,467
disent

1048
00:55:49,550 --> 00:55:54,487
si ce n'est pas cassé il ne faut pas
toucher la théorie c'est if I ain't broke

1049
00:55:54,570 --> 00:56:00,327
don't fix it non non la recherche
c'est on sait quoi mais ça ne marche pas

1050
00:56:00,410 --> 00:56:04,759
et du engineering c'est ça marche mais on
ne sait pas pourquoi alors qu'ici on est

1051
00:56:04,842 --> 00:56:08,767
là ça ne marche pas ici ça ne marche
pas on ne sait pas pourquoi alors il y a

1052
00:56:08,850 --> 00:56:11,827
un ou deux papiers théoriques qui
essaient d'expliquer que la dynamique

1053
00:56:11,910 --> 00:56:14,927
d'apprentissage dans ce cas-là a des
points fixes qui ne sont pas collapsés etc

1054
00:56:15,010 --> 00:56:17,307
mais bon c'est un peu
ce qu'il y a broke et bon

1055
00:56:17,390 --> 00:56:19,387
il y a des inconvénients
à utiliser ces méthodes

1056
00:56:19,470 --> 00:56:21,920
mais elles marchent et
elles marchent à l'échelle

1057
00:56:22,140 --> 00:56:25,117
et donc les modèles de vidéo
la VJEPA qu'on a entraîné

1058
00:56:25,200 --> 00:56:27,950
sur d'énormes quantités de
données ça marche très bien.

1059
00:56:28,050 --> 00:56:33,167
mais ce n'est pas satisfaisant donc la
méthode qu'on utilise dans le world model

1060
00:56:33,250 --> 00:56:39,979
qui est une méthode qui s'appelle SIGReg
ça veut dire Sketched Isotropic Gaussian

1061
00:56:40,063 --> 00:56:42,607
Regularization et donc là tu
vas nous le dire en français

1062
00:56:42,690 --> 00:56:45,437
ah oui ça c'est une question
régulation alors attends

1063
00:56:45,520 --> 00:56:49,550
c'est quoi le premier
régularisation par gaussienne

1064
00:56:49,950 --> 00:56:55,727
par gaussienne isotrope mais le sketch
il n'y a pas de mot français dessiné

1065
00:56:55,810 --> 00:57:00,057
oui c'est par projection
par projeté par par

1066
00:57:00,140 --> 00:57:05,017
par dessin projeté par
projection intersection.

1067
00:57:05,100 --> 00:57:10,667
régularisation de gaussienne isotrope
par par projection multiple ouais

1068
00:57:10,750 --> 00:57:16,190
genre ça comme ça allez ça
c'est une exclusivité pas mal non

1069
00:57:16,320 --> 00:57:19,867
c'est français totalement c'est
tout nouveau ça dit à 10 secondes

1070
00:57:19,950 --> 00:57:22,287
c'est fraîchement sorti du
four l'académie française vient

1071
00:57:22,370 --> 00:57:24,867
et d'ailleurs est sur le coup il faut
qu'on appelle on appelle les québécois

1072
00:57:24,950 --> 00:57:27,067
on appelle l'office
québécois la technologie

1073
00:57:27,150 --> 00:57:29,150
ça fait partie d'une classe de technique

1074
00:57:29,290 --> 00:57:32,057
en fait on en a découvert
plusieurs et puis bien

1075
00:57:32,140 --> 00:57:34,827
sûr Jürgen Schmidhuber dit
qu'il a inventé ça en 1990

1076
00:57:34,910 --> 00:57:37,987
mais en fait il y a des
papiers qui datent des années 80

1077
00:57:38,070 --> 00:57:40,987
de Geoffrey Hinton et de Sue Becker
qui sont un peu basés sur l'idée

1078
00:57:41,070 --> 00:57:43,107
qui est de dire si
on a un truc comme ça qui

1079
00:57:43,190 --> 00:57:45,277
ne reconstruit pas donc qui peut collapser

1080
00:57:45,360 --> 00:57:49,310
on va essayer de maximiser la
quantité d'informations qui sort

1081
00:57:49,440 --> 00:57:52,527
des encodeurs on va essayer
de trouver une mesure

1082
00:57:52,610 --> 00:57:54,830
qui mesure la quantité d'informations.

1083
00:57:54,980 --> 00:57:57,328
alors il y a un gros problème avec
ça c'est qu'on ne sait pas mesurer

1084
00:57:57,412 --> 00:58:01,177
l'information parce que pour mesurer
l'information avec toutes les définitions

1085
00:58:01,260 --> 00:58:03,387
il faut connaître la
distribution de probabilités

1086
00:58:03,470 --> 00:58:05,570
dans un espace continu de haute dimension

1087
00:58:05,740 --> 00:58:11,847
essayer de trouver une distribution
de probabilités à partir d'échantillons

1088
00:58:11,930 --> 00:58:14,507
c'est un problème ultra compliqué
qu'on ne sait absolument pas résoudre

1089
00:58:14,590 --> 00:58:17,027
qui est mathématiquement
intractable qui est plus compliqué

1090
00:58:17,110 --> 00:58:19,267
que tout le machine learning
donc ce n'est pas la peine.

1091
00:58:19,350 --> 00:58:22,427
donc on ne sait pas calculer l'information
on ne peut faire que des approximations

1092
00:58:22,510 --> 00:58:26,227
et il y a un gros problème c'est que
toutes les approximations qu'on peut faire

1093
00:58:26,310 --> 00:58:30,930
c'est estimer les quantités
d'informations dans une série de vecteurs.

1094
00:58:31,530 --> 00:58:36,090
c'est que des surestimations. c'est que
des bandes supérieures pas inférieures

1095
00:58:36,340 --> 00:58:37,247
et on voudrait maximiser

1096
00:58:37,330 --> 00:58:39,717
si on veut maximiser quelque chose
et qu'on a une bande inférieure

1097
00:58:39,800 --> 00:58:43,070
on pousse sur la bande
inférieure ça pousse la quantité

1098
00:58:43,450 --> 00:58:45,995
mais si on n'a que des bandes supérieures
et qu'on tire dessus on ne sait pas du

1099
00:58:46,079 --> 00:58:50,030
tout si ça va suivre
alors on fait ça quand même

1100
00:58:50,180 --> 00:58:54,447
et on croise les doigts donc c'est aussi
un peu l'engineering c'est ça que j'adore

1101
00:58:54,530 --> 00:59:00,190
mais il y a un peu des maths derrière
quand même donc l'idée c'est comment

1102
00:59:00,390 --> 00:59:05,771
faire en sorte qu'on fait passer une
quantité d'exemples dans l'encodeur et

1103
00:59:05,854 --> 00:59:08,287
puis donc ce qu'on va récupérer
c'est une espèce de matrice

1104
00:59:08,370 --> 00:59:12,208
pour chaque exemple on a un vecteur
de représentation et puis pour tous les

1105
00:59:12,292 --> 00:59:12,627
exemples

1106
00:59:12,710 --> 00:59:15,707
qu'on a passés c'est une ligne donc on se
retrouve avec une matrice chaque ligne

1107
00:59:15,790 --> 00:59:19,430
il y a une augmentation d'un vecteur
chaque colonne est une variable

1108
00:59:19,700 --> 00:59:24,107
pour tous les exemples d'accord
comment maximiser l'information

1109
00:59:24,190 --> 00:59:27,167
qu'il y a dans cette matrice alors
d'abord si toutes les valeurs sont égales

1110
00:59:27,250 --> 00:59:31,930
il n'y a pas d'information donc
il faut s'assurer que par exemple

1111
00:59:32,080 --> 00:59:34,477
toutes les lignes soient
différentes ça c'est

1112
00:59:34,560 --> 00:59:36,527
une méthode contrastive
une méthode contrastive

1113
00:59:36,610 --> 00:59:39,007
tu dis voilà un exemple il y a un
deuxième exemple il est différent

1114
00:59:39,090 --> 00:59:41,137
fais en sorte que les
deux augmentations soient

1115
00:59:41,220 --> 00:59:43,670
différentes ça c'est
une méthode contrastive

1116
00:59:44,020 --> 00:59:48,927
les méthodes un peu nouvelles comme
Cy c'est plutôt un peu l'inverse

1117
00:59:49,010 --> 00:59:52,357
c'est-à-dire qu'on essaie de faire en
sorte que les colonnes soient différentes.

1118
00:59:52,440 --> 00:59:54,510
c'est-à-dire que chaque variable.

1119
00:59:55,210 --> 00:59:59,470
véhicule une information
différente d'accord

1120
00:59:59,680 --> 01:00:02,307
alors on a eu une première idée tu
peux pas le faire ça avec des rotations

1121
01:00:02,390 --> 01:00:05,737
tout simplement alors tu peux faire
ça en mesurant des corrélations

1122
01:00:05,820 --> 01:00:09,567
donc on avait deux méthodes en fait la
première méthode qui m'a un peu moi allumé

1123
01:00:09,650 --> 01:00:12,617
qui m'a un peu convaincu
que ces trucs-là pouvaient

1124
01:00:12,700 --> 01:00:16,550
marcher qu'on a appelé
qu'on a appelé Barlow Twins

1125
01:00:16,700 --> 01:00:23,110
les jumeaux de Barlow d'accord
Barlow c'est un un monstre de la

1126
01:00:23,310 --> 01:00:26,110
des neurosciences théoriques anglais

1127
01:00:26,310 --> 01:00:29,386
qui a basé beaucoup de ses théories
sur les histoires de maximisation

1128
01:00:29,469 --> 01:00:30,027
d'informations

1129
01:00:30,110 --> 01:00:36,147
efficacité du codage etc c'était un
post-doc qui travaillait avec moi à Meta

1130
01:00:36,230 --> 01:00:37,717
qui s'appelait Stéphane Denis un français

1131
01:00:37,800 --> 01:00:44,190
qui est maintenant prof en Finlande
et l'idée en fait de décorréler

1132
01:00:44,440 --> 01:00:49,190
les colonnes de cette matrice on les
rendant orthogonales les unosons.

1133
01:00:49,720 --> 01:00:54,267
donc ça a à voir avec rendre la
matrice de covariance des données

1134
01:00:54,350 --> 01:00:56,967
donc tu prends cette matrice tu
la prémultiplies par sa transposée

1135
01:00:57,050 --> 01:00:58,787
ça te donne une matrice de covariance

1136
01:00:58,870 --> 01:01:00,957
et tu te fais en sorte
pour qu'elle soit diagonale

1137
01:01:01,040 --> 01:01:03,067
c'est-à-dire qu'il y a des
1 sur la diagonale des 0

1138
01:01:03,150 --> 01:01:08,110
et ça fait des variables qui ont toute
une variance 1 et qui sont décorrélées

1139
01:01:08,310 --> 01:01:10,907
maintenant décorrélées ça
ne veut pas dire indépendant.

1140
01:01:10,990 --> 01:01:14,107
donc on a une deuxième méthode qui
s'appelait VC regularization (VICReg)

1141
01:01:14,190 --> 01:01:17,217
variance covariance
regularization qui est une méthode

1142
01:01:17,300 --> 01:01:20,150
simplifiée de Barlow
Twins qui marche très bien

1143
01:01:20,400 --> 01:01:27,400
avec Adrian Bard qui est un ancien
étudiant en doctorat résident à FAIR

1144
01:01:28,680 --> 01:01:31,510
co-supervisé par Jean Ponce et moi.

1145
01:01:32,360 --> 01:01:37,430
il n'a pas fini à Google lui depuis
il est devenu chercheur à FAIR.

1146
01:01:38,080 --> 01:01:42,149
et là depuis quelques semaines
il est à AmiLabs - Ah! Trop bien!

1147
01:01:42,233 --> 01:01:43,707
- Google ils ont eu Bard

1148
01:01:43,790 --> 01:01:45,896
ils ont eu Bard c'est pour ça je me suis
dit est-ce que c'est lui qu'a donné le

1149
01:01:45,979 --> 01:01:49,157
nom? est-ce que ça veut dire
que le travail sur les world

1150
01:01:49,240 --> 01:01:51,710
models c'est un travail
un peu plus mathématique

1151
01:01:51,840 --> 01:01:55,147
que les modèles de
transformers, de diffusion,

1152
01:01:55,230 --> 01:01:57,727
LLM est-ce qu'il y a une dimension?

1153
01:01:57,810 --> 01:02:01,767
diffusion il y a des maths aussi c'est
plutôt la physique d'ailleurs la physique

1154
01:02:01,850 --> 01:02:04,267
mais est-ce que ça veut dire que
là tu as une dimension mathématique

1155
01:02:04,350 --> 01:02:07,037
sur les espaces vectoriels un peu
plus compliqués est-ce que ça veut

1156
01:02:07,120 --> 01:02:11,827
disons qu'il y a il y a tout spectre il
y a des théories théorie il y a des maths

1157
01:02:11,910 --> 01:02:14,377
la théorie théorie qui
n'est pas encore trop faite

1158
01:02:14,460 --> 01:02:17,917
enfin si c'est plutôt Randall
Balestriero qui est le premier auteur de

1159
01:02:18,000 --> 01:02:23,230
pas LeWorldModel mais LeJEPA
qui est le papier d'avant

1160
01:02:23,330 --> 01:02:27,210
qui lui est pas mal branché sur
l'aspect de ça il est aussi français

1161
01:02:27,510 --> 01:02:32,590
il est prof à Brown il est
aussi affilié à AmiLabs et

1162
01:02:32,890 --> 01:02:39,427
donc il y a des maths et puis il y a
effectivement l'ingénierie et du bricolage

1163
01:02:39,510 --> 01:02:46,227
et du tournevis et puis il arrive à
faire marcher... Alors l'idée de SIGReg

1164
01:02:46,310 --> 01:02:50,127
c'est de dire on veut pas simplement
décorréler les variables mais on veut les

1165
01:02:50,210 --> 01:02:53,860
rendre statistiquement indépendantes
et là c'est beaucoup plus compliqué.

1166
01:02:53,990 --> 01:02:59,877
et on ne sait mesurer la dépendance
statistique de deux variables enfin on ne

1167
01:02:59,960 --> 01:03:04,390
sait mesurer la dépendance statistique
que de deux variables d'accord

1168
01:03:04,890 --> 01:03:06,670
ou même que d'une.

1169
01:03:07,370 --> 01:03:09,710
en haute dimension c'est très compliqué.

1170
01:03:10,550 --> 01:03:17,290
alors cette idée j'avais une idée
vague et puis Randall en fait a.

1171
01:03:17,490 --> 01:03:24,490
complètement a pris l'idée
a couru à 100 km/h avec

1172
01:03:25,250 --> 01:03:31,227
c'est de dire si on si on a une collection
de points donc on peut voir cette matrice

1173
01:03:31,310 --> 01:03:33,610
comme une collection de
points dans un espace.

1174
01:03:34,210 --> 01:03:41,049
comment faire en sorte de bouger ces
points pour que à la fin il soit une

1175
01:03:41,132 --> 01:03:45,527
distribution gaussienne isotrope
c'est à dire qu'elle soit gaussienne

1176
01:03:45,610 --> 01:03:47,847
dans toutes les directions
avec la même variance

1177
01:03:47,930 --> 01:03:54,930
et il y a un théorème qui dit que si une
si une une distribution est gaussienne

1178
01:03:55,850 --> 01:03:57,757
de cette manière là en
fait c'est la distribution

1179
01:03:57,840 --> 01:03:59,790
qui a le plus de contenu informationnel

1180
01:04:00,170 --> 01:04:03,281
pour une variance donnée alors bon ça
c'est pas un argument qui est très très

1181
01:04:03,364 --> 01:04:05,264
fort mais c'est intéressant quand même

1182
01:04:05,660 --> 01:04:09,297
et puis il y a un deuxième théorème qui
est beaucoup plus intéressant qui dit que

1183
01:04:09,380 --> 01:04:13,866
si toutes les projections donc on prend
les points on les projette selon une

1184
01:04:13,949 --> 01:04:17,590
dimension ce qu'on va obtenir c'est
une distribution unidimensionnelle.

1185
01:04:18,940 --> 01:04:21,847
si toutes les projections donc
toutes les distributions marginales

1186
01:04:21,930 --> 01:04:25,620
d'une distribution en haute
dimension dans toutes les directions

1187
01:04:25,730 --> 01:04:30,470
sont toutes gaussiennes. la distribution
jointe est gaussienne donc idée

1188
01:04:30,620 --> 01:04:33,367
on va faire plein de
projections des points qu'on

1189
01:04:33,450 --> 01:04:36,190
a et on va faire en
sorte de bouger les points

1190
01:04:36,640 --> 01:04:40,607
selon toutes ces directions pour que
la distribution unidimensionnelle soit

1191
01:04:40,690 --> 01:04:43,777
gaussienne et ça on sait le faire
c'est-à-dire qu'on sait calculer

1192
01:04:43,860 --> 01:04:45,790
en une dimension la distance

1193
01:04:46,070 --> 01:04:48,927
entre une distribution empirique
qui est donnée par des points.

1194
01:04:49,010 --> 01:04:52,407
et une distribution idéale qui pourrait
être gaussienne ou n'importe quoi.

1195
01:04:52,490 --> 01:04:55,987
on peut calculer une distance et non
seulement ça on peut calculer le gradient

1196
01:04:56,070 --> 01:04:59,887
de cette distance donc ça veut dire qu'on
sait dans quelle direction et de combien

1197
01:04:59,970 --> 01:05:00,970
bouger chaque point.

1198
01:05:01,460 --> 01:05:07,387
selon chaque projection de manière
à ce que la distribution marginale

1199
01:05:07,470 --> 01:05:10,197
dans cette direction-là soit gaussienne
et dans celle-là soit gaussienne aussi

1200
01:05:10,280 --> 01:05:12,447
et puis il y a un
troisième théorème qui dit

1201
01:05:12,530 --> 01:05:17,187
bon en fait tu n'as pas besoin de projeter
sur toutes les dimensions si ta fonction

1202
01:05:17,270 --> 01:05:19,950
est un petit peu rigide en
fait tu n'as besoin que de

1203
01:05:20,050 --> 01:05:24,207
un subset tu n'as pas besoin d'un nombre
de dimensions exponentielles en fonction

1204
01:05:24,290 --> 01:05:28,150
de la nombre de projections
exponentielles en fonction de la dimension

1205
01:05:28,340 --> 01:05:30,417
et donc ça ça marche super bien et puis il

1206
01:05:30,500 --> 01:05:33,230
n'y a pas beaucoup de
paramètres à ajuster etc

1207
01:05:33,550 --> 01:05:35,930
mais ce n'est pas parfait ce qui manque.

1208
01:05:36,680 --> 01:05:41,810
dans cette technique c'est le
fait que on lui donne a priori.

1209
01:05:42,080 --> 01:05:44,790
une dimension qu'il faut
remplir avec les points.

1210
01:05:45,400 --> 01:05:48,097
et il n'y a aucune raison
que la distribution d'entrée

1211
01:05:48,180 --> 01:05:51,827
en fait remplisse toutes ces dimensions
donc il faudra une manière d'adapter

1212
01:05:51,910 --> 01:05:55,897
les dimensions automatiquement que le
système automatiquement découvre les

1213
01:05:55,980 --> 01:06:01,310
dimensions intrinsèques de la variété
qui contient toutes les données en entrée.

1214
01:06:01,670 --> 01:06:05,847
d'une part et puis d'autre part il se
peut très bien qu'on ne puisse pas réduire

1215
01:06:05,930 --> 01:06:10,710
cette distribution à une gaussienne
donc par exemple si je prends des images

1216
01:06:10,860 --> 01:06:12,590
d'objets selon tous les angles

1217
01:06:12,690 --> 01:06:18,890
possibles si je prends
des photos à mégapixels

1218
01:06:19,040 --> 01:06:22,897
de cet objet sous tous les
angles possibles ok donc

1219
01:06:22,980 --> 01:06:25,507
chaque image c'est un vecteur
à un million de dimensions

1220
01:06:25,590 --> 01:06:28,390
c'est un point dans l'espace
d'un million de dimensions.

1221
01:06:29,120 --> 01:06:33,490
la trajectoire suivie
par par tous ces points

1222
01:06:33,690 --> 01:06:35,540
à mesure que je fais tourner l'objet.

1223
01:06:36,060 --> 01:06:39,767
c'est une trajectoire très compliquée dans
cet espace à un million de dimensions.

1224
01:06:39,850 --> 01:06:42,767
mais topologiquement c'est un cercle
c'est un cercle parce que tu es capable

1225
01:06:42,850 --> 01:06:45,907
de projeter orthogonalement sur chaque
parce que tu sais que tu vas revenir

1226
01:06:45,990 --> 01:06:49,427
à ton point de départ parce qu'une fois
que tu as tourné 360 degrés tu reviens

1227
01:06:49,510 --> 01:06:52,077
à ton point de départ
on joue on joue d'accord on

1228
01:06:52,160 --> 01:06:55,190
joue sur alors c'est c'est
élégant c'est élégant oui

1229
01:06:55,290 --> 01:06:59,307
c'est une trajectoire qui est horriblement
tarabiscotée qui n'est pas du tout

1230
01:06:59,390 --> 01:07:03,240
un cercle mais c'est topologiquement
assimilable à un cercle c'est à dire que

1231
01:07:03,460 --> 01:07:06,710
tu lui tires dessus sans rien
casser et ça devient un cercle.

1232
01:07:07,460 --> 01:07:10,730
maintenant si je le fais tourner comme ça.

1233
01:07:11,530 --> 01:07:12,530
et comme ça.

1234
01:07:13,150 --> 01:07:17,907
ça va être un truc un peu compliqué ça
va être une sphère en fait enfin ça reste

1235
01:07:17,990 --> 01:07:20,848
oui voilà c'est ça mais il y a une
troisième dimension où je n'ai pas fait

1236
01:07:20,932 --> 01:07:23,777
tourner et donc ça veut dire que celle-là
elle est ouverte donc ça va être un tube

1237
01:07:23,860 --> 01:07:26,487
un peu de cylindre en
fait c'est un peu sur

1238
01:07:26,570 --> 01:07:30,227
ce thème qui était les
papiers de 2005-2006

1239
01:07:30,310 --> 01:07:33,707
avec mes étudiants Sumit Chopra, Raia
Hadsell. Raia Hadsell qui est directrice

1240
01:07:33,790 --> 01:07:40,210
de la recherche à DeepMind by the way
donc... elle a bien raté sa carrière

1241
01:07:44,400 --> 01:07:47,173
manifestement! non elle est
incroyablement talentueuse.

1242
01:07:47,257 --> 01:07:49,407
Donc en fait c'est des
maths assez avancées

1243
01:07:49,490 --> 01:07:52,707
de dimension élevée mais on retombe
sur des choses qu'on connaît avec des

1244
01:07:52,790 --> 01:07:58,616
pas des tricks mais avec des formes ou
de la géométrie - Bah conceptuellement en

1245
01:07:58,699 --> 01:07:59,207
tout cas

1246
01:07:59,290 --> 01:08:05,787
avec la géométrie - mais il y a des
problèmes sur lesquels on travaille

1247
01:08:05,870 --> 01:08:09,430
en ce moment qui est comment modifier
SIGReg et des choses similaires

1248
01:08:09,530 --> 01:08:12,401
pour que le système découvre
automatiquement la topologie des données

1249
01:08:12,485 --> 01:08:14,590
d'entrée. et la dimension intrinsèque

1250
01:08:15,090 --> 01:08:17,956
on a quelques idées là-dessus on a des
trucs qui marchent à moitié mais il y

1251
01:08:18,040 --> 01:08:20,177
a encore du boulot à faire
c'est pas un problème résolu le

1252
01:08:20,260 --> 01:08:22,327
Le temps passe vite il nous
reste trois petits points

1253
01:08:22,410 --> 01:08:25,887
Il y en a un: données d'entraînement.
Aujourd'hui les données d'entraînement

1254
01:08:25,970 --> 01:08:29,067
on voit plein de vidéos on voit des
entreprises qui obligent les gens

1255
01:08:29,150 --> 01:08:30,877
à mettre des casques pour
s'enregistrer avec les

1256
01:08:30,960 --> 01:08:33,117
mains, on voit des gens
qui génèrent des vidéos

1257
01:08:33,200 --> 01:08:34,917
de la vie de tous les
jours des balles de tennis

1258
01:08:35,000 --> 01:08:37,117
qui tapent dans tous
les sens on voit des labs

1259
01:08:37,200 --> 01:08:41,270
qui se font avec où il y
a besoin on donne les X, Y, Z

1260
01:08:41,470 --> 01:08:43,927
avec la force en Newton
pour vraiment nourrir

1261
01:08:44,010 --> 01:08:47,450
les modèles donc là vraiment très
supervisé on voit des jeux vidéo

1262
01:08:47,700 --> 01:08:50,537
de la 3D voilà aujourd'hui
c'est quoi l'écosystème un peu de

1263
01:08:50,620 --> 01:08:53,787
et qu'est-ce qu'il faut pour les
jeux pas modèles alors la raison

1264
01:08:53,870 --> 01:08:56,467
pour laquelle les gens utilisent des
jeux vidéo pour entraîner des modèles

1265
01:08:56,550 --> 01:08:58,447
ça se fait beaucoup à
DeepMind par exemple et

1266
01:08:58,530 --> 01:09:02,090
puis il y a eu d'autres
gens qui croient à ça.

1267
01:09:02,690 --> 01:09:06,590
la raison pour laquelle ils utilisent
des jeux vidéo c'est que les jeux vidéo.

1268
01:09:07,510 --> 01:09:08,967
les données étant
synthétiques qui captulent dans

1269
01:09:09,050 --> 01:09:11,930
tout l'état du monde tu
peux prédire des pixels.

1270
01:09:13,180 --> 01:09:16,557
c'est-à-dire qu'il n'y a il n'y a pas
l'incertitude qu'il y a dans le monde réel

1271
01:09:16,640 --> 01:09:19,240
ou prédire des pixels c'est
pas complètement débile.

1272
01:09:19,690 --> 01:09:23,457
et donc ça fait qu'on peut utiliser
des modèles génératifs un peu classiques

1273
01:09:23,540 --> 01:09:26,650
pour entraîner des modèles du
monde par prédiction de pixels

1274
01:09:26,850 --> 01:09:29,507
mais ça ne marche pas pour la vraie
vidéo mais est-ce que c'est pas

1275
01:09:29,590 --> 01:09:32,197
celui qui a perdu ses clés
devant chez lui dans le noir

1276
01:09:32,280 --> 01:09:34,758
et qui va sous le réverbère parce que
c'est éclairé et qu'il les cherche sur

1277
01:09:34,841 --> 01:09:38,217
place c'est un peu ça quand même c'est
parce qu'ils fonctionnent en pixels

1278
01:09:38,300 --> 01:09:42,630
qu'ils génèrent des pixels voilà et ça
ne marche que pour les jeux vidéo en gros.

1279
01:09:42,720 --> 01:09:45,083
donc c'est l'une des raisons pour
lesquelles les gens se mettent sur les

1280
01:09:45,166 --> 01:09:45,287
vidéos

1281
01:09:45,370 --> 01:09:51,207
ou sur des vidéos de simulation de robots
enfin des trucs synthétiques parce que là

1282
01:09:51,290 --> 01:09:55,048
il n'y a pas toutes les textures
impossibles et le bruit qu'il y a dans le

1283
01:09:55,131 --> 01:09:59,867
monde réel il n'y a pas aussi une histoire
de capture de l'état du monde complet

1284
01:09:59,950 --> 01:10:05,747
parce que dans les jeux vidéo tu peux
capturer le monde à l'unité de granularité

1285
01:10:05,830 --> 01:10:09,067
que tu veux ouais mais c'est pas un
problème de capteur on a tous les capteurs

1286
01:10:09,150 --> 01:10:12,207
qu'on veut nous on n'apprend pas comme des
jeux vidéo enfin la thèse c'est de dire

1287
01:10:12,290 --> 01:10:14,987
si on fait des modèles qui apprennent
comme on apprend comme un chat apprend

1288
01:10:15,070 --> 01:10:16,857
comme un enfant apprend
comme un adulte apprend

1289
01:10:16,940 --> 01:10:19,747
nous on n'a pas besoin de connaître tout
l'état du monde est-ce que tu peux devenir

1290
01:10:19,830 --> 01:10:22,047
un bon jeu vidéo grâce à ça
pour Elon ça pourrait être cool

1291
01:10:22,130 --> 01:10:27,027
il a besoin de payer des gens
par exemple il y a un truc

1292
01:10:27,110 --> 01:10:30,290
c'est qu'à un moment donné
tu dois quand même revenir

1293
01:10:30,490 --> 01:10:33,429
pas pour tout évidemment mais revenir
quand même il y a une équation dans pas

1294
01:10:33,512 --> 01:10:36,747
mal tu vois tu apprends la physique
en lançant une balle alors après

1295
01:10:36,830 --> 01:10:42,111
tu apprends dans la gueule comme ça
tu l'offres combien mais tu reviens

1296
01:10:42,194 --> 01:10:44,870
finalement est-ce que
tu reviens quelque part

1297
01:10:45,100 --> 01:10:47,924
à une équation une vraie équation
mathématique ou quelque part on n'en

1298
01:10:48,007 --> 01:10:48,547
a rien à foutre

1299
01:10:48,630 --> 01:10:53,687
en fait c'est ça le chat il ne comprend
pas les équations le chat de Schrödinger

1300
01:10:53,770 --> 01:10:56,567
il comprend les équations mais pas
les deux est-ce qu'il y a une équation

1301
01:10:56,650 --> 01:11:00,807
pour créer de la donnée pour justement
injecter dans le modèle chaque gouttière

1302
01:11:00,890 --> 01:11:04,570
a un très très très bon modèle
prédictif de sa propre dynamique.

1303
01:11:05,420 --> 01:11:08,730
il retombe sur ses pattes il
ne connaît pas les Noël Newton.

1304
01:11:09,400 --> 01:11:11,017
enfin il ne les connaît
pas mais il les connaît

1305
01:11:11,100 --> 01:11:13,287
c'est-à-dire qu'il a sa
représentation mais il ne sait pas

1306
01:11:13,370 --> 01:11:16,562
c'est-à-dire que c'est la place qui dit
je n'ai pas eu besoin de cette hypothèse

1307
01:11:16,645 --> 01:11:16,767
voilà

1308
01:11:16,850 --> 01:11:21,027
exactement d'accord mais il n'a pas besoin
d'écrire un petit nombre d'équations

1309
01:11:21,110 --> 01:11:24,410
qu'il peut intégrer etc
par contre il a un modèle

1310
01:11:24,660 --> 01:11:27,307
il a un modèle phénoménologique de sa
propre dynamique qui est incroyablement

1311
01:11:27,390 --> 01:11:29,507
plus compliqué que tout
ce qu'on peut écrire

1312
01:11:29,590 --> 01:11:32,727
sur la dynamique d'un robot parce qu'il
y a l'élasticité des tordons des muscles

1313
01:11:32,810 --> 01:11:36,330
des machins enfin c'est hallucinant
complexité on ne sait pas le faire on sait

1314
01:11:36,413 --> 01:11:39,030
écrire les équations
dynamiques d'un robot humanoïde

1315
01:11:39,400 --> 01:11:42,927
et c'est parce que toutes les
articulations sont très stif

1316
01:11:43,010 --> 01:11:45,667
on connaît les caractéristiques de
tous les actuateurs on a mis du bruit

1317
01:11:45,750 --> 01:11:48,517
bien sûr aussi et c'est
comme ça toutes les démos

1318
01:11:48,600 --> 01:11:51,410
qu'on voit de robots
humanoïdes qui font du kung fu

1319
01:11:51,680 --> 01:11:55,350
c'est parce qu'on peut écrire
les équations de la dynamique

1320
01:11:55,730 --> 01:11:59,134
on ne connaît pas tous les coefficients
donc on a juste ça par reinforcement

1321
01:11:59,217 --> 01:12:00,327
learning ou par simulation

1322
01:12:00,410 --> 01:12:05,627
mais tout ça c'est pré-calculé et là
on le voit derrière des vidéos de robots

1323
01:12:05,710 --> 01:12:07,867
qui font des démonstrations puis
qui tapent des gens dans le public

1324
01:12:07,950 --> 01:12:11,667
parce qu'ils n'ont pas la personne
ils n'ont qu'à pas voir public aussi

1325
01:12:11,750 --> 01:12:15,187
t'es mignon toi mais ça fait penser à
le joueur d'échec Capablanca il disait

1326
01:12:15,270 --> 01:12:17,627
moi je calcule qu'un seul coup elle avance
mais c'est toujours le meilleur coup

1327
01:12:17,710 --> 01:12:24,710
ça fait un peu pour ça ça veut dire
que presque l'équation physique en fait

1328
01:12:25,550 --> 01:12:30,647
perd l'information puisque c'est une
simplification voilà c'est ça d'accord

1329
01:12:30,730 --> 01:12:33,387
de toute façon oui j'ai envie de te dire
c'est un modèle c'est un modèle du monde

1330
01:12:33,470 --> 01:12:35,667
oui mais là du coup ce qui est
hyper intéressant c'est qu'en fait

1331
01:12:35,750 --> 01:12:38,232
c'est pas un modèle parce que quand on
parle de modèle du monde il y a un côté un

1332
01:12:38,315 --> 01:12:40,427
peu tu sais enfin en
tout cas je parle pour moi

1333
01:12:40,510 --> 01:12:43,447
émotionnellement d'objectivité quoi
c'est à dire que tu modèles le monde

1334
01:12:43,530 --> 01:12:46,467
alors qu'en fait au contraire là tu
prends l'exemple du chat comme tu dis

1335
01:12:46,550 --> 01:12:50,087
il modèle le monde dans son propre
référentiel avec ses propres contraintes

1336
01:12:50,170 --> 01:12:54,587
l'élasticité la condition physique
si il a une personne de confiture

1337
01:12:54,670 --> 01:12:59,010
attachée sur son dos finalement c'est très
subjectif par exemple j'ai deux hobbies.

1338
01:12:59,660 --> 01:13:03,050
un c'est la voile et l'autre c'est
fabriquer des petits avions ok

1339
01:13:03,450 --> 01:13:07,387
et dans ces deux trucs là très vent quoi
très faut pas qu'on te parle de Kyber

1340
01:13:07,470 --> 01:13:09,097
très aérien très aérien
des expériences qu'on va

1341
01:13:09,180 --> 01:13:12,550
faire chez Kyber parce
que quand tu fais la voile

1342
01:13:13,020 --> 01:13:18,050
en tout cas moi quand je fais la voile
pour régler les voiles j'ai une espèce de.

1343
01:13:18,650 --> 01:13:20,650
pseudo simulateur dans la tête du

1344
01:13:20,800 --> 01:13:23,511
l'écoulement de l'air derrière la
voile si je borde trop il va y avoir des

1345
01:13:23,595 --> 01:13:29,127
turbulences derrière au-delà de 120 degrés
ça marche pas machin machin enfin j'ai ça

1346
01:13:29,210 --> 01:13:33,707
un peu dans la tête c'est le problème
il n'y a pas besoin il n'y a pas besoin

1347
01:13:33,790 --> 01:13:37,647
parce qu'il y a un modèle phénoménologique
qu'on a dans la tête on sait qu'il faut

1348
01:13:37,730 --> 01:13:41,427
aborder le foc un petit peu
un petit peu plus pour faire

1349
01:13:41,510 --> 01:13:44,410
coller les machins derrière
la grande voile etc etc

1350
01:13:44,760 --> 01:13:47,806
on sait qu'il ne faut pas aller
complètement en voie arrière avec un

1351
01:13:47,890 --> 01:13:50,767
multicoque parce qu'on va
moins vite que si on va un petit

1352
01:13:50,850 --> 01:13:53,210
peu et qu'on garde le
flot laminaire et tout

1353
01:13:53,640 --> 01:13:56,050
et c'est grâce à une
espèce de modèle mental

1354
01:13:56,250 --> 01:14:02,127
pareil si je suis en train de construire
un avion télécommandé je fais un profil

1355
01:14:02,210 --> 01:14:07,666
un profil d'elle c'est un peu à la louche
je ne vais pas faire la simulation de

1356
01:14:07,749 --> 01:14:08,087
fluide

1357
01:14:08,170 --> 01:14:11,627
sur le machin mais bon je sais à peu près
quelles sont les caractéristiques et tout

1358
01:14:11,710 --> 01:14:15,387
mais c'est pareil il y a une espèce de
simulation mentale de ce qui se passe

1359
01:14:15,470 --> 01:14:21,446
les modèles MuZero, PlaNet, Dreamer ils
sont dans cette idée de tout simuler en

1360
01:14:21,530 --> 01:14:24,147
avance avec beaucoup de paramètres non?

1361
01:14:24,230 --> 01:14:25,107
c'est pas un peu ça leur modèle?

1362
01:14:25,190 --> 01:14:29,400
alors je vais y venir dans
une seconde alors donc tout ça.

1363
01:14:29,840 --> 01:14:31,910
c'est grâce à un modèle phénoménologique

1364
01:14:32,010 --> 01:14:36,027
d'un phénomène très compliqué collectif
qu'on pourrait en principe réduire

1365
01:14:36,110 --> 01:14:37,947
à quelques équations mais
qui est hyper compliqué

1366
01:14:38,030 --> 01:14:43,770
donc ce que font les gens qui font chez
Dassault qui font les rafales et tout ça

1367
01:14:44,070 --> 01:14:47,910
ils font la simulation de fluide
d'écoulement de fluide autour des avions

1368
01:14:48,110 --> 01:14:50,710
par ce qu'on appelle CFD
Computation Fluid Dynamics

1369
01:14:51,230 --> 01:14:57,090
ça consiste à dire je prends un volume
je découpe le volume en petits cubes

1370
01:14:57,240 --> 01:15:01,950
et dans chaque cube je modélise l'état
de l'air là-dedans par une vitesse.

1371
01:15:02,600 --> 01:15:07,550
une densité température viscosité etc

1372
01:15:07,700 --> 01:15:11,227
et ça c'est une abstraction parce
qu'en fait le phénomène sous-jacent

1373
01:15:11,310 --> 01:15:13,775
c'est des molécules d'air qui se collent
les unes contre les autres et qui se

1374
01:15:13,858 --> 01:15:19,030
collent sur l'avion donc en fait
on oublie on abstrait complètement

1375
01:15:19,230 --> 01:15:22,110
on élimine les positions et
vitesses des molécules d'air

1376
01:15:22,210 --> 01:15:25,717
ça sera trop compliqué à simuler de toute
façon ça ne collerait pas à la réalité.

1377
01:15:25,800 --> 01:15:29,070
on fait une abstraction qui sont
on découpe l'air en petits cubes

1378
01:15:29,170 --> 01:15:31,770
et ensuite on résout les
équations de Navier-Stokes.

1379
01:15:31,900 --> 01:15:36,687
et ça c'est une représentation de la
réalité qui est plus ou moins incorrecte

1380
01:15:36,770 --> 01:15:38,807
quand il y a des turbulences ce
n'est pas forcément exactement correct

1381
01:15:38,890 --> 01:15:41,787
mais c'est suffisant mais à la fin ce
qu'on veut ce n'est pas ça ce qu'on veut

1382
01:15:41,870 --> 01:15:45,427
c'est une portance une traînée
d'ailleurs ma planète donc Daniel Jerafner

1383
01:15:45,510 --> 01:15:50,940
je connais depuis longtemps et il est
parti d'Iman d'ailleurs il a sa boîte donc

1384
01:15:51,023 --> 01:15:54,970
lui il fait la prédiction dans
un espace de représentation.

1385
01:15:55,370 --> 01:15:57,670
mais le problème à mon avis

1386
01:15:57,820 --> 01:15:59,687
qui n'est pas la bonne manière
de le faire c'est qu'il entraîne

1387
01:15:59,770 --> 01:16:02,157
l'espace de représentation
avec un auto-encodeur

1388
01:16:02,240 --> 01:16:08,710
avec un VAE en fait donc donc tu prends
une trame d'entrée tu l'auto-encode

1389
01:16:08,860 --> 01:16:12,217
tu réalises l'information
la représentation pour

1390
01:16:12,300 --> 01:16:15,090
que ton auto-encodeur
colle à ce pas justement

1391
01:16:15,240 --> 01:16:18,170
et puis ensuite tu utilises
l'encodeur pré-entraîné.

1392
01:16:18,820 --> 01:16:23,750
avec un prédicteur pour
faire un modèle du monde.

1393
01:16:24,100 --> 01:16:27,107
c'est la bonne direction mais c'est
pas un JEPA pur parce qu'il fait pas

1394
01:16:27,190 --> 01:16:29,707
l'entraînement end-to-end. - Amilab
donc c'est une boîte basée en France

1395
01:16:29,790 --> 01:16:33,647
une boîte internationale vous avez des
bureaux - c'est une boîte globale globale

1396
01:16:33,730 --> 01:16:38,130
since day one comme on dit depuis le jour
1 mais alors il y a une question c'est de

1397
01:16:38,310 --> 01:16:40,450
pourquoi la France pourquoi Paris

1398
01:16:40,550 --> 01:16:43,347
voilà la question c'est est-ce que
parce que c'est toi qui as entraîné

1399
01:16:43,430 --> 01:16:45,710
toute la génération avec le lab FAIR Meta

1400
01:16:46,230 --> 01:16:49,287
tu as vu qu'en France il y avait ce
qu'il fallait puis tu t'es dit qu'en fait

1401
01:16:49,370 --> 01:16:53,147
il y a tout ce qu'il faut ici pour que ce
soit prospère quelles étaient les raisons

1402
01:16:53,230 --> 01:16:57,547
on va dire rationnelles
de faire Amilab ici?

1403
01:16:57,630 --> 01:17:01,167
plusieurs raisons la première raison
c'est qu'il y a beaucoup de talent

1404
01:17:01,250 --> 01:17:04,577
en Europe et en France en
particulier ou de talent

1405
01:17:04,660 --> 01:17:06,910
ailleurs dans le monde
qui serait tout à fait

1406
01:17:07,010 --> 01:17:10,727
prêt à venir à Paris il y a des pires
conditions il y a pire parce que bon

1407
01:17:10,810 --> 01:17:12,537
une partie de l'équipe qui a travaillé sur

1408
01:17:12,620 --> 01:17:15,250
tous ces projets de JEPA
etc qui est en France.

1409
01:17:15,900 --> 01:17:18,750
une autre qui est au Canada
une autre qui est à New York.

1410
01:17:19,230 --> 01:17:22,950
donc l'ouverture de ces trois sites

1411
01:17:23,400 --> 01:17:29,250
Paris, New York, Montréal avait du sens
à cause du fait que l'équipe était là.

1412
01:17:30,000 --> 01:17:34,527
on a aussi un labo à Singapour la
raison du labo à Singapour c'est pour

1413
01:17:34,610 --> 01:17:38,390
d'abord on a des clients
des investisseurs asiatiques

1414
01:17:38,840 --> 01:17:41,230
on veut pouvoir leur parler localement

1415
01:17:41,680 --> 01:17:45,347
il y a beaucoup de talent à Singapour
beaucoup qui viennent de Chine

1416
01:17:45,430 --> 01:17:51,767
mais aussi beaucoup local et puis surtout
avec les politiques d'immigration stupides

1417
01:17:51,850 --> 01:17:55,287
de l'administration Trump il y a pas mal
de Chinois qui voudraient partir de Chine

1418
01:17:55,370 --> 01:17:58,687
mais qui peuvent plus aller aux Etats-Unis
et Singapour c'est un bon endroit

1419
01:17:58,770 --> 01:18:02,577
pour les récupérer donc il y a pas mal
de talent qu'on peut attirer à Singapour.

1420
01:18:02,660 --> 01:18:06,417
de talent chinois il y a beaucoup donc
en fait c'est une question plus de talent

1421
01:18:06,500 --> 01:18:11,530
plus que d'investissement ou de fonds
ensuite il y a une autre grosse raison.

1422
01:18:11,780 --> 01:18:16,270
ce qui est plus géopolitique
qui est le fait qu'il y a

1423
01:18:16,720 --> 01:18:20,310
une grosse demande de la part
d'industrie et de gouvernement.

1424
01:18:20,680 --> 01:18:27,250
pour un fournisseur de technologies d'IA
de pointe qui ne soit ni américain ni

1425
01:18:27,333 --> 01:18:32,590
chinois et donc établir le
siège de l'entreprise en France

1426
01:18:32,800 --> 01:18:38,210
relève un peu de ça pour dire aux
gens on est une boîte globale mais.

1427
01:18:39,370 --> 01:18:41,570
on n'est pas américain
on n'est pas chinois.

1428
01:18:41,900 --> 01:18:47,410
on est À LA FRENCH nos
investisseurs pour tout vous dire

1429
01:18:47,960 --> 01:18:50,990
à peu près 40% de nos
investisseurs sont européens.

1430
01:18:51,320 --> 01:18:56,212
soit des fonds soit des partenaires
industriels potentiels ou des family

1431
01:18:56,295 --> 01:18:59,850
office des choses comme
ça très diversifiés

1432
01:19:00,250 --> 01:19:05,627
33% est américain des fonds des family
office donc il y a Jeff Bezos par exemple

1433
01:19:05,710 --> 01:19:12,070
et puis Greycroft qui est un fond

1434
01:19:12,620 --> 01:19:17,290
et puis et puis d'autres
des family office etc

1435
01:19:17,640 --> 01:19:24,050
et 27% est asiatique
avec un fond de Dubaï.

1436
01:19:25,100 --> 01:19:30,367
assez mineur et et donc ça vous
donne une idée de la diversité

1437
01:19:30,450 --> 01:19:34,007
c'est la diversification des c'est
tout ce qu'on défend c'est mondial

1438
01:19:34,090 --> 01:19:37,567
mais tech À LA FRENCH c'est
mondial si il se dévoie on n'est pas

1439
01:19:37,650 --> 01:19:41,000
on n'est pas Franco-français on a
une ambition complètement globale

1440
01:19:41,340 --> 01:19:46,037
mais on se repose sur les
talents français et sur la

1441
01:19:46,120 --> 01:19:49,110
position de la France et de
l'Europe plus généralement

1442
01:19:49,270 --> 01:19:54,986
comme non aligné par rapport au conflit
américano-chinois ça s'appelle Ami Labs

1443
01:19:55,070 --> 01:19:55,207
Ami

1444
01:19:55,290 --> 01:20:02,290
Ami ça se prononce en tout cas auto-aligné
sans supervision c'est ça dernier mot

1445
01:20:03,530 --> 01:20:06,147
au vu de ce qui s'est passé avec
les modèles qui se coupent et tout ça

1446
01:20:06,230 --> 01:20:07,627
toi tu es investi dans
Tapestry tu es chief

1447
01:20:07,710 --> 01:20:09,947
scientific officer de Tapestry c'est quoi?

1448
01:20:10,030 --> 01:20:14,410
c'est une fédération d'acteurs
pour une IA souveraine et fédérée

1449
01:20:14,660 --> 01:20:15,797
entre différents acteurs
est-ce que tu peux

1450
01:20:15,880 --> 01:20:17,327
en dire quelques mots
et puis on termine là?

1451
01:20:17,410 --> 01:20:19,637
oui absolument c'est un
sujet qui me tient à cœur qui

1452
01:20:19,720 --> 01:20:23,147
est un peu orthogonal à
Ami Labs orthogonal tu vois?

1453
01:20:23,230 --> 01:20:25,247
c'est Yann LeCun qui l'a dit là ça
vient de lui parce qu'à chaque fois

1454
01:20:25,330 --> 01:20:27,827
moi j'ai deux mots c'est incarnation et
orthogonal sauf que lui quand il utilise

1455
01:20:27,910 --> 01:20:32,467
c'est correct c'est pas grave
c'est pas grave il faut juste

1456
01:20:32,550 --> 01:20:35,887
maintenant je pourrais dire comme le
dit le grand Yann LeCun c'est orthogonal

1457
01:20:35,970 --> 01:20:41,487
c'est orthogonal oui c'est un effort un
petit peu orthogonal mais pas complètement

1458
01:20:41,570 --> 01:20:44,990
qui consiste à dire il y a plein de.

1459
01:20:45,640 --> 01:20:49,330
plein de pays qui voudraient une
espèce de souveraineté dans l'IA

1460
01:20:49,530 --> 01:20:53,487
pour les LLM en particulier donc
c'est plus orienté LLM ça va au-delà

1461
01:20:53,570 --> 01:20:55,990
mais pour l'instant c'est très LLM

1462
01:20:56,140 --> 01:21:03,140
tous les pays la France l'Allemagne
enfin les pays européens l'Inde.

1463
01:21:04,800 --> 01:21:08,880
le Vietnam la Suisse. les Emirats.

1464
01:21:09,680 --> 01:21:13,380
la Corée le Japon.

1465
01:21:14,090 --> 01:21:17,920
Kazakhstan tous ces pays voudraient bien.

1466
01:21:18,530 --> 01:21:21,680
une offre souveraine d'IA

1467
01:21:21,930 --> 01:21:25,920
sans être dépendant de OpenAI,
Anthropic, Google ou Meta.

1468
01:21:26,870 --> 01:21:28,780
ou des Chinois

1469
01:21:28,930 --> 01:21:31,723
donc pour l'instant il y a une grande
partie de l'industrie qui commence à

1470
01:21:31,807 --> 01:21:33,777
passer au modèle chinois parce que
c'est les meilleurs modèles Open Source

1471
01:21:33,860 --> 01:21:36,307
et on n'a pas besoin
d'utiliser les serveurs chinois.

1472
01:21:36,390 --> 01:21:40,277
mais il y a quand même des
hésitations à utiliser les

1473
01:21:40,360 --> 01:21:44,500
modèles chinois donc l'idée
c'est d'avoir une fédération.

1474
01:21:44,820 --> 01:21:49,220
de groupes régionaux qui
peuvent être universitaires, ONG.

1475
01:21:49,520 --> 01:21:52,800
ou gouvernement ou industrie privée.

1476
01:21:53,550 --> 01:22:00,197
qui contribuerait à entraîner un modèle
global consensus sans échanger leurs

1477
01:22:00,280 --> 01:22:04,120
données c'est-à-dire qu'ils gardent
la souveraineté sur leurs données.

1478
01:22:04,760 --> 01:22:08,440
ce qu'échangent les participants
c'est des vecteurs de paramètres.

1479
01:22:08,870 --> 01:22:14,100
c'est-à-dire qu'une manière simple
de faire ça c'est chaque région

1480
01:22:14,250 --> 01:22:19,000
chaque participant a son
centre de calcul a ses données.

1481
01:22:19,800 --> 01:22:23,720
dans ses langues locales dans
l'Inde il y en a déjà 300.

1482
01:22:24,530 --> 01:22:27,757
des langues il y a 22
langues officielles mais si on

1483
01:22:27,840 --> 01:22:32,150
compte toutes les langues locales
et les dialectes on ne finit pas

1484
01:22:32,390 --> 01:22:36,360
bonjour le tokeniseur ça serait
bien de s'en passer en fait

1485
01:22:36,470 --> 01:22:41,037
l'Indonésie c'est pareil il y
a 300 dialectes je ne sais pas quoi

1486
01:22:41,120 --> 01:22:44,310
donc c'est un grand problème jamais.

1487
01:22:45,020 --> 01:22:47,627
les acteurs actuels ne vont
entraîner leur LLM à parler

1488
01:22:47,710 --> 01:22:50,410
toutes ces langues jamais
ils vont ajuster leur modèle

1489
01:22:50,860 --> 01:22:55,240
à comprendre les cultures
les systèmes de valeurs etc.

1490
01:22:55,620 --> 01:23:00,480
de toutes les régions du monde donc ces
systèmes ne peuvent pas être alignés.

1491
01:23:01,050 --> 01:23:04,280
à tous les systèmes de valeurs
les biais politiques etc.

1492
01:23:04,440 --> 01:23:07,287
de toutes les régions du monde
la seule manière de faire ça.

1493
01:23:07,370 --> 01:23:12,737
c'est en fait de donner des modèles de
fondation qui soient ouverts pour que

1494
01:23:12,820 --> 01:23:15,720
tout un chacun puisse les ajuster.

1495
01:23:16,320 --> 01:23:17,470
pour ses propres biais.

1496
01:23:18,300 --> 01:23:20,597
et ça c'est indispensable
parce que à mon avis

1497
01:23:20,680 --> 01:23:22,797
tout le monde parle
des dangers de l'IA etc.

1498
01:23:22,880 --> 01:23:25,480
donc il n'y a pas de danger
de chômage de masse etc.

1499
01:23:25,940 --> 01:23:27,120
le gros danger de l'IA

1500
01:23:27,670 --> 01:23:33,559
c'est que très bientôt toutes nos
informations toute l'information qu'on

1501
01:23:33,642 --> 01:23:37,500
reçoit va se faire par
l'intermédiaire d'assistants d'IA.

1502
01:23:37,850 --> 01:23:40,547
et si ces assistants d'IA
nous viennent de trois boîtes

1503
01:23:40,630 --> 01:23:44,987
sur la côte des Etats-Unis
ou de trois ou quatre chinois.

1504
01:23:45,070 --> 01:23:49,297
c'est pas très bon pour la démocratie pour
la diversité culturelle pour la culture

1505
01:23:49,380 --> 01:23:54,177
dont on a parlé plein de fois la
multipolarisation du monde les équilibres

1506
01:23:54,260 --> 01:24:00,637
géostratégiques et surtout aussi
s'ils introduisent des biais en fait

1507
01:24:00,720 --> 01:24:03,897
tu ne peux pas contrôler il y
a forcément des biais tout système

1508
01:24:03,980 --> 01:24:07,003
est biaisé d'une manière particulière
alors la question c'est est-ce que tout le

1509
01:24:07,086 --> 01:24:11,996
monde va être biaisé comme la Californie
ce serait peut-être un moindre mal par

1510
01:24:12,080 --> 01:24:15,440
rapport à certains autres
coins des Etats-Unis mais

1511
01:24:15,720 --> 01:24:19,817
est-ce que la solution ce
ne serait pas plutôt d'avoir

1512
01:24:19,900 --> 01:24:23,900
des plateformes ouvertes et
que tout un chacun puisse.

1513
01:24:24,360 --> 01:24:26,200
affiner le modèle.

1514
01:24:26,760 --> 01:24:31,143
pour ses propres biais ses propres
systèmes tu as un métamodèle au milieu et

1515
01:24:31,226 --> 01:24:35,157
tu le fine-tune tu le customises
en fonction de ta culture alors déjà

1516
01:24:35,240 --> 01:24:37,737
il y a un modèle de base qui est entraîné
de manière distribuée c'est-à-dire

1517
01:24:37,820 --> 01:24:40,620
chaque personne a ses
données son centre de calcul

1518
01:24:40,970 --> 01:24:43,597
et ce qu'ils échangent périodiquement
c'est-à-dire ça peut être

1519
01:24:43,680 --> 01:24:45,587
toutes les millisecondes toutes
les secondes ou toutes les heures

1520
01:24:45,670 --> 01:24:46,957
c'est un vecteur de paramètres

1521
01:24:47,040 --> 01:24:51,877
et l'entraînement global du système
c'est un peu pas très différent

1522
01:24:51,960 --> 01:24:55,340
de ce qu'on appelle
l'apprentissage fédéré ou fédératif

1523
01:24:55,740 --> 01:25:02,740
c'est que périodiquement chaque
acteur reçoit le paramètre moyen.

1524
01:25:04,440 --> 01:25:05,467
d'une certaine manière

1525
01:25:05,550 --> 01:25:08,197
et est régularisé pour essayer de
se rapprocher de ce paramètre moyen

1526
01:25:08,280 --> 01:25:10,557
tout en étant entraîné sur ces
données donc c'est une espèce

1527
01:25:10,640 --> 01:25:12,400
c'est comme des élastiques en fait

1528
01:25:12,700 --> 01:25:16,217
tu relis tous ces vecteurs de paramètres
par des élastiques à leur moyenne

1529
01:25:16,300 --> 01:25:18,720
et donc ils ont une
régularisation qui l'attire

1530
01:25:18,890 --> 01:25:22,017
vers le modèle consensus qui est
la moyenne de tous ces trucs-là

1531
01:25:22,100 --> 01:25:23,850
donc ils ne s'éloignent jamais trop

1532
01:25:24,100 --> 01:25:26,857
du modèle c'est là que c'est eux
aussi qui décident de s'en approcher

1533
01:25:26,940 --> 01:25:29,397
bon ils ont intérêt à s'en approcher
ils ont intérêt à s'en approcher

1534
01:25:29,480 --> 01:25:31,230
mais ils ne sont pas obligés de s'en
approcher parce qu'à la fin mais ils ont

1535
01:25:31,313 --> 01:25:34,227
intérêt c'est ça qui est chouette
à la fin si ce truc-là converge

1536
01:25:34,310 --> 01:25:37,560
on a un modèle qui est
un consensus global.

1537
01:25:38,160 --> 01:25:40,657
qui est similaire à s'il avait
été entraîné sur toutes les données

1538
01:25:40,740 --> 01:25:43,337
sans que les données soient
échangées d'accord donc chaque région

1539
01:25:43,420 --> 01:25:45,520
conserve sa souveraineté sur ces données.

1540
01:25:45,820 --> 01:25:50,310
échange un vecteur de paramètres
et à la fin on a un modèle ouvert.

1541
01:25:50,750 --> 01:25:52,017
accessible à tout le monde

1542
01:25:52,100 --> 01:25:55,877
qui est une espèce de dépositaire de toute
la connaissance humaine et bien écoute

1543
01:25:55,960 --> 01:25:59,047
franchement c'est un bel espoir pour
une IA globale fédérée je trouve ça très

1544
01:25:59,131 --> 01:26:03,960
chouette parce qu'en plus c'est
comment ça fonctionne par intérêt

1545
01:26:04,110 --> 01:26:08,440
et pas par c'est-à-dire que t'as tout
intérêt à jouer le jeu voilà tu vois

1546
01:26:08,540 --> 01:26:13,620
plutôt que ce qui est moi mon truc de
cœur c'est des systèmes décentralisés

1547
01:26:13,770 --> 01:26:15,857
les systèmes décentralisés
fonctionnent comme ça voilà.

1548
01:26:15,940 --> 01:26:20,617
alors on a fait un
workshop de démarrage de

1549
01:26:20,700 --> 01:26:23,580
ce truc-là au début
du mois de mai à Paris.

1550
01:26:24,000 --> 01:26:31,000
où on avait des participants
européens suisses des émirats indiens.

1551
01:26:31,940 --> 01:26:33,520
japonais.

1552
01:26:34,320 --> 01:26:36,420
et puis parmi les américains aussi en fait

1553
01:26:36,610 --> 01:26:39,887
des boîtes comme Nvidia
AMD etc eux ça les intéresse

1554
01:26:39,970 --> 01:26:42,267
du côté qu'ils aiment
bien l'open source aussi

1555
01:26:42,350 --> 01:26:48,820
et donc il suffit de taper sur un
moteur de recherche Project Tapestry.

1556
01:26:49,970 --> 01:26:55,117
et on trouve et on peut participer
il y a un GitHub il y a du travail

1557
01:26:55,200 --> 01:26:58,577
qui a été commencé par IBM donc IBM
est un grand participant à ce truc-là

1558
01:26:58,660 --> 01:27:02,820
eux ils sont très très favorables
à des modèles open source.

1559
01:27:02,940 --> 01:27:09,417
et je pense ça va grandir c'est la
voix du monde bah écoute franchement

1560
01:27:09,500 --> 01:27:12,077
c'est assez enthousiaste parce que là
tout le monde se pose plein de questions

1561
01:27:12,160 --> 01:27:14,637
sur la souveraineté voilà tu participes
c'est une approche qui est très élégante

1562
01:27:14,720 --> 01:27:21,720
t'es chef scientifique oui et j'ai j'ai
commencé à à parler cette idée il y a

1563
01:27:23,320 --> 01:27:26,807
plusieurs années d'abord
en interne à Facebook

1564
01:27:26,890 --> 01:27:31,180
enfin à Meta je ne sais pas aller très
loin à l'intérieur de Meta malheureusement

1565
01:27:31,340 --> 01:27:37,215
malgré le à l'époque l'engouement de Meta
pour l'open source ça n'avait pas vraiment

1566
01:27:37,298 --> 01:27:40,167
démarré donc depuis que j'ai
quitté Meta en fait j'ai un peu

1567
01:27:40,250 --> 01:27:42,667
appuyé sur le champignon pour
essayer de faire démarrer ça

1568
01:27:42,750 --> 01:27:45,841
et peut-être le seul truc qu'on n'a
peut-être pas dit c'est que t'es le père

1569
01:27:45,924 --> 01:27:46,217
de l'Yama

1570
01:27:46,300 --> 01:27:50,117
enfin de tous ces modèles par la main
heureusement qu'on ne l'a pas dit alors

1571
01:27:50,200 --> 01:27:55,017
je dois dire quelque chose de très
facile je n'ai jamais été impliqué

1572
01:27:55,100 --> 01:27:57,260
dans la recherche en LLM d'accord

1573
01:27:57,360 --> 01:27:59,597
je n'ai rien à voir avec
les LLM qui ont été produits

1574
01:27:59,680 --> 01:28:02,607
par Meta et bien j'ai bien fait
de mettre le pied dans le plat

1575
01:28:02,690 --> 01:28:06,199
parce que quand ces projets ont été
démarrés je n'étais déjà plus directeur de

1576
01:28:06,282 --> 01:28:09,277
fer j'étais chief scientist ce qui veut
dire que les gens pouvaient m'écouter

1577
01:28:09,360 --> 01:28:11,987
s'ils voulaient mais je n'étais pas
leur boss donc bon et bien écoute

1578
01:28:12,070 --> 01:28:17,217
je n'ai aucune contribution
technique à LLaMa par contre

1579
01:28:17,300 --> 01:28:21,300
je les encourageais etc
LLaMa est un produit français

1580
01:28:21,550 --> 01:28:24,717
ça a été démarré par une équipe
d'une douzaine de personnes à Paris

1581
01:28:24,800 --> 01:28:26,687
je suis sûr que vous
êtes tous au courant vous

1582
01:28:26,770 --> 01:28:29,397
le connaissez beaucoup
puis ensuite pour LLaMa 2

1583
01:28:29,480 --> 01:28:32,837
ça a été repris par l'entreprise donc
il y a eu beaucoup qui s'est passé

1584
01:28:32,920 --> 01:28:39,920
non ma seule contribution à LLaMa ça a été
de pousser à l'open sourcing de LLaMa 2

1585
01:28:40,150 --> 01:28:42,560
écoute c'était un grand et je me rappelle

1586
01:28:42,710 --> 01:28:47,857
et je me rappelle que c'est le
CEO de HuggingFace Clément Delangue

1587
01:28:47,940 --> 01:28:51,097
qui avait fait un grand merci en disant
que ça avait ouvert tout un mouvement

1588
01:28:51,180 --> 01:28:53,757
donc merci pour ce mouvement
là là tu es je sais que derrière

1589
01:28:53,840 --> 01:28:56,227
on me crie dans l'oreillette
qu'il faut absolument qu'on arrête

1590
01:28:56,310 --> 01:28:58,857
mais c'était un vrai plaisir Yann
de t'avoir c'était le boss de fin

1591
01:28:58,940 --> 01:29:00,757
c'était le boss de fin pour
la fin de l'épisode j'espère

1592
01:29:00,840 --> 01:29:03,427
que t'as passé à mon moment
ouais ouais c'était très sympa

1593
01:29:03,510 --> 01:29:08,280
bah écoute c'est cool merci d'être venu je
suis content qu'on ait pu aller dans le.

1594
01:29:12,000 --> 01:29:15,417
on va faire 3h ouais c'est ça oui
bah et alors toi t'as fait 4h30

1595
01:29:15,500 --> 01:29:20,097
chez Lex Friedman - et bah écoute
7h - Amilab vous recrutez enfin voilà

1596
01:29:20,180 --> 01:29:22,617
vous recrutez des chercheurs vous
recrutez le top mondial c'est ça?

1597
01:29:22,700 --> 01:29:25,300
on recrute des chercheurs
on recrute des ingénieurs.

1598
01:29:25,470 --> 01:29:28,157
bientôt probablement au début de
l'année prochaine on va recruter

1599
01:29:28,240 --> 01:29:32,544
peut-être une catégorie différente
d'ingénieurs parce qu'on va commencer à

1600
01:29:32,627 --> 01:29:36,377
collaborer avec des partenaires
industriels qui pourraient utiliser

1601
01:29:36,460 --> 01:29:39,400
les techniques de JPA et
One Model dans l'industrie.

1602
01:29:40,050 --> 01:29:44,017
donc là il va y avoir besoin de gens
qui connaissent certaines industries

1603
01:29:44,100 --> 01:29:49,297
pour travailler avec ses partenaires et
à long terme Total World Domination on va

1604
01:29:49,380 --> 01:29:53,917
World Model Domination c'était
À LA FRENCH avec Yann LeCun

1605
01:29:54,000 --> 01:29:55,647
j'espère que vous avez
apprécié on va mettre

1606
01:29:55,730 --> 01:29:57,177
plein d'annotations sur
l'épisode c'est trop mieux

1607
01:29:57,260 --> 01:29:58,897
est-ce que nous on a tout compris?

1608
01:29:58,980 --> 01:30:01,557
non non pas tout il faut qu'on
tourne bosser voilà il y avait

1609
01:30:01,640 --> 01:30:03,287
quelques dimensions assez
élevées il y a quelques

1610
01:30:03,370 --> 01:30:04,887
maths à retravailler haute dimensionnalité

1611
01:30:04,970 --> 01:30:09,135
merci Yann merci si vous ne voulez pas
manquer nos prochains épisodes avec des

1612
01:30:09,219 --> 01:30:12,677
invités de la stature de Yann LeCun
d'autres chercheurs d'autres entrepreneurs

1613
01:30:12,760 --> 01:30:16,537
d'autres visionnaires abonnez-vous à
la chaîne À LA FRENCH likez l'épisode

1614
01:30:16,620 --> 01:30:23,620
commentez-le pour la faire monter
dans l'algorithme annonce importante

1615
01:30:26,070 --> 01:30:28,907
quand on a annoncé la soirée à la
French du 12 juin en moins de 24 heures

1616
01:30:28,990 --> 01:30:32,007
les 250 places ont été vendues
alors on a passé une super soirée

1617
01:30:32,090 --> 01:30:34,528
mais des centaines de personnes n'ont
pas pu venir et sont restées sur liste

1618
01:30:34,611 --> 01:30:34,827
d'attente

1619
01:30:34,910 --> 01:30:37,927
et nous on n'aime pas la frustration alors
on a décidé de remettre ça en plus grand

1620
01:30:38,010 --> 01:30:41,627
pour la conférence À LA FRENCH le
3 décembre on vous donne rendez-vous

1621
01:30:41,710 --> 01:30:45,867
nous serons 1200 Venus de toute la
France à célébrer la tech À LA FRENCH

1622
01:30:45,950 --> 01:30:48,441
et une certaine idée de la tech.
On est une nation d'ingénieurs.

1623
01:30:48,525 --> 01:30:53,207
On a inventé le Minitel avant Internet, le
TGV avant les Hyperloops, DivX, X264, VLC

1624
01:30:53,290 --> 01:30:55,347
avant le streaming sur
Netflix. On va pas se

1625
01:30:55,430 --> 01:30:57,247
laisser dire comment
on fait de la tech non?

1626
01:30:57,330 --> 01:31:00,307
Allez! La conférence qui a une certaine
idée de la tech ça sera le 3 décembre

1627
01:31:00,390 --> 01:31:02,949
une journée pour la communauté
du show YouTube. Annonces,

1628
01:31:03,033 --> 01:31:04,387
avant premières, invités rares,

1629
01:31:04,470 --> 01:31:06,820
des cadeaux, des jeux et
attention ça va Frenchmaxxer.

1630
01:31:06,903 --> 01:31:08,127
Ça va être la conférence tech

1631
01:31:08,210 --> 01:31:11,407
la plus incroyable à laquelle vous avez
jamais assisté et on va célébrer ensemble

1632
01:31:11,490 --> 01:31:13,657
"une certaine idée de la tech".
Vous pouvez aller sur alafrench.org

1633
01:31:13,740 --> 01:31:16,227
dès maintenant réservez vos
places avec des tarifs réduits

1634
01:31:16,310 --> 01:31:18,927
pour ceux qui n'ont pas les moyens et
des tarifs soutiens pour ceux qui peuvent

1635
01:31:19,010 --> 01:31:21,980
on se retrouve donc le 3 décembre en live

1636
01:31:27,220 --> 01:31:27,817
Le truc qui est intéressant

1637
01:31:27,900 --> 01:31:30,857
c'est pour le transfert parce que par
exemple tu vois sur Cloud Run les machines

1638
01:31:30,940 --> 01:31:33,597
elles sont limitées à 6 gigabits en
fait le bottleneck maintenant ça devient

1639
01:31:33,680 --> 01:31:37,097
loader le modèle c'est bien pour
ça donc on fait du Xet là on essaie

1640
01:31:37,180 --> 01:31:40,280
avec HuggingFace.
- Ouais mais tu vois, en AV1 et en APV

1641
01:31:40,430 --> 01:31:43,477
t'as un mode lossless en fonction
du modèle ça peut être intéressant

1642
01:31:43,560 --> 01:31:47,917
après si t'arrives à j'ai mes deux gars
de Trinity College qui sont là dessus

1643
01:31:48,000 --> 01:31:51,077
on en reparle dans 3 semaines ils ont
au moins un résultat avant de t'embêter

1644
01:31:51,160 --> 01:31:52,717
en fait c'est une idée
à la con donc j'aime bien

1645
01:31:52,800 --> 01:31:54,880
si ça marche là tu dis putain et les gars

1646
01:31:55,030 --> 01:31:59,100
ouais bah oui c'est inutile donc
indispensable en même temps qui d'autre

1647
01:31:59,183 --> 01:32:02,047
que Mr VLC pour faire un truc
comme ça bah oui c'est le Mister

1648
01:32:02,130 --> 01:32:05,120
c'est le jeu c'est le jeu
c'est le jeu c'est le jeu.