S07E19 - Voorbij media-aandacht: de techniek achter DeepSeek ontleed

Willem Meints, Chief AI Architect bij Aigency, bespreekt de technische innovaties achter DeepSeek in deze aflevering van AIToday Live. DeepSeek is een Chinees taalmodel dat de trainingskosten aanzienlijk heeft weten te verlagen.

Het model bestaat uit verschillende onderdelen, waaronder een chatbot-website, een onderliggend taalmodel en een speciaal reasoning model voor complexe taken. DeepSeek maakt gebruik van synthetische trainingsdata, efficiënter geheugengebruik en geautomatiseerde feedback om kosten te besparen.

De hosts bespreken de implicaties van deze ontwikkelingen voor de AI-industrie. De verlaging van trainingskosten kan leiden tot meer diversiteit in de ontwikkeling van taalmodellen.

Onderwerpen

• Technische innovaties achter DeepSeek
• Verlaging van trainingskosten van AI-modellen
• Gebruik van synthetische trainingsdata
• Verschil tussen closed-source en open-source modellen
• Implicaties van lagere kosten voor de ontwikkeling van taalmodellen

Links

• Paper: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
• Nieuwsbrief: Jarno Duursma
• Podcast: AIToday Live podcast
• DeepSeek Model: Hugging Face
• Software: Jan.ai - Desktop GPT applicatie
• Software: Open WebUI - Lokale webinterface voor AI modellen
• Software: Ollama - Model Download Tool
• Artikel: Dario van Anthropic over DeepSeek
• Kaartspel: AI Game Changer - Generative AI editie

Genoemde entiteiten: DeepSeek - GPT-4

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,000 --> 00:00:05,880
We duiken vandaag diep in de technische innovaties achter DeepSeek, voorbij de krantenkoppen en

2
00:00:05,880 --> 00:00:06,880
social media-hype.

3
00:00:06,880 --> 00:00:12,920
Samen met Willem Meints, Chief AI Architect bij Aigency, ontleden wij samen hoe dit Chinese

4
00:00:12,920 --> 00:00:18,040
taalmodel met slimme technische keuzes de trainingskosten drastisch wist te verlagen.

5
00:00:18,040 --> 00:00:23,840
En in plaats van de gebruikelijke nieuwsberichten over investeringen en beurskoersen, gaan wij

6
00:00:23,840 --> 00:00:27,719
stap voor stap door de technologie die DeepSeek zo bijzonder maakt.

7
00:00:27,720 --> 00:00:33,659
Hoi, leuk dat je weer luistert naar een nieuwe aflevering van AIToday Live.

8
00:00:33,659 --> 00:00:39,499
En vandaag gaan we kijken naar de diepte van DeepSeek.

9
00:00:39,499 --> 00:00:45,159
En Willem Meints is te gast. Niels is helaas verhinderd.

10
00:00:45,159 --> 00:00:48,579
Maar vanwege de actualiteit wilden we dit toch opnemen.

11
00:00:48,579 --> 00:00:53,299
Dus vandaar dat je dit gaat doen met mij en Willem.

12
00:00:53,299 --> 00:00:57,159
Willem, voor de luisteraar zou je je eerst heel even kort willen voorstellen.

13
00:00:57,159 --> 00:00:59,219
Ja, voor de vaste luisteraars, die kennen me al.

14
00:00:59,219 --> 00:00:59,759
Zeker.

15
00:00:59,759 --> 00:01:04,159
Voor de rest, ik ben Chief AI Architect bij Aigency en onderdeel van Info Support.

16
00:01:04,159 --> 00:01:09,999
Ik zit de hele dag in AI. Voornamelijk gpt-achtige modellen.

17
00:01:09,999 --> 00:01:14,739
En ik heb dit keer de kans gehad om DeepSeek binnenstebuiten te keren.

18
00:01:14,739 --> 00:01:20,339
Ja, en wat we gaan doen, want zeg maar om je meteen te laten merken.

19
00:01:20,339 --> 00:01:23,819
Er wordt natuurlijk al heel veel nieuws gedeeld.

20
00:01:23,819 --> 00:01:26,519
En alles over beursinformatie en dat soort dingen.

21
00:01:26,599 --> 00:01:28,479
Daar gaan wij het vandaag niet over hebben.

22
00:01:28,479 --> 00:01:35,719
Wij zijn typisch een podcast die veel meer kijkt naar de diepte van technologie of op lange termijn.

23
00:01:35,719 --> 00:01:39,059
En we willen je vooral laten begrijpen hoe de technologie werkt.

24
00:01:39,059 --> 00:01:40,719
En daar gaat het vandaag over.

25
00:01:41,239 --> 00:01:53,739
Dus ik wil een tip geven dat als je wel het laatste nieuws wil volgen en dat ook op een genuanceerde manier tot je krijgen, raad ik de nieuwsbrief aan je als luisteraar aan van Jarno Duursma.

26
00:01:54,279 --> 00:02:00,039
Die komt dan heel snel met een genuanceerd beeld van wat op dat moment beschikbaar is.

27
00:02:00,039 --> 00:02:04,779
Maar wat wij vandaag gaan doen, we hebben samen papers uitgezocht.

28
00:02:04,779 --> 00:02:06,999
Die gaat over DeepSeek.

29
00:02:06,999 --> 00:02:08,758
We hebben er heel veel over gelezen.

30
00:02:08,758 --> 00:02:11,379
We hebben er zelf ervaring nu mee op gedaan.

31
00:02:11,759 --> 00:02:14,099
En dat is wat we vandaag gaan doen voor je.

32
00:02:16,259 --> 00:02:26,599
Willem, zou jij eerst eigenlijk even willen uitleggen van wat is eigenlijk DeepSeek en die modellen waar nu zoveel hype over is?

33
00:02:26,599 --> 00:02:32,519
Ja, Deep Seek is een nieuw large language model en een nieuwe website.

34
00:02:32,979 --> 00:02:38,939
Dit is wel een beetje bijzonder dat ze net als OpenAI hebben een chatbot beschikbaar gesteld.

35
00:02:38,939 --> 00:02:41,979
Die hebben ze DeepSeek.com genoemd.

36
00:02:41,979 --> 00:02:45,879
Die komt trouwens ook in drie varianten, maar daar kom ik zo meteen nog wel even op terug.

37
00:02:45,879 --> 00:02:49,019
Daar kun je mee chatten, net als met ChatGPT.

38
00:02:49,019 --> 00:02:52,199
En daarachter zit een nieuw taalmodel.

39
00:02:52,199 --> 00:02:53,159
Deep Seek heet die.

40
00:02:53,159 --> 00:02:57,919
Nou, DeepSeek is door een Chinees bedrijf getraind.

41
00:02:57,919 --> 00:03:01,659
En daar hebben ze tjokvol nieuwe innovatie gestopt.

42
00:03:02,919 --> 00:03:05,939
Ja, het is toch echt een nieuw en bijzonder geval.

43
00:03:05,939 --> 00:03:07,879
Ja, en eigenlijk zou je het moeten zien.

44
00:03:07,879 --> 00:03:10,319
Dus je hebt chatgpt.com.

45
00:03:10,319 --> 00:03:15,039
En daaronder zitten de modellen van OpenAI, bijvoorbeeld GPT4o.

46
00:03:15,039 --> 00:03:17,819
Ja, de naamgeving van al dit soort bedrijven is verschrikkelijk.

47
00:03:17,819 --> 00:03:18,999
Wij kunnen er ook niks aan doen.

48
00:03:18,999 --> 00:03:19,939
Sorry voor dat.

49
00:03:19,939 --> 00:03:22,519
Maar zo moet je dat zien.

50
00:03:22,519 --> 00:03:25,319
Dus DeepSeek heeft DeepSeek versie 3.

51
00:03:25,319 --> 00:03:29,019
Net zo'n model als GPT4o.

52
00:03:29,019 --> 00:03:32,519
En waar nu zoveel over te doen is, is de DeepSeek.

53
00:03:32,859 --> 00:03:34,259
Versie 3.

54
00:03:34,259 --> 00:03:34,939
Ja, sorry.

55
00:03:34,939 --> 00:03:36,279
R1.

56
00:03:36,279 --> 00:03:38,579
En dat is een reasoning model.

57
00:03:38,579 --> 00:03:44,019
Zou je kunnen uitleggen wat is het verschil tussen een reasoning model en zo'n standaard taalmodel?

58
00:03:44,019 --> 00:03:47,359
Ja, ik denk dat ik dat het beste uit kan leggen aan de hand van een voorbeeld.

59
00:03:47,659 --> 00:03:57,199
Als je chatgpt.com, als je daar vraagt om een rekensom voor je uit te rekenen, dan zal die in heel veel gevallen een heel rare antwoord geven.

60
00:03:57,199 --> 00:04:02,259
Als je 14 en 16 appels bij elkaar wil optellen, dan zal die 35 of zo roepen.

61
00:04:02,379 --> 00:04:03,259
Is heel vaars.

62
00:04:03,259 --> 00:04:05,039
Dat je denkt, kan dat dan?

63
00:04:05,039 --> 00:04:08,819
Maar als je hem vervolgens vraagt, doe dat nou eens stap voor stap.

64
00:04:08,819 --> 00:04:11,099
Ga dus eens reasonen, nadenken.

65
00:04:11,099 --> 00:04:13,179
Dan gaat hij dat beredeneren.

66
00:04:13,179 --> 00:04:15,519
Nou ja, beredeneren tussen aanhalingstekens.

67
00:04:15,919 --> 00:04:18,499
En dan komt hij in heel veel gevallen wel met het goede antwoord.

68
00:04:18,499 --> 00:04:23,059
En wat hebben ze nou gedaan met DeepSeek-V3-R1?

69
00:04:23,059 --> 00:04:26,959
Die hebben ze speciaal getraind om dit soort taken uit te voeren.

70
00:04:26,959 --> 00:04:33,579
Dus die is heel erg goed in verhaaltjes sommen volgen, wiskundige redenaties, natuurkundige redenaties te volgen.

71
00:04:33,579 --> 00:04:36,599
Ja, dat is toch wel heel anders dan GPT-4o.

72
00:04:36,599 --> 00:04:41,639
Als je het zou moeten vergelijken met wat meer bekende modellen die mensen gebruiken.

73
00:04:41,819 --> 00:04:46,339
Op chatgpt.com kun je bijvoorbeeld kiezen voor o1 of o3.

74
00:04:46,339 --> 00:04:48,359
Dat zijn dus ook reasoning modellen.

75
00:04:48,359 --> 00:04:49,199
Die doen dat ook.

76
00:04:49,199 --> 00:04:49,699
Ja.

77
00:04:49,699 --> 00:04:58,579
En wat ik best wel fascinerend vond, is dat je bij die DeepSeek, bij dat reasoning model,

78
00:04:58,579 --> 00:05:04,219
dat je de zogenaamde denkstappen, eigenlijk de promptverbetering is het meer,

79
00:05:04,219 --> 00:05:14,139
dus de stappenplan die die uitgenereert, dat je die kan zien in tegenstelling tot de o1 of de o3 modellen van OpenAI.

80
00:05:14,139 --> 00:05:16,379
Die houden dat heel erg tegen de borst.

81
00:05:16,379 --> 00:05:20,899
In het begin was het zelfs zo dat als jij als gebruiker die reasoning,

82
00:05:20,899 --> 00:05:27,239
of dat stappenplan wilde achterhalen, kon je zelfs je account ingetrokken worden.

83
00:05:27,239 --> 00:05:30,179
Zo erg zaten ze erop dat ze dat geheim wilden houden.

84
00:05:30,819 --> 00:05:32,379
Bij DeepSeek kan je dat volgen.

85
00:05:32,379 --> 00:05:37,699
En wat ik daar heel erg mooi aan vond, is dat je precies ziet in dat stappenplan van,

86
00:05:37,699 --> 00:05:40,519
hé maar, begrijpt die de prompt?

87
00:05:40,519 --> 00:05:42,499
Gaat die de goede kant op?

88
00:05:42,499 --> 00:05:44,879
En als dat niet zo is, kan ik bijsturen?

89
00:05:45,899 --> 00:05:49,139
Ja, je kan dan echt naar één specifieke stap ook verwijzen.

90
00:05:49,139 --> 00:05:53,779
Kun je zeggen, hé, ik zie dat je op deze en deze plek, soms kun je verwijzen naar een nummer van de stap zelfs,

91
00:05:53,779 --> 00:05:56,719
zie ik dat je dat doet, maar dat klopt eigenlijk niet.

92
00:05:56,719 --> 00:05:57,799
En dan zegt hij, oh, sorry.

93
00:05:57,799 --> 00:06:01,759
En dan gaat hij weer opnieuw nadenken en dan corrigeert hij dat plan ook weer.

94
00:06:01,759 --> 00:06:03,759
En dan vaak komt hij wel op de goede plek uit.

95
00:06:03,759 --> 00:06:06,159
Ja, dat vond ik zelf ook wel heel erg opvallend.

96
00:06:06,159 --> 00:06:10,819
Ik vond dat, een tijdje geleden is die o1 uitgekomen en o3,

97
00:06:11,379 --> 00:06:13,919
vond ik dat ook heel irritant dat je dat niet kon zien.

98
00:06:13,919 --> 00:06:17,859
Ze hebben ook bijna mijn account afgesloten omdat ik dat per se wilde uitzoeken.

99
00:06:17,859 --> 00:06:21,459
Ja, dat is gewoon, ja, dat is toch wel vrij jammer,

100
00:06:21,459 --> 00:06:24,499
want juist als je die redenatie kan corrigeren,

101
00:06:24,499 --> 00:06:26,439
dan krijg je gewoon betere resultaten.

102
00:06:26,439 --> 00:06:30,039
Ja, en nou is er ook heel veel te doen om,

103
00:06:30,039 --> 00:06:34,139
dat gezegd wordt, het trainen van het model,

104
00:06:34,139 --> 00:06:38,939
vooral van die V3 en die V3-R1,

105
00:06:39,399 --> 00:06:44,499
dat dat zoveel goedkoper is dan wat OpenAI of Anthropic doet.

106
00:06:44,499 --> 00:06:47,759
Dus in de paper geven ze ook aan

107
00:06:47,759 --> 00:06:51,519
dat ze ongeveer 5,6 miljoen dollar hebben besteed

108
00:06:51,519 --> 00:06:54,639
voor het trainen van dat model.

109
00:06:54,639 --> 00:06:56,719
Laten we het daar eens over hebben.

110
00:06:56,719 --> 00:07:00,019
Laten we eens, voordat we beginnen bij dat bedrag,

111
00:07:00,019 --> 00:07:03,379
hoe kan het nou dat zij zo'n stap hebben gemaakt

112
00:07:03,379 --> 00:07:06,079
dat het ook daadwerkelijk goedkoper is?

113
00:07:06,299 --> 00:07:08,039
Want dat is wel een feit.

114
00:07:08,039 --> 00:07:10,319
De vraag is of het ook die 5,6 miljoen is.

115
00:07:10,319 --> 00:07:13,599
Maar laten we beginnen met, want dat hebben we uitgezocht.

116
00:07:13,599 --> 00:07:18,999
Hoe kan het nou dat het zoveel goedkoper zou kunnen?

117
00:07:18,999 --> 00:07:22,479
Wat mij het meeste daaraan opviel,

118
00:07:22,479 --> 00:07:24,259
want ik ben echt in de details gedoken,

119
00:07:24,259 --> 00:07:27,259
de wiskunde, de trainingsprocessen,

120
00:07:27,259 --> 00:07:28,339
van hoe doen ze dat nou?

121
00:07:30,439 --> 00:07:31,999
Dat zijn er behoorlijk wat trouwens.

122
00:07:31,999 --> 00:07:34,839
Het zijn allemaal kleinere innovaties geweest

123
00:07:34,839 --> 00:07:38,019
die bij elkaar opgeteld ervoor zorgen dat je een flinke slag maakt.

124
00:07:38,019 --> 00:07:40,859
En dat begint al bij de trainingsdata.

125
00:07:40,859 --> 00:07:44,799
Dat is de eerste stap al waar zij het slim hebben aangepakt.

126
00:07:44,799 --> 00:07:46,039
Wat zij namelijk hebben gedaan,

127
00:07:46,039 --> 00:07:48,599
zij hebben met een beperkte dataset,

128
00:07:48,599 --> 00:07:50,459
die ze heel erg goed hebben uitgezocht,

129
00:07:50,459 --> 00:07:54,519
hebben ze vervolgens synthetische data erbij gegenereerd,

130
00:07:54,979 --> 00:07:57,059
om daarmee dan het pretrainingsstuk te doen.

131
00:07:57,059 --> 00:08:00,599
En voor de mensen die niet in een neurale netwerk zitten,

132
00:08:00,599 --> 00:08:03,539
het trainen van dit soort modellen gebeurt eigenlijk

133
00:08:03,539 --> 00:08:06,359
in twee hele grote fases.

134
00:08:06,359 --> 00:08:09,199
Pretraining en posttraining,

135
00:08:09,199 --> 00:08:11,259
waarbij pretraining zoveel is als

136
00:08:11,259 --> 00:08:13,359
ik pak een stuk tekst, een zin,

137
00:08:13,359 --> 00:08:15,259
en dan ga ik één woord,

138
00:08:15,259 --> 00:08:16,479
dan pak ik Tippex,

139
00:08:16,479 --> 00:08:18,099
de ouderwetse Tippex van vroeger,

140
00:08:18,099 --> 00:08:18,879
en die veeg ik weg.

141
00:08:18,879 --> 00:08:19,719
En dan vraag ik aan hem,

142
00:08:19,719 --> 00:08:21,439
doe dat ene woord even weer terug.

143
00:08:21,439 --> 00:08:23,859
Voorspel dat ene woord.

144
00:08:23,979 --> 00:08:25,519
Ja, dan vul die even weer in,

145
00:08:25,519 --> 00:08:27,059
en als die dat dan goed doet,

146
00:08:27,059 --> 00:08:28,659
dan geef je een positieve beloning,

147
00:08:28,659 --> 00:08:29,499
en dan doet die het beter.

148
00:08:29,499 --> 00:08:32,179
Wat je hier dus ziet,

149
00:08:32,179 --> 00:08:33,899
is dat daar heb je normaal gesproken

150
00:08:33,899 --> 00:08:35,839
gigantische hoeveelheden data van dat.

151
00:08:35,839 --> 00:08:37,159
Dan hebben we het over triljoenen,

152
00:08:37,159 --> 00:08:38,659
trillions of tokens.

153
00:08:38,659 --> 00:08:40,958
Dat zijn biljoenen tokens in het Nederlands.

154
00:08:40,958 --> 00:08:43,839
Maar bij DeepSeek,

155
00:08:43,839 --> 00:08:45,879
hebben zij daar eigenlijk iets heel slims gedaan.

156
00:08:45,879 --> 00:08:46,379
Dan hebben ze gezegd,

157
00:08:46,379 --> 00:08:47,459
we pakken een kleine dataset,

158
00:08:47,459 --> 00:08:49,819
en vervolgens pakken wij de grote broer,

159
00:08:49,819 --> 00:08:50,859
GPT-4o,

160
00:08:50,859 --> 00:08:52,339
en dan vragen we aan de GPT-4o,

161
00:08:52,759 --> 00:08:54,099
aan de hand van onze kleine dataset,

162
00:08:54,099 --> 00:08:55,579
genereer nou eens meer.

163
00:08:55,579 --> 00:08:57,579
Dat noemen ze knowledge distillation.

164
00:08:57,579 --> 00:09:00,659
Dus ze hebben eigenlijk GPT-4o laten praten,

165
00:09:00,659 --> 00:09:02,859
en daar hebben ze dat model mee getraind.

166
00:09:02,859 --> 00:09:05,619
Maar dat alleen al op zichzelf,

167
00:09:05,619 --> 00:09:06,919
is een hele mooie innovatie,

168
00:09:06,919 --> 00:09:08,479
die al veel vaker wordt toegepast,

169
00:09:08,479 --> 00:09:09,479
in open source modellen.

170
00:09:09,479 --> 00:09:11,599
Dus die zul je vaker tegen gaan komen.

171
00:09:12,099 --> 00:09:13,679
De andere truc die ze hebben gedaan,

172
00:09:13,679 --> 00:09:19,139
op dit moment mogen er geen high-end chips worden verkocht aan China.

173
00:09:19,139 --> 00:09:21,799
Dus de allernieuwste GPU's,

174
00:09:21,799 --> 00:09:24,419
die we in Europa en Amerika mee kunnen trainen,

175
00:09:24,419 --> 00:09:24,999
van Nvidia,

176
00:09:24,999 --> 00:09:26,419
die worden niet verkocht aan China,

177
00:09:26,419 --> 00:09:27,299
want dat mag namelijk niet.

178
00:09:27,299 --> 00:09:31,159
Zij zijn daardoor gedwongen om met oudere hardware,

179
00:09:31,159 --> 00:09:32,999
minder complexe chips te rekenen.

180
00:09:32,999 --> 00:09:34,839
En dat hebben ze heel slim gedaan.

181
00:09:35,419 --> 00:09:36,899
Ze hebben bijvoorbeeld ervoor gezorgd,

182
00:09:36,899 --> 00:09:38,459
dat ze vier keer meer getallen,

183
00:09:38,459 --> 00:09:40,519
in dezelfde hoeveelheid geheugen kwijt kunnen.

184
00:09:40,519 --> 00:09:41,599
Hoe kan dat?

185
00:09:41,599 --> 00:09:43,759
Want het geheugen is het geheugen.

186
00:09:43,759 --> 00:09:44,259
Ja,

187
00:09:44,259 --> 00:09:46,459
alvast waarschuwing,

188
00:09:46,459 --> 00:09:48,379
dit is echt heel erg technisch,

189
00:09:48,379 --> 00:09:49,359
dus ik zal het heel kort houden.

190
00:09:49,359 --> 00:09:51,299
Maar normaal gesproken,

191
00:09:51,299 --> 00:09:53,379
zijn neurale netwerken van binnen,

192
00:09:53,379 --> 00:09:55,419
worden die wiskundig uitgedrukt als matrixen,

193
00:09:55,419 --> 00:09:57,219
dus tabellen eigenlijk,

194
00:09:57,219 --> 00:09:59,099
met floating point getallen.

195
00:09:59,099 --> 00:10:01,279
En dat zijn getallen met 32 bits.

196
00:10:01,279 --> 00:10:04,279
Dus 32 posities in dat getal kunnen we aangeven,

197
00:10:04,599 --> 00:10:06,099
wat dat getal eigenlijk betekent.

198
00:10:06,099 --> 00:10:07,459
Dus je hebt eigenlijk 32...

199
00:10:07,459 --> 00:10:08,979
Eenden en nullen.

200
00:10:08,979 --> 00:10:09,359
Ja,

201
00:10:09,359 --> 00:10:11,159
getallen achter de komma eigenlijk.

202
00:10:11,159 --> 00:10:11,619
Ja,

203
00:10:11,619 --> 00:10:13,019
daar kun je het wel mee vergelijken.

204
00:10:13,019 --> 00:10:14,139
Dus die zijn heel precies.

205
00:10:14,139 --> 00:10:14,979
En dat is ook nodig,

206
00:10:14,979 --> 00:10:17,419
omdat taal nou eenmaal heel complex is.

207
00:10:17,419 --> 00:10:18,839
Maar,

208
00:10:18,839 --> 00:10:19,779
wat blijkt nu,

209
00:10:19,779 --> 00:10:24,719
dat als je zoveel miljard verschillende getallen bij elkaar hebt,

210
00:10:24,719 --> 00:10:27,539
dan kun je ook die precisie wel een beetje laten zakken.

211
00:10:27,539 --> 00:10:28,919
Dat doen ze al.

212
00:10:28,919 --> 00:10:29,939
Nvidia,

213
00:10:29,939 --> 00:10:32,139
die heeft op dit moment 16 bitjes in gebruik,

214
00:10:32,139 --> 00:10:32,799
in heel veel gevallen.

215
00:10:32,799 --> 00:10:33,279
Open in Ja,

216
00:10:33,279 --> 00:10:34,319
je maakt daar ook gebruik van.

217
00:10:34,319 --> 00:10:35,539
maar je kan ook naar 8.

218
00:10:35,539 --> 00:10:37,939
En dat is nog weer de helft kleiner.

219
00:10:37,939 --> 00:10:38,539
Dus je kan,

220
00:10:38,539 --> 00:10:38,879
ja,

221
00:10:38,879 --> 00:10:42,639
in totaal ten opzichte van de volledige breedte die je daarvoor had,

222
00:10:42,639 --> 00:10:44,179
vier keer zoveel data kwijt.

223
00:10:44,179 --> 00:10:46,079
En dat scheelt gewoon heel erg.

224
00:10:46,079 --> 00:10:50,599
Dus dat betekent dat je uiteindelijk getrainde model ook daadwerkelijk kleiner wordt?

225
00:10:50,599 --> 00:10:51,719
Die,

226
00:10:51,719 --> 00:10:53,219
nou,

227
00:10:53,219 --> 00:10:53,999
dat hoeft niet per se.

228
00:10:53,999 --> 00:10:55,739
Daar hebben ze ook wel weer een trucje op toegepast,

229
00:10:55,739 --> 00:10:58,439
om uiteindelijk toch weer die precisie te krijgen die je nodig hebt.

230
00:10:58,439 --> 00:11:00,139
Dat noemen ze dan weer opschalen.

231
00:11:00,139 --> 00:11:00,539
Ja.

232
00:11:00,539 --> 00:11:02,999
Maar in principe wordt die kleiner.

233
00:11:02,999 --> 00:11:03,239
Ja,

234
00:11:03,239 --> 00:11:05,799
je kan ook met minder parameters toe door deze truc.

235
00:11:05,799 --> 00:11:06,559
Ja.

236
00:11:06,559 --> 00:11:12,859
Dus je moet rekenen dat GPT-4o een paar biljoen parameters heeft.

237
00:11:12,859 --> 00:11:16,939
Terwijl DeepSeek heeft de 685 miljard daar in die buurt.

238
00:11:17,479 --> 00:11:17,599
Nou,

239
00:11:17,599 --> 00:11:18,699
dat is toch wel een heel stukje kleiner.

240
00:11:18,699 --> 00:11:19,879
Dat is een heel stukje kleiner,

241
00:11:19,879 --> 00:11:20,079
ja.

242
00:11:20,079 --> 00:11:24,639
En dat is dus ook één van de redenen waarom dus het trainen goedkoper is.

243
00:11:24,639 --> 00:11:31,059
En waarom uiteindelijk ook het draaien van het model ook goedkoper is.

244
00:11:31,059 --> 00:11:34,299
Gewoon omdat die kleiner is, minder hoeft te rekenen.

245
00:11:34,299 --> 00:11:36,279
Dus de rekenkracht wordt gewoon minder.

246
00:11:36,279 --> 00:11:36,659
Ja.

247
00:11:36,659 --> 00:11:37,119
Ja.

248
00:11:37,119 --> 00:11:40,459
Het leuke is,

249
00:11:40,459 --> 00:11:42,719
ze hebben eigenlijk een opeenstapeling gedaan.

250
00:11:42,719 --> 00:11:45,079
Want wij noemen het nu innovaties.

251
00:11:45,079 --> 00:11:47,719
Maar eigenlijk waren het allemaal al bestaande technieken.

252
00:11:47,719 --> 00:11:51,679
En de grote innovatie is dat zij als een spekkoek,

253
00:11:51,679 --> 00:11:57,099
laagje op laagje van bestaande technieken,

254
00:11:57,099 --> 00:11:59,219
dat zij die allemaal gebruikt hebben.

255
00:11:59,219 --> 00:12:02,719
En daardoor het kleiner hebben kunnen maken.

256
00:12:02,719 --> 00:12:05,939
Heb je nog een voorbeeld van een van die laagjes?

257
00:12:07,559 --> 00:12:08,559
Ja, absoluut.

258
00:12:08,559 --> 00:12:11,859
Kijk, omdat zij dus beperkt zijn in de middelen,

259
00:12:11,859 --> 00:12:15,439
zij hebben minder chips, minder geld ook om daaraan uit te geven,

260
00:12:15,439 --> 00:12:18,659
hebben zij ook, zelfs tot op netwerkniveau,

261
00:12:18,659 --> 00:12:20,759
hoe de videokaarten met elkaar praten,

262
00:12:20,759 --> 00:12:21,579
hebben zij ook...

263
00:12:21,579 --> 00:12:23,519
Ja, want die zijn allemaal aan elkaar geknoopt.

264
00:12:23,519 --> 00:12:26,539
Het zijn allemaal gestapelde GPU's,

265
00:12:26,539 --> 00:12:29,579
het zijn speciale chips, zeg maar,

266
00:12:29,579 --> 00:12:30,819
om die berekeningen te doen.

267
00:12:30,819 --> 00:12:32,539
Die stapelen ze letterlijk.

268
00:12:33,299 --> 00:12:39,139
Ja, dus je moet je voorstellen dat zo'n plek waar ze dit bouwen en trainen,

269
00:12:39,139 --> 00:12:44,119
dat is, zeg maar, ja, gewoon allemaal pizzadoos,

270
00:12:44,119 --> 00:12:46,179
hoge machines op elkaar gestapeld,

271
00:12:46,179 --> 00:12:47,939
racks en racks achter elkaar,

272
00:12:47,939 --> 00:12:50,039
in een grote fabriekshal feitelijk.

273
00:12:50,039 --> 00:12:51,279
Dat is waar we het over hebben.

274
00:12:51,279 --> 00:12:53,619
En die moeten allemaal met elkaar communiceren.

275
00:12:53,619 --> 00:12:59,459
En normaal gesproken is er dus één centrale computer in die hele fabriek

276
00:12:59,459 --> 00:13:02,079
die bepaalt hoe dat proces van het trainen loopt.

277
00:13:02,299 --> 00:13:04,219
En hij doet dan taakverdeling,

278
00:13:04,219 --> 00:13:05,919
dus hij zegt dan vervolgens van,

279
00:13:05,919 --> 00:13:08,519
nou, ik heb allemaal parameters bedacht,

280
00:13:08,519 --> 00:13:12,219
allemaal getallen, 32 bitjes of 8 in dit geval.

281
00:13:12,219 --> 00:13:14,199
En die moeten allemaal verdeeld worden,

282
00:13:14,199 --> 00:13:16,619
zodat iedereen een klein stukje gaat maken van het taalmodel.

283
00:13:16,619 --> 00:13:20,239
En daarna, als die allemaal een klein stukje hebben uitgerekend,

284
00:13:20,239 --> 00:13:22,059
dan komt het allemaal weer op de centrale plek terug.

285
00:13:22,059 --> 00:13:24,099
Dat is ontzettend duur.

286
00:13:24,099 --> 00:13:26,739
En dat veroorzaakt ontzettend veel netwerkverkeer.

287
00:13:26,739 --> 00:13:28,599
Daar is Netflix helemaal niks bij,

288
00:13:28,599 --> 00:13:30,519
bij de hoeveelheid data die we dan genereren.

289
00:13:31,299 --> 00:13:33,119
Maar wat je ook kan doen is dan zeggen,

290
00:13:33,119 --> 00:13:35,599
hé joh, praat even met je buren.

291
00:13:35,599 --> 00:13:37,479
Dat zie je ook in een klaslokaal.

292
00:13:37,479 --> 00:13:42,059
Als je als leerkracht alle leerlingen vraagt om iets uit te rekenen

293
00:13:42,059 --> 00:13:43,439
en dan met z'n allen het antwoord te roepen,

294
00:13:43,439 --> 00:13:44,139
dat gaat niet.

295
00:13:44,139 --> 00:13:45,999
Maar als je nou zegt,

296
00:13:45,999 --> 00:13:48,919
ga nou eens met z'n tweeën praten en wissel dan het antwoord uit,

297
00:13:48,919 --> 00:13:50,019
dat is heel efficiënt.

298
00:13:50,579 --> 00:13:52,259
En dat doet DeepSeek dus ook.

299
00:13:52,259 --> 00:13:55,099
Die hebben groepen van computers gemaakt met GPU's

300
00:13:55,099 --> 00:13:56,539
en die praten onderling.

301
00:13:56,539 --> 00:14:00,239
En uiteindelijk weet iedereen van elkaar wat er gaat gebeuren.

302
00:14:00,239 --> 00:14:02,439
Maar dat is wel een heel stuk efficiënter.

303
00:14:02,439 --> 00:14:03,959
Dus het is weer zo'n innovatie.

304
00:14:03,959 --> 00:14:05,719
Ze hebben daarna gekeken en gedacht,

305
00:14:05,719 --> 00:14:07,059
dat kan wel wat slimmer.

306
00:14:07,059 --> 00:14:09,099
En dat helpt.

307
00:14:09,399 --> 00:14:09,819
Ja, mooi.

308
00:14:09,819 --> 00:14:10,819
De kosten flink naar beneden.

309
00:14:10,819 --> 00:14:12,799
Wat ik ook een hele mooie vond,

310
00:14:12,799 --> 00:14:16,959
is dat de taalmodellen nu worden heel veel

311
00:14:16,959 --> 00:14:21,999
met wat genoemd wordt reinforcement from human feedback getraind.

312
00:14:21,999 --> 00:14:25,439
En dat wil zeggen dat er heel veel mensenwerk zit.

313
00:14:25,439 --> 00:14:30,419
Dus je geeft een prompt in een vraag aan zo'n taalmodel.

314
00:14:30,419 --> 00:14:31,479
Je krijgt antwoord terug.

315
00:14:31,479 --> 00:14:34,759
En de mens geeft aan of het een goed antwoord is of niet.

316
00:14:34,759 --> 00:14:37,959
Misschien heb je het zelfs wel eens voor je neus gehad,

317
00:14:37,959 --> 00:14:40,639
dat je twee antwoorden kreeg.

318
00:14:40,639 --> 00:14:41,679
En dat je moest zeggen van,

319
00:14:41,679 --> 00:14:43,599
de een bevalt me beter dan de ander.

320
00:14:43,599 --> 00:14:45,919
Dat is eigenlijk wat er gebeurt

321
00:14:45,919 --> 00:14:48,719
met dat reinforcement learning from human feedback.

322
00:14:48,719 --> 00:14:50,959
Het is als...

323
00:14:50,959 --> 00:14:52,619
Ik heb een hele tijd,

324
00:14:52,619 --> 00:14:53,919
in mijn vrije tijd,

325
00:14:53,919 --> 00:14:55,159
hondentraining gegeven.

326
00:14:55,159 --> 00:14:56,219
En wat je daar doet,

327
00:14:56,219 --> 00:14:57,739
is als je als een goed gedrag,

328
00:14:57,739 --> 00:14:59,819
als een hond goed gedrag vertoont,

329
00:14:59,819 --> 00:15:02,219
beloon je die bijvoorbeeld met een brokje of een aai.

330
00:15:02,219 --> 00:15:04,979
En datzelfde doen we eigenlijk

331
00:15:04,979 --> 00:15:07,719
wiskundige zien met zo'n algoritme.

332
00:15:07,839 --> 00:15:08,159
zeggen van,

333
00:15:08,159 --> 00:15:08,479
oh ja,

334
00:15:08,479 --> 00:15:10,759
maar als je het zo uitrekent,

335
00:15:10,759 --> 00:15:14,339
dan krijg je daar een zogenaamde beloning voor.

336
00:15:14,339 --> 00:15:17,959
Maar die beloningen kwamen dus de hele tijd van mensen.

337
00:15:17,959 --> 00:15:19,879
En wat hebben ze bij DeepSeek gedaan,

338
00:15:19,879 --> 00:15:22,919
is dat ze ook heel veel hebben geautomatiseerd.

339
00:15:22,919 --> 00:15:24,679
Dus wat ik interessant vond,

340
00:15:24,679 --> 00:15:27,159
is dat ze bijvoorbeeld wiskundige problemen,

341
00:15:27,159 --> 00:15:28,179
daar had je het net al over,

342
00:15:28,179 --> 00:15:30,379
wat ze daar gedaan hebben,

343
00:15:30,379 --> 00:15:30,759
is,

344
00:15:30,759 --> 00:15:33,239
daarvan weet je eigenlijk wat het antwoord is.

345
00:15:34,519 --> 00:15:37,439
die hebben ze niet door mensen laten interpreteren,

346
00:15:37,439 --> 00:15:39,819
de feedback,

347
00:15:39,819 --> 00:15:40,399
maar gewoon gezegd,

348
00:15:40,399 --> 00:15:42,339
ja, maar er is gewoon één goed antwoord.

349
00:15:42,339 --> 00:15:44,119
En als je daarop uitkomt,

350
00:15:44,119 --> 00:15:45,079
dan krijg je de beloning.

351
00:15:45,079 --> 00:15:47,479
Ze hebben eigenlijk best wel heel veel geautomatiseerd.

352
00:15:47,879 --> 00:15:47,999
Ja,

353
00:15:47,999 --> 00:15:50,479
en ook nog weer heel erg slim.

354
00:15:50,479 --> 00:15:51,159
Ja.

355
00:15:51,159 --> 00:15:54,959
Want ze hebben niet alleen punten gegeven voor het uiteindelijke antwoord,

356
00:15:54,959 --> 00:15:56,279
kwam ik gisteravond achter.

357
00:15:56,279 --> 00:15:57,719
Wat ze ook nog doen,

358
00:15:57,719 --> 00:15:58,519
is dat ze dan zeggen,

359
00:15:58,519 --> 00:15:59,019
ja,

360
00:15:59,019 --> 00:16:02,319
maar voor de tussenstappen krijg je ook deelpunten.

361
00:16:02,899 --> 00:16:06,119
En het is alsof je het model een wiskunde examen geeft,

362
00:16:06,119 --> 00:16:06,839
en tegen hem zegt van,

363
00:16:06,839 --> 00:16:07,039
nou,

364
00:16:07,039 --> 00:16:07,579
je krijgt ook,

365
00:16:07,579 --> 00:16:09,439
als je hem voor de helft goed hebt,

366
00:16:09,439 --> 00:16:10,219
de redenering heb je goed,

367
00:16:10,219 --> 00:16:11,919
maar het eindantwoord is jammer,

368
00:16:11,919 --> 00:16:12,579
ja,

369
00:16:12,579 --> 00:16:14,059
dan krijg je in ieder geval nog de helft van de punten.

370
00:16:14,059 --> 00:16:14,619
Oh ja,

371
00:16:14,619 --> 00:16:15,819
dat vond ik vroeger ook wel fijn.

372
00:16:15,819 --> 00:16:18,199
Dat scheelde ook wel.

373
00:16:18,199 --> 00:16:20,039
En daardoor,

374
00:16:20,039 --> 00:16:20,399
zeg maar,

375
00:16:20,399 --> 00:16:21,919
wordt de redenatie ook beter,

376
00:16:21,919 --> 00:16:24,499
want ze vinden het heel erg belangrijk bij DeepSeek,

377
00:16:24,499 --> 00:16:25,499
dat de redenatie,

378
00:16:25,499 --> 00:16:30,219
dat die niet alleen je helpt,

379
00:16:30,699 --> 00:16:34,199
maar dat die ook leesbaar is en begrijpelijk.

380
00:16:34,199 --> 00:16:35,759
Dus is het ook handig inderdaad,

381
00:16:35,759 --> 00:16:37,039
dat je al die tussenstappen,

382
00:16:37,039 --> 00:16:38,579
dat je die ook beloont,

383
00:16:38,579 --> 00:16:39,639
of juist zegt van,

384
00:16:39,639 --> 00:16:39,779
nee,

385
00:16:39,779 --> 00:16:40,399
dat is niet goed.

386
00:16:40,399 --> 00:16:41,119
Ja,

387
00:16:41,119 --> 00:16:42,939
en waar ze erachter kwamen ook was dat,

388
00:16:42,939 --> 00:16:45,119
door juist die tussenstappen te gaan belonen,

389
00:16:45,119 --> 00:16:47,199
werd die ook beter in het eindantwoord.

390
00:16:47,199 --> 00:16:47,459
Ja.

391
00:16:47,459 --> 00:16:48,559
Want uiteindelijk,

392
00:16:48,559 --> 00:16:51,339
dat is wel belangrijk om te blijven onthouden,

393
00:16:51,339 --> 00:16:53,779
het maakt namelijk niet uit welke innovaties je loslaten,

394
00:16:53,779 --> 00:16:56,439
het blijft stap voor stap woorden voorspellen.

395
00:16:56,439 --> 00:16:56,659
Ja.

396
00:16:56,659 --> 00:16:57,359
Dat is wat we doen.

397
00:16:57,359 --> 00:17:00,479
Alleen nu door heel slim daarmee om te gaan,

398
00:17:00,559 --> 00:17:01,719
met die reinforcement learning,

399
00:17:01,719 --> 00:17:03,859
kunnen we ervoor zorgen,

400
00:17:03,859 --> 00:17:05,759
dat die voorspelling heel intelligent wordt.

401
00:17:05,759 --> 00:17:06,138
Ja.

402
00:17:06,138 --> 00:17:06,699
Dat dat steeds,

403
00:17:06,699 --> 00:17:09,199
net een stukje beter wordt.

404
00:17:09,199 --> 00:17:09,479
Ja.

405
00:17:09,479 --> 00:17:10,319
Richting het einde.

406
00:17:10,319 --> 00:17:11,039
Ja,

407
00:17:11,039 --> 00:17:12,339
en naast die wiskunde,

408
00:17:12,339 --> 00:17:13,419
doen ze dat ook,

409
00:17:13,419 --> 00:17:14,819
hebben ze dat ook gedaan met code,

410
00:17:14,819 --> 00:17:16,179
dat vond ik ook wel slim.

411
00:17:16,179 --> 00:17:17,079
Dan zeggen ze van,

412
00:17:17,079 --> 00:17:17,239
ja,

413
00:17:17,239 --> 00:17:18,459
maar we hebben gewoon compilers.

414
00:17:18,459 --> 00:17:20,779
Dus als die code genereert,

415
00:17:20,779 --> 00:17:21,979
gaan we eerst eens kijken van,

416
00:17:21,979 --> 00:17:23,799
of die ook daadwerkelijk compileert.

417
00:17:23,799 --> 00:17:24,679
Dus zo hebben ze,

418
00:17:24,679 --> 00:17:27,779
dus dat je geautomatiseerd test,

419
00:17:27,779 --> 00:17:29,779
of überhaupt de code werkt.

420
00:17:30,419 --> 00:17:31,219
En dat is nog de vraag,

421
00:17:31,219 --> 00:17:32,519
of het hele goede code is of niet.

422
00:17:32,519 --> 00:17:33,199
Maar gewoon het feit,

423
00:17:33,199 --> 00:17:35,479
dat die werkende code,

424
00:17:35,479 --> 00:17:37,719
dat kan je gewoon automatiseren,

425
00:17:37,719 --> 00:17:38,439
in plaats van,

426
00:17:38,439 --> 00:17:39,959
dat je mensen daarnaar laat kijken.

427
00:17:39,959 --> 00:17:41,339
Dus dat proces,

428
00:17:41,339 --> 00:17:43,439
is daardoor ook heel veel goedkoper geworden.

429
00:17:43,439 --> 00:17:43,799
Ja.

430
00:17:43,799 --> 00:17:44,839
Absoluut.

431
00:17:44,839 --> 00:17:46,739
En,

432
00:17:46,739 --> 00:17:48,299
maar,

433
00:17:48,299 --> 00:17:50,739
dan houden we natuurlijk ook nog over,

434
00:17:51,419 --> 00:17:52,219
hebben we,

435
00:17:52,219 --> 00:17:52,539
hebben we,

436
00:17:52,539 --> 00:17:53,479
voor een deel,

437
00:17:53,479 --> 00:17:55,639
heb je te maken met vragen,

438
00:17:55,639 --> 00:17:56,319
antwoorden,

439
00:17:56,319 --> 00:17:59,459
die niet geautomatiseerd kunnen checken.

440
00:17:59,459 --> 00:18:02,219
Kan je daar wat over vertellen,

441
00:18:02,219 --> 00:18:02,999
hoe ze dat hebben gedaan?

442
00:18:02,999 --> 00:18:05,439
Ja,

443
00:18:05,439 --> 00:18:07,419
ik heb me daar niet heel erg in verdiept.

444
00:18:07,419 --> 00:18:08,499
Ik was vooral heel erg benieuwd,

445
00:18:08,499 --> 00:18:10,479
naar die wiskundige kant van het verhaal.

446
00:18:10,579 --> 00:18:10,699
Oh,

447
00:18:10,699 --> 00:18:10,839
nou,

448
00:18:10,839 --> 00:18:11,319
dan weet ik,

449
00:18:11,319 --> 00:18:13,899
dan zal ik je antwoord geven,

450
00:18:13,899 --> 00:18:15,259
op mijn gevraagd.

451
00:18:15,259 --> 00:18:16,379
Dat scheelt,

452
00:18:16,379 --> 00:18:17,819
dan worden we met z'n tweeën naar gekeken.

453
00:18:17,819 --> 00:18:18,879
Nee,

454
00:18:18,879 --> 00:18:19,799
wat daar gebeurt,

455
00:18:19,799 --> 00:18:21,539
is dat is echt wel een hele mooie stap,

456
00:18:21,539 --> 00:18:22,419
in dit verhaal.

457
00:18:22,419 --> 00:18:23,639
Dus jij hebt al uitgelegd,

458
00:18:23,639 --> 00:18:23,839
van,

459
00:18:23,839 --> 00:18:25,219
hoe ze zeg maar,

460
00:18:25,219 --> 00:18:26,919
door de cold start heen gaan.

461
00:18:26,919 --> 00:18:27,219
En dus,

462
00:18:27,219 --> 00:18:28,519
hoe start je nou?

463
00:18:28,519 --> 00:18:28,979
Dus met die,

464
00:18:28,979 --> 00:18:29,879
met die begindata.

465
00:18:29,879 --> 00:18:32,379
Dan is er dus die geautomatiseerde,

466
00:18:32,379 --> 00:18:34,179
reinforcement learning,

467
00:18:34,179 --> 00:18:35,859
stap is geweest.

468
00:18:35,859 --> 00:18:37,699
En wat ze vervolgens hebben gedaan,

469
00:18:37,699 --> 00:18:39,439
is gezegd van,

470
00:18:39,439 --> 00:18:39,599
ja,

471
00:18:39,599 --> 00:18:40,219
maar we gaan,

472
00:18:40,219 --> 00:18:42,259
een set creëren,

473
00:18:42,259 --> 00:18:43,999
van 600.000,

474
00:18:43,999 --> 00:18:45,819
voorbeelden,

475
00:18:45,819 --> 00:18:47,139
waarvan wij eigenlijk,

476
00:18:47,139 --> 00:18:48,419
het antwoord al weten.

477
00:18:48,419 --> 00:18:49,179
Oh.

478
00:18:49,179 --> 00:18:50,459
Maar,

479
00:18:50,459 --> 00:18:52,619
ze hebben een veelvoud,

480
00:18:52,619 --> 00:18:53,499
daarvan,

481
00:18:53,499 --> 00:18:54,619
regenereerd.

482
00:18:54,619 --> 00:18:57,459
Daar zijn mensen doorheen gegaan,

483
00:18:57,459 --> 00:18:58,119
dat noemen ze,

484
00:18:58,119 --> 00:18:59,339
ik pak het er even bij,

485
00:18:59,339 --> 00:19:01,459
rejection sampling,

486
00:19:01,459 --> 00:19:02,859
heet het dan.

487
00:19:02,859 --> 00:19:03,419
Oh ja.

488
00:19:03,419 --> 00:19:05,199
Dus je gaat dingen afwijzen.

489
00:19:05,199 --> 00:19:06,719
Dus ze zijn daar met de hand,

490
00:19:06,719 --> 00:19:07,259
zeg maar,

491
00:19:07,259 --> 00:19:08,039
doorheen gegaan,

492
00:19:08,039 --> 00:19:08,879
en gezegd dan,

493
00:19:09,179 --> 00:19:10,299
dit is geen goed voorbeeld,

494
00:19:10,299 --> 00:19:11,899
die wijzen we af,

495
00:19:11,899 --> 00:19:12,419
rejection.

496
00:19:12,419 --> 00:19:14,079
Dit is geen goed voorbeeld.

497
00:19:14,079 --> 00:19:15,279
En zo zijn ze,

498
00:19:15,279 --> 00:19:15,979
zeg maar,

499
00:19:15,979 --> 00:19:17,359
op die 600.000,

500
00:19:17,359 --> 00:19:19,059
hele goede,

501
00:19:19,059 --> 00:19:20,319
kwalitatief goede,

502
00:19:20,319 --> 00:19:21,379
voorbeelden gekomen.

503
00:19:21,899 --> 00:19:24,059
Ja, dus eigenlijk hebben ze heel erg geïnvesteerd,

504
00:19:24,059 --> 00:19:25,519
in veel betere data.

505
00:19:25,519 --> 00:19:26,339
Precies,

506
00:19:26,339 --> 00:19:27,699
wat zij snapte is niet,

507
00:19:27,699 --> 00:19:29,179
meer data is beter,

508
00:19:29,179 --> 00:19:30,859
betere data is beter.

509
00:19:30,859 --> 00:19:31,199
Ja,

510
00:19:31,199 --> 00:19:31,679
cool.

511
00:19:31,679 --> 00:19:33,179
En zo zijn ze met,

512
00:19:33,179 --> 00:19:33,899
ook weer,

513
00:19:33,899 --> 00:19:35,419
want 600.000,

514
00:19:35,419 --> 00:19:36,499
klinkt als heel veel,

515
00:19:36,499 --> 00:19:38,839
maar is natuurlijk relatief weinig,

516
00:19:38,839 --> 00:19:39,779
voor zo'n taalmodel,

517
00:19:39,779 --> 00:19:41,119
om daarop te leren.

518
00:19:41,619 --> 00:19:44,499
maar omdat het dus zo nette,

519
00:19:44,499 --> 00:19:46,379
gecureerde data is,

520
00:19:46,379 --> 00:19:47,839
krijg je weer,

521
00:19:47,839 --> 00:19:49,179
dus en een kleine model,

522
00:19:49,179 --> 00:19:50,239
beter,

523
00:19:50,239 --> 00:19:50,759
sneller.

524
00:19:52,619 --> 00:19:53,019
Ja,

525
00:19:53,019 --> 00:19:54,419
want als we één ding hebben geleerd,

526
00:19:54,419 --> 00:19:56,379
over wat OpenAI aan het doen is,

527
00:19:56,379 --> 00:19:57,179
die denken,

528
00:19:57,179 --> 00:19:58,479
op dit moment vooral,

529
00:19:58,479 --> 00:19:59,719
groter is beter.

530
00:19:59,719 --> 00:19:59,999
Ja.

531
00:19:59,999 --> 00:20:01,159
Het is het beetje,

532
00:20:01,159 --> 00:20:02,219
het Amerikaanse model.

533
00:20:02,219 --> 00:20:03,319
Maar,

534
00:20:03,319 --> 00:20:05,939
als we één ding hebben geleerd,

535
00:20:05,939 --> 00:20:06,899
over de afgelopen,

536
00:20:06,899 --> 00:20:07,319
nou,

537
00:20:07,319 --> 00:20:09,259
wij doen dit al 12 jaar ondertussen,

538
00:20:09,259 --> 00:20:10,679
dan is eigenlijk,

539
00:20:10,679 --> 00:20:11,719
dat datakwaliteit,

540
00:20:11,719 --> 00:20:12,859
boven alles staat.

541
00:20:12,859 --> 00:20:14,479
Als je dat maar voor elkaar krijgt,

542
00:20:14,479 --> 00:20:16,479
en er zit een duidelijk patroon in,

543
00:20:16,479 --> 00:20:17,079
want ja,

544
00:20:17,079 --> 00:20:18,019
dat moet dan wel,

545
00:20:18,019 --> 00:20:19,259
dan lukt het wel,

546
00:20:19,259 --> 00:20:20,779
om een goed model te maken,

547
00:20:20,779 --> 00:20:21,499
dat kun je zelfs,

548
00:20:21,499 --> 00:20:22,259
met hele kleine modelletjes,

549
00:20:22,259 --> 00:20:24,519
kun je heel goed werk leveren.

550
00:20:24,519 --> 00:20:24,659
Ja,

551
00:20:24,659 --> 00:20:25,099
nou,

552
00:20:25,099 --> 00:20:25,519
dat blijkt.

553
00:20:25,519 --> 00:20:26,239
Ja.

554
00:20:26,239 --> 00:20:26,639
Ja,

555
00:20:26,639 --> 00:20:28,699
en wat ze vervolgens hebben gedaan,

556
00:20:28,699 --> 00:20:29,019
want,

557
00:20:29,019 --> 00:20:30,359
dit zorgt eigenlijk,

558
00:20:30,359 --> 00:20:31,419
het zorgt eigenlijk voor,

559
00:20:31,419 --> 00:20:32,979
dat je heel goed wordt in,

560
00:20:32,979 --> 00:20:33,999
in die wiskunde,

561
00:20:33,999 --> 00:20:34,379
in,

562
00:20:34,379 --> 00:20:35,499
in code schrijven,

563
00:20:35,499 --> 00:20:36,359
in,

564
00:20:36,359 --> 00:20:37,339
in feitelijk,

565
00:20:37,339 --> 00:20:38,579
feitelijkheden,

566
00:20:38,579 --> 00:20:39,999
want die zitten dan in die,

567
00:20:39,999 --> 00:20:40,679
eh,

568
00:20:40,679 --> 00:20:41,799
bias daar gelaten,

569
00:20:41,799 --> 00:20:43,359
maar daar gaan we het straks nog wel even over hebben.

570
00:20:43,359 --> 00:20:44,419
Eh,

571
00:20:44,419 --> 00:20:45,619
maar ze wilden,

572
00:20:45,619 --> 00:20:47,059
dat reasoning model,

573
00:20:47,059 --> 00:20:48,719
wilden ze ook,

574
00:20:48,719 --> 00:20:49,219
dat die,

575
00:20:49,219 --> 00:20:50,059
zeg maar,

576
00:20:50,059 --> 00:20:51,619
een beetje algemene vragen,

577
00:20:51,819 --> 00:20:52,979
ook kan beantwoorden.

578
00:20:52,979 --> 00:20:53,339
Ja,

579
00:20:53,339 --> 00:20:53,739
precies.

580
00:20:53,739 --> 00:20:55,239
Dat je wel ook het creatief schrijven,

581
00:20:55,239 --> 00:20:55,559
bijvoorbeeld,

582
00:20:55,559 --> 00:20:55,979
kan doen,

583
00:20:55,979 --> 00:20:56,599
dat soort zaken.

584
00:20:56,599 --> 00:20:58,239
En daar hebben ze 200.000,

585
00:20:58,239 --> 00:20:58,839
ook weer,

586
00:20:58,839 --> 00:21:00,719
eh,

587
00:21:00,719 --> 00:21:01,019
maar,

588
00:21:01,019 --> 00:21:02,139
maar die hebben ze wel,

589
00:21:02,139 --> 00:21:02,479
zeg maar,

590
00:21:02,479 --> 00:21:02,699
met,

591
00:21:02,699 --> 00:21:04,239
met human feedback,

592
00:21:04,239 --> 00:21:05,879
hebben ze die hier samengesteld,

593
00:21:05,879 --> 00:21:07,419
om het model,

594
00:21:07,419 --> 00:21:08,779
of de data te verrijken,

595
00:21:08,779 --> 00:21:09,579
zodat die ook,

596
00:21:09,579 --> 00:21:11,039
creatief kan schrijven,

597
00:21:11,039 --> 00:21:11,379
bijvoorbeeld.

598
00:21:11,379 --> 00:21:11,839
Ja.

599
00:21:12,919 --> 00:21:13,059
nou,

600
00:21:13,059 --> 00:21:13,319
en dat,

601
00:21:13,319 --> 00:21:14,299
dat zorgde dus ook,

602
00:21:14,299 --> 00:21:16,739
ook dat is zo'n laagje van die spekkoek,

603
00:21:16,739 --> 00:21:17,719
van hoe kan het nou?

604
00:21:17,719 --> 00:21:19,619
En dat zijn allemaal stapjes,

605
00:21:19,619 --> 00:21:20,859
die ervoor zorgen,

606
00:21:20,859 --> 00:21:22,399
dat die goedkoper is.

607
00:21:22,399 --> 00:21:23,139
Ja,

608
00:21:23,139 --> 00:21:25,219
en wat ook wel goed is om hier nog te vermelden,

609
00:21:25,219 --> 00:21:27,379
we zeggen dus DeepSeek-V3,

610
00:21:27,379 --> 00:21:29,139
maar dat betekent dus ook al,

611
00:21:29,139 --> 00:21:31,619
dit is de derde generatie DeepSeek model,

612
00:21:31,619 --> 00:21:32,599
waar we het al over hebben.

613
00:21:32,599 --> 00:21:33,419
Dus deze mensen,

614
00:21:33,419 --> 00:21:35,099
die beginnen ook niet sinds gisteren,

615
00:21:35,099 --> 00:21:36,739
die zijn nou wel een hele tijd bezig.

616
00:21:36,839 --> 00:21:37,919
Ik weet niet precies hoe lang,

617
00:21:37,919 --> 00:21:38,379
dat kon ik niet af.

618
00:21:38,379 --> 00:21:38,499
Ja,

619
00:21:38,499 --> 00:21:39,459
ze zeiden een jaar,

620
00:21:39,459 --> 00:21:40,979
maar goed.

621
00:21:40,979 --> 00:21:42,179
Ja,

622
00:21:42,179 --> 00:21:43,599
misschien met de V3 variant,

623
00:21:43,599 --> 00:21:45,059
dat ze daar een jaar mee bezig zijn.

624
00:21:45,059 --> 00:21:45,239
Nee,

625
00:21:45,239 --> 00:21:45,379
nee,

626
00:21:45,379 --> 00:21:46,779
dat DeepSeq echt,

627
00:21:46,779 --> 00:21:48,619
vorig jaar is begonnen,

628
00:21:48,619 --> 00:21:51,739
dat ze toen de investeringen hebben gehaald,

629
00:21:51,739 --> 00:21:52,839
kapitaalinjectie,

630
00:21:52,839 --> 00:21:54,719
dat ze begonnen zijn met het trainen van modellen.

631
00:21:54,719 --> 00:21:54,979
Maar goed,

632
00:21:54,979 --> 00:21:57,899
zij staan natuurlijk wel op de schouders van,

633
00:21:57,899 --> 00:22:00,059
wat een Google,

634
00:22:00,059 --> 00:22:00,779
een Antropic,

635
00:22:00,779 --> 00:22:02,739
wat een OpenAI gedaan heeft.

636
00:22:02,739 --> 00:22:03,999
Dus dat moeten we niet vergeten.

637
00:22:03,999 --> 00:22:04,519
Ja,

638
00:22:04,519 --> 00:22:05,439
dat moet ook wel.

639
00:22:05,439 --> 00:22:06,579
Je begint niet vanaf nul.

640
00:22:06,579 --> 00:22:11,219
Maar goed,

641
00:22:11,219 --> 00:22:13,819
dus zo hebben we een heel aantal van die laagjes.

642
00:22:13,819 --> 00:22:14,919
En we zeiden al,

643
00:22:14,919 --> 00:22:16,619
ik denk dat je dit bedrag,

644
00:22:16,619 --> 00:22:17,799
6 miljoen werd gezegd,

645
00:22:17,799 --> 00:22:20,459
5,6 miljoen zeggen ze in de paper.

646
00:22:20,459 --> 00:22:22,119
Die heb je denk ik zo vaak gehoord.

647
00:22:22,119 --> 00:22:24,959
Daar moeten we denk ik een kleine kanttekening bij plaatsen.

648
00:22:24,959 --> 00:22:25,439
Ja,

649
00:22:25,439 --> 00:22:30,799
want toen ik in het paper ging lezen over dat bedrag,

650
00:22:30,799 --> 00:22:33,179
dan stond er een hele mooie uitleg onder.

651
00:22:33,179 --> 00:22:34,119
En die uitleg,

652
00:22:34,639 --> 00:22:37,259
zij hebben met equivalenten gerekend.

653
00:22:37,259 --> 00:22:38,359
Dat wil zeggen,

654
00:22:38,359 --> 00:22:41,619
ze hebben dus aangenomen dat een GPU huren,

655
00:22:41,619 --> 00:22:43,559
2 dollar per uur kost.

656
00:22:43,559 --> 00:22:46,219
En ze hebben daar tegenover gezet,

657
00:22:46,219 --> 00:22:49,219
dat zij een behoorlijk fors getal,

658
00:22:49,219 --> 00:22:50,379
die ik niet meer uit mijn hoofd weet,

659
00:22:50,379 --> 00:22:53,819
aantal GPU hours erin moesten steken,

660
00:22:53,819 --> 00:22:54,799
om het te trainen.

661
00:22:54,799 --> 00:22:58,019
Dat zijn GPU hours op Blackwell GPU's.

662
00:22:58,059 --> 00:23:00,239
Dus de allernieuwste Nvidia GPU's.

663
00:23:00,239 --> 00:23:03,259
Het zat ergens in de 1,1 miljoen uur of zoiets.

664
00:23:03,259 --> 00:23:05,239
Ja, echt bizarre getallen waren het.

665
00:23:05,239 --> 00:23:07,199
Dus,

666
00:23:07,199 --> 00:23:09,219
ze hebben geen Blackwell GPU's gebruikt,

667
00:23:09,219 --> 00:23:10,979
want dat kan namelijk niet in China.

668
00:23:10,979 --> 00:23:11,899
Die zijn daar niet.

669
00:23:11,899 --> 00:23:16,399
Ze betalen ook echt geen 2 euro per uur voor een GPU huren.

670
00:23:16,399 --> 00:23:17,559
Maar,

671
00:23:17,559 --> 00:23:19,699
als je het zo omrekent,

672
00:23:19,699 --> 00:23:24,079
dan kom je dus op die 5,6 miljoen dollars,

673
00:23:24,399 --> 00:23:27,899
aan kosten die ze voor één trainingsrun hebben gedraaid.

674
00:23:27,899 --> 00:23:28,939
Dus,

675
00:23:28,939 --> 00:23:30,819
het zijn niet die echte getallen.

676
00:23:30,819 --> 00:23:34,439
Eén trainingsrun geloof ik ook echt niet,

677
00:23:34,439 --> 00:23:37,839
want we hadden het over die spekkoek aan innovaties.

678
00:23:37,839 --> 00:23:39,639
En ja,

679
00:23:39,639 --> 00:23:41,719
je kan nog zo goed zijn in programmeren,

680
00:23:41,719 --> 00:23:42,859
je doet het niet in één keer goed.

681
00:23:42,859 --> 00:23:44,919
Dus je moet wel een aantal keren moet je dit draaien.

682
00:23:44,919 --> 00:23:45,719
Dus laten we zeggen,

683
00:23:45,719 --> 00:23:49,159
dat ze wel een veelvoud hiervan hebben uitgegeven.

684
00:23:49,159 --> 00:23:50,119
Alleen,

685
00:23:50,119 --> 00:23:51,699
als je dit vergelijkt met OpenAI,

686
00:23:52,839 --> 00:23:54,659
dan zijn ze nog steeds heel veel goedkoper,

687
00:23:54,659 --> 00:23:56,899
omdat OpenAI moet ditzelfde patroon door.

688
00:23:56,899 --> 00:23:58,819
Dezelfde innovaties moeten ze doen.

689
00:23:58,819 --> 00:24:00,739
Gewoon vaker trainen.

690
00:24:00,739 --> 00:24:02,879
Je moet eerst uitproberen inderdaad,

691
00:24:02,879 --> 00:24:04,059
of iets werkt of niet.

692
00:24:04,059 --> 00:24:04,879
Daarom.

693
00:24:04,879 --> 00:24:05,899
Dus ja,

694
00:24:05,899 --> 00:24:07,119
die zijn gewoon veel duurder uit.

695
00:24:07,119 --> 00:24:08,199
Dus het is veel goedkoper.

696
00:24:08,199 --> 00:24:08,599
Ja,

697
00:24:08,599 --> 00:24:11,079
dat is één ding dat zeker is.

698
00:24:11,079 --> 00:24:14,179
We lazen ook nog een artikel van,

699
00:24:14,179 --> 00:24:18,619
nou moet ik zo'n naam naar boven halen.

700
00:24:18,619 --> 00:24:19,739
Dario nog wat,

701
00:24:19,739 --> 00:24:20,559
sorry daarvoor.

702
00:24:21,039 --> 00:24:23,019
de CEO van Anthropic.

703
00:24:23,019 --> 00:24:23,579
Oh ja.

704
00:24:23,579 --> 00:24:25,739
Dus die trainen natuurlijk ook dit soort modellen.

705
00:24:25,739 --> 00:24:28,099
En die gaf ook aan van,

706
00:24:28,099 --> 00:24:30,979
er wordt natuurlijk heel erg gekeken naar

707
00:24:30,979 --> 00:24:33,579
wat GPT-4o gekost heeft,

708
00:24:33,579 --> 00:24:36,119
omdat die, en die o1,

709
00:24:36,119 --> 00:24:36,399
zeg maar,

710
00:24:36,399 --> 00:24:39,739
dat die die benadert qua prestaties.

711
00:24:39,739 --> 00:24:41,719
En die zijn heel erg terecht,

712
00:24:41,719 --> 00:24:41,939
ja,

713
00:24:41,939 --> 00:24:43,939
maar dat is een beetje appels met peren vergelijken.

714
00:24:44,159 --> 00:24:46,519
want de stand van een jaar geleden,

715
00:24:46,519 --> 00:24:47,659
want daar hebben we het over,

716
00:24:47,659 --> 00:24:50,019
toen werden die modellen ontwikkeld,

717
00:24:50,019 --> 00:24:51,739
ten opzichte van nu,

718
00:24:51,739 --> 00:24:53,459
is niet een eerlijke vergelijking.

719
00:24:53,459 --> 00:24:54,899
Bij Antropic zei hij ook,

720
00:24:54,899 --> 00:24:57,119
hebben wij ook innovaties doorgevoerd.

721
00:24:57,119 --> 00:24:57,579
Ja,

722
00:24:57,579 --> 00:24:57,699
precies.

723
00:24:57,699 --> 00:24:59,679
Maar zei het trainen van hun zit nog,

724
00:24:59,679 --> 00:25:01,459
hij wilde er niet heel precies over zijn,

725
00:25:01,459 --> 00:25:03,419
maar in de tientallen miljoenen.

726
00:25:03,419 --> 00:25:05,519
Dus hij gaf wel aan,

727
00:25:05,519 --> 00:25:08,399
dus we zijn niet van 100 miljoen naar 5,6 gegaan,

728
00:25:08,399 --> 00:25:15,099
maar DeepSeek heeft wel serieus echt een stap gemaakt in dat het goedkoper is om te trainen.

729
00:25:15,299 --> 00:25:17,779
En dat is denk ik wel heel erg inspirerend.

730
00:25:17,779 --> 00:25:18,719
Nou,

731
00:25:18,719 --> 00:25:19,999
dat vind ik ook wel.

732
00:25:19,999 --> 00:25:25,119
Het is vooral heel inspirerend om te zien dat alle ontwikkelingen die de afgelopen jaar,

733
00:25:25,119 --> 00:25:27,659
we hebben het over een jaar ontwikkeling ook in papers,

734
00:25:27,659 --> 00:25:32,599
namelijk alle papers die genoemd worden door DeepSeek zijn van 2024.

735
00:25:32,599 --> 00:25:39,199
Dus dat betekent ook wel dat we behoorlijke snelheid hebben in research rondom dit onderwerp.

736
00:25:39,199 --> 00:25:41,139
En dat is heel mooi om te zien,

737
00:25:41,139 --> 00:25:43,459
dat dat al heel erg helpt om het goedkoper te maken.

738
00:25:43,459 --> 00:25:44,919
En ik vind dat ook heel mooi,

739
00:25:44,919 --> 00:25:47,999
dat we, ja, het is gewoon cool eigenlijk.

740
00:25:47,999 --> 00:25:48,699
Ja toch?

741
00:25:48,699 --> 00:25:49,059
Ja.

742
00:25:49,059 --> 00:25:51,419
Nou, en kijk,

743
00:25:51,419 --> 00:25:54,019
je vertelde al in het begin,

744
00:25:54,019 --> 00:25:56,999
we hebben een verschil tussen deepseek.com, die website,

745
00:25:56,999 --> 00:25:58,959
deepseek, het model,

746
00:25:58,959 --> 00:26:01,279
het taalmodel en het reasoning model.

747
00:26:01,279 --> 00:26:07,979
En het mooie is dat ze het taalmodel en het reasoning model hebben open source gemaakt,

748
00:26:07,979 --> 00:26:12,399
waardoor we het ook juist over die modellen nu hebben.

749
00:26:12,399 --> 00:26:19,019
en dat haalt ook een deel, zeg maar, van mogelijke privacyzorgen weg.

750
00:26:19,019 --> 00:26:23,519
Dus er wordt op social media, in de media zelf,

751
00:26:23,519 --> 00:26:28,759
wordt die deepseek.com en die modellen worden eigenlijk in één verstrengeld

752
00:26:28,759 --> 00:26:30,779
en het loopt allemaal door elkaar.

753
00:26:30,779 --> 00:26:31,279
Ja.

754
00:26:31,279 --> 00:26:36,059
Weet je, van welke problemen er eventueel zijn qua bias, qua privacy, dat soort zaken.

755
00:26:36,959 --> 00:26:43,259
Kijk, die privacyproblemen, die zitten aan die deepseek.com kant.

756
00:26:43,259 --> 00:26:47,799
Dus ik zou ook geen voorstander zijn om dat te gebruiken.

757
00:26:47,799 --> 00:26:51,019
Dan heb je gewoon te maken met Chinese wetgeving.

758
00:26:51,019 --> 00:26:53,179
Er is niet eens een privacy statement.

759
00:26:53,179 --> 00:26:56,799
Dus alles wat daarover gezegd is,

760
00:26:56,799 --> 00:26:59,819
klopt, nou, ik weet niet of alles klopt, maar veel klopt.

761
00:27:00,339 --> 00:27:02,919
Maar hij dat hoort bij deepseek.com.

762
00:27:02,919 --> 00:27:05,939
Ja, dat is echt wel heel erg belangrijk.

763
00:27:05,939 --> 00:27:09,579
Ik kwam op die website en dacht, oh, er is één voordeel.

764
00:27:09,579 --> 00:27:10,439
Ik heb geen cookie banner.

765
00:27:10,439 --> 00:27:12,639
Ja, dat soort dingen.

766
00:27:12,639 --> 00:27:13,359
Ja.

767
00:27:14,259 --> 00:27:19,339
Maar het mooie is, het model staat ook op Hugging Face.

768
00:27:19,339 --> 00:27:25,439
Dat is een plek waar zo'n beetje alle open source modellen beschikbaar zijn.

769
00:27:25,439 --> 00:27:29,539
Meta, met de Lama modellen, publiceert daar Microsoft.

770
00:27:29,539 --> 00:27:34,619
Andere Chinese modellen, je hebt nog veel meer Chinese modellen.

771
00:27:34,619 --> 00:27:38,199
We doen nu net alsof DeepSeek het eerste is wat uit China komt.

772
00:27:38,199 --> 00:27:39,659
Dat is niet zo.

773
00:27:40,019 --> 00:27:43,839
Maar dat betekent ook dat je dus zelf dit model kan draaien.

774
00:27:43,839 --> 00:27:44,679
Hebben wij ook gedaan.

775
00:27:44,679 --> 00:27:47,399
Ja, we hebben...

776
00:27:47,399 --> 00:27:50,159
Dit model hebben we dus op mijn machine thuis.

777
00:27:50,159 --> 00:27:52,579
Dus de Beast machine 2.0 noem ik hem.

778
00:27:52,579 --> 00:27:54,279
Dat is mijn tweede variant die ik hiervan heb.

779
00:27:54,279 --> 00:27:56,999
Daar heb ik hem gedraaid en dat ging best goed.

780
00:27:56,999 --> 00:28:01,279
Wat wel mooi is om daarover te vertellen is dat...

781
00:28:01,279 --> 00:28:02,859
Dus je hebt een hele grote variant.

782
00:28:02,859 --> 00:28:04,679
685 miljard parameters.

783
00:28:04,679 --> 00:28:06,039
Die is echt mega groot.

784
00:28:06,039 --> 00:28:07,739
Daar heb je zes videokaarten voor nodig.

785
00:28:07,739 --> 00:28:09,759
Om hem te kunnen draaien.

786
00:28:09,959 --> 00:28:10,799
Ja, alleen draaien.

787
00:28:10,799 --> 00:28:16,939
Ik heb de kleinere variant geprobeerd van 13 miljard parameters.

788
00:28:16,939 --> 00:28:18,899
En dat ging heel prima.

789
00:28:18,899 --> 00:28:21,119
Daar was ik zeer over te spreken.

790
00:28:21,119 --> 00:28:23,359
In het Engels doet hij het echt heel goed.

791
00:28:23,359 --> 00:28:25,539
Hij is mooi vlot, ook op de videokaart.

792
00:28:25,539 --> 00:28:28,799
Dus dat zeker als je zelf dat wil gaan doen.

793
00:28:28,799 --> 00:28:31,419
Hij draaide heel goed op mijn MacBook M1.

794
00:28:31,419 --> 00:28:34,659
Dus die is van vier jaar geleden.

795
00:28:34,659 --> 00:28:36,999
Ja, dat is het voordeel van Apple hardware.

796
00:28:36,999 --> 00:28:38,959
Die kunnen dat echt wel heel erg goed zelfs.

797
00:28:39,899 --> 00:28:42,619
Dus ik denk als je nu gewoon een goede machine hebt.

798
00:28:42,619 --> 00:28:43,699
Op kantoor of thuis.

799
00:28:43,699 --> 00:28:45,339
Dan kun je hem gewoon zelf draaien.

800
00:28:45,339 --> 00:28:47,799
En wat ik dan van de week nog zag.

801
00:28:47,799 --> 00:28:48,559
Was dat er...

802
00:28:48,559 --> 00:28:49,339
Er is een applicatie.

803
00:28:49,339 --> 00:28:50,719
Jan heet die.

804
00:28:51,379 --> 00:28:54,619
En dat is een soort desktop GPT gebeuren.

805
00:28:54,619 --> 00:28:56,719
Daar kun je verschillende open source modellen instoppen.

806
00:28:56,719 --> 00:28:57,819
En die heeft een chat interface.

807
00:28:57,819 --> 00:28:59,459
En daar zit hij ook in inmiddels.

808
00:28:59,459 --> 00:29:04,639
Dus je kan hem één programma installeren, model downloaden en je kan hem lokaal proberen.

809
00:29:05,719 --> 00:29:11,099
Want ik zei net van al die privacy problemen die zitten bij deepseek.com.

810
00:29:11,099 --> 00:29:14,739
Waarom zitten die dan nu niet zeg maar als wij hem lokaal hebben?

811
00:29:15,219 --> 00:29:19,139
Nou, het model wordt dus op Hugging Face gepubliceerd.

812
00:29:19,139 --> 00:29:22,739
Dat is een website waar ze de gewichten van modellen opslaan.

813
00:29:22,739 --> 00:29:23,519
Kan je dan wat over zeggen?

814
00:29:23,519 --> 00:29:24,179
Wat zijn gewichten?

815
00:29:24,179 --> 00:29:27,439
Ja, een neuraal netwerk hebben we het hier dus over.

816
00:29:27,439 --> 00:29:28,579
Dat is een large language model.

817
00:29:29,219 --> 00:29:34,699
Die bestaat uit een stuk code die uitgevoerd moet worden om de wiskundige berekeningen te doen.

818
00:29:34,699 --> 00:29:39,499
En dan heeft die parameters waar ik het even eerder over had.

819
00:29:39,499 --> 00:29:41,179
Dat zijn eigenlijk de gewichten.

820
00:29:41,179 --> 00:29:42,499
Die hebben waardes.

821
00:29:42,499 --> 00:29:44,399
Dat zijn die achtbit getallen in dit geval.

822
00:29:44,399 --> 00:29:46,559
En dat is opgeslagen op Hugging Face.

823
00:29:46,559 --> 00:29:48,379
Verder zit daar niks in.

824
00:29:48,379 --> 00:29:50,119
Het zijn uitgerekende formules.

825
00:29:50,119 --> 00:29:51,459
Daar hebben we het over.

826
00:29:51,459 --> 00:29:52,899
Het is hartstikke statisch geworden.

827
00:29:52,899 --> 00:29:54,579
En daar zit ook geen code meer in.

828
00:29:54,579 --> 00:29:58,579
Er zit geen lettercode in zo'n model.

829
00:29:59,079 --> 00:30:04,199
De code die gebruikt wordt om het model te draaien is 100% transparant.

830
00:30:04,199 --> 00:30:05,559
Die staat namelijk ook op Hugging Face.

831
00:30:05,559 --> 00:30:06,599
Die kun je gewoon downloaden.

832
00:30:06,599 --> 00:30:10,139
Kun je zelf nakijken van wat staat er eigenlijk.

833
00:30:10,139 --> 00:30:14,559
En ik heb dus mijn wireless uitgezet op mijn machine om te kijken wat er gebeurt.

834
00:30:14,559 --> 00:30:15,499
En dan doet die het gewoon.

835
00:30:15,499 --> 00:30:19,819
En zonder wireless of netwerkkabel gaat natuurlijk helemaal niks naar het internet toe.

836
00:30:19,819 --> 00:30:20,419
Dus dat is goed.

837
00:30:20,419 --> 00:30:23,139
Maar daar kan ook niks ingestopt worden in gewichten.

838
00:30:23,139 --> 00:30:25,759
Dat die ergens code uitvoert.

839
00:30:25,759 --> 00:30:28,979
Of ik heb zulke rare doemscenarios.

840
00:30:28,979 --> 00:30:30,239
Weet je.

841
00:30:30,239 --> 00:30:30,619
Het is.

842
00:30:30,619 --> 00:30:31,299
Ja.

843
00:30:31,299 --> 00:30:34,459
Een model zeg maar kan alleen maar rekenen.

844
00:30:34,459 --> 00:30:36,599
Dat is het enige.

845
00:30:36,599 --> 00:30:37,539
Dat is alles wat het doet.

846
00:30:37,759 --> 00:30:41,139
Dus als je dat zelf lokaal draait.

847
00:30:41,139 --> 00:30:46,279
Heb je geen last van de privacy zaken.

848
00:30:46,279 --> 00:30:47,619
Het is zelfs zo.

849
00:30:47,619 --> 00:30:50,719
Bijvoorbeeld Microsoft biedt het nu in hun cloud diensten.

850
00:30:50,719 --> 00:30:52,619
Bieden ze ook dit model aan.

851
00:30:52,619 --> 00:30:53,919
Nou die hebben daar ook.

852
00:30:53,919 --> 00:30:56,059
Dus die kijken security wise.

853
00:30:56,059 --> 00:30:56,919
Kijken ze daarna.

854
00:30:56,919 --> 00:30:58,539
Dus die hebben gezegd.

855
00:30:58,539 --> 00:31:02,079
Het model is technisch veilig te gebruiken.

856
00:31:02,539 --> 00:31:04,339
Ja dat doen al die providers.

857
00:31:04,339 --> 00:31:05,619
Dus Microsoft biedt hem aan.

858
00:31:05,619 --> 00:31:07,659
Google biedt hem inmiddels aan op Google Cloud.

859
00:31:07,659 --> 00:31:08,999
AWS biedt hem aan inmiddels.

860
00:31:08,999 --> 00:31:10,259
Perplexity zelfs.

861
00:31:10,259 --> 00:31:12,659
Je kan hem echt overal inmiddels krijgen.

862
00:31:12,659 --> 00:31:15,439
Perplexity wist ik trouwens niet eens dat die het inmiddels ook al doen.

863
00:31:15,959 --> 00:31:16,959
Dat wordt gescand.

864
00:31:16,959 --> 00:31:18,199
Dat wordt allemaal nagekeken.

865
00:31:18,199 --> 00:31:19,679
Met de hand ook nog heel vaak.

866
00:31:19,679 --> 00:31:23,379
Dus je kan er vanuit gaan dat daar zit niks in.

867
00:31:23,379 --> 00:31:25,999
En bias.

868
00:31:25,999 --> 00:31:29,939
Ja dat is wel een hele mooie.

869
00:31:29,939 --> 00:31:32,679
Daar is ook heel veel over geschreven op social media natuurlijk.

870
00:31:32,679 --> 00:31:36,279
Ja dat zit er zeker in.

871
00:31:36,279 --> 00:31:40,379
In een hele obvious vorm.

872
00:31:40,379 --> 00:31:41,859
Hij kan alleen Engels en Chinees.

873
00:31:41,859 --> 00:31:44,519
Zodra je in de Nederlands begint is het ook klaar.

874
00:31:44,519 --> 00:31:45,479
Dan snapt hij er niks meer van.

875
00:31:45,559 --> 00:31:47,599
Want dan begint de Chinese tekens door erin te gooien bijvoorbeeld.

876
00:31:47,599 --> 00:31:49,179
Dat is de hang dus.

877
00:31:49,179 --> 00:31:51,519
Want bias komt in heel veel varianten voor.

878
00:31:51,519 --> 00:31:53,539
Maar dit is dus een vorm waarbij je zegt van.

879
00:31:53,539 --> 00:31:54,259
Oké.

880
00:31:54,259 --> 00:31:56,939
Hij heeft een sterke hang naar het Chinees en het Engels.

881
00:31:56,939 --> 00:31:58,439
Daar zijn ze heel transparant over.

882
00:31:58,439 --> 00:32:00,499
Staat in de technische beschrijving.

883
00:32:00,499 --> 00:32:02,259
Dat ze alleen Chinees en Engels kunnen.

884
00:32:02,259 --> 00:32:05,419
Daarnaast is er nog iets anders heel bijzonders aan de hand.

885
00:32:05,419 --> 00:32:08,119
Als je namelijk vraagt naar het plein van de hemelse vrede.

886
00:32:08,119 --> 00:32:11,179
Dan geeft hij in eerste instantie geen antwoord.

887
00:32:11,179 --> 00:32:11,879
Want dan zegt hij.

888
00:32:11,879 --> 00:32:12,519
Ja nee sorry.

889
00:32:12,519 --> 00:32:13,639
Maar daar wil ik het niet over hebben.

890
00:32:14,379 --> 00:32:16,499
En dat is natuurlijk wel opvallend.

891
00:32:16,499 --> 00:32:19,539
Dat bepaalde onderwerpen zijn echt off limits voor hem.

892
00:32:19,539 --> 00:32:20,559
Daar wil hij het niet over hebben.

893
00:32:20,559 --> 00:32:24,899
En dat zijn toch wel de gevoelige onderwerpen voor de Chinese overheid in dit geval.

894
00:32:26,759 --> 00:32:28,839
Ik heb het voor elkaar gekregen naar enig aandringen.

895
00:32:28,839 --> 00:32:31,399
Om dat toch over te laten praten.

896
00:32:31,399 --> 00:32:33,879
Dus het is niet zo dat hij die data niet gezien heeft.

897
00:32:33,879 --> 00:32:35,319
Alleen ja.

898
00:32:35,319 --> 00:32:37,079
Als jij daarmee te maken hebt.

899
00:32:37,079 --> 00:32:39,799
Dan is dat wel handig om te weten dat dat er ook in zit.

900
00:32:39,919 --> 00:32:40,239
Ja.

901
00:32:40,239 --> 00:32:42,059
En ik denk dat we vooral niet moeten vergeten.

902
00:32:42,059 --> 00:32:45,039
Dus geen enkel model zonder bias.

903
00:32:45,039 --> 00:32:46,599
Wij zijn gewend.

904
00:32:46,599 --> 00:32:53,119
En wij noem ik eventjes zeg maar de huidige gebruikers van dit soort taalmodellen.

905
00:32:53,119 --> 00:32:55,859
Om Amerikaanse taalmodellen te gebruiken.

906
00:32:55,859 --> 00:32:57,739
Of dat nou ChatGPT is.

907
00:32:57,739 --> 00:32:59,919
Of een open source model als Llama.

908
00:33:00,919 --> 00:33:04,419
Uiteindelijk is die heel erg getraind op westerse data.

909
00:33:04,419 --> 00:33:07,499
En krijg je daar het westers wereldbeeld.

910
00:33:07,499 --> 00:33:08,779
Krijg je daar terug.

911
00:33:08,779 --> 00:33:12,119
Terwijl ja logischerwijs als het vanuit China komt.

912
00:33:12,119 --> 00:33:13,919
Krijg je een Chinees wereldbeeld.

913
00:33:13,919 --> 00:33:18,379
Hopelijk komt er ergens ook een keer bijvoorbeeld een Afrikaans taalmodel.

914
00:33:18,379 --> 00:33:22,779
En daar zullen ook andere zeg maar cultuurverschillen in zitten.

915
00:33:22,779 --> 00:33:24,939
Een ander wereldbeeld zal daarin zitten.

916
00:33:24,939 --> 00:33:26,599
Ja en laten we wel eens.

917
00:33:26,599 --> 00:33:28,739
Dus ik zei net van als je er mee te maken krijgt.

918
00:33:28,739 --> 00:33:33,119
Maar in verre weg de meeste gevallen heb je hier geen last van.

919
00:33:33,119 --> 00:33:35,399
Tenminste in een zakelijke context niet.

920
00:33:35,399 --> 00:33:37,839
Dus als jij gewoon brieven moet samenvatten.

921
00:33:37,839 --> 00:33:40,119
Of gewoon creatief wilt schrijven.

922
00:33:40,119 --> 00:33:42,619
Dan blijf je daar toch al wel uit de buurt.

923
00:33:42,619 --> 00:33:44,899
Of een applicatie maken op basis van het taalmodel.

924
00:33:44,899 --> 00:33:48,939
Dan heb je het vaak helemaal niet over politieke vraagstukken.

925
00:33:48,939 --> 00:33:51,139
Of je moet misschien in de journalistiek zitten.

926
00:33:51,139 --> 00:33:52,059
Ja precies.

927
00:33:52,059 --> 00:33:54,339
Dan kan ik mij voorstellen dat je daar mee te maken krijgt.

928
00:33:54,339 --> 00:33:56,919
Maar wees je er in ieder geval bewust van.

929
00:33:56,919 --> 00:33:58,599
Dan kun je daar een keuze in maken.

930
00:33:58,599 --> 00:33:59,079
Precies.

931
00:33:59,079 --> 00:34:03,439
Nou zei jij van hij is niet in het Nederlands te gebruiken.

932
00:34:03,439 --> 00:34:05,559
Dat wil ik een beetje nuanceren.

933
00:34:05,559 --> 00:34:07,579
Ik heb daar een aantal dingen in gedaan.

934
00:34:07,579 --> 00:34:09,418
Een van de dingen die ik geprobeerd had.

935
00:34:09,418 --> 00:34:10,559
Bijvoorbeeld is.

936
00:34:10,559 --> 00:34:17,059
Ik had drie afleveringen rondom AI leiderschap.

937
00:34:17,599 --> 00:34:19,079
Die zijn ook allemaal uitgekomen.

938
00:34:19,079 --> 00:34:25,418
En er is gevraagd of ik een vijf minuten video wilde maken over dit onderwerp.

939
00:34:25,418 --> 00:34:26,478
Nou je moet je voorstellen.

940
00:34:26,478 --> 00:34:28,819
Zeg maar de tekst die er ligt gaat dan van.

941
00:34:28,819 --> 00:34:31,379
Het zit ergens tussen de 25 en 30 minuten.

942
00:34:31,379 --> 00:34:33,478
Dus dat is een heel mooi.

943
00:34:34,759 --> 00:34:37,418
Mooie case voor een reasoning model.

944
00:34:37,418 --> 00:34:39,779
Dus dat gaat wat verder dan.

945
00:34:39,779 --> 00:34:41,199
Maak je hier een samenvatting van.

946
00:34:41,199 --> 00:34:43,839
Dus je zegt dan van ja ik wil de belangrijkste punten erin.

947
00:34:43,839 --> 00:34:50,438
Dus weet je voor o1 of voor zo'n DeepSeek reasoning model was dat echt een mooie case.

948
00:34:51,239 --> 00:34:52,739
Dat ging eigenlijk best wel goed.

949
00:34:52,739 --> 00:34:53,779
Zelfs in het Nederlands.

950
00:34:53,779 --> 00:34:56,498
Dus ik kreeg ook echt wel Nederlandse teksten eruit.

951
00:34:56,498 --> 00:35:00,239
Maar net als wat jij had met Chinese tekens.

952
00:35:00,239 --> 00:35:02,679
Kreeg ik wat Griekse letters erin.

953
00:35:02,679 --> 00:35:03,119
Bijvoorbeeld.

954
00:35:03,119 --> 00:35:06,819
Dus weet je zo'n teken van delta.

955
00:35:06,819 --> 00:35:09,139
In plaats van de D.

956
00:35:09,139 --> 00:35:12,019
Ja waarom?

957
00:35:12,019 --> 00:35:12,579
Geen idee.

958
00:35:12,579 --> 00:35:15,239
En wat mij opviel is.

959
00:35:15,239 --> 00:35:17,239
Want wat zo'n taalmodel doet.

960
00:35:17,239 --> 00:35:19,139
Het is eigenlijk niet eens woord voor woord.

961
00:35:19,139 --> 00:35:19,719
Voorspellen.

962
00:35:19,859 --> 00:35:23,119
Het is delen van woorden die hij voorspelt.

963
00:35:23,119 --> 00:35:25,539
Dus daar zaten hele rare dingen in.

964
00:35:25,539 --> 00:35:27,819
Dus in plaats van iets in de logistiek.

965
00:35:27,819 --> 00:35:30,679
Zei hij logities.

966
00:35:30,679 --> 00:35:33,899
Waarbij ties ook ties was.

967
00:35:33,899 --> 00:35:37,179
Dus het werd een hele rare verbastering.

968
00:35:37,179 --> 00:35:42,359
En in de context kon ik wel lezen dat het eigenlijk logistiek zou moeten zijn.

969
00:35:42,359 --> 00:35:43,959
Maar zo had hij best wel.

970
00:35:43,959 --> 00:35:44,999
Zeg maar laten we zeggen.

971
00:35:44,999 --> 00:35:46,599
Een op de vijftig woorden.

972
00:35:46,599 --> 00:35:48,079
Wat best wel veel is in zo'n ding.

973
00:35:48,959 --> 00:35:51,279
Had hij woorden verbasterd.

974
00:35:51,279 --> 00:35:52,539
Maar hij deed het wel.

975
00:35:52,539 --> 00:35:56,239
Maar ik zou het zelf niet gebruiken.

976
00:35:56,239 --> 00:36:01,499
Omdat het gewoon te veel fouten maakte.

977
00:36:01,499 --> 00:36:03,059
Dus ik ben ook overgestapt naar o1.

978
00:36:03,059 --> 00:36:04,159
Daar heb ik het gedaan.

979
00:36:04,159 --> 00:36:04,779
Die deed prima.

980
00:36:04,779 --> 00:36:08,859
Maar het was wel een mooie case om te testen.

981
00:36:09,239 --> 00:36:09,339
Ja.

982
00:36:09,339 --> 00:36:09,939
Ja.

983
00:36:09,939 --> 00:36:13,239
En ik denk dat daar ook een beetje mijn eigen beroepsdeformatie in naar voren komt.

984
00:36:13,239 --> 00:36:13,959
Dat ik denk van.

985
00:36:13,959 --> 00:36:19,859
Als die één op de vijftig tokens of zo rare dingen begint te doen.

986
00:36:19,859 --> 00:36:21,259
Dan begin ik mij toch wel.

987
00:36:21,259 --> 00:36:22,839
Dan zit die onder de grens zeg maar.

988
00:36:22,839 --> 00:36:24,479
Van wat mijn gebruikers prettig vinden.

989
00:36:24,479 --> 00:36:27,919
Maar het reasoning stuk werkt dus nog steeds.

990
00:36:27,919 --> 00:36:30,819
Blijkbaar zit er voldoende Nederlandse data in de dataset.

991
00:36:31,059 --> 00:36:32,019
Om dit mogelijk te maken.

992
00:36:32,019 --> 00:36:32,419
Ja.

993
00:36:32,419 --> 00:36:33,099
Zeker.

994
00:36:33,099 --> 00:36:35,739
En wat ik op een gegeven moment ook gedaan had.

995
00:36:35,739 --> 00:36:38,479
Dus de input was Nederlands.

996
00:36:38,479 --> 00:36:40,279
En vervolgens gezegd van.

997
00:36:40,279 --> 00:36:40,759
Weet je.

998
00:36:40,759 --> 00:36:42,159
Schrijf gewoon in het Engels.

999
00:36:42,159 --> 00:36:43,059
Oh natuurlijk.

1000
00:36:43,059 --> 00:36:45,359
En dat deed hij echt heel veel beter.

1001
00:36:45,359 --> 00:36:48,459
En dat vond ik wel weer bijzonder.

1002
00:36:48,459 --> 00:36:50,599
En toen dacht ik van.

1003
00:36:50,599 --> 00:36:51,099
Nou ja weet je.

1004
00:36:51,099 --> 00:36:52,259
Dan vertaal ik het later wel.

1005
00:36:52,259 --> 00:36:54,439
Maar op een gegeven moment was het zo'n gedoe.

1006
00:36:54,439 --> 00:36:56,779
Ik had ook gewoon een tijdsdruk.

1007
00:36:56,779 --> 00:36:59,539
Dus ik ben op een gegeven moment over gegaan.

1008
00:36:59,539 --> 00:37:00,879
Ik denk van.

1009
00:37:00,879 --> 00:37:01,099
Oh ja.

1010
00:37:01,099 --> 00:37:02,079
Test is even over.

1011
00:37:02,079 --> 00:37:04,919
Ik moet even in de operationele modus.

1012
00:37:04,919 --> 00:37:10,739
Heb jij eigenlijk nog andere ervaringen opgedaan?

1013
00:37:10,739 --> 00:37:11,459
Tijdens dat.

1014
00:37:12,099 --> 00:37:12,579
Ja nou.

1015
00:37:12,579 --> 00:37:13,579
Is dat lokaal draaien.

1016
00:37:13,579 --> 00:37:14,119
Ik zit.

1017
00:37:14,119 --> 00:37:16,479
Ik zit natuurlijk heel erg diep in de techniek.

1018
00:37:16,479 --> 00:37:18,759
En ik ben bezig met een nieuw boek te maken.

1019
00:37:18,759 --> 00:37:19,379
En ik dacht.

1020
00:37:19,379 --> 00:37:20,499
Oh dat is leuk.

1021
00:37:20,499 --> 00:37:22,199
Dan ga ik ook even zitten knutselen.

1022
00:37:22,199 --> 00:37:25,839
Ik heb een hele bijzondere truc uitgeprobeerd.

1023
00:37:25,839 --> 00:37:26,579
Namelijk.

1024
00:37:26,579 --> 00:37:28,719
Ik ben helemaal op de reasoning gaan zitten.

1025
00:37:28,719 --> 00:37:31,279
Ik heb alles wat tekst moest genereren.

1026
00:37:31,279 --> 00:37:32,979
Heb ik met GPT-4o gedaan.

1027
00:37:32,979 --> 00:37:34,299
Maar.

1028
00:37:34,299 --> 00:37:36,779
Als het gaat om een plan bedenken.

1029
00:37:36,779 --> 00:37:37,999
Om die tekst te genereren.

1030
00:37:37,999 --> 00:37:40,519
Dan had ik die R1 ingezet.

1031
00:37:40,519 --> 00:37:40,799
Dus.

1032
00:37:41,139 --> 00:37:42,439
In mijn geval wilde ik proberen.

1033
00:37:42,439 --> 00:37:43,539
Om een hoofdstuk voor mijn boek.

1034
00:37:43,539 --> 00:37:44,739
Te genereren.

1035
00:37:44,739 --> 00:37:45,879
Heb ik een keer eerder geprobeerd.

1036
00:37:45,879 --> 00:37:47,539
Is niet heel succesvol.

1037
00:37:47,539 --> 00:37:47,819
Maar.

1038
00:37:47,819 --> 00:37:49,219
Ik was toch benieuwd.

1039
00:37:49,219 --> 00:37:51,519
Dan had ik in R1.

1040
00:37:51,519 --> 00:37:52,019
Had ik gezegd.

1041
00:37:52,019 --> 00:37:52,679
Van schrijf nou.

1042
00:37:52,679 --> 00:37:53,559
Is een hoofdstuk.

1043
00:37:54,239 --> 00:37:56,119
Over een topic.

1044
00:37:56,119 --> 00:37:57,179
Waar ik mee bezig ben.

1045
00:37:57,179 --> 00:38:00,039
En maak er eerst eens even een plan voor.

1046
00:38:00,039 --> 00:38:00,459
Nou.

1047
00:38:00,459 --> 00:38:01,119
Dan komt hij dus terug.

1048
00:38:01,119 --> 00:38:02,519
Dat hij eerst een outline gemaakt moet worden.

1049
00:38:02,519 --> 00:38:03,899
En dan wil je key talking points.

1050
00:38:03,899 --> 00:38:04,379
Wil je hebben.

1051
00:38:04,379 --> 00:38:05,359
En dan moet er aan het einde.

1052
00:38:05,359 --> 00:38:06,099
Samenvatting.

1053
00:38:06,099 --> 00:38:06,839
En een introductie.

1054
00:38:06,839 --> 00:38:07,759
Enzovoort.

1055
00:38:07,759 --> 00:38:08,099
Enzovoort.

1056
00:38:08,099 --> 00:38:09,139
Dus best wel een structuur.

1057
00:38:09,139 --> 00:38:11,019
En vervolgens zei ik.

1058
00:38:11,019 --> 00:38:11,159
Nou.

1059
00:38:11,159 --> 00:38:11,939
Bedankt voor dit plan.

1060
00:38:12,819 --> 00:38:14,799
Ik ga nu even naar GPT-4o.

1061
00:38:14,799 --> 00:38:16,139
En GPT-4o vroeg ik.

1062
00:38:16,139 --> 00:38:18,339
Om ieder stapje als losse prompt.

1063
00:38:18,339 --> 00:38:19,499
Uit te voeren.

1064
00:38:19,499 --> 00:38:19,979
Oh cool.

1065
00:38:19,979 --> 00:38:21,299
En dat werkt.

1066
00:38:21,299 --> 00:38:22,699
Dat is echt fantastisch.

1067
00:38:22,699 --> 00:38:24,979
Dat komt niet terug in mijn boek.

1068
00:38:24,979 --> 00:38:28,139
Want uiteindelijk moet je toch nog heel veel reviseren.

1069
00:38:28,139 --> 00:38:29,259
Maar het is wel.

1070
00:38:29,259 --> 00:38:30,659
Ja.

1071
00:38:30,659 --> 00:38:31,419
Dat toont ook wel aan.

1072
00:38:31,419 --> 00:38:32,599
Hoe krachtig dit kan zijn.

1073
00:38:32,599 --> 00:38:35,739
En hoe slim je eigenlijk meerdere taalmodellen ook weer kan combineren.

1074
00:38:35,739 --> 00:38:37,239
Dus lukt het niet met het een.

1075
00:38:37,239 --> 00:38:38,819
Dan kun je het altijd nog met het ander doen.

1076
00:38:38,819 --> 00:38:39,119
Ja.

1077
00:38:39,119 --> 00:38:40,999
Dat lijkt me een hele mooie.

1078
00:38:40,999 --> 00:38:41,579
Ja.

1079
00:38:42,279 --> 00:38:45,799
Ik denk niet dat heel veel mensen gewoon zomaar dit gaan doen.

1080
00:38:45,799 --> 00:38:47,519
Wat ik nog vergeten was.

1081
00:38:47,519 --> 00:38:50,719
Want je kan dit soort dingen ook echt zelf proberen.

1082
00:38:50,719 --> 00:38:54,539
Het klinkt heel technisch om het lokaal te zetten.

1083
00:38:54,539 --> 00:38:56,199
Maar dat valt wel mee.

1084
00:38:56,199 --> 00:39:00,399
Er is een tool die heet Ollama.

1085
00:39:00,399 --> 00:39:02,739
En die kun je gewoon installeren.

1086
00:39:02,739 --> 00:39:03,819
Gewoon op een Windows machine.

1087
00:39:03,819 --> 00:39:04,519
Op een Mac.

1088
00:39:04,519 --> 00:39:07,259
En dan kan je vrij eenvoudig.

1089
00:39:07,259 --> 00:39:09,259
Dat model kan je downloaden.

1090
00:39:09,259 --> 00:39:11,039
En dan kan je zelf kiezen.

1091
00:39:11,039 --> 00:39:12,099
Of je in een DeepSeek.

1092
00:39:12,219 --> 00:39:13,439
Of een Llama.

1093
00:39:13,439 --> 00:39:15,559
Welke versie kun je downloaden.

1094
00:39:15,559 --> 00:39:18,479
Dan heb je zeg maar.

1095
00:39:18,479 --> 00:39:21,119
Heb je die lokaal staan.

1096
00:39:21,119 --> 00:39:22,719
Dan heb je nog wel iets nodig.

1097
00:39:22,719 --> 00:39:24,099
Zodat je ermee kan chatten.

1098
00:39:24,099 --> 00:39:24,699
Jij gaf net.

1099
00:39:24,699 --> 00:39:25,579
Kan je nog een keer noemen?

1100
00:39:25,579 --> 00:39:25,739
Ja.

1101
00:39:25,739 --> 00:39:26,979
Jan heet die tool.

1102
00:39:26,979 --> 00:39:27,319
Echt?

1103
00:39:27,319 --> 00:39:27,959
J-A-N?

1104
00:39:27,959 --> 00:39:28,379
Ja.

1105
00:39:28,379 --> 00:39:28,899
Oké.

1106
00:39:29,119 --> 00:39:30,119
Dat is zo simpel.

1107
00:39:30,119 --> 00:39:30,239
Dat is zo simpel.

1108
00:39:30,239 --> 00:39:30,239
Dat is zo simpel.

1109
00:39:30,239 --> 00:39:30,459
Dat kan het zijn.

1110
00:39:30,459 --> 00:39:32,279
Ik heb Open WebUI.

1111
00:39:32,279 --> 00:39:35,299
We zullen de linkjes ook in de show notes opnemen.

1112
00:39:35,299 --> 00:39:36,799
Ik heb Open WebUI gebruikt.

1113
00:39:37,499 --> 00:39:40,179
En dat ziet er nagenoeg hetzelfde uit.

1114
00:39:40,179 --> 00:39:42,339
Als je user interface van ChatGPT.

1115
00:39:42,339 --> 00:39:46,399
En dan kies je gewoon dat model wat Ollama ter beschikking stelt.

1116
00:39:46,399 --> 00:39:50,219
Dus het is iets meer aan elkaar knopen.

1117
00:39:50,219 --> 00:39:55,179
Maar het is ook niet dat je dieptechnische kennis nodig hebt om dit voor elkaar te krijgen.

1118
00:39:55,419 --> 00:39:57,659
Dus ik moedig je ook aan om dit gewoon eens te doen.

1119
00:39:57,659 --> 00:40:01,099
Dus als je de hardware ergens ter beschikking hebt.

1120
00:40:01,099 --> 00:40:02,079
Doe het eens.

1121
00:40:02,079 --> 00:40:02,939
Proef eraan.

1122
00:40:02,939 --> 00:40:04,739
Kijk eens weet je.

1123
00:40:04,739 --> 00:40:05,599
Ja.

1124
00:40:05,599 --> 00:40:07,819
Werkt het model voor jou wel of niet?

1125
00:40:07,819 --> 00:40:09,179
Ja.

1126
00:40:09,179 --> 00:40:11,039
En de gouden tip hier is ook wel.

1127
00:40:11,039 --> 00:40:18,079
Dus we zeiden al van je hebt die DeepSeek en andere modellen in grotere varianten en in kleinere varianten.

1128
00:40:18,079 --> 00:40:20,939
Heb je nou helemaal geen videokaart tot je beschikking.

1129
00:40:20,939 --> 00:40:22,939
Dus heb je een huis, tuin en keukenlaptop.

1130
00:40:22,939 --> 00:40:26,219
Dan moet je een heel klein model kiezen met 3 miljard parameters.

1131
00:40:26,219 --> 00:40:28,879
En dan nog eens de snelheid wel redelijk slecht hoor.

1132
00:40:28,879 --> 00:40:30,179
Maar dat kan.

1133
00:40:30,179 --> 00:40:33,459
Heb je een videokaart tot je beschikking.

1134
00:40:33,459 --> 00:40:35,799
Dan kun je al snel tot die 13 miljard komen.

1135
00:40:35,799 --> 00:40:38,559
En zul je ook merken dat de snelheid wat hoger ligt.

1136
00:40:38,559 --> 00:40:41,419
Dus zelfs al heb je niet helemaal de ideale situatie.

1137
00:40:41,419 --> 00:40:42,819
Het gaat wel werken.

1138
00:40:42,819 --> 00:40:43,959
Ja precies.

1139
00:40:43,959 --> 00:40:48,859
En...

1140
00:40:48,859 --> 00:40:51,399
We hebben het net over die kosten gehad.

1141
00:40:51,719 --> 00:40:54,679
Van dat zij dat echt wel hebben teruggebracht.

1142
00:40:54,679 --> 00:40:59,499
Belangrijk daarvan is ook nog wel van de investering.

1143
00:40:59,499 --> 00:41:03,379
Om uiteindelijk zeg maar zoiets helemaal op te zetten.

1144
00:41:03,379 --> 00:41:08,139
Is echt nog wel een honderden miljoenen investering.

1145
00:41:08,139 --> 00:41:09,519
Voordat je dit soort dingen kan doen.

1146
00:41:09,519 --> 00:41:11,659
Maar ik denk dat...

1147
00:41:12,659 --> 00:41:14,719
Ik weet niet of het echt op korte termijn is.

1148
00:41:14,719 --> 00:41:16,139
Maar misschien op middellange termijn.

1149
00:41:16,139 --> 00:41:18,399
Gaat er natuurlijk wel iets veranderen.

1150
00:41:18,399 --> 00:41:19,899
Ten opzichte van...

1151
00:41:19,899 --> 00:41:21,599
Want eerst was het natuurlijk alleen Big Tech.

1152
00:41:21,599 --> 00:41:22,919
Die dit kon maken.

1153
00:41:22,919 --> 00:41:26,979
Want dan hadden we het over een multimiljarden investering.

1154
00:41:26,979 --> 00:41:30,839
We gaan nu naar misschien wel onder de miljard.

1155
00:41:30,839 --> 00:41:32,439
Dus dat betekent dat...

1156
00:41:32,439 --> 00:41:35,419
Ook bedrijven die onder de Big Tech zitten.

1157
00:41:35,419 --> 00:41:37,359
Deze stap kunnen gaan nemen.

1158
00:41:37,359 --> 00:41:39,559
En misschien binnen een aantal jaar.

1159
00:41:39,559 --> 00:41:40,979
Zelfs...

1160
00:41:40,979 --> 00:41:42,239
Nou wel multinationals.

1161
00:41:42,239 --> 00:41:45,599
Maar ook modellen kunnen gaan bouwen.

1162
00:41:45,599 --> 00:41:46,699
En ter beschikking gaan stellen.

1163
00:41:46,699 --> 00:41:50,119
En ik denk dat dat ook nog wel een hele grote verandering is.

1164
00:41:50,119 --> 00:41:51,459
Waarom het zo belangrijk is.

1165
00:41:51,459 --> 00:41:53,859
Maar dat wij nu DeepSeek behandelen.

1166
00:41:54,379 --> 00:41:55,379
Ja dat denk ik ook.

1167
00:41:55,379 --> 00:41:58,699
Vanmorgen las ik zelfs nog een artikel.

1168
00:41:58,699 --> 00:42:01,799
Dat er nu een samenwerkingsverband ontstaat.

1169
00:42:01,799 --> 00:42:03,619
Tussen universiteiten en bedrijven.

1170
00:42:03,619 --> 00:42:06,239
Om dus meer van dit soort modellen te gaan trainen.

1171
00:42:06,239 --> 00:42:08,099
En dat vind ik dan wel interessant.

1172
00:42:08,099 --> 00:42:10,659
Want dan kom je in het publieke domein terecht.

1173
00:42:10,659 --> 00:42:14,279
Omdat universiteiten natuurlijk ook worden gesponsord door overheden.

1174
00:42:14,279 --> 00:42:14,819
En dergelijke.

1175
00:42:14,819 --> 00:42:17,819
Ja en dan breekt het speelveld wel open.

1176
00:42:17,819 --> 00:42:19,279
Er gaan dan wel dingen gebeuren.

1177
00:42:19,279 --> 00:42:21,679
En ik denk dat dat ook heel fijn is.

1178
00:42:21,679 --> 00:42:23,279
Want uiteindelijk...

1179
00:42:23,959 --> 00:42:25,799
De OpenAI's van deze wereld.

1180
00:42:25,799 --> 00:42:26,399
De Googles.

1181
00:42:26,399 --> 00:42:27,399
Die moeten nu ook.

1182
00:42:27,399 --> 00:42:30,699
Wat je ziet is.

1183
00:42:30,699 --> 00:42:32,839
OpenAI heeft heel snel in een keer.

1184
00:42:32,839 --> 00:42:33,799
Die o3.

1185
00:42:33,799 --> 00:42:34,499
Dat model.

1186
00:42:34,499 --> 00:42:35,359
Dat reasoning model.

1187
00:42:35,359 --> 00:42:37,779
Hebben ze ook live gezet.

1188
00:42:37,779 --> 00:42:38,659
Dus we dachten van.

1189
00:42:38,659 --> 00:42:38,879
Ho.

1190
00:42:38,879 --> 00:42:39,339
Weet je.

1191
00:42:39,339 --> 00:42:40,359
Ja wacht eens even.

1192
00:42:40,359 --> 00:42:41,759
Hier is wat aan de hand.

1193
00:42:41,759 --> 00:42:43,599
Dus.

1194
00:42:43,599 --> 00:42:47,999
Ik weet niet of wij het over twee, drie jaar nog over DeepSeek hebben.

1195
00:42:47,999 --> 00:42:51,199
Maar dit is wel een kantelpunt.

1196
00:42:51,199 --> 00:42:52,199
In wat het betekent.

1197
00:42:53,539 --> 00:42:54,399
Voor big tech.

1198
00:42:54,399 --> 00:42:56,259
Voor de investeringen.

1199
00:42:56,259 --> 00:42:59,379
Voor het hele idee van.

1200
00:42:59,379 --> 00:43:00,819
We moeten nog meer data.

1201
00:43:00,819 --> 00:43:02,099
Meer, meer, meer.

1202
00:43:02,099 --> 00:43:05,699
Daar zal vanaf nu anders naar gekeken worden.

1203
00:43:05,699 --> 00:43:08,699
En ik denk dat dat zeg maar de allergrootste.

1204
00:43:08,699 --> 00:43:09,719
Nou ja.

1205
00:43:09,719 --> 00:43:11,059
Sprong vooruit is.

1206
00:43:11,059 --> 00:43:13,139
Waarom het zo interessant is.

1207
00:43:13,139 --> 00:43:14,139
Om juist naar deze.

1208
00:43:15,819 --> 00:43:16,679
Dit model.

1209
00:43:16,679 --> 00:43:18,439
Wat zij gedaan hebben.

1210
00:43:18,439 --> 00:43:19,379
Om daar naar te kijken.

1211
00:43:19,379 --> 00:43:20,839
Ja absoluut.

1212
00:43:20,839 --> 00:43:23,099
Dat lijkt me een hele mooie afsluiter.

1213
00:43:23,099 --> 00:43:23,539
Willem.

1214
00:43:23,539 --> 00:43:24,519
Ja dankjewel.

1215
00:43:24,519 --> 00:43:27,639
Ik heb de afgelopen weken wel genoten.

1216
00:43:27,639 --> 00:43:27,979
Zeg maar.

1217
00:43:27,979 --> 00:43:30,259
Om hier zo diep weer in te duiken.

1218
00:43:30,259 --> 00:43:32,919
Mocht je nog vragen hebben.

1219
00:43:33,599 --> 00:43:35,779
Ik kan me zo voorstellen dat er vragen zijn.

1220
00:43:35,779 --> 00:43:37,559
Waar wij niet opgekomen zijn.

1221
00:43:37,559 --> 00:43:39,159
Laat ze ons dan even weten.

1222
00:43:39,159 --> 00:43:39,679
Via.

1223
00:43:39,679 --> 00:43:41,579
Nou je vindt ons heel makkelijk via LinkedIn.

1224
00:43:41,579 --> 00:43:45,319
Geef even een comment onder de post.

1225
00:43:45,319 --> 00:43:47,179
Dat we deze hebben aangekondigd.

1226
00:43:47,239 --> 00:43:48,999
Je kan tegenwoordig via Spotify.

1227
00:43:48,999 --> 00:43:51,419
Kan je zelfs vragen stellen.

1228
00:43:51,419 --> 00:43:52,499
Opmerkingen plaatsen.

1229
00:43:52,499 --> 00:43:53,959
Dus doe dat gerust.

1230
00:43:53,959 --> 00:43:55,579
Komen we er zeker op terug.

1231
00:43:55,579 --> 00:43:59,119
Willem.

1232
00:43:59,119 --> 00:43:59,719
Dankjewel.

1233
00:43:59,719 --> 00:44:00,659
Graag gedaan.

1234
00:44:00,659 --> 00:44:02,339
En ja.

1235
00:44:02,339 --> 00:44:04,419
Abonneer je via je favoriete podcast app.

1236
00:44:04,419 --> 00:44:06,279
Dan mis je geen aflevering.

1237
00:44:06,279 --> 00:44:07,919
En dan krijg je automatisch een seintje.

1238
00:44:07,919 --> 00:44:10,899
Als er weer een nieuwe aflevering beschikbaar komt.

1239
00:44:10,899 --> 00:44:12,419
Eigenlijk altijd op de maandag.

1240
00:44:12,419 --> 00:44:13,579
Altijd op de donderdag.

1241
00:44:13,579 --> 00:44:14,739
Tot de volgende keer.

1242
00:44:14,739 --> 00:44:17,299
[Muziek]