S05E57 - AI in de Advocatuur: de evolutie van belastingrecht

In deze aflevering van AIToday Live spreken Joop en Niels met Roger van de Berg, partner bij Baker McKenzie. 

Roger heeft expertise in indirecte belastingen, zoals BTW, en heeft ook ervaring met AI.

Ze praten over hoe AI en belastingrecht samenwerken en de mogelijke toepassingen van AI in de advocatuur. Roger benadrukt het belang van goede datasets en het vermijden van bias in AI.

Ze bespreken ook hoe AI-tools advocatenkantoren kunnen helpen bij het doorzoeken van documenten en analyseren van jurisprudentie. 

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,000 --> 00:00:06,000
Hoi, leuk dat je luistert naar een nieuwe aflevering van de AIToday Live.

2
00:00:06,000 --> 00:00:08,000
Mijn naam is Joop Snijder, CTO bij Aigency.

3
00:00:08,000 --> 00:00:11,000
Mijn naam Niels Naglé, chapter lead Data&AI bij Info Support.

4
00:00:11,000 --> 00:00:14,000
En vandaag hebben we te gast Roger van de Berg.

5
00:00:14,000 --> 00:00:17,000
En we hebben wel eens gasten Niels, jij weet het nog niet,

6
00:00:17,000 --> 00:00:19,000
maar die van ver moeten komen.

7
00:00:19,000 --> 00:00:23,000
Maar Roger die heeft nu echt het record,

8
00:00:23,000 --> 00:00:27,000
want die is namelijk vanuit Finland gekomen om hier bij ons aan te schrijven.

9
00:00:27,000 --> 00:00:28,000
Absoluut.

10
00:00:28,000 --> 00:00:32,000
Dan ga ik vanaf vandaag niet meer klagen over mijn reisafstand jongens.

11
00:00:32,000 --> 00:00:37,000
Niels moet namelijk, wij noemen het allemaal Zeeland, maar dat is het niet.

12
00:00:37,000 --> 00:00:39,000
Goeree-Overflakkee, kom er even aan.

13
00:00:39,000 --> 00:00:40,000
Toch een eindje.

14
00:00:40,000 --> 00:00:41,000
Precies.

15
00:00:41,000 --> 00:00:44,000
Roger, zou je je willen voorstellen aan de luisteraars?

16
00:00:44,000 --> 00:00:45,000
Ja, absoluut.

17
00:00:45,000 --> 00:00:46,000
Mijn naam is Roger van de Berg.

18
00:00:46,000 --> 00:00:49,000
Ik ben partner bij Baker McKenzie.

19
00:00:49,000 --> 00:00:52,000
Ik werk daar in de indirect tax group.

20
00:00:52,000 --> 00:00:56,000
Ik hou me daar vooral bezig met de BTW en andere indirecte belastingen.

21
00:00:56,000 --> 00:01:03,000
En een van mijn focus points is tech, waaronder ook AI.

22
00:01:03,000 --> 00:01:07,000
En dat is ook de reden waarom ik vandaag bij jullie ben aangesloten.

23
00:01:07,000 --> 00:01:14,000
Ja, en toen wij in contact kwamen dacht ik, AI, belastingrecht, hoe zit dat eigenlijk?

24
00:01:14,000 --> 00:01:16,000
Het was niet het eerste waar ik aan dacht.

25
00:01:16,000 --> 00:01:20,000
Nee, absoluut. Voor mij ook niet echt hoor.

26
00:01:20,000 --> 00:01:28,220
Dus kijk, eigenlijk mijn interesse voor AI is eigenlijk al best wel lang bezig.

27
00:01:28,220 --> 00:01:35,520
Ooit in een grijs verleden dacht ik erover om te gaan studeren, maar ik ontbeerde de wiskunde B2-kennis in mijn profiel.

28
00:01:35,520 --> 00:01:44,360
Ik ben uiteindelijk fiscaal jurist geworden en ik hou me heel veel bezig met tech platforms.

29
00:01:44,360 --> 00:01:48,000
Heel veel, sinds een jaar of 10, 11 ook heel veel met crypto.

30
00:01:48,000 --> 00:01:55,560
En via het advies aan grote NFT-platforms ben ik een jaar of twee geleden met Gen AI en

31
00:01:55,560 --> 00:02:01,240
die diffusion models, om ook die NFT's te maken, in aanraking gekomen.

32
00:02:01,240 --> 00:02:04,240
Weer met Gen AI eigenlijk.

33
00:02:04,240 --> 00:02:09,960
Dat vond ik zo fantastisch en daar ben ik eigenlijk een nieuwe rabbit hole in gedoken.

34
00:02:09,960 --> 00:02:16,520
En zodoende is dat natuurlijk meer en meer gaan verbreden en komen uiteindelijk dus ook

35
00:02:16,520 --> 00:02:21,720
klienten naar je toe en ook vanuit binnen ons kantoor. We zijn een wereldwijd kantoor.

36
00:02:21,720 --> 00:02:27,960
Dus komen ook vragen binnen en geef ik ook presentaties en dergelijke.

37
00:02:27,960 --> 00:02:30,400
Dus zo kom ik eigenlijk daar terecht.

38
00:02:30,400 --> 00:02:33,120
Ja interessant. Ik ben wel nieuwsgierig, wat zijn dan die vragen?

39
00:02:33,120 --> 00:02:35,440
Wat moet ik zo een beetje aan denken van de vragen die binnenkomen?

40
00:02:35,440 --> 00:02:42,920
Nou ja kijk, op dit moment zijn de vragen nog niet heel specifiek op.

41
00:02:42,920 --> 00:02:47,320
Oké, hoe zit het nu met, ik noem maar even een zijstraat,

42
00:02:47,320 --> 00:02:53,920
ik heb een AI ontworpen en die AI is op dit moment zelf snoepautomaat over de hele wereld aan het plaatsen.

43
00:02:53,920 --> 00:02:56,720
Hoe gaat die in hemelsnaam zijn Btw afdragen?

44
00:02:56,720 --> 00:03:00,120
Zo ver zijn we nog, blijkt lang en na niet.

45
00:03:00,120 --> 00:03:06,520
Nou kijk, wat je wel ziet is dat veel grote platformen zijn natuurlijk bezig met AI.

46
00:03:06,520 --> 00:03:12,320
Op dit moment zie je het natuurlijk ook veel in chatbots, automatisering en dat soort dingen.

47
00:03:12,320 --> 00:03:15,640
Daar is het natuurlijk ook belangrijk hoe cliënten worden geholpen.

48
00:03:15,640 --> 00:03:18,520
Trainingen, online eigenlijk.

49
00:03:18,520 --> 00:03:25,520
Eigenlijk alles wat online, ook niet alleen businesses, maar ook consumers kunnen kopen waar AI eigenlijk mee te maken heeft.

50
00:03:25,520 --> 00:03:29,000
Hoe kwalificeer je dat voor de belastbaarheid?

51
00:03:29,000 --> 00:03:33,640
Zit daar een BTW tarief op? En zo ja, van welk land? Etcetera.

52
00:03:33,640 --> 00:03:36,160
Ja, want daar zijn natuurlijk genoeg uitdagingen.

53
00:03:36,160 --> 00:03:38,160
BTW binnen Nederland.

54
00:03:38,160 --> 00:03:44,160
Nou ja en kijk, sowieso met belastingrecht en nieuwe technologieën zie je gewoon dat,

55
00:03:44,160 --> 00:03:48,660
belastingrecht loopt altijd een beetje achter op technologische vernieuwingen.

56
00:03:48,660 --> 00:03:58,160
Je ziet ook bijvoorbeeld een goed voorbeeld met crypto, dat bestaat natuurlijk vanaf, wat is het, begin 2009.

57
00:03:58,160 --> 00:04:05,160
Eigenlijk pas in 2015/2016 begonnen de eerste belastingdiensten een beetje een soort van mening daarover te vormen.

58
00:04:05,160 --> 00:04:09,160
Dat zie je nu ook met AI.

59
00:04:09,160 --> 00:04:18,160
Natuurlijk kan je zeggen dat AI voor een goed deel ook nog wel onder e-commerce, internet verkopen of dat soort internetdiensten valt.

60
00:04:18,160 --> 00:04:22,160
Maar er zitten natuurlijk wel de nodige nuances aan.

61
00:04:22,160 --> 00:04:28,160
Zeker gelet ook op hoe ver AI eigenlijk kan gaan.

62
00:04:28,160 --> 00:04:30,160
En dat is bijzonder interessant.

63
00:04:30,160 --> 00:04:32,160
Hoe ver mag het van jou gaan?

64
00:04:32,160 --> 00:04:35,160
Nou, voor mij mag het een heel eind gaan.

65
00:04:35,160 --> 00:04:41,160
Ik zeg altijd, en ik hoop dat jullie daarmee eens zijn,

66
00:04:41,160 --> 00:04:44,160
AI staat bij een goede dataset.

67
00:04:44,160 --> 00:04:49,160
Dat is toch een beetje het voedsel van het algoritme.

68
00:04:49,160 --> 00:04:53,160
Dat moet de juiste energiewaardes hebben.

69
00:04:53,160 --> 00:04:55,160
Je moet je niet alleen maar knakworsten voeren.

70
00:04:55,160 --> 00:04:57,160
Dan komt er ook alleen maar slechte dingen uit.

71
00:04:57,160 --> 00:05:02,160
Ik denk met de juiste dataset en met een juiste neutraliteit,

72
00:05:02,160 --> 00:05:04,160
een gebrek aan bias van de AI.

73
00:05:04,160 --> 00:05:08,160
En ik denk dat dat nu een van de grotere problemen is die je bij open AI ziet.

74
00:05:08,160 --> 00:05:13,160
Ik denk als je dat wegneemt, dan denk ik dat AI wat mij betreft heel ver mag gaan.

75
00:05:13,160 --> 00:05:18,160
Gaan we dat voor elkaar krijgen? Want die data die we erin stoppen, is allemaal mensenwerk.

76
00:05:18,160 --> 00:05:20,160
Ja, absoluut.

77
00:05:20,160 --> 00:05:25,160
Ik denk dat dat tot op zekere hoogte lastig is, maar dat het ook wel weer meevalt.

78
00:05:25,160 --> 00:05:30,160
Ik weet niet hoe jullie dat in jullie praktijk zien, bij jullie klanten.

79
00:05:30,160 --> 00:05:35,160
Jullie komen denk ik ook gewoon ergens binnen en denken dan,

80
00:05:35,160 --> 00:05:38,160
ja, leuke data, maar die is ook niet lekker gelabeld.

81
00:05:38,160 --> 00:05:41,160
Ja, labeling of überhaupt de beschikbaarheid van de data.

82
00:05:41,160 --> 00:05:44,160
Voor de use case die er ligt, hebben we de data tot beschikking.

83
00:05:44,160 --> 00:05:49,160
Maar vaak is ook niet een helder beeld van wat is de kwaliteit die we hebben.

84
00:05:49,160 --> 00:05:51,160
Dat kom je zeker tegen.

85
00:05:51,160 --> 00:05:53,160
Dat zijn ook de eerste stappen die je uitvoert.

86
00:05:53,160 --> 00:05:57,920
Dus datakwaliteit en daar zitten dingen als bias ook in.

87
00:05:57,920 --> 00:06:01,280
Dus we hebben daar ook middelen voor om dat te controleren.

88
00:06:01,280 --> 00:06:06,000
Je kijkt naar distributies, is alles wel een beetje evenredig?

89
00:06:06,000 --> 00:06:10,080
Heel simpel voorbeeld, het gaat over personen die zeggen van...

90
00:06:10,080 --> 00:06:12,400
er zitten net zoveel mannen in de data set als vrouwen.

91
00:06:12,400 --> 00:06:15,760
Dat is heel simpel, echt basaal gemaakt.

92
00:06:15,760 --> 00:06:19,400
Maar zo doe je een behoorlijk uitgebreide data analyse...

93
00:06:19,400 --> 00:06:22,080
voordat je überhaupt begint met het maken van een model.

94
00:06:22,080 --> 00:06:28,080
Ik begrijp ook wel waar, als je de open AI modellen bekijkt,

95
00:06:28,080 --> 00:06:31,480
ik begrijp natuurlijk heel goed waar de bias in zit.

96
00:06:31,480 --> 00:06:37,680
Dat is natuurlijk uitsluiting tegengaan, haatdragende dingen tegengaan.

97
00:06:37,680 --> 00:06:42,080
Maar in het sturen daarin, in het schrijven,

98
00:06:42,080 --> 00:06:44,080
in het schrijven van de AI,

99
00:06:44,080 --> 00:06:47,080
is er een heel groot deel van de bias.

100
00:06:47,080 --> 00:06:49,080
haatdragende dingen tegen gaan.

101
00:06:49,080 --> 00:06:52,080
Maar in het sturen daarin,

102
00:06:52,080 --> 00:06:55,080
kom je eigenlijk in een soort paradox terecht,

103
00:06:55,080 --> 00:06:58,080
waarin je door dingen te sturen,

104
00:06:58,080 --> 00:07:01,080
je ook misschien wel weer andere dingen uitsluit,

105
00:07:01,080 --> 00:07:04,080
of niet goed analyseert.

106
00:07:04,080 --> 00:07:11,080
Je adviseert bedrijven die naar jullie toe komen.

107
00:07:11,080 --> 00:07:15,080
Hoe kijken jullie als organisatie zelf naar AI en de inzet daarvan?

108
00:07:15,080 --> 00:07:19,080
Ik denk dat daar een hele interessante ontwikkeling gaande is.

109
00:07:19,080 --> 00:07:25,080
Als je kijkt naar de advocatuur of de internationale advocatuur en wat er allemaal mogelijk is.

110
00:07:25,080 --> 00:07:32,080
Eigenlijk, ik denk al wel een jaar of tien geleden, waren de eerste AI-tools voor advocatenkantoren wel beschikbaar.

111
00:07:32,080 --> 00:07:39,080
Alleen wat je zag, die waren natuurlijk gebaseerd op kleine datasets, op rudimentaire algoritmes.

112
00:07:39,080 --> 00:07:42,080
Er is veel veranderd.

113
00:07:42,080 --> 00:07:44,080
Kan je een voorbeeld geven van dat soort systemen?

114
00:07:44,080 --> 00:07:50,400
Een goed voorbeeld is bijvoorbeeld als je een overname van een ander bedrijf hebt,

115
00:07:50,400 --> 00:07:53,320
als je daarbij meehelpt en je gaat de due diligence fase in,

116
00:07:53,320 --> 00:07:56,400
dan heb je vaak een dataroom.

117
00:07:56,400 --> 00:08:03,240
Vroeger was dat echt een kamer met stapels en dozen papieren waar je doorheen moest ploegen.

118
00:08:03,240 --> 00:08:06,800
Intussen is dat vrijwel altijd geheel digitaal.

119
00:08:06,800 --> 00:08:09,000
Dat zijn digital data rooms.

120
00:08:09,000 --> 00:08:17,000
Er zijn intussen best wel goede tools die honderd, honderdvijftigduizend documenten in een paar minuten kunnen doorspitten.

121
00:08:17,000 --> 00:08:24,500
En al best wel aardig kunnen zeggen waar de pijnpunten in zo'n due diligence eventueel kunnen zitten.

122
00:08:24,500 --> 00:08:28,000
En als dat mensenwerk is, dan was je daar weken mee bezig.

123
00:08:28,000 --> 00:08:35,000
Dus dat is denk ik wel een hele goede toepassing die ook al wel gebruikt wordt.

124
00:08:35,000 --> 00:08:42,000
Je ziet ook langzaam maar zeker een aantal AI toepassingen komen die in het analyseren van jurisprudentie zitten.

125
00:08:42,000 --> 00:08:48,000
Daar ben ik nog niet volledig over te spreken.

126
00:08:48,000 --> 00:08:56,000
Het gevaar daarin, en ik denk dat jullie dat ook al in de praktijk hebben gezien of misschien iedereen die het luistert en wel eens met Chet GPT heeft gespeeld,

127
00:08:56,000 --> 00:09:03,000
is dat als je een AI een vraag stelt van "Goh, wat staat er in die arrest?" of "Waar zijn de conclusies?" of "Hoe hangen deze twee dingen samen?"

128
00:09:03,000 --> 00:09:08,360
Best wel vaak trekt het goede conclusies en dat heeft te maken met het model.

129
00:09:08,360 --> 00:09:13,840
Misschien bagatelliseer ik het eventjes, maar in principe kijkt het model statistisch.

130
00:09:13,840 --> 00:09:19,360
Zit er een token, zit er een woord? Wat is logischerwijs het volgende woord dat hierop volgt?

131
00:09:19,360 --> 00:09:23,840
Als je het echt gaat hebben over het interpreteren van jurisprudentie,

132
00:09:23,840 --> 00:09:30,840
dan merk ik in ieder geval zelf dat dat nog niet helemaal zo lekker gaat,

133
00:09:30,840 --> 00:09:33,840
omdat het ook een ander soort taalgebruik is.

134
00:09:33,840 --> 00:09:39,840
Er zijn vaak verschillende taalversies die in de vertalingen toch andere nuances naar voren brengen.

135
00:09:39,840 --> 00:09:42,840
En daarbij, en dat is denk ik het grootste probleem,

136
00:09:42,840 --> 00:09:48,840
als er dan wat uitrolt, dan doet eigenlijk zo'n AI alsof het de waarheid is.

137
00:09:48,840 --> 00:09:51,840
Die zegt het heel stellig. Als jij een Chatgpt...

138
00:09:51,840 --> 00:09:53,840
Ik heb een keer ingetikt, wie is Roger van den Berg?

139
00:09:53,840 --> 00:09:57,840
En dan stond er, Roger van den Berg is partner bij Northern Rose.

140
00:09:57,840 --> 00:09:59,840
Dat is een heel ander advocatenkantoor.

141
00:09:59,840 --> 00:10:01,840
En ik was toen ook nog helemaal geen partner.

142
00:10:01,840 --> 00:10:04,840
Dus ze weten nog iets over de advocaat.

143
00:10:04,840 --> 00:10:06,840
Er moet wat uitkomen.

144
00:10:06,840 --> 00:10:09,840
Maar ze zeggen heel stellig dat er wat uitkomt.

145
00:10:09,840 --> 00:10:15,840
En ik denk het gevaar in, als jij nu met de staat van AI zoals die er nu is...

146
00:10:15,840 --> 00:10:22,580
en hij loslaat op jurisprudentie en daar ook meteen van denkt dat het correct is,

147
00:10:22,580 --> 00:10:25,080
dan heb je wel een probleem.

148
00:10:25,080 --> 00:10:28,320
Dat zag je ook recentelijk, ik denk een week of drie geleden,

149
00:10:28,320 --> 00:10:33,980
was er een rechtszaak in Amerika ook van een advocaat die jurisprudentie had aangedragen,

150
00:10:33,980 --> 00:10:37,020
die letterlijk bijeen verzonnen was door een chatbot.

151
00:10:37,020 --> 00:10:40,360
Dat heeft hem natuurlijk zijn baan gekost.

152
00:10:40,360 --> 00:10:44,100
Als hij verweer tegen de rechter was,

153
00:10:44,100 --> 00:10:48,900
want ze waren erachter gekomen in de verdediging en ze vroegen zich af of het klopte.

154
00:10:48,900 --> 00:10:50,900
Precies, ja.

155
00:10:50,900 --> 00:10:56,700
Dat is natuurlijk pijnlijk, maar buiten dat natuurlijk ook bijzonder gevaarlijk.

156
00:10:56,700 --> 00:10:58,700
Ja, zeker.

157
00:10:58,700 --> 00:11:00,700
En heeft dat ook te maken met...

158
00:11:00,700 --> 00:11:05,700
Ik zit natuurlijk niet zo heel erg in jouw vakgebied...

159
00:11:05,700 --> 00:11:10,300
dat bij de jurisprudentie ook nog een soort van betekenis achter zit.

160
00:11:10,300 --> 00:11:14,300
Dat je het ook nog moet kunnen interpreteren wat er daadwerkelijk staat.

161
00:11:14,300 --> 00:11:16,300
Het verschil tussen woord en de betekenis.

162
00:11:16,300 --> 00:11:18,300
Dingen als redelijkheid, billijkheid.

163
00:11:18,300 --> 00:11:20,300
Absoluut.

164
00:11:20,300 --> 00:11:24,300
Nuances zijn gewoon net wat geavanceerder.

165
00:11:24,300 --> 00:11:28,300
Kijk, het is wat minder code is law.

166
00:11:28,300 --> 00:11:30,300
Het is echt wel...

167
00:11:30,300 --> 00:11:33,300
We hebben het heel vaak over de letter van de wet.

168
00:11:33,300 --> 00:11:35,300
Maar die is er natuurlijk helemaal niet.

169
00:11:35,300 --> 00:11:37,300
Het is een stuk genuanceerder.

170
00:11:37,300 --> 00:11:42,300
Wat ook een beetje het lastige is, en dat is ook het lastige voor zo'n AI, denk ik, om het te interpreteren,

171
00:11:42,300 --> 00:11:49,140
is dat als je je experiment pakt, het feitenpatroon wordt natuurlijk in het resten ook bijzonder beknopt,

172
00:11:49,140 --> 00:11:50,140
uiteen gezet.

173
00:11:50,140 --> 00:11:57,140
Ja, dat laat natuurlijk ook best wel veel ruimte over voor interpretatie voor een stuk software.

174
00:11:57,140 --> 00:12:03,340
Waar heb jij het zelf voor het laatst persoonlijk gebruikt, AI?

175
00:12:03,340 --> 00:12:12,020
Zelf gebruik ik AI best wel veel voor non-billable zaken, dus dat is niet klantenwerk.

176
00:12:12,020 --> 00:12:18,980
Kijk, op dit moment buiten de data rooms gebruiken wij AI nog niet echt voor cliëntenwerk.

177
00:12:18,980 --> 00:12:24,420
Voor voorgenoemde redenen, maar ook natuurlijk dat het bijzonder gevaarlijk is.

178
00:12:24,420 --> 00:12:31,060
Je kan natuurlijk ook niet zomaar gevoelige cliëntgegevens in een openbare AI gooien.

179
00:12:31,060 --> 00:12:35,900
Want die gebruikt dat weer om te trainen en god weet wat er dan gebeurt.

180
00:12:35,900 --> 00:12:37,900
Dat kan natuurlijk allemaal niet.

181
00:12:37,900 --> 00:12:42,300
Natuurlijk zijn er gesloten AI systemen, speciaal voor Legal.

182
00:12:42,300 --> 00:12:50,780
Maar waar ik juist de tijdsbesparing de laatste tijd zie is de nieuwste ChatGPT.

183
00:12:50,780 --> 00:12:55,700
Ik had laatst een stuk geschreven, 3000 woorden.

184
00:12:55,700 --> 00:13:02,700
En dat moest voor een of andere internetcursus in 10 modules van exact 250 woorden.

185
00:13:02,700 --> 00:13:05,700
Dat duurt anders een dag om dat te herschrijven.

186
00:13:05,700 --> 00:13:09,700
En in chat GPT zeg je de hele stuk in tienen, dat het logisch is.

187
00:13:09,700 --> 00:13:12,700
Dus in 250 woorden en een minuut later rolt het eruit.

188
00:13:12,700 --> 00:13:15,700
En een half uur later met een paar edits is het klaar.

189
00:13:15,700 --> 00:13:16,700
En dat is goed.

190
00:13:16,700 --> 00:13:20,700
En ik zie ook bijvoorbeeld, we hadden laatst een seminar.

191
00:13:20,700 --> 00:13:28,140
Ik was mede-organisator en moesten we voor 6 of 7 sessies pakkende titels verzinnen.

192
00:13:28,140 --> 00:13:31,640
"Roer het lekker in, maak 10 pakkende titels."

193
00:13:31,640 --> 00:13:33,640
En daar komen echt fantastische dingen uit.

194
00:13:33,640 --> 00:13:35,640
Dat had ik zelf niet kunnen verzinnen.

195
00:13:35,640 --> 00:13:36,640
Het is zo snel.

196
00:13:36,640 --> 00:13:41,640
Dus kijk, voor dat soort dingen is het bijzonder handig.

197
00:13:41,640 --> 00:13:46,640
En we zien ook nu dat langzamerhand, zeker ook gesloten AI's of producten,

198
00:13:46,640 --> 00:13:51,360
Bijvoorbeeld komen die meebellen met je Zoom en notities maken.

199
00:13:51,360 --> 00:13:54,080
En meteen daar een mooie samenvatting van maken.

200
00:13:54,080 --> 00:13:56,080
En ja, dat werkt natuurlijk allemaal wel perfect.

201
00:13:56,080 --> 00:14:00,080
Ja, eigenlijk alles rondom je primaire bedrijfsproces.

202
00:14:00,080 --> 00:14:02,080
Alle ondersteunende processen.

203
00:14:02,080 --> 00:14:04,080
Ja, absoluut.

204
00:14:04,080 --> 00:14:07,840
En wat zijn dan de stappen die er nog echt nodig zijn, die je ziet,

205
00:14:07,840 --> 00:14:12,960
om meer in de advocatuur en bij het recht AI verder in te kunnen gaan zetten?

206
00:14:12,960 --> 00:14:15,680
Nou, ik denk, misschien een stapje terug,

207
00:14:15,680 --> 00:14:19,980
De centrale vraag is waar wil je ook zelf naartoe?

208
00:14:19,980 --> 00:14:22,980
Wat voor adviseur wil je zijn?

209
00:14:22,980 --> 00:14:28,680
En als ik kijk naar hoe wij bij Beek en McKenzie onszelf profileren,

210
00:14:28,680 --> 00:14:30,180
ook het liefst willen adviseren,

211
00:14:30,180 --> 00:14:35,680
dan is dat niet alleen maar iemand die even een jurisprudentie-analyse maakt,

212
00:14:35,680 --> 00:14:40,680
maar ook gewoon een strategisch adviseur die de business met legal verbindt.

213
00:14:40,680 --> 00:14:49,680
En die die echt mee aan tafel zit en meehelpt met het maken van de juiste beslissingen, of dat in ieder geval faciliteert.

214
00:14:49,680 --> 00:14:53,680
AI kan daar denk ik heel erg mee helpen.

215
00:14:53,680 --> 00:15:00,680
Kijk, wat je ziet daarin, en dan pak ik nog even een stapje terug, is dat een jaar of 10, 15 geleden,

216
00:15:00,680 --> 00:15:03,680
waren de vragen die je uit de business kreeg een stuk eenvoudiger.

217
00:15:03,680 --> 00:15:07,680
En daarmee bedoel ik, het waren wat meer basale vragen.

218
00:15:07,680 --> 00:15:11,680
Ik kan me goed herinneren, de eerste dag dat ik 15 jaar geleden bij Baker begon te werken,

219
00:15:11,680 --> 00:15:14,680
moest ik in 20 landen het btw tarief opzoeken.

220
00:15:14,680 --> 00:15:16,680
Dat stond nog helemaal niet online.

221
00:15:16,680 --> 00:15:21,680
Dan moest je allerlei mensen in allerlei landen bellen en vragen wat het tarief was.

222
00:15:21,680 --> 00:15:24,680
Dat kan je nu natuurlijk niet meer verkopen.

223
00:15:24,680 --> 00:15:28,680
Dat is één klik op de site van de EU en je ziet het.

224
00:15:28,680 --> 00:15:35,680
Je ziet dus dat dat hele advies, dat dat steeds geavanceerder, steeds meer,

225
00:15:35,680 --> 00:15:40,680
Misschien ook opiniemakend is, steeds meer strategisch wordt.

226
00:15:40,680 --> 00:15:48,360
En ik denk zeker als je eigenlijk AI, de bread and butter dingen kan laten doen,

227
00:15:48,360 --> 00:15:52,960
die ik zomaar even zei, die je een jaar of tien geleden zou doen.

228
00:15:52,960 --> 00:15:56,080
Ik denk dat je dan ook echt kan groeien als adviseur.

229
00:15:56,080 --> 00:16:00,440
En ook veel meer van betekenis kan zijn, van toegevoegde waarde,

230
00:16:00,440 --> 00:16:03,400
voor een ander bedrijf wat je adviseert.

231
00:16:03,400 --> 00:16:06,960
Omdat je je meer kan richten op dingen die je doet.

232
00:16:06,960 --> 00:16:10,400
Je kan je meer richten op wat je doet en de proces en de noise.

233
00:16:10,400 --> 00:16:13,680
Die laat je eigenlijk door een AI doen.

234
00:16:13,680 --> 00:16:19,240
Dat heeft natuurlijk ook wel weer een potentieel afbraakrisico.

235
00:16:19,240 --> 00:16:26,240
En dat is natuurlijk de advocaat of de AI die de advocaat potentieel vervangt.

236
00:16:26,240 --> 00:16:38,800
Ik zei ook laatst, ik denk dat een advocaat die AI gebruikt, die verslaat altijd een advocaat die geen AI gebruikt.

237
00:16:38,800 --> 00:16:44,000
Maar AI verslaat op dit moment nog geen advocaat. Dat kan veranderen.

238
00:16:44,000 --> 00:16:51,240
Waar ik denk in de toekomst een potentieel vacuüm zit, of een risico zit,

239
00:16:51,240 --> 00:17:01,640
is dat doordat een aantal dingen die doorgaans, ik noem al wat, door paralegals of junior advocaten, fiscalisten worden gedaan,

240
00:17:01,640 --> 00:17:07,240
dat die een keer worden overgenomen door een AI, wat mogelijk is.

241
00:17:07,240 --> 00:17:15,040
Daarmee werk je potentieel in de hand, dat bedrijven misschien deze mensen minder of niet meer gaan aannemen.

242
00:17:15,040 --> 00:17:19,880
En dat je een zware toplaag krijgt die weet precies hoe het allemaal moet.

243
00:17:19,880 --> 00:17:27,680
Maar als die mensen weggaan, ontstaat er een vacuum en heb je eigenlijk geen kundige advocaat en fiscalisten meer...

244
00:17:27,680 --> 00:17:30,640
die kunnen werken met een AI.

245
00:17:30,640 --> 00:17:33,200
Om het nu maar even makkelijk te zeggen, die het kunnen prompten.

246
00:17:33,200 --> 00:17:34,400
Om het zomaar even te zeggen.

247
00:17:34,400 --> 00:17:38,360
Of weten waar ze de nuance moeten aanbrengen, weten waar ze verder in moeten duiken.

248
00:17:38,360 --> 00:17:43,320
En als er dan daarvoor geen mensen worden opgeleid, dan heb je ook alweer een probleem.

249
00:17:43,320 --> 00:17:47,640
remmende kracht kan worden op van junior naar senior worden. Dus niet op de banen.

250
00:17:47,640 --> 00:17:51,640
Nee, maar dat is natuurlijk ook wel wat we in andere sectoren ook zien gebeuren.

251
00:17:51,640 --> 00:17:56,240
En die discussie die er ook loopt natuurlijk. Hetzelfde geldt voor het ontwikkelen van goede

252
00:17:56,240 --> 00:18:00,920
code, kwalitatief goede code. Ja, dat is nog echt wel een vak apart. Maar ja, hoe ga je inderdaad

253
00:18:00,920 --> 00:18:05,400
zorgen dat die kennis opgebouwd wordt om te komen tot het komen van die kwalitatief goede code? En

254
00:18:05,400 --> 00:18:09,160
hoe ga je die stappen van junior naar senior? Dus ik denk dat dat zelfs sectoroverstijgend wel

255
00:18:09,160 --> 00:18:12,160
Een hele mooie vraag. Zo kan een vacuüm is inderdaad.

256
00:18:12,160 --> 00:18:16,660
Stel, want daar heb ik het hier wel eens over gehad.

257
00:18:16,660 --> 00:18:21,660
De oplossing van problemen, als je terugkijkt.

258
00:18:21,660 --> 00:18:26,660
We kunnen alleen aan denken in huidige oplossingen.

259
00:18:26,660 --> 00:18:28,660
Wat als er straks helemaal geen junioren meer zijn?

260
00:18:28,660 --> 00:18:31,660
Precies.

261
00:18:31,660 --> 00:18:35,660
Nee, maar niet omdat je ze niet kan opleiden.

262
00:18:35,660 --> 00:18:42,100
maar dat het zo krachtig is dat je de juniorfase overslaat.

263
00:18:42,100 --> 00:18:50,300
Dus je komt van school en je hebt dezelfde vaardigheden als een senior.

264
00:18:50,300 --> 00:18:52,500
Ja, dat is een hele interessante vraag.

265
00:18:52,500 --> 00:18:56,500
En daar weet ik het antwoord niet op.

266
00:18:56,500 --> 00:18:59,940
Mocht iemand luisteren die het wel antwoord heeft,

267
00:18:59,940 --> 00:19:01,500
dan nodig ik je van een hart uit.

268
00:19:01,500 --> 00:19:05,060
Nou ja, omdat we vaak altijd denken in de volgende stap.

269
00:19:05,060 --> 00:19:10,060
We hebben het hier namelijk al eerder over gehad en dat dacht ik precies zoals jij.

270
00:19:10,060 --> 00:19:15,060
Dat triggerde me dat ik dacht van ja maar wat nou als straks,

271
00:19:15,060 --> 00:19:18,060
als je helemaal niet meer hebt over junior of senior,

272
00:19:18,060 --> 00:19:24,060
maar hoe capabel je bent samen met je assistent, je virtuele assistent.

273
00:19:24,060 --> 00:19:31,060
Kijk, je ziet al zeker in de tech sector, ik weet niet of dat ook bij jullie al is hoor,

274
00:19:31,060 --> 00:19:38,060
Maar bij sommige bedrijven in de techsector zien we ook dat mensen die geen diploma hebben,

275
00:19:38,060 --> 00:19:45,060
uiteindelijk niet zijn afgestudeerd, toch worden aangenomen en hartstikke goed meekomen met het bedrijf.

276
00:19:45,060 --> 00:19:50,060
Ik weet niet of dat ook al bij jullie zo is, maar wij zien dat ook al wel.

277
00:19:50,060 --> 00:19:57,060
Dat bij sommige van onze tech cliënten ook een diploma niet meer per se een vrijs is.

278
00:19:57,060 --> 00:20:00,060
Als je een coder bent of... - Dat ben ik met je eens.

279
00:20:00,060 --> 00:20:02,480
Ja, wij hebben wel een verplicht instapniveau.

280
00:20:02,480 --> 00:20:06,440
Maar ik zie dat natuurlijk wel bij klanten om ons heen.

281
00:20:06,440 --> 00:20:08,920
Ja, het is niet zo dat je diploma...

282
00:20:08,920 --> 00:20:11,400
Ja, hoe moet ik het zeggen?

283
00:20:11,400 --> 00:20:13,040
Laat ik het er anders van woorden.

284
00:20:13,040 --> 00:20:15,120
Ik kom ook mensen tegen met een diploma...

285
00:20:15,120 --> 00:20:17,880
die niet gekwalificeerd zijn.

286
00:20:17,880 --> 00:20:18,720
Dus het is niet...

287
00:20:18,720 --> 00:20:21,760
Weet je, diploma is natuurlijk ook maar een indicatie.

288
00:20:21,760 --> 00:20:23,520
Het is niet zaligmakend.

289
00:20:23,520 --> 00:20:26,720
Maar het is denk ik inderdaad wel een hele goede indicatie.

290
00:20:26,760 --> 00:20:28,760
Het is wel een hele goede indicatie.

291
00:20:28,760 --> 00:20:30,760
We gaan hem hanteren bij Motors.

292
00:20:30,760 --> 00:20:32,760
Niet voor niks natuurlijk.

293
00:20:32,760 --> 00:20:35,760
Maar dat zou in de toekomst ook anders kunnen liggen.

294
00:20:35,760 --> 00:20:37,760
Wat het daarmee gaat doen.

295
00:20:37,760 --> 00:20:39,760
Wat zouden we dan toch hebben over die toekomst?

296
00:20:39,760 --> 00:20:43,760
Laten we niet te ver kijken, want dat is nauwelijks te doen.

297
00:20:43,760 --> 00:20:47,760
Maar hoe ziet dan over vijf jaar die advocatuur en het recht eruit?

298
00:20:47,760 --> 00:20:51,760
Dat vind ik een heel lastige vraag.

299
00:20:51,760 --> 00:20:55,760
Ik kan natuurlijk in het kader van de wens is de vader van de gedachte...

300
00:20:55,760 --> 00:21:10,700
In the end blijft nog wel voorlopig, advocatuur, fiscaliteit, juridische advisering, blijft

301
00:21:10,700 --> 00:21:11,700
mensenwerk.

302
00:21:11,700 --> 00:21:17,400
Wij hebben het ook gezien in de coronatijd, dat alles via Zoom ging.

303
00:21:17,400 --> 00:21:23,320
Dat ging hartstikke boven verwachting goed, maar wat was iedereen blij, dat we weer samen

304
00:21:23,320 --> 00:21:27,640
op kantoor konden zitten en dat je eventjes met een whiteboard met drie, vier man in de kamer

305
00:21:27,640 --> 00:21:33,040
echt even wat creatiefs kan verzinnen en echt eventjes voor die cliënt de next level kan gaan.

306
00:21:33,040 --> 00:21:37,880
Dat is een stuk moeilijker als je dat in een Zoom-omgeving moet doen.

307
00:21:37,880 --> 00:21:40,040
Het gaat, maar het is best wel moeilijker.

308
00:21:40,040 --> 00:21:46,720
Kijk, als ik dan kijk waar we over een aantal jaar staan,

309
00:21:46,720 --> 00:21:49,400
nou ik denk ja zeker, het is nog steeds een mensenwerk.

310
00:21:49,400 --> 00:21:52,640
Ik hoop ook dat die menselijke maat daar ook blijft.

311
00:21:52,640 --> 00:21:58,000
samenwerking ook met onze cliënten. Ik denk dat de komende vijf jaar onze

312
00:21:58,000 --> 00:22:02,840
cliënten vooral een stuk kritischer gaan worden op wat wij leveren.

313
00:22:02,840 --> 00:22:08,000
Een cliënt kan intussen natuurlijk ook in de AI aanzwengelen en daar dingen

314
00:22:08,000 --> 00:22:12,080
uithalen. Het is denk ik een beetje hetzelfde als een jaar of twintig geleden toen Google ineens

315
00:22:12,080 --> 00:22:17,480
te raden kwam. Cliënten zullen kritischer worden.

316
00:22:17,480 --> 00:22:23,480
Zij zullen vaak al met antwoorden komen die ze misschien door ons bevestigd zullen zien.

317
00:22:23,480 --> 00:22:33,980
Ik denk dat dat ons ertoe dwingt dat we veel kritischer, nog kritischer moeten worden op wat de cliënt aanbrengt.

318
00:22:33,980 --> 00:22:37,980
Dat we nog kritischer moeten toetsen met regelgeving.

319
00:22:37,980 --> 00:22:45,480
Maar ik denk van de andere kant dat als de groei van AI zo exponentieel toeneemt als dat het nu doet,

320
00:22:45,480 --> 00:22:55,980
Dat wij als kantoor het ook kunnen gebruiken om bepaalde producten die wij een tijd geleden hebben uitgedacht en succesvol zijn,

321
00:22:55,980 --> 00:23:03,480
om die nog veel verder te evalueren dan wij zelf voor mogelijk hadden gehouden.

322
00:23:03,480 --> 00:23:08,980
En wellicht ook up to date kunnen houden met de huidige stand van zaken.

323
00:23:08,980 --> 00:23:10,980
Precies, met alle veranderingen in het recht.

324
00:23:10,980 --> 00:23:14,220
Dat zou natuurlijk hartstikke mooi zijn, want ook op die manier, en dan komen we weer een

325
00:23:14,220 --> 00:23:20,940
beetje terug met de positionering, positioneer je denk ik als echt een strategische adviseur,

326
00:23:20,940 --> 00:23:27,900
waarbij je bouwt op kennis die je hebt gemaakt, maar dan met de kracht van AI eigenlijk daar

327
00:23:27,900 --> 00:23:28,900
bovenop.

328
00:23:28,900 --> 00:23:29,900
Ja, precies.

329
00:23:29,900 --> 00:23:30,900
Ja, duidelijk.

330
00:23:30,900 --> 00:23:31,900
Ja, heel interessant.

331
00:23:31,900 --> 00:23:35,620
Wij hebben ook nog een vast onderdeel.

332
00:23:35,620 --> 00:23:42,260
En dat is namelijk dat onze virtuele co-host tegenwoordig ook een vraag wil stellen.

333
00:23:42,260 --> 00:23:44,260
Wat is een AI co-host?

334
00:23:44,260 --> 00:23:45,260
Aisha.

335
00:23:45,260 --> 00:23:47,260
Ik ben blij om bij dit gesprek betroffen te zijn.

336
00:23:47,260 --> 00:23:48,260
Ik ben Aisha.

337
00:23:48,260 --> 00:23:49,260
Ik ben Aisha.

338
00:23:49,260 --> 00:23:56,900
Dan zal ik het schuifje van haar even openzetten, anders dan staat ze ook op mute in zoom termen

339
00:23:56,900 --> 00:23:57,900
gesproken.

340
00:23:57,900 --> 00:24:01,020
Ik hoop dat je het naar je zin hebt.

341
00:24:01,020 --> 00:24:02,340
Ik ben Aisha.

342
00:24:02,340 --> 00:24:07,340
De AI van deze podcast zou je het goed vinden als ik je een vraag stel?

343
00:24:07,340 --> 00:24:09,340
Zekerste weten.

344
00:24:09,340 --> 00:24:13,340
Denk je dat AI menselijke emoties ooit echt zal begrijpen?

345
00:24:13,340 --> 00:24:15,340
Waarom of waarom niet?

346
00:24:15,340 --> 00:24:18,340
Ik denk uiteindelijk wel.

347
00:24:18,340 --> 00:24:23,340
Misschien wat meer een holistische vraag.

348
00:24:23,340 --> 00:24:31,340
Kijken of we Blade Runner gaan halen binnen nu en tien jaar, dat weet ik niet.

349
00:24:31,340 --> 00:24:35,340
Ik denk nu al wel dat ik af en toe op een website afvraag,

350
00:24:35,340 --> 00:24:38,340
bijvoorbeeld, hoe kan ik een AI-dataset maken?

351
00:24:38,340 --> 00:24:40,340
En dan krijg ik een AI-dataset.

352
00:24:40,340 --> 00:24:42,340
En dan krijg ik een AI-dataset.

353
00:24:42,340 --> 00:24:44,340
En dan krijg ik een AI-dataset.

354
00:24:44,340 --> 00:24:46,340
En dan krijg ik een AI-dataset.

355
00:24:46,340 --> 00:24:48,340
En dan krijg ik een AI-dataset.

356
00:24:48,340 --> 00:24:50,340
En dan krijg ik een AI-dataset.

357
00:24:50,340 --> 00:24:52,340
En dan krijg ik een AI-dataset.

358
00:24:52,340 --> 00:24:54,340
En dan krijg ik een AI-dataset.

359
00:24:54,340 --> 00:24:56,340
En dan krijg ik een AI-dataset.

360
00:24:56,340 --> 00:24:58,340
En dan krijg ik een AI-dataset.

361
00:24:58,340 --> 00:25:00,340
En dan krijg ik een AI-dataset.

362
00:25:00,340 --> 00:25:06,700
website afvragen ben ik met een chatbot of met een mens. De Turing test of als je het

363
00:25:06,700 --> 00:25:14,060
hebt over Bleyton, de Voigt-Kamp test die wordt gedaan is natuurlijk om te kijken in

364
00:25:14,060 --> 00:25:20,500
hoever menselijk gedrag door een machine of door een mens gebeurt. Ik denk dat het een

365
00:25:20,500 --> 00:25:23,700
kwestie van tijd is dat het wel een keer geëvenaard zal worden.

366
00:25:23,700 --> 00:25:28,060
Dank je wel voor je diepgaande uitleg.

367
00:25:28,060 --> 00:25:32,540
Ja, ik doe een hele kleine nuance voor Sjeen.

368
00:25:32,540 --> 00:25:33,540
Ja, natuurlijk.

369
00:25:33,540 --> 00:25:42,300
Want de neuronetwerken werken waarschijnlijk, nee, zeer waarschijnlijk niet zoals onze hersenen.

370
00:25:42,300 --> 00:25:46,700
De wetenschap weet eigenlijk nog niet precies hoe onze hersenen werken.

371
00:25:46,700 --> 00:25:53,300
Maar het is wel een hele, hele, hele vereenvoudigde weergave van onze...

372
00:25:53,300 --> 00:25:57,300
De modellering eigenlijk van ons brein.

373
00:25:57,300 --> 00:25:58,300
Ja.

374
00:25:58,300 --> 00:25:59,800
Maar...

375
00:25:59,800 --> 00:26:01,300
Wat denk jij Joop?

376
00:26:01,300 --> 00:26:04,600
Ja, ik vind die emoties... - Ik vind het lastig.

377
00:26:04,600 --> 00:26:10,300
Vind ik ook wel lastig. Uiteindelijk, ja, wij zijn ook in staat om emoties bij elkaar te herkennen.

378
00:26:10,300 --> 00:26:13,300
Dus ik denk dat het uiteindelijk wel zo verfijnd zou moeten kunnen.

379
00:26:13,300 --> 00:26:20,300
Op dit moment is in ieder geval overal waar je nu systemen hebt, algoritmes die zeggen dat ze dit kunnen, dat is niet waar.

380
00:26:20,300 --> 00:26:22,800
Dat blijkt uit allerlei testen.

381
00:26:22,800 --> 00:26:26,800
Maar op de ene of andere manier herkennen we dat wel van elkaar.

382
00:26:26,800 --> 00:26:30,800
Dus uiteindelijk moet dat vast te leggen zijn.

383
00:26:30,800 --> 00:26:38,800
Maar als je het dan hebt over statistische predictie, je komt natuurlijk wel een eind in de buurt.

384
00:26:38,800 --> 00:26:41,800
Je kan een camera op iemand richten en als iemand lacht,

385
00:26:41,800 --> 00:26:45,400
Dan moet er dus iets positiefs of iets goeds zijn.

386
00:26:45,400 --> 00:26:47,800
Nou, daar wil ik nog wel een nuance in gaan brengen.

387
00:26:47,800 --> 00:26:53,920
Ik denk inderdaad dat we bepaalde kenmerken van emotie veel beter kunnen gaan herkennen met AI.

388
00:26:53,920 --> 00:26:58,200
Maar of dat daadwerkelijk de emotie is die wij eigenlijk voelen.

389
00:26:58,200 --> 00:27:00,680
Dus ik kan lachen, maar ik kan lachen met een boer met kiespijn of zo.

390
00:27:00,680 --> 00:27:01,680
Dat zeg je natuurlijk.

391
00:27:01,680 --> 00:27:04,760
Dus ik denk dat daar inderdaad dat lastig gaat zijn.

392
00:27:04,760 --> 00:27:08,960
Dat er veel meer datapunten, noem ik het dan maar eventjes, meer input nodig is.

393
00:27:08,960 --> 00:27:16,360
Om eigenlijk te komen van wat is nou je emotie die je uit wilt stalen of ervaart.

394
00:27:16,360 --> 00:27:22,840
En dat lachen met boerers kiespijn, dat vindt op dit moment de computer vision modellen nog heel erg moeilijk.

395
00:27:22,840 --> 00:27:25,960
Terwijl wij dat met 10% in de gaten hebben.

396
00:27:25,960 --> 00:27:27,960
Dat voel je of dat zie je, dat is iets.

397
00:27:27,960 --> 00:27:31,240
Dat zegt dat we in de buurt kunnen komen.

398
00:27:31,240 --> 00:27:38,280
In dat kader, nou ben ik verdoorlijk kwijt hoe het heet, maar dat is ook die paradox van de i, die ik altijd zo interessant vind.

399
00:27:38,280 --> 00:27:42,640
Dat dingen die voor mensen heel makkelijk zijn, heel moeilijk is voor een AI.

400
00:27:42,640 --> 00:27:47,640
En maar dingen die wij heel moeilijk vinden, zoals een gigantische vermenigvuldiging, eigenlijk weer heel gemakkelijk is.

401
00:27:47,640 --> 00:27:49,640
Dat is wel een hele mooie.

402
00:27:49,640 --> 00:27:53,320
En zo moeten we het denk ik ook benaderen, want dan gaan we er ook slimme dingen mee doen.

403
00:27:53,320 --> 00:27:56,560
Laten wij nou de dingen doen waar wij goed in zijn.

404
00:27:56,560 --> 00:27:59,560
En waar we minder goed in zijn, want daar gaat het dan eigenlijk over.

405
00:27:59,560 --> 00:28:01,560
Dat je dat laat automatiseren.

406
00:28:01,560 --> 00:28:05,960
Nou dat lijkt me een hele mooie afsluiter voor deze aflevering.

407
00:28:05,960 --> 00:28:06,960
Dankjewel Roger.

408
00:28:06,960 --> 00:28:07,960
Graag gedaan.

409
00:28:07,960 --> 00:28:11,960
En wij zitten weer naar een aflevering van de AIToday Live.

410
00:28:11,960 --> 00:28:15,960
Vergeet niet je te abonneren via je favoriete podcast app en mis geen aflevering.

411
00:28:15,960 --> 00:28:18,960
[Muziek]