S05E39 - Macht van Interpreteerbare AI: Transparantie en Toekomstige Wetgeving

Welkom bij een nieuwe aflevering van AIToday Live, waarin we de belangrijkste onderwerpen in de wereld van Artificiële Intelligentie diepgaand onderzoeken. In de schijnwerpers van vandaag presenteren we Bas Niesink, een gevierde data scientist bij Info Support.

Niesink legt uit hoe AI-systemen worden gedreven en op basis waarvan ze redeneren. Hij deelt inzichten over hoe deze systemen inzichtelijker kunnen worden gemaakt, voor een beter begrip van hun werking.

Mis deze boeiende aflevering niet en krijg een dieper inzicht in de intrigerende wereld van Interpreteerbare AI.

Links

• Spurious correlations (http://www.tylervigen.com/spurious-correlations)

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,000 --> 00:00:04,720
Welkom en leuk dat je weer luistert naar een nieuwe aflevering van de AIToday Live.

2
00:00:04,720 --> 00:00:09,960
Met vandaag een speciale gast Bas Niesink en samen met Joop Snijder gaan we in gesprek

3
00:00:09,960 --> 00:00:18,000
over interpreteerbare AI. Bas, leuk dat je aan wil sluiten en het met ons wil hebben over

4
00:00:18,000 --> 00:00:23,280
interpreteerbare AI. Leuk dat ik hier welkom ben. Zou je eerst even kort willen voorstellen aan de

5
00:00:23,280 --> 00:00:28,280
Ik ben Bas Niesink, data scientist bij Info Support.

6
00:00:28,280 --> 00:00:32,280
Bijna zes jaar alweer en vanuit die hoek veel met AI bezig.

7
00:00:32,280 --> 00:00:36,280
Leuk dat we je in deze uitzending mogen hebben inderdaad.

8
00:00:36,280 --> 00:00:38,280
Interpreteerbare AI.

9
00:00:38,280 --> 00:00:41,280
Uitlegbaarheid, interpreteerbaarheid.

10
00:00:41,280 --> 00:00:46,280
Neem ons mee, wat is bij jullie het beeld als we het hebben over interpreteerbare AI?

11
00:00:46,280 --> 00:00:50,280
Nou binnen Info Support als je het hebt over interpreteerbare AI,

12
00:00:50,280 --> 00:00:54,600
Dan gaat het heel erg om het uitleggen hoe een machine learning model voorspellingen maakt.

13
00:00:54,600 --> 00:01:00,320
Dus het opentrekken van die black box. En dan moet je denken aan eigenlijk karakteristieken

14
00:01:00,320 --> 00:01:05,520
van het model weergeven. Hoe werkt zo'n model als algemeenheid, maar ook voor een specifieke

15
00:01:05,520 --> 00:01:10,400
beslissing die gemaakt is op basis waarvan is dat gedaan. Dus eigenlijk alles dat ermee te maken

16
00:01:10,400 --> 00:01:14,000
heeft om te begrijpen hoe zo'n model tot zijn voorspellingen komt.

17
00:01:14,000 --> 00:01:19,560
Oké. Ja en dan zou je nog een onderscheid kunnen maken tussen explainable AI,

18
00:01:19,560 --> 00:01:25,680
en hoe dat zich relateert met de output. Als je dat hebt, noemen we dat vaak een glassbox model.

19
00:01:25,680 --> 00:01:31,160
Dus daar kun je er een beetje in kijken. En waarin je dan een soort van scherm van...

20
00:01:31,160 --> 00:01:36,960
je kunt dan een soort van scherm van de uitleg van de AI, die je dan kunt gebruiken om te laten zien...

21
00:01:36,960 --> 00:01:41,120
hoe dat zich relateert met de output. En dan heb je ook een soort van...

22
00:01:41,120 --> 00:01:46,440
een soort van scherm van de AI, die je dan kunt gebruiken om te laten zien hoe dat zich relateert met de output.

23
00:01:46,440 --> 00:01:48,440
Dus daar kan je er een beetje in kijken.

24
00:01:48,440 --> 00:01:50,440
En waar Bas het net over had,

25
00:01:50,440 --> 00:01:53,440
dus dat je echt de interpreteerbaarheid hebt,

26
00:01:53,440 --> 00:01:55,440
dan heb je net over whitebox modellen.

27
00:01:55,440 --> 00:01:57,440
Ja, oké.

28
00:01:57,440 --> 00:01:59,440
En dat is eigenlijk ook een benadering dan, denk ik.

29
00:01:59,440 --> 00:02:01,440
Als we blackbox, glassbox,

30
00:02:01,440 --> 00:02:05,440
is het nog steeds een benadering van door het prikken en analyseren daarvan?

31
00:02:05,440 --> 00:02:07,440
Of zie ik dat verkeerd?

32
00:02:07,440 --> 00:02:11,440
Nou ja, het zijn twee andere manieren van werken inderdaad.

33
00:02:11,440 --> 00:02:14,440
Bij de ene zijn je modellen inherent uitlegbaar.

34
00:02:14,440 --> 00:02:20,440
zit dat ingebouwd in het model, dan kan het ook een keuze zijn om bewust een model te kiezen die goed uitlegbaar is.

35
00:02:20,440 --> 00:02:25,440
In de andere situatie pak je een willekeurig model en ga je die achteraf uitleggen.

36
00:02:25,440 --> 00:02:31,440
In beide gevallen kijk je nog steeds naar die resultaten die best vergelijkbaar zijn met elkaar,

37
00:02:31,440 --> 00:02:35,440
om te zien hoe zo'n model dus zijn voorspellingen gemaakt heeft.

38
00:02:35,440 --> 00:02:38,440
En waarom is het eigenlijk belangrijk?

39
00:02:38,440 --> 00:02:40,440
Ja, dat is...

40
00:02:40,440 --> 00:02:43,200
Ja, misschien erg voor de handen, maar wel goed om het even met elkaar over te hebben.

41
00:02:43,200 --> 00:02:45,280
Zeker, en een heel belangrijke vraag ook.

42
00:02:45,280 --> 00:02:46,520
Ja, waarom is dat belangrijk?

43
00:02:46,520 --> 00:02:49,560
Je moet het zo voor je zien.

44
00:02:49,560 --> 00:02:51,080
Je hebt uiteindelijk een model gemaakt.

45
00:02:51,080 --> 00:02:55,000
Die gaat waarschijnlijk bij een organisatie meehelpen bij besluitvorming.

46
00:02:55,000 --> 00:02:57,920
Die gaat voorspellingen maken, die gaat allerlei gave dingen bedenken.

47
00:02:57,920 --> 00:03:01,920
Ja, dan wil je wel weten op basis waarvan dat gebeurt.

48
00:03:01,920 --> 00:03:03,960
Want je moet een stukje vertrouwen krijgen in dat model.

49
00:03:03,960 --> 00:03:07,600
Je moet weten dat zo'n model goede voorspellingen aan het maken is.

50
00:03:07,620 --> 00:03:14,820
die op juiste factoren gebouwd zijn, waar je ook op basis van je daadwerkelijke voorspellingen

51
00:03:14,820 --> 00:03:15,820
kan maken.

52
00:03:15,820 --> 00:03:20,580
Om een voorbeeld te geven, ik heb een aantal jaar van het Info Support bij Netbeerde gezeten.

53
00:03:20,580 --> 00:03:26,740
Daar heb je engineers die werken daar misschien al 20 jaar, 30 jaar, voeten soms letterlijk

54
00:03:26,740 --> 00:03:31,100
in de modder, weten alles over die stroomkabels en alles over de koppelstukken daartussen.

55
00:03:31,100 --> 00:03:37,180
Ja, als je aan komt zetten met een model die aangeeft dat een bepaald koppelstuk opgegraven

56
00:03:37,180 --> 00:03:40,940
moet gaan worden omdat je denkt dat er iets mis is, dan wil zo'n engineer echt wel weten

57
00:03:40,940 --> 00:03:43,820
op basis waarvan hij dat doet, want die heeft zelf ook zo'n onderbuikgevoelens, die heeft

58
00:03:43,820 --> 00:03:48,940
zoveel verervaring, die wil weten op basis waarvan dat gebeurt, dus die moet je echt

59
00:03:48,940 --> 00:03:55,340
gaan overtuigen met die uitleg dat je model best wel ergens kaas van gegeten heeft, dat

60
00:03:55,340 --> 00:04:00,500
het echt wel een idee heeft op basis waarvan er een gaaf werkzaamheid moet komen.

61
00:04:00,500 --> 00:04:06,740
Dus als ik het dan zo hoor is het dus de uitlegbaarheid richting degene die het model gebruikt, de

62
00:04:06,740 --> 00:04:10,220
uitkomst, dat hij daar dus ook een goed vertrouwen in kan opbouwen.

63
00:04:10,220 --> 00:04:11,220
Zeker.

64
00:04:11,220 --> 00:04:16,780
Zijn er nog andere factoren die van belang zijn naast vertrouwen in het model?

65
00:04:16,780 --> 00:04:20,940
Natuurlijk, je moet ook weten dat het model dat je aan het maken bent, dat je dat op een

66
00:04:20,940 --> 00:04:22,740
deugdelijke manier aan het doen bent.

67
00:04:22,740 --> 00:04:28,380
Het is heel makkelijk om met machine learning factoren te pakken waar iets in zit dat we

68
00:04:28,380 --> 00:04:29,500
data leakage noemen.

69
00:04:29,500 --> 00:04:31,500
Eigenlijk heb je dan…

70
00:04:31,500 --> 00:04:32,500
Lekage.

71
00:04:32,500 --> 00:04:33,500
Data lekkage.

72
00:04:33,500 --> 00:04:39,060
Eigenlijk heb je dan nog iets in je, je bent altijd met trainingsdata, ben je van die

73
00:04:39,060 --> 00:04:43,940
voorspelregels aan het maken. Eigenlijk lekt er dan iets van de data van hetgeen je wil voorspellen.

74
00:04:43,940 --> 00:04:52,140
Lekt ermee als inputparameter en zonder het een heel technisch verhaal te willen maken.

75
00:04:52,140 --> 00:04:58,740
Dat zorgt eigenlijk voor dat je een model hebt die zich op papier beter voor lijkt te doen dan

76
00:04:58,740 --> 00:05:04,340
die in werkelijkheid is. Als je die in de praktijk gaat toepassen, dan kan het zijn dat die heel

77
00:05:04,340 --> 00:05:11,060
erg tegenvalt ten opzichte van de performance die je dacht dat die zou gaan halen. Ja, dus het is

78
00:05:11,060 --> 00:05:15,340
niet zozeer leakage, lekkage dat het iets weggaat, maar dat er iets meekomt in de stroom van data,

79
00:05:15,340 --> 00:05:21,820
die dus het model en de output daarvan beïnvloedt. Je moet het zo zien dat als je een model aan het

80
00:05:21,820 --> 00:05:28,620
trainen bent, dan wil je hem dus iets leren zodat die ongeziene data, dat die daar de juiste

81
00:05:28,620 --> 00:05:34,940
voorspellingen of de juiste klassificatie van kan geven. Als er zeg maar dezelfde data

82
00:05:34,940 --> 00:05:40,260
uiteindelijk vanuit het test set ook in de trainings set zit, dan heeft hij dat al geleerd,

83
00:05:40,260 --> 00:05:46,740
dus dan lijkt het alsof hij dat soort gevallen ook goed kan herkennen uit je test set,

84
00:05:46,740 --> 00:05:52,460
maar dat blijkt dus, ja dat is dus die lekkage, dat hij die alles een keer gezien heeft. Als je

85
00:05:52,460 --> 00:05:58,220
dan in productie komt en er komt ongeziende data voorbij, kan hij dus daardoor veel slechter

86
00:05:58,220 --> 00:06:03,940
daarmee omgaan dan in de trainingscyclus eigenlijk lijkt.

87
00:06:03,940 --> 00:06:09,300
Ja, dus we gaan de lotto doen. Eigenlijk heeft hij het lotto nummer al gezien en gaat hij het lotto nummer voorspellen.

88
00:06:09,300 --> 00:06:10,500
Dus het is altijd prijs.

89
00:06:10,500 --> 00:06:13,860
Ja, het leuke dan van die dingen uitlegbaar maken is dat je dan ziet van,

90
00:06:13,860 --> 00:06:16,860
hé, kijk naar een paar factoren, dat had ik misschien helemaal niet verwacht.

91
00:06:16,860 --> 00:06:22,500
Dan ga je praten met de business, is het logisch dat op basis van deze factoren een voorspelling wordt gemaakt?

92
00:06:22,500 --> 00:06:27,700
En dan kunnen die dingen als die datalekkage aan het licht komen.

93
00:06:27,700 --> 00:06:29,940
Dan ga je in gesprek met de business.

94
00:06:29,940 --> 00:06:31,960
Zijn er nog andere rollen die komen kijken...

95
00:06:31,960 --> 00:06:35,100
bij het beter interpreterbaar maken van de AI-oplossing?

96
00:06:35,100 --> 00:06:39,340
Ik wil toch nog terug voor de data scientist zelf.

97
00:06:39,340 --> 00:06:41,960
Want je hebt ook nog zoiets als het Cleverhands-effect.

98
00:06:41,960 --> 00:06:47,060
Het Cleverhands-effect is dat de machine uiteindelijk...

99
00:06:47,060 --> 00:06:49,960
iets anders geleerd heeft dan je denkt dat hij geleerd heeft.

100
00:06:49,960 --> 00:06:53,920
Dus een blackbox-model zou best wel iets geleerd kunnen hebben...

101
00:06:53,920 --> 00:06:55,940
bij het klassificeren van foto's.

102
00:06:55,960 --> 00:06:58,320
dat hij uiteindelijk naar de achtergrond heeft gekeken,

103
00:06:58,320 --> 00:07:01,560
in plaats van naar het object waar jij naar op zoek was.

104
00:07:01,560 --> 00:07:06,120
Dus als jij schapen moet klassificeren ten opzichte van wolven,

105
00:07:06,120 --> 00:07:10,000
dat hij denkt van, oh ja, maar alles wat met een groene achtergrond,

106
00:07:10,000 --> 00:07:12,080
dat zie ik dan als een schaap.

107
00:07:12,080 --> 00:07:17,760
En met je interpreteerbaarheid, dan is dat heel makkelijk eruit te halen.

108
00:07:17,760 --> 00:07:20,440
Als dat een black box is, is dat heel erg lastig.

109
00:07:20,440 --> 00:07:22,400
En wij kunnen als mensen heel makkelijk het verschil zien

110
00:07:22,400 --> 00:07:25,120
tussen die schaap en die wolf, en dan zullen we die fouten wel zien.

111
00:07:25,160 --> 00:07:29,800
Je kan je voorstellen in situatie bijvoorbeeld met röntgenfoto's,

112
00:07:29,800 --> 00:07:33,720
dat als daar hele subtiele verschillen zitten in wat hij geleerd heeft,

113
00:07:33,720 --> 00:07:36,600
dat we dat met het blote oog misschien helemaal niet meer waarnemen,

114
00:07:36,600 --> 00:07:38,800
en dat we dus pas in productie erachter komen,

115
00:07:38,800 --> 00:07:42,800
dat die machine uiteindelijk helemaal niet het juiste geleerd heeft.

116
00:07:42,800 --> 00:07:46,600
En dat is dus het Cleverhandsproces?

117
00:07:46,600 --> 00:07:48,080
Ja, om die even uit te leggen.

118
00:07:48,080 --> 00:07:53,840
Cleverhands was een zogenaamd slim paard in het begin van de 20ste eeuw.

119
00:07:53,840 --> 00:08:00,840
En allerlei taken kon hij uitvoeren, zoals rekenen, dingen rondom taal.

120
00:08:00,840 --> 00:08:05,840
Als de eigenaar hem best wel hele moeilijke vraagstukken voorlegde...

121
00:08:05,840 --> 00:08:09,840
en uiteindelijk mogelijke antwoorden voorlegde...

122
00:08:09,840 --> 00:08:12,840
dan ging hij met zijn voet, paarden zijn dat voeten, hè...

123
00:08:12,840 --> 00:08:19,840
ging hij met zijn voet of been trappelen en daarmee gaf hij het juiste antwoord aan.

124
00:08:19,840 --> 00:08:21,840
Mensen vonden het helemaal geweldig.

125
00:08:21,840 --> 00:08:23,840
En wat bleek achteraf uit onderzoek,

126
00:08:23,840 --> 00:08:30,840
is dat de lichaamstaal van zowel de eigenaar als het hele publiek,

127
00:08:30,840 --> 00:08:33,840
die begon bijvoorbeeld hun adem in te houden bij dat goede antwoord,

128
00:08:33,840 --> 00:08:35,840
dat had het paard geleerd.

129
00:08:35,840 --> 00:08:41,840
Dus die reageerde, gaf de juiste antwoorden op basis van de verkeerde prikkels.

130
00:08:41,840 --> 00:08:45,840
En zo zou je dat ook moeten zien in de machine learning.

131
00:08:45,840 --> 00:08:50,200
machine learning. Dus het was eigenlijk meer crowd intelligence dan horse intelligence.

132
00:08:50,200 --> 00:08:57,440
Nou ja, waar dat paard heel slim in was, is het leren van lichaamstaal. Dat had hij geleerd.

133
00:08:57,440 --> 00:09:00,800
En dat zou je dus ook in AI-modellen kunnen hebben zonder dat je het door hebt,

134
00:09:00,800 --> 00:09:05,080
waardoor je dus echt inderdaad daarmee aan de slag moet om van die blackbox-models af te gaan

135
00:09:05,080 --> 00:09:10,400
naar toch zeker meer glass-models. Zeker. Nog andere technieken die er zijn om modellen

136
00:09:10,400 --> 00:09:17,400
interpreterbare te maken. Technieken? Ja, technieken. Dus als we ermee aan de slag willen.

137
00:09:17,400 --> 00:09:21,000
Welke technieken hebben we dan tot onze beschikking om dit mogelijk te maken?

138
00:09:21,000 --> 00:09:27,640
Nou, voor de interpreteerbare modellen, Bas, als ik het goed heb, kunnen we gewoon verschillende

139
00:09:27,640 --> 00:09:32,600
algoritmes kiezen. Zeker. Kijk je naar die glassbox modellen, daar heb je wel verschillende

140
00:09:32,600 --> 00:09:35,560
technieken. Ik denk dat jij ook wel verschillende technieken gebruikt hebt, toch?

141
00:09:35,560 --> 00:09:42,160
Ik neem aan dat je de blackbox modellen bedoelt. Ja, om die dingen open te breken.

142
00:09:42,160 --> 00:09:45,440
Ja, de explainer. Dan heb je bijvoorbeeld Shep en Lime,

143
00:09:45,440 --> 00:09:51,360
die veel genoemd worden. En dan kijk je bij de eerste naar hoe werkt zo'n model nou over zijn

144
00:09:51,360 --> 00:09:55,960
algemeenheid onder de motorkap. Stel het gaat over het bedenken of iemand wel of niet een

145
00:09:55,960 --> 00:09:59,440
hypotheek toegewezen krijgt. Dan ga je bijvoorbeeld over het algemeen kijken,

146
00:09:59,440 --> 00:10:04,880
nou Solaris heeft wel invloed en of iemand samenwoont heeft invloed enzovoort. Bij Lime,

147
00:10:04,880 --> 00:10:09,440
kijk je echt naar één specifieke voorspelling. Dan ga je kijken, oké, iemand heeft wel of niet

148
00:10:09,440 --> 00:10:14,160
een hypotheek gekregen op basis waarvan ging dat eigenlijk. En dat helpt ook om te kijken

149
00:10:14,160 --> 00:10:19,400
als iemand aanklopt van, hé, is het proces wel eerlijk gegaan. Ja, dus dat zijn een paar van

150
00:10:19,400 --> 00:10:23,720
die technieken. En verder heb je nog een techniek die nog wat verder gaat. Dat heet

151
00:10:23,720 --> 00:10:29,840
causal inference. Dan ga je kijken, los van de attributen die invloed hebben, zit er daadwerkelijk

152
00:10:29,840 --> 00:10:35,940
werkelijk een kauzaal verband dus heeft het een daadwerkelijk geleid tot het ander bij

153
00:10:35,940 --> 00:10:40,200
bepaalde factoren want anders kun je daar ook nog te mis mee in gaan dan zie je misschien

154
00:10:40,200 --> 00:10:44,360
wel een sterk verband maar dat hoeft helemaal niet echt met elkaar te maken te hebben hoeft

155
00:10:44,360 --> 00:10:48,400
helemaal geen oorzaak gevolgen laat je in te zitten ja en dat kun je met dat soort technieken

156
00:10:48,400 --> 00:10:55,920
weer naar boven halen en en oorzaak oorzakelijk gevolgen is wel best wel heel belangrijk zeker

157
00:10:55,920 --> 00:10:58,160
Dat is eigenlijk alles waar het om gaat.

158
00:10:58,160 --> 00:11:03,160
Ja toch? Er is een grappige website die allerlei correlaties laat zien van dingen die uiteindelijk

159
00:11:03,160 --> 00:11:04,480
geen kauzaal verband hebben.

160
00:11:04,480 --> 00:11:05,480
Spurious correlations?

161
00:11:05,480 --> 00:11:11,360
Die ja, precies. Waar het echt heel gaaf is dat ze kunnen laten zien, zeg maar, de

162
00:11:11,360 --> 00:11:15,920
consumptie van kaas in Amerika, dat die helemaal correleert met het aantal mensen die verstrikt

163
00:11:15,920 --> 00:11:22,120
raken en doodgaan door dat ze, hoe zeg je dat, verstrikt raken in hun bedlakers.

164
00:11:22,120 --> 00:11:25,200
Dit is bijna één op één gecorreleerd.

165
00:11:25,200 --> 00:11:28,720
Ik kan me voorstellen dat dat niet helemaal een kozaal verband heeft.

166
00:11:28,720 --> 00:11:31,720
Als je niet oplet, kun je daar wel van uitgaan,

167
00:11:31,720 --> 00:11:33,840
omdat je denkt, die correlatie is zo sterk,

168
00:11:33,840 --> 00:11:35,560
dat moet wel verband houden met elkaar,

169
00:11:35,560 --> 00:11:37,480
maar dat hoeft helemaal niet het geval te zijn.

170
00:11:37,480 --> 00:11:39,320
Dus dat moet je echt onderzoeken.

171
00:11:39,320 --> 00:11:41,900
Dat is denk ik ook een deel van het testen van

172
00:11:41,900 --> 00:11:43,700
tijdens je ontwikkeling van je AI-model,

173
00:11:43,700 --> 00:11:45,800
wat ook heel erg van tap toepassing is, of niet?

174
00:11:45,800 --> 00:11:49,520
Zeker, dat blijft continu een soort van lus waar je eigenlijk in zit.

175
00:11:49,540 --> 00:11:53,540
Iedere keer ben je bezig met het model beter maken en aan het kijken van,

176
00:11:53,540 --> 00:11:58,540
is het model op basis van de juiste factoren een goede beslissing aan het maken?

177
00:11:58,540 --> 00:12:01,540
Zitten er van die causale verbanden in jou of nee?

178
00:12:01,540 --> 00:12:06,540
En continu samenwerken met de business, met andere data scientists,

179
00:12:06,540 --> 00:12:08,540
met data engineers die weten waar die data vandaan komt,

180
00:12:08,540 --> 00:12:10,540
hoe die tot stand gekomen is.

181
00:12:10,540 --> 00:12:13,540
Er blijven continu van die wisselwerkingen in zitten.

182
00:12:13,540 --> 00:12:16,540
En je bepaalde ook al een deel van mijn vorige vraag inderdaad,

183
00:12:16,540 --> 00:12:18,540
die net voorbij kwam. Welke rol hebben we nodig inderdaad?

184
00:12:18,540 --> 00:12:23,420
Dank je wel inderdaad. Dus ik hoorde data engineer, ik hoorde data scientist, ik hoorde business.

185
00:12:23,420 --> 00:12:27,860
Nog andere zaken die je vaak tegenkomt in de praktijk als we hiermee aan de slag zijn?

186
00:12:27,860 --> 00:12:35,420
Terwijl de namen die in elk geval het vaakst voorkomen. Verder mensen die er ook bij betrokken

187
00:12:35,420 --> 00:12:41,140
zijn kunnen bijvoorbeeld klanten en andere stakeholders zijn die misschien de effecten

188
00:12:41,140 --> 00:12:44,780
van een model ervaren of die er gebruik van maken en die misschien daardoor veel

189
00:12:44,780 --> 00:12:49,620
sneller een bepaald proces kunnen afronden. Eigenlijk iedereen die iets met zo'n model van

190
00:12:49,620 --> 00:12:53,700
doen heeft, heeft er wel mee te maken. Joop, mooie aanvullingen?

191
00:12:53,700 --> 00:12:58,780
Nou ja, het hangt een beetje ook af van de sector waarin je zit, maar je kan je voorstellen in

192
00:12:58,780 --> 00:13:05,180
sectoren waar je een riskhuis, een riskafdeling hebt, die willen hier vaak ook wel wat mee.

193
00:13:05,180 --> 00:13:11,300
Dus juist als je dan met een blackbox aankomt, ik denk dat je iets moeilijker kan overtuigen

194
00:13:11,300 --> 00:13:15,860
waarom je die blackbox zou moeten inzitten. De interpreteerbaarheid is dan wel heel erg belangrijk.

195
00:13:15,860 --> 00:13:22,140
Als jij order trails moet hebben van hoe uiteindelijk een besluit genomen is op basis

196
00:13:22,140 --> 00:13:28,100
van welke gegevens en alles wat daartussen zit, ja dan is een interpreteerbaar model

197
00:13:28,100 --> 00:13:32,940
vele malen makkelijker dan een blackbox model. Dus het zou eigenlijk een afweging moeten zijn

198
00:13:32,940 --> 00:13:38,820
bij design all, wat voor oplossing is een goede fit hiervoor? Ja en wat mij betreft zeg maar

199
00:13:38,820 --> 00:13:43,260
Maar prioriteer je interpreteerbare modellen altijd over.

200
00:13:43,260 --> 00:13:49,140
Dus eigenlijk kun je whitebox inzetten, dan glassbox, dan blackbox.

201
00:13:49,140 --> 00:13:51,140
Meen je het?

202
00:13:51,140 --> 00:13:53,140
Ja zeker, mooie volgorde.

203
00:13:53,140 --> 00:14:00,380
Het maakt het uitleggen veel makkelijker en voegt ook de emphasis, de nadruk op die uitlegbaarheid.

204
00:14:00,380 --> 00:14:08,460
Wat je wel ziet, ik weet niet of jij dat herkent ook Bas, is dat er heel makkelijk gekozen wordt voor blackbox modellen.

205
00:14:08,460 --> 00:14:13,460
Ja, zeker. Dat zijn de modellen waar mensen oorspronkelijk het meeste ervaring mee hebben.

206
00:14:13,460 --> 00:14:19,500
Dat zijn soms ook iets krachtige modellen, maar dat is heel erg aan het veranderen gelukkig.

207
00:14:19,500 --> 00:14:25,180
Maar ik heb het idee dat mensen überhaupt vaak gewoon een beetje een model pakken.

208
00:14:25,180 --> 00:14:30,220
We pakken een neuralnetwerk, we pakken een support vector machine zonder echt een onderbouwing

209
00:14:30,220 --> 00:14:34,820
te hebben waarom ze dat doen. Dus dan moet überhaupt wel het nodige veranderen

210
00:14:34,820 --> 00:14:40,460
misschien in het model selectielandschap. Om iets bewuster zo'n keuze te maken en ook te weten wat

211
00:14:40,460 --> 00:14:46,700
de voordelen nadelen zijn en andere overwegingen. Eigenlijk zijn het vaak een beetje luie keuzes,

212
00:14:46,700 --> 00:14:55,980
mag je dat zo zeggen? Ja lui, onwetend. Ja snel misschien. Misschien kiest iemand een model waar

213
00:14:55,980 --> 00:15:00,780
hij vertrouwd mee is en waar hij ervaring mee heeft. En vanuit de schoolbanken zijn het vaker

214
00:15:00,780 --> 00:15:05,760
de blackbox algoritmes en als je gaat werken dan kom je ook die glassbox en whitebox modellen

215
00:15:05,760 --> 00:15:13,500
steeds meer tegen. Wat je ook natuurlijk wel ziet is dat uiteindelijk een goed

216
00:15:13,500 --> 00:15:20,780
interpreterbaar model maken soms harder werken is dan een blackbox model maken.

217
00:15:20,780 --> 00:15:26,140
Dus als je een neuraal netwerk neemt, het fijne daarvan is dat je feature engineering

218
00:15:26,140 --> 00:15:32,540
is een stuk minder belangrijk. Dus welke factoren je gaat gebruiken om erin te stoppen dan

219
00:15:32,540 --> 00:15:38,680
als je een interpreteerbaar model gaat maken. Dus heb je misschien een sneller resultaat

220
00:15:38,680 --> 00:15:43,700
even met de blackbox. Ik kan me voorstellen dat dat soms ook een afweging is.

221
00:15:43,700 --> 00:15:48,100
Volgens mij hebben we het er ook al vaker over gehad, Joop. Is het soms efficiëntie,

222
00:15:48,100 --> 00:15:51,800
is dat het enige wat we willen bereiken en die kwaliteit? Of zijn er andere factoren

223
00:15:51,800 --> 00:15:55,840
die we vergeten of nog niet goed genoeg meenemen in het eindresultaat.

224
00:15:55,840 --> 00:16:01,360
En dat is uitlegbaarheid soms misschien wel belangrijker dan misschien die actresse alleen.

225
00:16:01,360 --> 00:16:07,480
Sterker nog, ik propageer dat wel vaker natuurlijk,

226
00:16:07,480 --> 00:16:11,960
dat als je niet weet waarom uiteindelijk een uitkomst is,

227
00:16:11,960 --> 00:16:14,240
wat kun je dan uiteindelijk met de uitkomst?

228
00:16:14,240 --> 00:16:18,160
En volgens mij heeft Bas daar ook nog een mooi voorbeeld van,

229
00:16:18,160 --> 00:16:21,040
van een klant zonder die misschien te noemen.

230
00:16:21,040 --> 00:16:27,040
Wat het verschil maakt tussen als je nou wel weet wat de uitkomst is van een model of niet.

231
00:16:27,040 --> 00:16:29,040
Ik heb even iets meer hints nodig merk ik.

232
00:16:29,040 --> 00:16:35,040
Dat je bijvoorbeeld een customer churn model hebt.

233
00:16:35,040 --> 00:16:41,040
Zonder dat je weet, als je niet weet waarom een klant op het punt staat om bij je weg te gaan.

234
00:16:41,040 --> 00:16:45,040
Dan weet je ook niet wat je moet doen om uiteindelijk die klant te behouden.

235
00:16:45,040 --> 00:16:49,040
Klopt. Klopt, zeker waar.

236
00:16:49,040 --> 00:16:54,040
Ja zeker, dus je moet gaan kijken wat zijn de belangrijke factoren daarin.

237
00:16:54,040 --> 00:17:00,040
En ook echt kijken van, we ligt er ook uitgesplitst in verschillende demografieën bij een klant.

238
00:17:00,040 --> 00:17:06,040
Ik weet niet of dat het punt is dat je bedoelde, maar dat is het eentje die mij bij een Customer Turnproject te binnen schiet.

239
00:17:06,040 --> 00:17:16,040
Is kijken, uiteindelijk wil je een klant behouden, dus ga je ook dingen doen die met marketing en customer, klantenbinding te maken hebben.

240
00:17:16,040 --> 00:17:19,040
En dan wil je wel weten wat belangrijke factoren zijn.

241
00:17:19,040 --> 00:17:25,040
En dan kan het ook helpen om te kijken welke groepen mensen zie ik eigenlijk binnen diezelfde klant,

242
00:17:25,040 --> 00:17:26,040
binnen diezelfde organisatie.

243
00:17:26,040 --> 00:17:30,040
Dus voor ons een klant waar zij kijken naar hun klanten.

244
00:17:30,040 --> 00:17:33,040
Om te kijken of je die op een andere manier moet gaan benaderen.

245
00:17:33,040 --> 00:17:35,040
En dan zie je misschien dat je een heel vaste kern hebt,

246
00:17:35,040 --> 00:17:38,040
en misschien een kern die ik net aan is komen zetten als klant,

247
00:17:38,040 --> 00:17:41,040
die je op een heel andere manier moet gaan benaderen.

248
00:17:42,040 --> 00:17:48,640
En dan maakt het uit, stel je zo'n blackbox hebt, dan heb je alleen maar een segment.

249
00:17:48,640 --> 00:17:50,240
Dan weet je wie er weg gaat, maar kun je niks.

250
00:17:50,240 --> 00:17:55,520
Dus je moet die uitleg hebben, zodat je weet wat je überhaupt kunt gaan doen.

251
00:17:55,520 --> 00:18:01,760
Moet je mensen gaan opbellen, moet je een bepaalde campagne gaan opzetten voor die mensen.

252
00:18:01,760 --> 00:18:04,440
Zonder die uitleg heb je eigenlijk niets.

253
00:18:04,440 --> 00:18:05,920
Ja, je weet wie er weg gaat, ja leuk.

254
00:18:05,920 --> 00:18:08,840
Maar hoe kun je daarop acteren?

255
00:18:08,840 --> 00:18:10,320
Je moet weten wie er weg gaat.

256
00:18:10,320 --> 00:18:14,760
Zeker als je meer data gedreven wil gaan werken, want anders krijg je alsnog je onderbuikgevoel...

257
00:18:14,760 --> 00:18:17,320
...die zegt van, waarschijnlijk moeten we je korting aanbieden.

258
00:18:17,320 --> 00:18:23,480
En als dat niet de reden, als prijs niet de reden is dat iemand vertrekt of dat zo'n groep vertrekt...

259
00:18:23,480 --> 00:18:27,840
...dan ben je dus korting aan het weggeven zonder dat dat noodzakelijk is.

260
00:18:27,840 --> 00:18:33,280
Dus ben je, en ze blijven misschien niet, of ze blijven maar was dat het probleem niet.

261
00:18:33,280 --> 00:18:34,040
Klopt.

262
00:18:34,040 --> 00:18:38,720
Dus dus eigenlijk heb je meer context nodig en door dat uitlegbaar te maken...

263
00:18:38,720 --> 00:18:41,960
creëer je weer die context voor de vervolgacties die je kan doen.

264
00:18:41,960 --> 00:18:47,480
Klinkt wel als misschien wat meer werk dan een Blackbox-mol.

265
00:18:47,480 --> 00:18:50,280
Zijn er nog andere nadelen die we toch nog even moeten benoemen...

266
00:18:50,280 --> 00:18:52,640
als we met interpreteerbare AI aan de slag willen...

267
00:18:52,640 --> 00:18:55,280
die we toch moeten tacklen met elkaar?

268
00:18:55,280 --> 00:19:00,760
Zelf denk ik, ja, nadelen of niet...

269
00:19:00,760 --> 00:19:03,640
je moet uiteindelijk toch die interpreteerbaarheid hebben.

270
00:19:03,640 --> 00:19:08,360
Dus dat maakt er niet uit of er een paar nadelen aan zitten of niet.

271
00:19:08,520 --> 00:19:10,240
Ja, ik ben het mee eens, maar wat zijn die nadelen?

272
00:19:10,240 --> 00:19:11,960
Mensen weten het misschien niet,

273
00:19:11,960 --> 00:19:14,840
dat ze er eigenlijk naartoe moeten naar die interpreteerbare AI.

274
00:19:14,840 --> 00:19:17,240
Wat zijn dan die nadelen die dan eigenlijk zeggen,

275
00:19:17,240 --> 00:19:18,880
ja, maar als je dat ziet, moet je het niet zien als een nadeel.

276
00:19:18,880 --> 00:19:21,240
Dat is de kans om meer context te gaan krijgen

277
00:19:21,240 --> 00:19:23,920
en naar die interpreteerbare AI toe te werken.

278
00:19:23,920 --> 00:19:27,620
Nou, stel je hebt een blackbox-model en je wilt die uitleggen,

279
00:19:27,620 --> 00:19:28,640
dat kost wat meer tijd.

280
00:19:28,640 --> 00:19:30,880
Dus dat kost best veel tijd om te berekenen van,

281
00:19:30,880 --> 00:19:33,340
hé, wat waren nou de juiste factoren?

282
00:19:33,340 --> 00:19:36,480
Qua glass- en whitebox-modellen,

283
00:19:36,500 --> 00:19:40,500
Dan moet je maar net die modellen kennen en misschien hebben ze een iets lagere performance.

284
00:19:40,500 --> 00:19:43,780
Zou kunnen, dan moet je weten van, hé, hoe ga je daar mee om?

285
00:19:43,780 --> 00:19:48,540
En dan moet je misschien een model accepteren die net iets minder goed performt, maar die

286
00:19:48,540 --> 00:19:52,460
je wel perfect kan uitleggen en die daardoor veel meer businesswaarde heeft dan zo'n ander

287
00:19:52,460 --> 00:19:53,460
model gaat ze hebben.

288
00:19:53,460 --> 00:19:58,660
Joop, heb jij andere factoren in gedachten?

289
00:19:58,660 --> 00:20:05,700
Nou, bij de interpreteerbare modellen misschien wat minder, maar voor de glasbox, daar heb

290
00:20:05,700 --> 00:20:08,700
je wel wat nadelen is omdat je verschillende technieken hebt.

291
00:20:08,700 --> 00:20:11,380
Die proberen allemaal een surrogaat model te maken.

292
00:20:11,380 --> 00:20:17,340
En die is inherent anders dan de black box zelf.

293
00:20:17,340 --> 00:20:19,460
Want anders had je die niet hoeven maken.

294
00:20:19,460 --> 00:20:22,180
En afhankelijk van de techniek die je gebruikt,

295
00:20:22,180 --> 00:20:23,980
kun je verschillende uitleg krijgen.

296
00:20:23,980 --> 00:20:25,940
En dat kan nog wel eens tegenstrijdig zijn.

297
00:20:25,940 --> 00:20:30,660
En zodanig tegenstrijdig dat de een zegt van ja,

298
00:20:30,660 --> 00:20:35,340
deze input heeft een positieve bijdrage geleverd aan de voorspelling.

299
00:20:35,340 --> 00:20:37,340
en die zegt dat iemand een hele negatieve...

300
00:20:37,340 --> 00:20:39,340
Dus daar zit echt wel...

301
00:20:39,340 --> 00:20:42,340
Dat is best wel lastig.

302
00:20:42,340 --> 00:20:45,340
Maar ik ben het wel met Bas eens.

303
00:20:45,340 --> 00:20:49,340
Van, ja, liever dat, dan helemaal geen uitleg.

304
00:20:49,340 --> 00:20:51,340
Dus dat... - Zeker.

305
00:20:51,340 --> 00:20:52,340
En daar ben ik ook helemaal mee eens.

306
00:20:52,340 --> 00:20:54,340
Dus ik trigger nog eventjes om even scherp te stellen.

307
00:20:54,340 --> 00:20:56,340
Dus ik ben het helemaal mee eens.

308
00:20:56,340 --> 00:20:57,340
We moeten daar echt naar streven met elkaar...

309
00:20:57,340 --> 00:20:58,340
om het goed uitlegbaar te hebben.

310
00:20:58,340 --> 00:21:00,340
Want daar zit eigenlijk ook juist die waarde in.

311
00:21:00,340 --> 00:21:02,340
Die uitlegbaarheid daarvan.

312
00:21:02,340 --> 00:21:10,300
En we hebben ook nog een research lopen rondom een stukje wat je zou kunnen aanduiden als een nadeel.

313
00:21:10,300 --> 00:21:17,540
Je hebt nog allerlei soorten knopjes waar je aan kan draaien als je een algoritme pakt.

314
00:21:17,540 --> 00:21:21,740
Het is niet van ik pak een algoritme, gooi de data er tegenaan en dan krijg ik een model.

315
00:21:21,740 --> 00:21:24,540
Zo'n algoritme daar zitten allerlei instellingen aan.

316
00:21:24,540 --> 00:21:28,700
Net als bij je radio, kan je ook een klein beetje dit, beetje dat.

317
00:21:28,700 --> 00:21:32,980
Net een tiende van de FM omhoog of naar beneden.

318
00:21:32,980 --> 00:21:36,020
Zo kan je dat eigenlijk ook met algoritmes doen.

319
00:21:36,020 --> 00:21:42,620
Dat je misschien wat langer door moet zoeken van wat zijn nou de juiste knopjes,

320
00:21:42,620 --> 00:21:46,460
zodanig dat en de interpreteerbaarheid heel hoog is,

321
00:21:46,460 --> 00:21:51,740
maar ook de performance, dus de nauwkeurigheid van het model hoog is.

322
00:21:51,740 --> 00:21:53,740
Daar hebben we onderzoek op gelopen.

323
00:21:53,740 --> 00:21:55,740
Daar hebben we eigenlijk best wel hele mooie resultaten op.

324
00:21:55,740 --> 00:22:01,740
Maar ik kan me voorstellen dat dat een nadeel is ten opzichte van als je gewoon een blackbox hebt.

325
00:22:01,740 --> 00:22:05,740
Dan optimaliseer je hem gewoon op nauwkeurigheid.

326
00:22:05,740 --> 00:22:11,740
Nu moeten we hem optimaliseren op drie elementen.

327
00:22:11,740 --> 00:22:14,740
Eén is nauwkeurigheid, tenminste performance.

328
00:22:14,740 --> 00:22:17,740
Even één scoren voor degene die dat wil weten.

329
00:22:17,740 --> 00:22:21,240
Maar als die beslisboom zo diep is en zo breed aan de onderkant,

330
00:22:21,240 --> 00:22:25,740
dat je misschien wel honderden stappen af moet lopen,

331
00:22:25,740 --> 00:22:27,740
dan is die...

332
00:22:27,740 --> 00:22:31,740
Ja, je kan het bekijken, maar echt uitlegbaar is die dan ook niet meer.

333
00:22:31,740 --> 00:22:35,240
Dus je hebt zoiets als een compactheid van uitleg,

334
00:22:35,240 --> 00:22:37,240
en er is nog zoiets als stabiliteit van uitleg,

335
00:22:37,240 --> 00:22:39,740
dat je zegt van, ja, maar alle uitleg is zo diep,

336
00:22:39,740 --> 00:22:41,740
maar je kan het bekijken, maar je kan het niet uitleggen.

337
00:22:41,740 --> 00:22:44,740
Dus je hebt zoiets als een compactheid van uitleg,

338
00:22:44,740 --> 00:22:51,680
En er is nog zoiets als stabiliteit van uitleg, die zegt van ja maar alles wat ongeveer dezelfde uitkomst heeft,

339
00:22:51,680 --> 00:22:54,940
zou ook dezelfde uitleg moeten hebben.

340
00:22:54,940 --> 00:23:00,100
Van factoren die daar een rol in hebben gespeeld.

341
00:23:00,100 --> 00:23:04,420
We hebben nu onderzoek lopen waarbij we dat ook daadwerkelijk kunnen meten.

342
00:23:04,420 --> 00:23:10,380
Langer misschien moeten trainen, maar dan wel precies die knopjes zeg maar zo goed hebben staan,

343
00:23:10,380 --> 00:23:14,820
Dat hij dus het beste performt en het beste interpreteerbaarheid heeft.

344
00:23:14,820 --> 00:23:16,340
En het onderzoek loopt nu?

345
00:23:16,340 --> 00:23:19,100
Ja, het onderzoek is afgerond.

346
00:23:19,100 --> 00:23:20,120
Oké.

347
00:23:20,120 --> 00:23:21,620
Peper mag gepresenteerd worden.

348
00:23:21,620 --> 00:23:22,640
Oeh.

349
00:23:22,640 --> 00:23:24,760
Dus ik denk een geweldig resultaat.

350
00:23:24,760 --> 00:23:26,760
Ja, dus binnenkort ook meer over te vinden.

351
00:23:26,760 --> 00:23:27,780
Ja.

352
00:23:27,780 --> 00:23:28,800
Gaaf, gaaf.

353
00:23:28,800 --> 00:23:33,560
Dat is natuurlijk ook heel veel over de AI Act en heel veel ontwikkelingen erin.

354
00:23:33,560 --> 00:23:37,480
Zijn er nog bepaalde zaken die gezaghebbers, beleidsmakers...

355
00:23:37,500 --> 00:23:42,260
mee kunnen nemen waardoor het belang van interpreteerbare AI beter gevoeld wordt bij

356
00:23:42,260 --> 00:23:45,700
degene die misschien toch even sneller even een blackbox-boddel zou willen inzetten?

357
00:23:45,700 --> 00:23:48,100
Zal ik daar antwoord op geven?

358
00:23:48,100 --> 00:23:51,780
Ik ben heel benieuwd naar, ik heb er minder kennis van.

359
00:23:51,780 --> 00:23:54,220
Ik denk dat die wetgeving dat al meegeeft.

360
00:23:54,220 --> 00:23:56,820
De wetgeving is een piramide,

361
00:23:56,820 --> 00:24:00,460
waarbij je aan de onderkant, als je in de allerlaagste categorie zit,

362
00:24:00,460 --> 00:24:03,300
dan worden er eigenlijk niet op nauwelijks ijzer gesteld.

363
00:24:03,300 --> 00:24:09,740
Daarboven heb je... Het wordt eigenlijk steeds meer tot aan onacceptabel. Dat is de hoogste.

364
00:24:09,740 --> 00:24:12,100
- We hebben het over risicofactoren in die piramide.

365
00:24:12,100 --> 00:24:14,780
- Ja, risicoklassificeringen.

366
00:24:14,780 --> 00:24:21,620
En als jouw model uiteindelijk in de hoge risicoklasse zit, dan wordt gewoon het geëist.

367
00:24:21,620 --> 00:24:25,260
De interpreterbaarheid wordt geëist, of tenminste uitlegbaarheid wordt geëist.

368
00:24:25,260 --> 00:24:30,060
En daaronder wordt het geadviseerd.

369
00:24:30,060 --> 00:24:33,860
En daar zitten ook wel wat elementen in waarbij je transparantie moet geven.

370
00:24:33,860 --> 00:24:39,180
En die transparantie zit heel vaak in de transparantie van hoe heeft het model geredeneerd.

371
00:24:39,180 --> 00:24:40,180
Oké.

372
00:24:40,180 --> 00:24:48,620
Dus wat ik mee zou willen geven is vooral van bereid je je er alvast op voor, want die wet gaat er komen.

373
00:24:48,620 --> 00:24:52,980
Grote kans dat je in de mediumklasse valt.

374
00:24:52,980 --> 00:24:56,700
En daar zijn al vormen van uitlegbaarheid noodzakelijk.

375
00:24:56,700 --> 00:25:01,100
De luisteraars kunnen natuurlijk altijd contact met een van ons opnemen,

376
00:25:01,100 --> 00:25:02,600
maar als ze zelf wel mee aan de slag willen,

377
00:25:02,600 --> 00:25:04,800
hebben we dan bepaalde tips die we ze mee kunnen geven,

378
00:25:04,800 --> 00:25:06,600
waar ze kunnen starten of naar kunnen kijken?

379
00:25:06,600 --> 00:25:12,600
Ik zou zeggen, begin eens met een model dat vanuit zichzelf interpreteerbaar is.

380
00:25:12,600 --> 00:25:15,400
Kijk of dat goede resultaten heeft.

381
00:25:15,400 --> 00:25:20,400
En als je toch een blackbox model zou gebruiken,

382
00:25:20,400 --> 00:25:24,800
kijk wat voor tools en libraries er zijn om die open te breken.

383
00:25:24,800 --> 00:25:28,160
En om daar dingen uit te halen.

384
00:25:28,160 --> 00:25:34,200
Ja, en ik zou willen aan toevoegen, als je iets van guidance of policies of software

385
00:25:34,200 --> 00:25:41,000
engineering richtlijnen hebt, neem het daarin op dat je zegt "we prioriteren whitebox over

386
00:25:41,000 --> 00:25:42,760
glassbox over blackbox".

387
00:25:42,760 --> 00:25:44,320
Helemaal me eens.

388
00:25:44,320 --> 00:25:49,280
Dus vanuit de organisatie, vanuit architectuur, vanuit alle organisatie onderdelen, governance,

389
00:25:49,280 --> 00:25:53,560
ethiek, moet dat gewoon eigenlijk een eis zijn van de organisatie om dat altijd mee te starten.

390
00:25:53,560 --> 00:25:59,760
Ja. Oké. Nog punten over dit onderwerp die nog niet belicht zijn? Ben wel nieuwsgierig.

391
00:25:59,760 --> 00:26:11,280
Nou, wat ik zelf interessant vind is toch ook die kant van de causal inference. Uitlegbaarheid is

392
00:26:11,280 --> 00:26:17,160
één ding, maar je moet ook daarnaast echt verder kijken naar die causaliteit van dingen. En dat is

393
00:26:17,160 --> 00:26:21,720
iets dat we vaak vergeten. Het is ook nog een vrij nieuw vakgebied. In de onderzoekswereld

394
00:26:21,720 --> 00:26:24,500
Wordt het al heel lang toegepast in machine learning is het vrij nieuw.

395
00:26:24,500 --> 00:26:26,700
Komen steeds meer libraries bij.

396
00:26:26,700 --> 00:26:32,100
Maar als je bezig bent met de interpreteerbaarheid en je hebt dat afgerond,

397
00:26:32,100 --> 00:26:36,580
durf ook even iets verder te kijken naar die kant van die causal inference.

398
00:26:36,580 --> 00:26:40,840
Daar is denk ik nog een heel veel moois te behalen.

399
00:26:40,840 --> 00:26:45,740
Mooi. Klinkt als een potentieel onderwerp voor een andere aflevering.

400
00:26:45,740 --> 00:26:46,740
Zeker.

401
00:26:46,740 --> 00:26:51,180
Dan dank jullie wel voor deze aflevering.

402
00:26:51,180 --> 00:27:06,980
en juist bedankt voor het luisteren deze aflevering en vergeet niet ons te abonneren op de favoriete podcast via alle mogelijke kanalen en Bas bedankt, Joop bedankt en tot de volgende aflevering.

403
00:27:06,980 --> 00:27:08,980
Tot ziens.

404
00:27:08,980 --> 00:27:31,780
(C) TV GELDERLAND 2021