S05E11 - Clusteringalgoritmen en vierogen principe: hoe Floryn hun model verbetert

We behandelen in deze aflevering het belang van explainable AI en de menselijke factor bij het nemen van beslissingen op basis van AI-modellen. 

Gast Marijn van Aerle van Floryn geeft aan dat het delen van informatie over het model juist goed is, zodat klanten feedback kunnen geven en er verbeteringen kunnen worden aangebracht. 

Het opzetten van een bedrijf dat gebruik maakt van AI vereist een team van experts, waaronder data-analisten, data-engineers, software ingenieurs en ethische en juridische specialisten. 

Floryn benadrukt de wisselwerking tussen mens en machine, waarbij het model wordt gezien als een hulpmiddel om het besluitvormingsproces te ondersteunen. Het bedrijf gebruikt clusteringalgoritmen en een vierogen principe om afwijzingen te analyseren en de kans op leren en verbetering te vergroten. Uiteindelijk blijft de wisselwerking tussen mens en machine de kern van het besluitvormingsproces en is het belangrijk om continu aan te passen en te leren van de verschillen tussen mens en machine.

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,000 --> 00:00:03,000
[Muziek]

2
00:00:03,000 --> 00:00:06,000
Hoi, leuk dat je weer luistert naar een nieuwe aflevering van de AIToday Live.

3
00:00:06,000 --> 00:00:09,000
Mijn naam is Joop Snijder, CTO bij Aigency.

4
00:00:09,000 --> 00:00:12,000
En mijn naam Niels Naglé, Chapter Lead Data & AI bij Info Support.

5
00:00:12,000 --> 00:00:16,000
En we zitten weer met Marijn van Aerle van Floryn,

6
00:00:16,000 --> 00:00:21,000
die ons in de vorige aflevering veel inzichten heeft gegeven over explainable AI, uitlegbaarheid.

7
00:00:21,000 --> 00:00:24,000
En we praten met hem verder over dit onderwerp.

8
00:00:24,000 --> 00:00:29,000
Marijn, dankjewel dat je ook de tweede deel wilde doen met ons.

9
00:00:29,000 --> 00:00:31,800
We hebben het de vorige keer gehad over uitlegbaarheid.

10
00:00:31,800 --> 00:00:38,000
En een van de dingen die mij in ieder geval nog als vraag oppopte...

11
00:00:38,000 --> 00:00:42,400
is als je nou uitleg geeft aan je klanten...

12
00:00:42,400 --> 00:00:46,600
dan zou je eigenlijk ook een soort van binnenkant...

13
00:00:46,600 --> 00:00:49,300
geef je delen misschien van de binnenkant van je model weg...

14
00:00:49,300 --> 00:00:52,000
dat als mensen het maar vaak genoeg proberen...

15
00:00:52,000 --> 00:00:56,800
dat ze weten hoe de redenering van jouw model eruit ziet.

16
00:00:56,800 --> 00:00:57,820
Is dat erg?

17
00:00:57,860 --> 00:01:00,660
Nee. - En waarom niet?

18
00:01:00,660 --> 00:01:02,500
Nee, kijk, even denken.

19
00:01:02,500 --> 00:01:06,500
We geven best veel informatie aan onze klanten hierover.

20
00:01:06,500 --> 00:01:09,220
Dus ten eerste krijgen ze natuurlijk op een uitlegbaar manier te horen...

21
00:01:09,220 --> 00:01:11,100
waarom we het wel of niet doen.

22
00:01:11,100 --> 00:01:13,460
Maar ze krijgen ook een dashboard met alle data erin.

23
00:01:13,460 --> 00:01:17,620
Dus wij verzamelen data van iemand, dat is een zakelijke bankrekening.

24
00:01:17,620 --> 00:01:22,260
Wij combineren en aggregeren dat in allerlei KPIs, grafieken en verdelingen.

25
00:01:22,260 --> 00:01:24,700
En daarvan krijgt de klant zelf ook een dashboard...

26
00:01:24,700 --> 00:01:27,220
zodat hij zelf kan zien hoe zijn bedrijf ervoor staat.

27
00:01:27,260 --> 00:01:30,260
Dus ik snap je vraag, dan geef je vrij veel weg.

28
00:01:30,260 --> 00:01:33,500
Nou vinden wij dat eigenlijk niet zo erg.

29
00:01:33,500 --> 00:01:37,500
Want die beslissing weggeven aan je klant als die bijvoorbeeld niet klopt,

30
00:01:37,500 --> 00:01:38,740
is eigenlijk heel goed.

31
00:01:38,740 --> 00:01:41,060
Want dan gaat die klant je vertellen dat het niet klopt.

32
00:01:41,060 --> 00:01:44,500
Dat is fijn, het liefst zien we het eerst zelf dat het niet klopt.

33
00:01:44,500 --> 00:01:48,500
Maar soms heb je daar een gesprek over met je klant en dat is eigenlijk heel fijn.

34
00:01:48,500 --> 00:01:53,500
Dus onze klant ziet die data, onze salesafdeling ziet een deel van die data.

35
00:01:53,500 --> 00:01:56,980
En die twee kunnen een heel goed gesprek hebben inhoudelijk over een onderneming.

36
00:01:56,980 --> 00:01:59,900
Inhoudelijke, financiële gesprek met mensen met kennis.

37
00:01:59,900 --> 00:02:02,220
Dus eigenlijk hartstikke fijn dat je dat weggeeft.

38
00:02:02,220 --> 00:02:06,780
Dus je krijgt eigenlijk ook feedback om straks je modellen beter te maken?

39
00:02:06,780 --> 00:02:07,780
Ja, absoluut.

40
00:02:07,780 --> 00:02:10,180
En om de dataverzameling beter te maken.

41
00:02:10,180 --> 00:02:12,180
De kwaliteit, het inzicht erop.

42
00:02:12,180 --> 00:02:15,980
Of een nieuw soort bedrijf dat we nog niet eerder hebben gezien...

43
00:02:15,980 --> 00:02:17,980
waarbij een klant zegt, deze KPIs zijn zo...

44
00:02:17,980 --> 00:02:21,180
omdat mijn bedrijf nou eenmaal deze dienst op deze manier doet.

45
00:02:21,180 --> 00:02:23,180
En daar kunnen wij weer van leren.

46
00:02:25,180 --> 00:02:27,500
Het model is eigenlijk daarin de minst belangrijke schakel.

47
00:02:27,500 --> 00:02:31,220
Dus wat je nodig hebt, is je hebt een enorme software-infrastructuur nodig

48
00:02:31,220 --> 00:02:32,380
om dit allemaal te kunnen doen.

49
00:02:32,380 --> 00:02:34,140
Je hebt die koppelingen met banken nodig.

50
00:02:34,140 --> 00:02:36,420
Je moet al die data verzamelen, je moet dat labelen.

51
00:02:36,420 --> 00:02:39,660
Dan breng je dat allemaal op een plek bij elkaar,

52
00:02:39,660 --> 00:02:41,980
kun je een model optrainen en daar komen we dan uiteindelijk...

53
00:02:41,980 --> 00:02:46,420
Ja, het model is heel platgezegd de weging tussen al die verschillende factoren.

54
00:02:46,420 --> 00:02:50,260
Aan zich, aan die weging, daar heb je niet zo veel aan.

55
00:02:50,260 --> 00:02:54,300
Het gaat om dat hele apparaat eromheen om het effectief te kunnen gebruiken.

56
00:02:54,660 --> 00:03:01,020
Als ik jou nu ons model geef, dan moet je eerst even de rest van ons bedrijf opzetten.

57
00:03:01,020 --> 00:03:02,740
Kun je daarna heel handig dat model gebruiken.

58
00:03:02,740 --> 00:03:04,660
En dan kun je het ook niet meer aanpassen omdat je niet weet hoe het werkt.

59
00:03:04,660 --> 00:03:07,060
Dus daar kom je eigenlijk nergens mee.

60
00:03:07,060 --> 00:03:09,820
Nee hè? We moeten eerst maar eens beginnen met een startkapitaal.

61
00:03:09,820 --> 00:03:14,340
Dat is ook erg uitdagend, maar dat is voorzienings voor een andere podcast.

62
00:03:14,340 --> 00:03:18,180
Maar je zegt dat je het hele bedrijf moet optuigen.

63
00:03:18,180 --> 00:03:24,780
Wat zijn nou elementen die het mogelijk maken dat dit model ook iets voor je betekent?

64
00:03:24,780 --> 00:03:31,860
Aan wat voor onderdelen moet ik denken?

65
00:03:31,860 --> 00:03:35,540
Ja, je hebt... Ik noemde het net heel kort, maar je zit eigenlijk...

66
00:03:35,540 --> 00:03:38,140
Het belangrijkste is... Ik zie het altijd als een soort piramide,

67
00:03:38,140 --> 00:03:42,300
waarbij je heel goed je dataverzameling en je datahuishouding op orde moet hebben.

68
00:03:42,300 --> 00:03:44,820
Dus je moet echt zorgen dat je... En dat gebeurt meestal.

69
00:03:44,860 --> 00:03:47,620
Dat zijn data engineers of data analisten.

70
00:03:47,620 --> 00:03:50,060
BI-analisten worden ze soms wel genoemd.

71
00:03:50,060 --> 00:03:51,460
Die zijn eigenlijk Russie aan het doen.

72
00:03:51,460 --> 00:03:52,820
Daar hoort Niels heel blij van.

73
00:03:52,820 --> 00:03:55,620
Als ik mensen dat hoor zeg ik in de podcast, helemaal props.

74
00:03:55,620 --> 00:03:59,700
Er zijn veel mensen die willen heel graag machine learning doen en AI.

75
00:03:59,700 --> 00:04:02,460
Die lezen dat dan, die horen dit soort podcasts en denken, dit ga ik doen.

76
00:04:02,460 --> 00:04:07,460
Maar eigenlijk is het een soort kerst op de taart van een data-huishouding die je al moet hebben.

77
00:04:07,460 --> 00:04:11,820
Als je niet een model kan maken wat met een coin flip werkt en je kunt dat benchmarken.

78
00:04:12,140 --> 00:04:16,340
Als je niet met simpele business rules kan bepalen wanneer je bijvoorbeeld een krediet wel of niet zou doen,

79
00:04:16,340 --> 00:04:20,700
dan heb je eigenlijk nog niks te zoeken met AI, vind ik zelf.

80
00:04:20,700 --> 00:04:21,860
Helemaal meer.

81
00:04:21,860 --> 00:04:26,820
Al je datafouten zullen door een model ergens opgepakt worden op een manier die je niet begrijpt.

82
00:04:26,820 --> 00:04:30,260
En dan kun je maandenlang dat soort dingen gaan proberen te fixen.

83
00:04:30,260 --> 00:04:33,780
Maar eigenlijk ben je dan je onderliggende data aan het fixen.

84
00:04:33,780 --> 00:04:37,660
Dat kun je veel efficiënter doen als je dat onderaan in die piramide oppakt.

85
00:04:37,660 --> 00:04:40,620
Dus ja, wat heb je nodig? Data engineers, data analisten.

86
00:04:41,020 --> 00:04:44,420
Je hebt veel software engineers nodig, want bij alles wat je in productie neemt,

87
00:04:44,420 --> 00:04:48,700
je dataverzameling, je algoritmes, je model die je in productie wil draaien,

88
00:04:48,700 --> 00:04:50,260
daar heb je software engineering bij nodig.

89
00:04:50,260 --> 00:04:51,300
Dat is...

90
00:04:51,300 --> 00:04:55,740
Ja, in veel gevallen vind ik dat nog moeilijker om die puzzel te maken,

91
00:04:55,740 --> 00:04:58,220
dan om het model te trainen.

92
00:04:58,220 --> 00:05:00,780
Bij ons zijn machine learning engineers ook eigenlijk,

93
00:05:00,780 --> 00:05:02,860
nou ja, zeg maar half software engineers,

94
00:05:02,860 --> 00:05:06,100
omdat wij het heel belangrijk vinden dat zij zelf verantwoordelijk zijn

95
00:05:06,100 --> 00:05:07,820
voor ook het runnen van hun model.

96
00:05:07,820 --> 00:05:10,020
En dat ze ook bezig zijn met niet alleen,

97
00:05:10,060 --> 00:05:12,660
Ik heb een model, dit is de score jongens, veel succes ermee.

98
00:05:12,660 --> 00:05:15,900
Maar dat zij ook betrokken zijn bij het draaien en benchmarken,

99
00:05:15,900 --> 00:05:19,460
monitoring van dat model, want dat is eigenlijk veel meer werk

100
00:05:19,460 --> 00:05:20,580
dan het trimmen van een model.

101
00:05:20,580 --> 00:05:28,380
En daarnaast heb je denk ik, zeg maar allerlei juridische, ethische experts.

102
00:05:28,380 --> 00:05:30,780
Ja, absoluut. Kijk, de financiële sector waar wij in zitten,

103
00:05:30,780 --> 00:05:32,980
die ligt wat dat betreft altijd onder een vergrootglas.

104
00:05:32,980 --> 00:05:34,980
En ik denk ook dat dat verder volkomen terecht is.

105
00:05:34,980 --> 00:05:35,540
Absoluut.

106
00:05:35,540 --> 00:05:39,060
Dus ja, zeker daar moesten we in een vroeg stadium over nadenken.

107
00:05:39,060 --> 00:05:42,780
Ja, voor een startup is dat moeilijk om dat goed te doen,

108
00:05:42,780 --> 00:05:44,900
want dat kost een hoop geld die je misschien niet hebt.

109
00:05:44,900 --> 00:05:48,540
Nou, wij zijn gelukkig goed genoeg gevund om dingen in één keer goed te doen.

110
00:05:48,540 --> 00:05:51,700
Maar dat betekent eigenlijk dat je een interne compliance-afdeling hebt,

111
00:05:51,700 --> 00:05:54,980
dat je dingen hebt op GDPR-vlak, een functionaris gegevensbescherming,

112
00:05:54,980 --> 00:05:57,700
dat je een goede advocaat hebt die je documentatie kan schrijven,

113
00:05:57,700 --> 00:06:00,500
maar die ook kan valideren of je processen kloppen.

114
00:06:00,500 --> 00:06:03,460
Wij staan voor een deel van onze dienstverlening vanwege PC2

115
00:06:03,460 --> 00:06:04,980
ook onder toezicht van de Nederlandse bank.

116
00:06:05,020 --> 00:06:09,020
Dus ja, je moet daar veel in investeren om dat goed op orde te hebben.

117
00:06:09,020 --> 00:06:12,980
Het gaat ook om geld van mensen, dus het is logisch, denk ik.

118
00:06:12,980 --> 00:06:18,100
Wat jij ook al zegt, dat model is, als we het afgerond doen,

119
00:06:18,100 --> 00:06:21,620
een heel klein speldenprikje in je hele organisatie.

120
00:06:21,620 --> 00:06:26,020
Alleen al dat je een PSD2-licentie krijgt,

121
00:06:26,020 --> 00:06:29,300
daar moet je al zoveel moeite voor doen.

122
00:06:29,300 --> 00:06:34,900
Ja, dat is een traject van negen tot twaalf maanden geweest.

123
00:06:34,940 --> 00:06:39,140
En ja, de 1000 tot 2000 pagina's zijn documentatie.

124
00:06:39,140 --> 00:06:43,060
Ja, dus succes met je model.

125
00:06:43,060 --> 00:06:47,660
Ja, en dan heb je nog de ongoing monitoring en de verplichtingen die daar allemaal bij komen kijken.

126
00:06:47,660 --> 00:06:51,260
Er zijn ook andere, bij iedere bedrijfstak zitten er overigens, wij hebben dan die PC2,

127
00:06:51,260 --> 00:06:53,860
maar iedere bedrijfstak heeft denk ik zijn eigen uitdagingen op dit vlak.

128
00:06:53,860 --> 00:06:54,620
Oh zeker.

129
00:06:54,620 --> 00:06:58,340
Die altijd erbij komen als je geautomatiseerd beslissingen gaat nemen.

130
00:06:58,340 --> 00:07:04,020
In de vorige aflevering kwam even tussen neus en lippen door, fairness en bias kwam voorbij.

131
00:07:04,540 --> 00:07:06,340
Daar hebben jullie denk ik ook mee te maken.

132
00:07:06,340 --> 00:07:08,340
Ja, absoluut.

133
00:07:08,340 --> 00:07:14,020
Er zijn ook gewoon echt voorbeelden geweest in het uitdelen van leningen aan mensen...

134
00:07:14,020 --> 00:07:19,780
waarbij gekeken wordt naar parameters die niets te maken hebben met wat wij dan noemen feitelijk financiële data.

135
00:07:19,780 --> 00:07:23,780
Dat is waar wij ons namelijk op willen baseren.

136
00:07:23,780 --> 00:07:25,780
En ja, dat is heel belangrijk.

137
00:07:25,780 --> 00:07:28,780
Je wil niet bepaalde groepen systematisch uitsluiten.

138
00:07:28,780 --> 00:07:33,780
Je wil niet parameters meenemen die je helemaal niet mee mag of wil nemen.

139
00:07:33,780 --> 00:07:37,780
Zoals iemand zijn afkomst, geloofsovertuiging en wat dan ook.

140
00:07:37,780 --> 00:07:41,780
En dat is superbelangrijk om daar je model op te benchmarken.

141
00:07:41,780 --> 00:07:46,780
Ik ben natuurlijk een techneut hierin en geen ethisch persoon of een advocaat ofzo.

142
00:07:46,780 --> 00:07:51,780
Dus mijn visie is denk ik dat modellen een uitgelezen kans zijn om dit goed te doen.

143
00:07:51,780 --> 00:07:55,780
Als je ze maar combineert met goede explainability en als je daar maar met mensen naar kijkt.

144
00:07:55,780 --> 00:07:58,780
Ja, want dan krijg je ook een vorm van transparantie toch?

145
00:07:58,780 --> 00:08:00,780
Ja, je ziet wat het model doet.

146
00:08:00,780 --> 00:08:06,180
En bij een afdeling mensen, daar hebben we bij onze vrienden van de Belastingdienst gezien,

147
00:08:06,180 --> 00:08:09,780
die kunnen ook prima systematisch dingen doen die je niet wil.

148
00:08:09,780 --> 00:08:13,300
Dat zijn mensen, maar die vormen met elkaar eigenlijk ook een systeem,

149
00:08:13,300 --> 00:08:17,580
waar ook een bepaalde bias in zit, die je er ook alleen maar uit krijgt,

150
00:08:17,580 --> 00:08:21,620
door het systeem van buitenaf te observeren, de beslissingen te bekijken, te benchmarken.

151
00:08:21,620 --> 00:08:23,020
Ja, en dan zie je die bias.

152
00:08:23,020 --> 00:08:25,820
En dat is bijna dezelfde systematiek als waarmee je een model benchmarkt.

153
00:08:25,820 --> 00:08:29,980
Behalve dat het bij modelwakkers een stuk sneller gaat om hier achter te komen dan bij mensen.

154
00:08:29,980 --> 00:08:32,220
Maar dit is superbelangrijk voor ons.

155
00:08:32,220 --> 00:08:37,820
Wij doen ook een aantal onderzoeken, een vervolgonderzoek van de huur.

156
00:08:37,820 --> 00:08:41,260
Maar we zijn nu ook weer bezig met de TU Eindhoven, met de stagiair, om daar naar te kijken.

157
00:08:41,260 --> 00:08:45,860
En we hebben sowieso op de belangrijkste parameters zelf al benchmarking draaien,

158
00:08:45,860 --> 00:08:48,300
sinds we beginnen, om ervoor te zorgen dat we dit niet doen.

159
00:08:48,300 --> 00:08:52,060
Ja, mooi. Ik denk dat dat ook gewoon van essentieel belang is.

160
00:08:52,060 --> 00:08:55,900
Dat je al begint met eigenlijk bias,

161
00:08:55,940 --> 00:08:59,940
Nou ja, laten we zeggen het bestrijden van bias by design.

162
00:08:59,940 --> 00:09:03,420
Ja, ja, kijk, dat is altijd wel een mooie...

163
00:09:03,420 --> 00:09:05,380
een beetje advocaat van de duivel of tegenwerper,

164
00:09:05,380 --> 00:09:07,940
maar ergens is natuurlijk op een technisch niveau,

165
00:09:07,940 --> 00:09:10,060
wat wij doen, is natuurlijk het creëren van bias,

166
00:09:10,060 --> 00:09:10,740
want wij willen...

167
00:09:10,740 --> 00:09:11,260
Ja.

168
00:09:11,260 --> 00:09:12,060
Het idee is...

169
00:09:12,060 --> 00:09:12,540
Kijk, als...

170
00:09:12,540 --> 00:09:16,180
Je scheidt de mensen die je wel of niet een lening wil geven.

171
00:09:16,180 --> 00:09:16,820
Ja, exact.

172
00:09:16,820 --> 00:09:19,900
En dat wil je graag tussen twee leningaanvragen

173
00:09:19,900 --> 00:09:21,300
ongeveer op dezelfde manier gaan doen.

174
00:09:21,300 --> 00:09:24,140
Anders, ja, anders dan werkt het hele systeem natuurlijk niet,

175
00:09:24,140 --> 00:09:26,220
want dan moet je iedereen individueel opnieuw gaan bekijken.

176
00:09:26,220 --> 00:09:28,740
Wij willen juist leren van wat we in het verleden hebben gedaan,

177
00:09:28,740 --> 00:09:31,020
om te bepalen wat we in de toekomst gaan doen.

178
00:09:31,020 --> 00:09:33,340
Dat is het concept achter dit.

179
00:09:33,340 --> 00:09:36,060
Kredietverlening, zoals het al onder de jaren gebeurt.

180
00:09:36,060 --> 00:09:38,980
Maar je moet vooral zorgen dat je dat doet op basis van, wat ik al zei,

181
00:09:38,980 --> 00:09:40,500
feitelijk financiële informatie.

182
00:09:40,500 --> 00:09:43,380
En geen informatie die daar eigenlijk niks mee te maken heeft.

183
00:09:43,380 --> 00:09:43,820
Ja.

184
00:09:43,820 --> 00:09:47,820
In de vorige aflevering heb ik verteld dat we elkaar zijn tegengekomen

185
00:09:47,820 --> 00:09:50,820
in het kader van het onderzoek van de HUNA, Explainable AI.

186
00:09:50,820 --> 00:09:52,380
Daar heb je een presentatie gegeven.

187
00:09:52,780 --> 00:09:56,980
En een van de dingen die zit echt voor in mijn hoofd,

188
00:09:56,980 --> 00:09:59,500
volgens mij gaat het ook over die barriers,

189
00:09:59,500 --> 00:10:03,260
dat jij vertelde van als mensen worden afgewezen,

190
00:10:03,260 --> 00:10:04,500
tenminste mensen worden niet afgewezen,

191
00:10:04,500 --> 00:10:06,140
het bedrijf wordt afgewezen op het krediet,

192
00:10:06,140 --> 00:10:12,540
dat je beoordelaar nog een seintje zou kunnen krijgen uit een ander model

193
00:10:12,540 --> 00:10:13,940
die zegt dan, dat is vreemd,

194
00:10:13,940 --> 00:10:17,900
want gelijksoortige gevallen hebben het wel gekregen.

195
00:10:17,900 --> 00:10:18,780
Ja, klopt.

196
00:10:18,780 --> 00:10:19,700
Ja, dat klopt.

197
00:10:21,580 --> 00:10:23,580
Een grappige verspreking, trouwens, mens wordt afgewezen.

198
00:10:23,580 --> 00:10:25,140
Zo voelt het namelijk wel altijd.

199
00:10:25,140 --> 00:10:27,580
Dus je wijst een bedrijf af, maar zo voelt dat niet.

200
00:10:27,580 --> 00:10:30,260
Zo voelt het voor mij ook niet over ons bedrijf als iemand daar iets van vindt.

201
00:10:30,260 --> 00:10:32,540
Precies. -Dat is je eigen ding.

202
00:10:32,540 --> 00:10:34,660
Dus je wijst net zo goed de mens als de ondernemer af.

203
00:10:34,660 --> 00:10:36,500
Althans in het gevoel van mensen.

204
00:10:36,500 --> 00:10:39,860
En daar moet je ook heel zorgvuldig mee omgaan, maar goed, buiten dat.

205
00:10:39,860 --> 00:10:43,500
Ja, dat klopt. We hebben die wisselwerking tussen mens en machine,

206
00:10:43,500 --> 00:10:45,580
die hebben we vanaf het begin al erin zitten.

207
00:10:45,580 --> 00:10:49,100
In het begin gewoon handmatig door continu naar dossiers te kijken,

208
00:10:49,100 --> 00:10:50,300
maar dat worden er steeds meer.

209
00:10:51,140 --> 00:10:52,500
En die gaat eigenlijk twee kanten op.

210
00:10:52,500 --> 00:10:55,100
Namelijk, de mens doet een afwijzing.

211
00:10:55,100 --> 00:10:56,900
Dat is inderdaad het voorbeeld wat jij noemt.

212
00:10:56,900 --> 00:10:58,380
De mens wijst een dossier af.

213
00:10:58,380 --> 00:11:03,500
Maar het model ziet eigenlijk dat gelijksoortige dossiers meestal worden goed gekeurd.

214
00:11:03,500 --> 00:11:07,340
Dan hebben we een systeem, dat noemen wij dan een challenge.

215
00:11:07,340 --> 00:11:12,020
Dus dat een taakje in het systeem aanmaakt van, hé, let op.

216
00:11:12,020 --> 00:11:15,460
Deze deal wordt eigenlijk normaal gesproken goed gekeurd.

217
00:11:15,460 --> 00:11:17,060
Maar nu keur je hem ineens af.

218
00:11:17,060 --> 00:11:17,900
Wat is hier aan de hand?

219
00:11:19,620 --> 00:11:23,700
Dan wordt er een taak aangemaakt voor een extra underwriter om daar ook eens naar te kijken.

220
00:11:23,700 --> 00:11:27,380
Dus dan krijg je een vierogen principe wat je toepast op die aanmelding.

221
00:11:27,380 --> 00:11:32,740
En dat is niet per se om die mens dan een tik op zijn vingers te geven,

222
00:11:32,740 --> 00:11:34,420
want in de meeste gevallen zit...

223
00:11:34,420 --> 00:11:37,660
Nou ja, de meeste weet ik eigenlijk niet, dat zou ik de getallen moeten naslaan,

224
00:11:37,660 --> 00:11:39,020
maar heel vaak ligt het ook aan het model.

225
00:11:39,020 --> 00:11:44,380
Dus we zien eigenlijk van ja, dat is een kans voor ons weer om te leren wat is hier aan de hand?

226
00:11:44,380 --> 00:11:47,380
Waarom verschillen het model en de mens van mening?

227
00:11:47,380 --> 00:11:54,220
Naar twee kanten toe toch? Want als de machine het wel goed heeft, is dat een leren voor de beoordelaar.

228
00:11:54,220 --> 00:11:57,980
En als de beoordelaar het juist heeft, is het de kans om te leren voor de machine.

229
00:11:57,980 --> 00:12:00,180
Ik vind het zo'n mooi principe.

230
00:12:00,180 --> 00:12:06,780
We hebben natuurlijk heel veel over, hoe bestrijd je nou bias en fairness en hoe ga je met fairness om.

231
00:12:06,780 --> 00:12:11,260
En dan hebben we het vaak ook over human in the loop.

232
00:12:11,260 --> 00:12:15,460
Daar hebben jullie natuurlijk ook echt heel duidelijk geïmplementeerd in je organisatie.

233
00:12:15,460 --> 00:12:18,460
En dat je daaronder nog eens een keer de machine in de loop hebt.

234
00:12:18,460 --> 00:12:19,900
En voor de mensen kan besluiten.

235
00:12:19,900 --> 00:12:26,180
Dat vind ik echt zo'n coole toepassing van de clusteringalgoritme.

236
00:12:26,180 --> 00:12:30,300
Zeker. En eigenlijk, je zei het in de vorige aflevering ook,

237
00:12:30,300 --> 00:12:31,900
eigenlijk is het soms heel simpel.

238
00:12:31,900 --> 00:12:34,860
Want eigenlijk, als je nu naar terug gaat, is het van waarom doen we dit niet vaker?

239
00:12:34,860 --> 00:12:37,700
Ik hoorde van Joop en ik was helemaal geïnspireerd in dat.

240
00:12:37,700 --> 00:12:41,580
Waarom geruiken we dit niet nadat de keuze gemaakt is?

241
00:12:41,580 --> 00:12:43,660
Vaak stopt het dat de uitkomst er is.

242
00:12:43,900 --> 00:12:45,580
en dat we dan ook gewoon weer verder gaan.

243
00:12:45,580 --> 00:12:47,780
Terwijl, nee, hier kunnen we ook weer van leren,

244
00:12:47,780 --> 00:12:50,660
door inderdaad weer op deze manier ermee op te gaan.

245
00:12:50,660 --> 00:12:52,060
Een heel mooi voorbeeld.

246
00:12:52,060 --> 00:12:54,940
Ja, we bouwen hem in dus eigenlijk net nadat de keuze gemaakt is,

247
00:12:54,940 --> 00:12:57,180
maar voordat we die keuze communiceren aan onze klant,

248
00:12:57,180 --> 00:13:01,660
zodat daar nog ruimte zit om iets aan te passen of om iets te veranderen.

249
00:13:01,660 --> 00:13:03,980
En ja, daar komen veel learnings uit.

250
00:13:03,980 --> 00:13:05,180
Dus eigenlijk iedere...

251
00:13:05,180 --> 00:13:09,860
We hebben sowieso interne tooling waarmee eigenlijk iedere onenigheid

252
00:13:09,860 --> 00:13:12,900
tussen mens en machine aan het licht komt.

253
00:13:12,980 --> 00:13:17,660
En dan zitten we periodiek, spreken de underwriters en het machine learning team met elkaar af.

254
00:13:17,660 --> 00:13:20,740
En die bespreken die cases om na te gaan van ja, wat is hier aan de hand?

255
00:13:20,740 --> 00:13:23,340
Missen wij een bepaalde feature? Klopt de weging van het model niet?

256
00:13:23,340 --> 00:13:27,820
Is er iets veranderd in de wereld waardoor dit nu ineens zo gebeurt?

257
00:13:27,820 --> 00:13:29,980
En ja, daar komen heel veel nieuwe inzichten uit.

258
00:13:29,980 --> 00:13:37,620
En ja, we kunnen ook oprecht meer klanten helpen doordat we in sommige van deze gevallen tot de conclusie komen.

259
00:13:37,620 --> 00:13:38,420
Ja, wacht eens even.

260
00:13:39,260 --> 00:13:41,260
Als we in die twee, drie andere gevallen...

261
00:13:41,260 --> 00:13:43,260
Want het systeem kan ook...

262
00:13:43,260 --> 00:13:45,260
Daar hebben we een leuk onderzoek gedaan mee, samen met de TU Eindhoven.

263
00:13:45,260 --> 00:13:47,260
Het systeem kan ook similarities,

264
00:13:47,260 --> 00:13:51,260
dus gelijksoortige dossiers erbij zoeken.

265
00:13:51,260 --> 00:13:53,260
En die dan presenteren aan de mens.

266
00:13:53,260 --> 00:13:55,260
Hij zegt niet alleen van de waarden,

267
00:13:55,260 --> 00:13:57,260
deze lijken 0.2 op elkaar.

268
00:13:57,260 --> 00:13:59,260
Hij zegt ook,

269
00:13:59,260 --> 00:14:01,260
en het zijn bijvoorbeeld deze drie,

270
00:14:01,260 --> 00:14:03,260
die eigenlijk voor de computer

271
00:14:03,260 --> 00:14:05,260
dezelfde karakteristieken hebben.

272
00:14:05,260 --> 00:14:07,260
En dan dwing je een mens ook om uit te leggen,

273
00:14:07,260 --> 00:14:11,780
om uit te leggen van ja maar ja wat zijn dan die verschillen daartussen en meestal zijn die

274
00:14:11,780 --> 00:14:18,100
er overigens hoor dus ja en daar leer je dan van ja geweldig en hoe wat je hebt het over

275
00:14:18,100 --> 00:14:26,260
de afwijzingen dat die als als mens gevoelsmatig zo binnenkomt heeft de beoordeler daar dan ook

276
00:14:26,260 --> 00:14:32,940
last van als die machine zegt van misschien zit je niet goed ja nee dit is geen populaire dit

277
00:14:32,940 --> 00:14:35,780
Het is niet per se een heel populair model wat we hebben draaien intern.

278
00:14:35,780 --> 00:14:43,820
Het is, dat is denk ik ook logisch, want een mens stopt tijd in een beslissing.

279
00:14:43,820 --> 00:14:50,100
Dat is ook waarom ik zeg, en dat is ook waarom het vrij vaak aan het model ligt.

280
00:14:50,100 --> 00:14:53,300
Omdat onze mensen dit eigenlijk best wel goed kunnen.

281
00:14:53,300 --> 00:14:57,420
Dus ja, dat slaat eigenlijk vaak die kant op.

282
00:14:57,420 --> 00:15:00,260
Het wordt soms ook wel gezien van, nou, hebben we een challenge.

283
00:15:00,260 --> 00:15:04,060
Ja, ik heb toch al gezegd dat ik het niet goed vind.

284
00:15:04,060 --> 00:15:07,620
Dus ja, inderdaad, dat is niet per se een heel populair model.

285
00:15:07,620 --> 00:15:10,100
Maar goed, we kunnen ook de zaken aanwijzen...

286
00:15:10,100 --> 00:15:12,620
waarin de beslissing heeft gedraaid tot een omkering.

287
00:15:12,620 --> 00:15:15,620
Maar het is precies wat het is, want niemand vindt het leuk...

288
00:15:15,620 --> 00:15:17,820
om overruled te worden, en dan helemaal niet door een computer.

289
00:15:17,820 --> 00:15:23,580
Dus het gaat eigenlijk om de interne dialoog die eruit komt.

290
00:15:23,580 --> 00:15:26,700
En als die dialoog dan tot een omkering van de beslissing leidt...

291
00:15:26,700 --> 00:15:28,220
dan is het eigenlijk niet zo'n probleem meer.

292
00:15:28,220 --> 00:15:31,220
Dus wat je zeker niet moet doen is gewoon deze challenge moet zeggen.

293
00:15:31,220 --> 00:15:32,620
Ja, het model zegt dat het anders moet.

294
00:15:32,620 --> 00:15:35,820
Dus ja, je hebt pech. Dat is wat je dus niet moet doen.

295
00:15:35,820 --> 00:15:37,620
Geen computer says no.

296
00:15:37,620 --> 00:15:39,620
Nee, of yes in dit geval.

297
00:15:39,620 --> 00:15:43,020
Maar het is wel een mooie manier om te gaan meten.

298
00:15:43,020 --> 00:15:46,020
Want hoe minder challenges je zou krijgen,

299
00:15:46,020 --> 00:15:49,420
hoe beter eigenlijk die mens en machine tot elkaar komen.

300
00:15:49,420 --> 00:15:51,820
Ja, dat is het meten.

301
00:15:51,820 --> 00:15:53,820
Hoe dicht die bij elkaar zijn, daar zijn we heel druk mee.

302
00:15:53,820 --> 00:15:56,220
Dus dat is heel belangrijk.

303
00:15:56,220 --> 00:15:59,300
We willen dat die twee, ja, convergeren, die twee waardes.

304
00:15:59,300 --> 00:16:01,140
Maar dat is natuurlijk lang niet altijd zo.

305
00:16:01,140 --> 00:16:03,820
En dat moet je uitsplitsen in allerlei dimensies.

306
00:16:03,820 --> 00:16:06,020
Maar daar zijn we heel druk mee.

307
00:16:06,020 --> 00:16:07,740
En straks gebeurt er weer wat in de buitenwereld...

308
00:16:07,740 --> 00:16:09,940
...en dan loopt het weer uit elkaar.

309
00:16:09,940 --> 00:16:12,700
Bij covid gingen al onze KPIs helemaal mis.

310
00:16:12,700 --> 00:16:16,180
Omdat je bijvoorbeeld, nou ja, één van onze KPIs was toen...

311
00:16:16,180 --> 00:16:17,820
...kijken naar belastingachterstanden.

312
00:16:17,820 --> 00:16:19,300
Die had ineens iedereen.

313
00:16:19,300 --> 00:16:21,700
Omdat je geen belasting meer hoefde te betalen.

314
00:16:21,700 --> 00:16:24,380
En nu is dat nog steeds een ding...

315
00:16:24,420 --> 00:16:26,300
want heel veel ondernemers moeten dat nu weer terugbetalen.

316
00:16:26,300 --> 00:16:27,860
Dus daar wil je ook weer een indicatie voor hebben.

317
00:16:27,860 --> 00:16:30,660
Dus ja, dat blijft bewegen.

318
00:16:30,660 --> 00:16:35,060
Ook met de logistieke uitdagingen die er dan in de wereld zijn met China,

319
00:16:35,060 --> 00:16:36,420
waar issues waren.

320
00:16:36,420 --> 00:16:39,140
Dat zijn allemaal trends die er doorheen lopen,

321
00:16:39,140 --> 00:16:40,700
die je moet proberen op te pikken.

322
00:16:40,700 --> 00:16:43,820
En eigenlijk ben je dan met je model vaak te laat.

323
00:16:43,820 --> 00:16:47,660
En wil je dan, als je de eerste kleine indicaties in je model ziet,

324
00:16:47,660 --> 00:16:50,500
wil je meteen met je mensen schakelen.

325
00:16:50,500 --> 00:16:52,980
En vaak gaat het natuurlijk andersom, want die mensen lezen ook het nieuws.

326
00:16:52,980 --> 00:16:55,980
En dan ga je zoeken in je model of je er al iets van kan zien.

327
00:16:55,980 --> 00:16:58,980
Dus ja, dat is heel belangrijk.

328
00:16:58,980 --> 00:17:00,980
Zo'n model heeft ook allerlei targets.

329
00:17:00,980 --> 00:17:02,980
Dat is misschien ook nog wel goed om te zeggen.

330
00:17:02,980 --> 00:17:06,980
We hebben het nu over het model dat ja of nee zegt, maar zo werkt het natuurlijk niet.

331
00:17:06,980 --> 00:17:09,980
We hebben modellen die zijn gebaseerd op menselijke beslissingen.

332
00:17:09,980 --> 00:17:13,980
Dan kun je ook nog eens kijken in welke productcategorie en over welke tijdseenheden.

333
00:17:13,980 --> 00:17:16,980
Want een beslissing uit 2018 die we hebben genomen,

334
00:17:16,980 --> 00:17:20,980
die is niet meer één op één te vergelijken met de beslissing die we nu nemen.

335
00:17:20,980 --> 00:17:22,380
Dat is ook heel lastig.

336
00:17:22,380 --> 00:17:24,300
En je hebt allerlei targets.

337
00:17:24,300 --> 00:17:29,940
Bijvoorbeeld, vond een mens het oké om deze klant te accepteren, ja of nee?

338
00:17:29,940 --> 00:17:31,500
Maar ook, voor hoeveel dan?

339
00:17:31,500 --> 00:17:33,100
Dus, hoeveel geld?

340
00:17:33,100 --> 00:17:37,860
Misschien kunnen we helemaal niet aan de klant wensvol doen als we het model volgen.

341
00:17:37,860 --> 00:17:40,380
Dus daar wil je ook genuanceerd in zijn.

342
00:17:40,380 --> 00:17:42,020
En je hebt de KPI.

343
00:17:42,020 --> 00:17:44,860
Want een mens kan wel zeggen, ik wil hem niet goedkeuren.

344
00:17:44,860 --> 00:17:48,540
Maar het meest interessante is natuurlijk, wat gebeurt er dan met zo'n klant?

345
00:17:48,580 --> 00:17:52,380
Als we hem wel goedkeuren, wie heeft er echt gelijk aan het eind van het liedje?

346
00:17:52,380 --> 00:17:55,220
En dat is een hele moeilijke dataset, want je bent heel lang bezig...

347
00:17:55,220 --> 00:17:58,340
en je wil helemaal niet dat het misgaat.

348
00:17:58,340 --> 00:17:59,340
Ja, dus dat is...

349
00:17:59,340 --> 00:18:04,820
Ik weet van creditcard maatschappijen, die zitten natuurlijk altijd met de fraude detectie.

350
00:18:04,820 --> 00:18:11,860
En wat zij doen is gewoon een heel klein percentage van iets wat het model heeft ingeschat...

351
00:18:11,860 --> 00:18:14,260
als zijne dit is frauduleus, om dat door te laten gaan...

352
00:18:14,260 --> 00:18:16,900
om te leren of dat daadwerkelijk frauduleus is.

353
00:18:17,220 --> 00:18:21,940
Maar ik denk niet dat jullie die luxe hebben om op die manier dat model door te trainen.

354
00:18:21,940 --> 00:18:27,580
Nee, we hebben nu sinds start iets meer dan 700 miljoen uitgeleend.

355
00:18:27,580 --> 00:18:29,580
Dus het gaat op zich al wel om forse bedragen.

356
00:18:29,580 --> 00:18:32,620
Maar we hebben dit nog niet op deze manier gedaan.

357
00:18:32,620 --> 00:18:38,980
Nee, we zitten op hele lage percentages wat betreft het aantal klanten...

358
00:18:38,980 --> 00:18:40,380
...dat ons niet meer kan terugbetalen.

359
00:18:40,380 --> 00:18:45,020
En dat vinden we nog belangrijker dan de juiste model hebben...

360
00:18:45,020 --> 00:18:46,620
...om dat getal zo laag mogelijk te houden.

361
00:18:46,620 --> 00:18:48,020
Dus nee, we hebben dat nog niet gedaan.

362
00:18:48,020 --> 00:18:49,060
Nee, snap ik ook.

363
00:18:49,060 --> 00:18:50,780
Een vraag die bij mij nog leeft is,

364
00:18:50,780 --> 00:18:54,780
de ondernemers geven inzicht in hun onderneming,

365
00:18:54,780 --> 00:18:56,540
ook financiële gegevens.

366
00:18:56,540 --> 00:18:59,060
Hoe ervaren ze dat?

367
00:18:59,060 --> 00:19:06,820
Ja, ik denk dat in de basis zou ik zeggen dat mensen het liefst geen inzicht geven.

368
00:19:06,820 --> 00:19:08,460
En dat lijkt me ook heel gezond.

369
00:19:08,460 --> 00:19:12,500
Maar het gaat wel om een financieringsaanvraag.

370
00:19:12,540 --> 00:19:18,020
En als jij een hypotheek aanvraagt of als jij een private lease auto wil hebben,

371
00:19:18,020 --> 00:19:23,820
dan gaan ze ook al vragen om een bankafschriftje en om een loonstrook en dat soort dingen.

372
00:19:23,820 --> 00:19:31,340
Dus ik denk dat mensen wel snappen van, ja luister, jullie maken daar ook 250.000 euro naar mijn bedrijf over.

373
00:19:31,340 --> 00:19:35,420
Ik kan me voorstellen dat jullie benieuwd zijn hoe het gaat.

374
00:19:35,420 --> 00:19:38,420
Want het is best eng.

375
00:19:38,420 --> 00:19:40,700
Dat merken we.

376
00:19:41,340 --> 00:19:45,900
Wat je wel ziet is dat de eenvoud is daarin wel belangrijk.

377
00:19:45,900 --> 00:19:50,460
Dus de APIs die wij gebruiken, die zijn publieke, dat is de PSD2-API.

378
00:19:50,460 --> 00:19:54,060
Het is wel heel makkelijk om daar data mee aan te leveren.

379
00:19:54,060 --> 00:19:57,140
En je moet eigenlijk gelijksoortige data anders aanleveren,

380
00:19:57,140 --> 00:19:59,540
want dan moet je al je jaarrekeningen, en dan gaan ze vaak doorvragen,

381
00:19:59,540 --> 00:20:01,820
Colombo-balans en alle andere onderliggende stats.

382
00:20:01,820 --> 00:20:04,020
En dan zeggen ze, ja, nee, mijn jaarrekening is te oud,

383
00:20:04,020 --> 00:20:06,660
dus doe ook maar even een tussentijdse van dit kwartaal,

384
00:20:06,660 --> 00:20:07,940
en doe maar ook maar die maand.

385
00:20:08,220 --> 00:20:12,380
Ja, dan ben je ook... - Investering of kwart tijd en...

386
00:20:12,380 --> 00:20:16,820
Ja, en dan ben je... Dan geef je natuurlijk ook heel veel prijs over je onderneming,

387
00:20:16,820 --> 00:20:21,060
wat ook begrijpelijk is, maar dat is veel moeilijker en bewerkelijker allemaal.

388
00:20:21,060 --> 00:20:24,060
Want ja, die data kan weer gemanipuleerd zijn en wat dan ook.

389
00:20:24,060 --> 00:20:26,340
En wij gebruiken eigenlijk meer de bron-data daarin.

390
00:20:26,340 --> 00:20:29,420
Maar ja, het eerlijke antwoord is wel, ja, tuurlijk is er een kleine barrière

391
00:20:29,420 --> 00:20:31,020
voor mensen om die data aan ons te geven.

392
00:20:31,020 --> 00:20:34,700
En dat is waarom je zo transparant mogelijk wil zijn over wat je er dan daarna mee doet.

393
00:20:34,700 --> 00:20:38,060
Die dashboards die je al eerder noemde, inderdaad weer teruggeven van de inzichten.

394
00:20:38,060 --> 00:20:40,660
Dat is misschien ook heel zelfs wel waardevol voor een ondernemer,

395
00:20:40,660 --> 00:20:43,460
om dat over zijn eigen onderneming weer terug te zien in een andere vorm,

396
00:20:43,460 --> 00:20:44,380
hoe daarna gekeken wordt.

397
00:20:44,380 --> 00:20:46,260
Ja, we krijgen daar goede feedback op.

398
00:20:46,260 --> 00:20:48,740
Het is niet ons kernproduct,

399
00:20:48,740 --> 00:20:51,180
het is niet om financieel inzicht te geven aan ondernemers,

400
00:20:51,180 --> 00:20:54,420
maar we merken wel dat we steeds meer tractie krijgen op dit onderdeel.

401
00:20:54,420 --> 00:20:57,260
Ja, en wat ik al zei, we vinden het zelf heel fijn,

402
00:20:57,260 --> 00:21:00,540
want we krijgen alleen maar feedback over of ons systeem werkt of niet.

403
00:21:00,540 --> 00:21:05,180
Bij start hadden we dit alleen maar voor een deel van onze klanten.

404
00:21:05,180 --> 00:21:08,500
Niet voor klanten doorlopend, dus alleen bij de aanvraag.

405
00:21:08,500 --> 00:21:13,820
Maar de customer success kreeg gewoon vragen van waar is dat dashboard nou heen?

406
00:21:13,820 --> 00:21:19,460
Dus daar hebben we natuurlijk meteen voor gezorgd dat het ook doorlopend inzichtelijk is.

407
00:21:19,460 --> 00:21:22,140
Mooi compliment ook wat je kan krijgen voor de klanten.

408
00:21:22,140 --> 00:21:25,740
Dat is ook mijn afdronk van de twee afleveringen.

409
00:21:25,740 --> 00:21:29,180
van eigenlijk hoe duidelijker en transparanter je bent...

410
00:21:29,180 --> 00:21:32,900
naar zowel je beoordelaars als je klanten...

411
00:21:32,900 --> 00:21:36,380
dat je eigenlijk zoveel leert dat daardoor je modellen beter worden...

412
00:21:36,380 --> 00:21:38,620
waardoor je eigenlijk je business laat groeien, toch?

413
00:21:38,620 --> 00:21:40,280
Of ik dat zo afronden?

414
00:21:40,280 --> 00:21:43,480
Ja, absoluut. Kijk, je kaarten tegen de borst houden wat dit betreft...

415
00:21:43,480 --> 00:21:47,760
dat werkt niet in je voordeel.

416
00:21:47,760 --> 00:21:50,780
Nee, ik vind dat echt een hele mooie conclusie.

417
00:21:50,780 --> 00:21:51,940
Zeker. -Dank je wel.

418
00:21:51,940 --> 00:21:53,760
Ja, jij bedankt. Jullie bedankt.

419
00:21:53,760 --> 00:22:00,760
Leuk dat je weer luisterde naar een aflevering van EOTD Live.

420
00:22:00,760 --> 00:22:04,200
Vergeet je niet te abonneren in je favoriete podcast app.

421
00:22:04,200 --> 00:22:05,440
En tot de volgende keer.

422
00:22:05,440 --> 00:22:07,440
TV Gelderland 2021