S05E09 - Vinden van de perfecte balans tussen menselijke beslissingen en AI-modellen

We hebben Marijn van Aerle als gast. Marijn is de mede-oprichter en CTO van Floryn, een bedrijf dat AI en software gebruikt om geld uit te lenen aan andere bedrijven. 

In deze aflevering discussiëren we  over de praktijk van AI-ondersteunde beslissingen en waarom de uitlegbaarheid van deze modellen zo belangrijk is voor Floryn en hun klanten.

Het bedrijf onderscheidt zich door zijn focus op klantervaring en snelheid van beslissingen voor het verstrekken van leningen. 

Deze beslissingen worden genomen op basis van de transactiegegevens van banken en aangevuld door interne AI-modellen. 

Floryn gelooft in een sterke persoonlijke band met hun klanten en hecht grote waarde aan feedback voor de optimalisatie van de AI-modellen. 

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,000 --> 00:00:07,000
Hoi, fijn dat je weer luistert naar een nieuwe aflevering van de AIToday Live Podcast.

2
00:00:07,000 --> 00:00:09,760
Mijn naam is Joop Snijder, CTO bij Aigency.

3
00:00:09,760 --> 00:00:13,040
Mijn naam Niels Naglé, Chapter Lead, Data & AI bij Info Support.

4
00:00:13,040 --> 00:00:16,320
En we zitten vandaag met een gast in Den Bosch.

5
00:00:16,320 --> 00:00:16,840
Ja.

6
00:00:16,840 --> 00:00:19,360
Heel mooi pand, heel ouderwets pand denk ik.

7
00:00:19,360 --> 00:00:21,600
We zitten met Marijn van Aerle.

8
00:00:21,600 --> 00:00:25,720
Marijn, dankjewel dat je te gast wil zijn in onze podcast.

9
00:00:25,720 --> 00:00:28,320
Zou je jezelf even willen voorstellen aan de luisteraars?

10
00:00:28,320 --> 00:00:34,880
Ja zeker, leuk om hier te zijn. Ik ben Marijn, ik ben de CTO en een van de oprichters van

11
00:00:34,880 --> 00:00:42,600
Floryn. Wij zijn een bedrijf dat geld uitleent aan andere bedrijven. En dat doen we met behulp

12
00:00:42,600 --> 00:00:48,320
van onder andere AI en heel veel software vooral. Ja, want zo zijn wij met elkaar in contact gekomen.

13
00:00:48,320 --> 00:00:53,680
Jij bent of je had een presentatie gegeven over het onderzoek waar je mee hebt gedaan van de

14
00:00:53,680 --> 00:00:58,880
Hoogschool Utrecht, wetenschappelijk onderzoek naar explainable AI in de financiële sector.

15
00:00:58,880 --> 00:01:03,480
En jij vertelde daar een verhaal waarvan ik dacht van ja, maar dat moeten onze luisteraars eigenlijk

16
00:01:03,480 --> 00:01:09,720
ook horen. Wat ik me daarvan herinner is dat je in ieder geval zeg maar een achtergrond nodig hebt

17
00:01:09,720 --> 00:01:15,040
over te vertellen wat Floryn is, wat jullie doen, om zo direct echt goed te kunnen begrijpen waarom

18
00:01:15,040 --> 00:01:20,200
je explainable AI hebt ingezet, toch? Ja, het is wel fijn om een beetje idee te hebben inderdaad.

19
00:01:20,200 --> 00:01:22,200
Geld uitlenen op zich is natuurlijk een heel...

20
00:01:22,200 --> 00:01:24,440
Nou ja, dat snapt iedereen ergens wel.

21
00:01:24,440 --> 00:01:27,360
Dat bestaat natuurlijk ook al heel erg lang.

22
00:01:27,360 --> 00:01:30,080
De functie van Floryn daarin is...

23
00:01:30,080 --> 00:01:33,960
Wij doen het eigenlijk op een andere manier dan dat de bank het al deed.

24
00:01:33,960 --> 00:01:37,360
Ondanks dat het product zelf nog steeds geld is.

25
00:01:37,360 --> 00:01:39,400
Wij verkopen in die zin geld.

26
00:01:39,400 --> 00:01:42,360
Wat wij echt anders doen, is de klantervaring.

27
00:01:42,360 --> 00:01:45,880
Dus het is een klant die komt bij ons voor een financiering.

28
00:01:45,880 --> 00:01:47,920
Dat is dus een ondernemer.

29
00:01:48,600 --> 00:01:56,600
En wij kunnen eigenlijk veel sneller dan veel van onze concurrenten kunnen wij bepalen of een klant bij ons geholpen kan worden of niet.

30
00:01:56,600 --> 00:02:01,600
Er zijn een heleboel bedrijven die om heel veel verschillende redenen geld willen lenen.

31
00:02:01,600 --> 00:02:04,600
Maar als het heel erg lang duurt, dan staat je bedrijf soort van op pauze.

32
00:02:04,600 --> 00:02:09,600
Dan ben je drie maanden bezig en dan moet je opnieuw cijfers opsturen en nog maar weer een keer een bezoekje.

33
00:02:09,600 --> 00:02:14,600
Dat duurt allemaal ontzettend lang en ondertussen weet je eigenlijk niet hoe je nou verder moet met je bedrijf.

34
00:02:14,600 --> 00:02:17,040
Wij hebben er echt voor gezorgd dat we dat heel snel kunnen doen...

35
00:02:17,040 --> 00:02:19,200
en ondernemers heel snel duidelijkheid kunnen geven.

36
00:02:19,200 --> 00:02:20,440
Dus dat is eigenlijk één.

37
00:02:20,440 --> 00:02:21,040
Ja.

38
00:02:21,040 --> 00:02:24,520
En twee is dat we natuurlijk een hele goede beslissing willen nemen.

39
00:02:24,520 --> 00:02:28,480
Want dat is belangrijk voor ons, want anders krijg je je geld niet terug.

40
00:02:28,480 --> 00:02:29,800
Dan houdt de muziek snel op.

41
00:02:29,800 --> 00:02:31,720
Maar dat is ook belangrijk voor een ondernemer.

42
00:02:31,720 --> 00:02:35,200
Want een lening is natuurlijk mooi, maar een lening dient een bepaald doel.

43
00:02:35,200 --> 00:02:37,680
En een lening wordt vaak weer terugbetaald...

44
00:02:37,680 --> 00:02:40,520
en is bedoeld om bijvoorbeeld een bedrijf te laten groeien.

45
00:02:40,520 --> 00:02:42,560
Wij willen natuurlijk de juiste beslissing maken...

46
00:02:42,560 --> 00:02:47,560
over welke ondernemers wij accepteren, om ervoor te zorgen dat we een gezonde relatie met elkaar hebben...

47
00:02:47,560 --> 00:02:50,880
en dat we er allebei van kunnen groeien en dat we een bedrijf echt verder kunnen helpen...

48
00:02:50,880 --> 00:02:53,760
in de stappen die zij willen zetten.

49
00:02:53,760 --> 00:02:58,160
Jullie kunnen echt significant sneller zo'n besluit nemen, toch?

50
00:02:58,160 --> 00:02:59,560
Ja, zeker. - Dan de concurrentie.

51
00:02:59,560 --> 00:03:04,080
Ja, we hebben één technisch ding daarin, wat denk ik het belangrijkste is.

52
00:03:04,080 --> 00:03:09,760
Wij bepalen of we een klant accepteren, voornamelijk op basis van transactiegegevens van de bank.

53
00:03:09,760 --> 00:03:13,040
Dus dat betekent dat jij je zakelijke rekening koppelt met ons.

54
00:03:13,040 --> 00:03:17,160
En dat wij op basis van die transactiehistorie een kredietmodel hebben gemaakt.

55
00:03:17,160 --> 00:03:19,040
Dat is iets anders dan hoe het normaal werkt,

56
00:03:19,040 --> 00:03:22,240
want meestal werkt dat met rekeningen bijvoorbeeld van de afgelopen drie jaar.

57
00:03:22,240 --> 00:03:26,240
Wij kunnen veel gedetailleerder kijken en ook veel korter eigenlijk.

58
00:03:26,240 --> 00:03:29,880
Dus wij kunnen bijvoorbeeld met zes maanden kunnen we vaak al wat zeggen van een onderneming.

59
00:03:29,880 --> 00:03:31,520
Dus bedrijven die snel groeien...

60
00:03:31,520 --> 00:03:33,240
Met zes maanden aan data denk ik of niet?

61
00:03:33,240 --> 00:03:34,640
Ja precies, met zes maanden aan data.

62
00:03:34,640 --> 00:03:35,840
Niet aan doorloop tijd.

63
00:03:35,840 --> 00:03:36,840
Nee, nee, nee, sorry.

64
00:03:36,840 --> 00:03:37,840
Nee, met data inderdaad.

65
00:03:37,840 --> 00:03:41,840
Dat betekent dat als je bedrijf snel groeit, dan kijken wij net iets korter in de tijd.

66
00:03:41,840 --> 00:03:43,840
Maar wel veel gedetailleerder.

67
00:03:43,840 --> 00:03:47,840
Want op een zakelijke rekening zie je natuurlijk heel veel transacties gebeuren...

68
00:03:47,840 --> 00:03:50,840
die heel veel vertellen over een bedrijf.

69
00:03:50,840 --> 00:03:56,840
En op basis daarvan maak je een risicoprofiel van het bedrijf...

70
00:03:56,840 --> 00:04:00,840
en dan besluit je of je wel of niet de lening toekent.

71
00:04:00,840 --> 00:04:03,840
Ja, nou de praktijk is natuurlijk altijd...

72
00:04:03,840 --> 00:04:08,720
Het is nooit binair ja/nee en het is nooit een eenvoudige beslissing,

73
00:04:08,720 --> 00:04:11,920
maar er zitten heel veel lagen in die beslissing gebouwd.

74
00:04:11,920 --> 00:04:16,520
Het belangrijkste is inderdaad dat je snel duidelijkheid kan geven over

75
00:04:16,520 --> 00:04:17,840
denk je dat dit hem gaat worden of niet.

76
00:04:17,840 --> 00:04:20,440
En bij ons gaat zo'n beslissing eigenlijk twee kanten op.

77
00:04:20,440 --> 00:04:23,680
Dus je hebt een, we hebben een hele serie aan machine learning modellen getraind,

78
00:04:23,680 --> 00:04:27,840
die op basis van deze data eigenlijk geaggregeerde informatie die hieruit gehaald wordt,

79
00:04:27,840 --> 00:04:30,360
gecombineerd met andere bronnen, een beslissing kan maken.

80
00:04:30,360 --> 00:04:33,720
Maar we hebben ook nog steeds een team van mensen dat eraan werkt.

81
00:04:33,720 --> 00:04:35,280
Dus we hebben een team van underwriters.

82
00:04:35,280 --> 00:04:38,680
Dat is de jargon voor mensen die kijken naar een financieringsaanvraag.

83
00:04:38,680 --> 00:04:42,400
Die ook naar deze data kijken.

84
00:04:42,400 --> 00:04:45,280
En die combinatie van die twee is echt superbelangrijk, vinden wij.

85
00:04:45,280 --> 00:04:49,000
Modellen zijn heel erg goed in altijd precies hetzelfde doen.

86
00:04:49,000 --> 00:04:50,800
Die zijn superconsistent.

87
00:04:50,800 --> 00:04:53,280
Dat is prachtig als je leningen wil beoordelen.

88
00:04:53,280 --> 00:04:54,080
Want je wil geen bias.

89
00:04:54,080 --> 00:04:57,680
Je wil niet dat het afhangt van met welk been iemand uit bed is gestapt.

90
00:04:57,680 --> 00:05:05,000
Maar als je incidenten hebt of nieuwe situaties, denk aan covid bijvoorbeeld, dan wil je eigenlijk

91
00:05:05,000 --> 00:05:09,920
niet iets wat de hele tijd hetzelfde doet. Dan wil je een slimme mens die weet wat er om hem

92
00:05:09,920 --> 00:05:16,120
heen gebeurt en die zichzelf razendsnel kan aanpassen aan een veranderende situatie. Dus

93
00:05:16,120 --> 00:05:20,000
die combinatie tussen mens en machine die maakt het, vinden wij, heel erg sterk.

94
00:05:20,000 --> 00:05:26,560
Ja en als de machine, die moet natuurlijk wel ergens uitleg geven van hoe die tot een besluit

95
00:05:26,560 --> 00:05:33,840
uitgekomen is. Wat me nog heel erg bijstaat van die presentatie die je daar gaf, is de quote dat je zei

96
00:05:33,840 --> 00:05:37,600
"wij waren al met explainable AI bezig voordat we wisten dat het zo heette".

97
00:05:37,600 --> 00:05:44,080
Ja, dat klopt. Door die setup die we eigenlijk hebben, er zijn allerlei redenen ervoor,

98
00:05:44,080 --> 00:05:47,680
maar de belangrijkste reden is wat ik eigenlijk net vertelde, die combinatie van mens en machine.

99
00:05:47,680 --> 00:05:54,880
Geld uitlenen, dat gaat vaak om veel geld. Dus bijvoorbeeld we lenen 100.000 euro of we lenen

100
00:05:54,880 --> 00:05:57,480
tot 3 miljoen euro eigenlijk uit per bedrijf.

101
00:05:57,480 --> 00:05:58,840
Ja, dat is fors.

102
00:05:58,840 --> 00:06:02,360
Ja, dat is niet zoiets als spamdetectie waarbij je dan even aan de klant kan vragen...

103
00:06:02,360 --> 00:06:04,120
"Goh, was het allemaal oké wat we hebben gedaan?"

104
00:06:04,120 --> 00:06:05,880
Ja, dan is het geld weg.

105
00:06:05,880 --> 00:06:08,880
Dus als je dit als puur machine learning experiment gaat doen...

106
00:06:08,880 --> 00:06:10,320
nou, dan gaat het heel snel fout.

107
00:06:10,320 --> 00:06:13,600
Dus wij zijn begonnen met kennis van experts.

108
00:06:13,600 --> 00:06:16,840
En langzaam hebben we die steeds meer omgezet in een geautomatiseerd systeem...

109
00:06:16,840 --> 00:06:18,560
en in een model.

110
00:06:18,560 --> 00:06:21,920
En daarom moeten we vanaf het begin al calibreren met die experts...

111
00:06:21,920 --> 00:06:23,120
wat het model eigenlijk doet.

112
00:06:23,160 --> 00:06:25,280
We kunnen niet wegkomen met een black box.

113
00:06:25,280 --> 00:06:25,800
Nee.

114
00:06:25,800 --> 00:06:27,660
Vanaf dag één eigenlijk al niet.

115
00:06:27,660 --> 00:06:30,000
Dus in onze cultuur is het heel erg dat de mens,

116
00:06:30,000 --> 00:06:31,660
de underwriters met hun kennis,

117
00:06:31,660 --> 00:06:34,400
eigenlijk de baas zijn over welke parameters zitten er in het model.

118
00:06:34,400 --> 00:06:36,800
En ja, zijn we het daarmee eens?

119
00:06:36,800 --> 00:06:37,320
Ja.

120
00:06:37,320 --> 00:06:39,680
De vraag die bij mij opkomt is, die underwriters,

121
00:06:39,680 --> 00:06:41,740
hoe erg technisch savvy zijn die?

122
00:06:41,740 --> 00:06:43,780
Kennen die machine learning?

123
00:06:43,780 --> 00:06:45,120
Weeten ze hoe we dat moeten toepassen?

124
00:06:45,120 --> 00:06:48,460
Die zijn in de basis niet technisch.

125
00:06:48,460 --> 00:06:50,520
Dat zijn juist financiële experts vaak.

126
00:06:50,520 --> 00:06:52,520
Nou is het wel zo dat als je hier werkt,

127
00:06:52,540 --> 00:06:56,660
dan is dat vaak wel uit een bepaalde interesse voor het nieuwe maken van processen.

128
00:06:56,660 --> 00:06:58,540
Dus die zijn vaak wel...

129
00:06:58,540 --> 00:07:02,500
Het is juist leuk, want doordat je feedback kan geven op een model...

130
00:07:02,500 --> 00:07:04,540
en doordat je eigenlijk in die dialoog zit...

131
00:07:04,540 --> 00:07:07,260
kun je op zich ook je werk interessanter maken.

132
00:07:07,260 --> 00:07:09,460
Omdat je de hele repetitieve dingen...

133
00:07:09,460 --> 00:07:13,860
en de parameters die iedereen al snapt en die iedere keer hetzelfde zijn...

134
00:07:13,860 --> 00:07:15,980
ja, die worden wel opgelost door de machine.

135
00:07:15,980 --> 00:07:20,300
Maar de interessante cases, daar kun je dan je kennis op toepassen.

136
00:07:21,260 --> 00:07:25,420
Hoe zorg je ervoor dat die mensen de juiste informatie in hun jargon krijgen...

137
00:07:25,420 --> 00:07:27,440
om het wel begrijpbaar te maken voor ze dan?

138
00:07:27,440 --> 00:07:28,580
Ja, dat is een lange reis.

139
00:07:28,580 --> 00:07:32,540
Dus je hebt natuurlijk de machine learning experts...

140
00:07:32,540 --> 00:07:35,540
en die komen met de F1-scoren en dat soort termen aanzetten.

141
00:07:35,540 --> 00:07:38,020
Nou ja, dan heb je aan de andere kant de writers...

142
00:07:38,020 --> 00:07:44,940
dan zeggen ze nou ja, de verhouding tussen omzetten en belasting betalen is -.45.

143
00:07:44,940 --> 00:07:48,180
En we hebben de threshold eigenlijk op -.6 gelegd.

144
00:07:48,180 --> 00:07:49,500
Ja, nou ja, dat kan natuurlijk...

145
00:07:50,060 --> 00:07:53,260
En dat zijn eigenlijk gewoon technische waarden die uit de machine learning model komen.

146
00:07:53,260 --> 00:07:54,500
Ja, zo zijn we begonnen.

147
00:07:54,500 --> 00:07:58,340
Of met iets wat shop plots heette, dat kunnen we ook noemen.

148
00:07:58,340 --> 00:08:02,300
Dat zijn ook bekende manieren om een soort van uitleg te geven aan een modelbeslissing.

149
00:08:02,300 --> 00:08:04,500
Maar daar kunnen domeinexperts helemaal niks mee.

150
00:08:04,500 --> 00:08:06,780
Nou ja, dat is overdreven.

151
00:08:06,780 --> 00:08:09,940
Ze kunnen de onderlinge verhouding tussen dingen, die kun je goed zien.

152
00:08:09,940 --> 00:08:15,180
Maar de experts zijn natuurlijk gewend van, oké, maar hoeveel omzet is dat dan in euro's?

153
00:08:15,180 --> 00:08:15,700
Precies.

154
00:08:16,300 --> 00:08:18,100
Dus we hebben heel veel tijd besteed om...

155
00:08:18,100 --> 00:08:21,380
Versie één van Explainability voor ons was eigenlijk die shop-variant,

156
00:08:21,380 --> 00:08:23,380
waar je echt die technische waardes ziet.

157
00:08:23,380 --> 00:08:27,500
Versie twee is eigenlijk veel meer toegespitst op het uitleggen van de features.

158
00:08:27,500 --> 00:08:30,380
Dus daar gaat iets minder op de correlaties tussen alles,

159
00:08:30,380 --> 00:08:32,940
maar iets meer op hoeveel omzet is het dan?

160
00:08:32,940 --> 00:08:36,380
En een trend, daar wil je ook een grafiekje van zien.

161
00:08:36,380 --> 00:08:41,140
Heel erg visueel en uitlegbaar maken wat de inputwaardes zijn

162
00:08:41,140 --> 00:08:44,180
die ten grondzag liggen aan de beslissing.

163
00:08:44,220 --> 00:08:46,220
En we hebben ook nog versie 3.

164
00:08:46,220 --> 00:08:48,220
Daar zijn we nu heel druk mee.

165
00:08:48,220 --> 00:08:50,720
Dat is de afgelopen maanden live gegaan.

166
00:08:50,720 --> 00:08:55,220
En dat er ook feedback wordt gevraagd op iedere beslissing aan die mens.

167
00:08:55,220 --> 00:08:57,220
Op specifieke features.

168
00:08:57,220 --> 00:09:00,720
Dus we hebben al heel lang dat de mens het oneens kan zijn met de machine.

169
00:09:00,720 --> 00:09:04,720
Dat was een van de eerste processen die we natuurlijk hebben moeten inbouwen.

170
00:09:04,720 --> 00:09:08,720
Maar we hebben nu ook dat de mens het oneens kan zijn op een bepaalde variabel.

171
00:09:08,720 --> 00:09:10,220
Of op een bepaald detail.

172
00:09:10,220 --> 00:09:12,720
Dus oké, je bent het niet eens met deze beslissing.

173
00:09:12,720 --> 00:09:13,720
Waarom dan?

174
00:09:13,720 --> 00:09:16,720
Bijvoorbeeld, nee de omzetberekening klopt niet.

175
00:09:16,720 --> 00:09:19,720
En die mensen, is die mens die underwriter?

176
00:09:19,720 --> 00:09:21,720
Of is dat jouw klant?

177
00:09:21,720 --> 00:09:22,720
Nee, dat is de underwriter.

178
00:09:22,720 --> 00:09:23,720
Dat is ook wel een goede.

179
00:09:23,720 --> 00:09:26,720
De klant is ook weer een hele andere dimensie.

180
00:09:26,720 --> 00:09:28,720
Maar inderdaad, dit gaat over de interne dialoog

181
00:09:28,720 --> 00:09:31,720
tussen onze underwriters en onze machine learning experts.

182
00:09:31,720 --> 00:09:32,720
Ja precies.

183
00:09:32,720 --> 00:09:35,720
En als zij dan, want dan komen we straks op die klant uit,

184
00:09:35,720 --> 00:09:37,720
want daar ben ik ook nog wel heel erg benieuwd naar.

185
00:09:37,720 --> 00:09:40,720
Als die underwriter dan zegt, ja maar met dit element,

186
00:09:40,720 --> 00:09:43,840
Dit aspect van de uitleg ben ik het niet mee eens.

187
00:09:43,840 --> 00:09:44,840
Wat gebeurt er dan?

188
00:09:44,840 --> 00:09:48,640
In de basis wordt die feedback in ieder geval opgeslagen,

189
00:09:48,640 --> 00:09:52,680
zodat we die in groepjes kunnen behandelen, die feedback.

190
00:09:52,680 --> 00:09:55,560
Kijk, we oordelen heel veel aanvragen,

191
00:09:55,560 --> 00:09:59,760
dus je kunt niet bij iedere mismatch meteen daar opduiken,

192
00:09:59,760 --> 00:10:01,080
dat deden we in het begin wel.

193
00:10:01,080 --> 00:10:04,480
De mens heeft in principe dan gelijk.

194
00:10:04,480 --> 00:10:05,800
Dus wat er sowieso gebeurt,

195
00:10:05,800 --> 00:10:07,920
is dat de menselijke beslissing de overhand heeft.

196
00:10:07,920 --> 00:10:09,360
De mens gaat op dat moment beslissen

197
00:10:09,360 --> 00:10:10,800
wat er moet gebeuren met die post.

198
00:10:10,800 --> 00:10:13,400
Kan ook voor onze use case,

199
00:10:13,400 --> 00:10:17,840
omdat een lening is best wel een stevig product als het ware.

200
00:10:17,840 --> 00:10:20,200
Dat is ook niet iets waar je er een miljoen per dag van,

201
00:10:20,200 --> 00:10:21,680
of een miljoen per maand van gaat verkopen.

202
00:10:21,680 --> 00:10:23,680
Die volumes die zijn te overzien.

203
00:10:23,680 --> 00:10:26,640
En het is zo'n belangrijke beslissing dat het ook wel waard is

204
00:10:26,640 --> 00:10:29,400
om daar een mens goed ook naar te laten kijken.

205
00:10:29,400 --> 00:10:31,080
Met name de goedkeuringen.

206
00:10:31,080 --> 00:10:35,280
Zowel goedkeuringen als afwijzingen kunnen we volledig automatisch doen.

207
00:10:35,280 --> 00:10:38,800
Maar eigenlijk in de meeste gevallen vinden we het wel fijn

208
00:10:38,840 --> 00:10:40,840
Als er ook nog even een mens naar kijkt.

209
00:10:40,840 --> 00:10:42,840
Het belangrijkste automatische factor,

210
00:10:42,840 --> 00:10:47,640
de belangrijkste categorie, sorry, is de afwijzingen.

211
00:10:47,640 --> 00:10:49,640
Die zijn natuurlijk het makkelijkst om te automatiseren,

212
00:10:49,640 --> 00:10:51,640
want daar heb je er het meest van.

213
00:10:51,640 --> 00:10:53,640
En daar is ook de impact als het misgaat,

214
00:10:53,640 --> 00:10:57,640
kleiner dan als je natuurlijk een goedkeuring hebt waarbij het misgaat.

215
00:10:57,640 --> 00:10:59,640
Ja, qua risico.

216
00:10:59,640 --> 00:11:03,640
Als bedrijfsrisico voor de ondernemer is het natuurlijk nog steeds een grote impact.

217
00:11:03,640 --> 00:11:05,640
Maar de klant kant gingen we zo...

218
00:11:05,640 --> 00:11:07,640
Ja, nee, absoluut.

219
00:11:07,640 --> 00:11:17,640
En in die ontwikkeling van wat je zegt versie 1, 2, 3, hebben daar de feedback van jouw klanten daar ook nog een rol in gespeeld?

220
00:11:17,640 --> 00:11:24,640
Zeker, ja dat is ook eigenlijk een van de, nou dat is de andere reden dat we vroeg met explainable AI zijn begonnen.

221
00:11:24,640 --> 00:11:35,640
Onze allereerste proof of concept van het afwijzingsmodel, die hebben we, ik denk dat het inmiddels wel drie jaar geleden is ofzo, dat we die live gingen zetten of dat we daarmee aan het experimenteren waren.

222
00:11:35,640 --> 00:11:38,760
En toen zagen we eigenlijk, de eerste naïeve variant was,

223
00:11:38,760 --> 00:11:40,720
nou oké, iemand wordt afgewezen.

224
00:11:40,720 --> 00:11:44,000
In eerste instantie kwam daar nog niet eens een reden uit,

225
00:11:44,000 --> 00:11:47,760
maar een threshold van een score met een betrouwbaarheid en een benchmark erop.

226
00:11:47,760 --> 00:11:51,280
Als je dat naar je klanten gaat sturen, dan krijg je meteen vragen.

227
00:11:51,280 --> 00:11:53,240
En terecht ook.

228
00:11:53,240 --> 00:11:58,560
Dus we hadden een variant die gewoon vrijwel direct een mail stuurde,

229
00:11:58,560 --> 00:12:01,800
maar dan kregen mensen dus op zondagavond om 11 uur een mail,

230
00:12:01,800 --> 00:12:05,120
twee seconden nadat ze zich hadden aangemeld.

231
00:12:05,120 --> 00:12:07,120
Dat is natuurlijk niet goed.

232
00:12:07,120 --> 00:12:11,120
En wat vooral eigenlijk daaruit kwam, dat was een experiment.

233
00:12:11,120 --> 00:12:15,120
Dus dat was op zich niet hoe we het echt op al onze klanten hebben gedraaid.

234
00:12:15,120 --> 00:12:17,120
Maar wat je dan ziet is dat je ten eerste veel weerstand krijgt daarop.

235
00:12:17,120 --> 00:12:20,120
En ten tweede de superlogische vraag, waarom?

236
00:12:20,120 --> 00:12:24,120
Dus ja, wij moesten daar uitleg aan geven aan die klant.

237
00:12:24,120 --> 00:12:27,120
Ten eerste, dat vind ik moreel verplicht.

238
00:12:27,120 --> 00:12:31,120
Maar volgens mij ben je het ook juridisch verplicht om uit te leggen aan een klant.

239
00:12:31,120 --> 00:12:33,120
Als er geautomatiseerde beslissingen over iemand genomen wordt,

240
00:12:33,120 --> 00:12:35,120
over iemand genomen wordt die veel impact heeft,

241
00:12:35,120 --> 00:12:37,920
dan ben je verplicht om als een klant daarom vraagt uit te leggen

242
00:12:37,920 --> 00:12:39,520
hoe die beslissing tot stand heeft kunnen komen.

243
00:12:39,520 --> 00:12:43,520
En dan hebben onze interne mensen nog die ook willen weten waarom dat is gebeurd.

244
00:12:43,520 --> 00:12:46,620
Dus ja, we moesten eigenlijk wel uit gaan leggen aan mensen

245
00:12:46,620 --> 00:12:48,620
waarom een bepaalde beslissing genomen was.

246
00:12:48,620 --> 00:12:53,620
En wat was daar in je eerste stap die je bent gaan doen?

247
00:12:53,620 --> 00:12:55,920
Want ik kan me best wel voorstellen dat dat schrikken is,

248
00:12:55,920 --> 00:12:57,720
dat je dit soort feedback krijgt.

249
00:12:57,720 --> 00:13:00,320
Ja, het was natuurlijk een klein experiment

250
00:13:00,320 --> 00:13:02,820
waarin we eigenlijk wel hadden verwacht dat het zou gaan gebeuren,

251
00:13:02,820 --> 00:13:04,660
maar we proberen heel snel te ontwikkelen.

252
00:13:04,660 --> 00:13:07,940
Dus we proberen heel snel in kleine releases, kleine stapjes dingen te maken.

253
00:13:07,940 --> 00:13:09,660
En dan horen dit soort dingen daar soms bij.

254
00:13:09,660 --> 00:13:11,820
Zolang je ze maar heel klein en geïsoleerd houdt, kan dat.

255
00:13:11,820 --> 00:13:19,460
Onze eerste stap, die is eigenlijk best wel voor de hand liggend,

256
00:13:19,460 --> 00:13:20,380
maar dat is wel vaker.

257
00:13:20,380 --> 00:13:23,700
AI is super complex, maar als je gewoon mee aan de gang gaat,

258
00:13:23,700 --> 00:13:25,900
dan ben je gedwongen om dingen simpel te houden.

259
00:13:25,900 --> 00:13:26,420
Precies.

260
00:13:26,420 --> 00:13:29,540
Dus dat is gewoon kijken naar de allergrootste features die je hebt,

261
00:13:29,540 --> 00:13:31,060
de feature met de meeste impact.

262
00:13:31,500 --> 00:13:34,980
en die gewoon als eerste te isoleren en daar een menselijk verhaal van te maken.

263
00:13:34,980 --> 00:13:39,300
Dus je ziet gewoon dat een bepaalde feature, bijvoorbeeld de omzet dat het bedrijf maakt.

264
00:13:39,300 --> 00:13:42,740
Kijk, dat snapt eigenlijk iedereen, dat als een bedrijf drie miljoen euro wil lenen

265
00:13:42,740 --> 00:13:46,860
en het maakt vijfduizend euro omzet per maand, dan is dat waarschijnlijk...

266
00:13:46,860 --> 00:13:50,140
Nou ja, goed, er zijn allerlei situaties te bedenken waarin dat wel kan.

267
00:13:50,140 --> 00:13:54,580
Er zijn andere bepaalde type financieringen, maar dat is natuurlijk een sterke indicator

268
00:13:54,580 --> 00:13:55,980
dat het misschien niet zo'n goed idee is.

269
00:13:55,980 --> 00:13:58,060
Want waarom moet je dat dan ooit terugbetalen?

270
00:13:58,060 --> 00:14:01,420
En dat is voor de ontvanger van de uitleg ook duidelijk?

271
00:14:01,420 --> 00:14:04,900
Dat je zegt, dit is het geval.

272
00:14:04,900 --> 00:14:07,380
Ja, dat wisten we.

273
00:14:07,380 --> 00:14:11,260
We hebben natuurlijk een hele bak aan menselijke beslissingen waar we op kunnen trainen.

274
00:14:11,260 --> 00:14:13,540
Dus ons model is gebouwd in de basis.

275
00:14:13,540 --> 00:14:15,860
We hebben nu meerdere modellen naast elkaar draaien.

276
00:14:15,860 --> 00:14:18,340
Maar zeker in het begin hebben we een model gebouwd op mensen.

277
00:14:18,340 --> 00:14:21,820
Omdat we simpelweg niet genoeg bedrijven hadden...

278
00:14:21,820 --> 00:14:24,740
die in de problemen zijn gekomen om een model op te trainen.

279
00:14:24,740 --> 00:14:26,260
Dat is ook nog een goede ja.

280
00:14:26,260 --> 00:14:31,100
Dus je moet wel, niet altijd falsementen...

281
00:14:31,100 --> 00:14:33,980
maar je moet wel probleemgevallen hebben om een model op te kunnen trainen.

282
00:14:33,980 --> 00:14:35,780
En die hadden we heel weinig en daar waren we ook heel blij mee.

283
00:14:35,780 --> 00:14:37,780
Ja, daar zijn we nog steeds heel blij mee.

284
00:14:37,780 --> 00:14:41,540
Dus die menselijke beslissingen zijn daarin heel belangrijk.

285
00:14:41,540 --> 00:14:46,060
En daarvan wisten we ook wat onze experts de belangrijkste features vinden.

286
00:14:46,060 --> 00:14:48,220
Nou, die kun je modelleren, daar kun je je model op draaien.

287
00:14:48,220 --> 00:14:51,500
En vervolgens kun je ook simuleren wat er zou gebeuren.

288
00:14:51,500 --> 00:14:55,140
En hoeveel van die klanten dan op die redenen worden afgewezen.

289
00:14:55,140 --> 00:14:57,580
Nou, daar kun je een menselijke tekst van maken.

290
00:14:57,580 --> 00:14:59,940
En die kun je dan op de mail zetten.

291
00:14:59,980 --> 00:15:04,620
Ja, cool. Ja, want we hebben net namelijk zelf een podcast opgenomen.

292
00:15:04,620 --> 00:15:06,980
Explainable AI is echt een van mijn passies.

293
00:15:06,980 --> 00:15:11,340
Weet je, ik geloof helemaal ook wat jij zegt, van als er namelijk die uitleg niet komt...

294
00:15:11,340 --> 00:15:14,060
en niemand begrijpt het niet, dan heb je er ook niet zo heel veel aan.

295
00:15:14,060 --> 00:15:16,940
Daarom is dit ook juist zo'n interessante case.

296
00:15:16,940 --> 00:15:23,180
Je kan wel iets vertellen van dit is de reden waarom je bent afgewezen.

297
00:15:23,180 --> 00:15:28,420
Maar het is uiteindelijk aan de ontvanger of die het accepteert dat de uitleg duidelijk genoeg is.

298
00:15:28,620 --> 00:15:31,380
Ja, zeker.

299
00:15:31,380 --> 00:15:35,380
Het is ook zo dat in bijna alle gevallen spreken wij de ondernemer ook.

300
00:15:35,380 --> 00:15:37,900
Dus we hebben heel veel geautomatiseerd,

301
00:15:37,900 --> 00:15:40,780
maar daardoor is er eigenlijk meer ruimte voor persoonlijk contact,

302
00:15:40,780 --> 00:15:44,500
omdat de medewerkers niet bezig hoeven te zijn met een grote administratieve romslomp,

303
00:15:44,500 --> 00:15:47,620
maar tijd over hebben om gewoon een gesprek met de ondernemer te voeren

304
00:15:47,620 --> 00:15:48,820
over hoe het gaat met het bedrijf.

305
00:15:48,820 --> 00:15:52,060
Dus in bijna alle gevallen is er een gesprek met een ondernemer

306
00:15:52,060 --> 00:15:54,100
of is de ondernemer al gesproken

307
00:15:54,100 --> 00:15:57,140
en kun je dus op die manier ook uitleg geven aan een beslissing.

308
00:15:57,500 --> 00:16:00,500
Dus je hebt eigenlijk de kracht van de mens daar gelegd,

309
00:16:00,500 --> 00:16:03,820
waar die heel strikt noodzakelijk is en waar die een meerwaarde is

310
00:16:03,820 --> 00:16:07,620
ten opzichte van als je dit niet zou automatiseren.

311
00:16:07,620 --> 00:16:09,140
Ja, dat denken we wel.

312
00:16:09,140 --> 00:16:12,140
Kijk, we zijn natuurlijk voortdurend in ontwikkeling,

313
00:16:12,140 --> 00:16:15,540
dus dit is echt een beetje vallen en opstaan geweest.

314
00:16:15,540 --> 00:16:18,940
Maar ja, dat persoonlijk contact is vaak heel belangrijk

315
00:16:18,940 --> 00:16:21,460
en daar kun je ook weer feedback uit krijgen die je model verbetert.

316
00:16:21,460 --> 00:16:24,100
Kijk, er gaan veel dingen fout met data natuurlijk.

317
00:16:24,100 --> 00:16:26,140
Er is altijd wel een dingetje gemislabeld

318
00:16:26,160 --> 00:16:27,640
of er is een nieuwe partij op de markt...

319
00:16:27,640 --> 00:16:30,440
waardoor ons algoritme toch net anders had bekeken dan verwacht.

320
00:16:30,440 --> 00:16:36,600
Dat verandert voortdurend, dus je moet er ook altijd klaar voor zijn...

321
00:16:36,600 --> 00:16:38,000
om het verkeerd te hebben.

322
00:16:38,000 --> 00:16:39,720
Ja, precies. - Dat gebeurt namelijk gewoon.

323
00:16:39,720 --> 00:16:42,320
En je had het over Shep.

324
00:16:42,320 --> 00:16:47,480
Shep geeft een grafiek aan met verhoudingen ten opzichte van features.

325
00:16:47,480 --> 00:16:51,960
Hebben jullie die grafieken ook aan klanten laten zien?

326
00:16:51,960 --> 00:16:55,720
Nee, dat hebben we niet gedaan.

327
00:16:55,720 --> 00:16:58,880
Nee, ik denk niet dat dat goed zou gaan.

328
00:16:58,880 --> 00:16:59,920
Nee, toch?

329
00:16:59,920 --> 00:17:06,400
Nee, we geven er echt de voorkeur aan om het of textueel of telefonisch toe te lichten aan een klant.

330
00:17:06,400 --> 00:17:14,080
Ook omdat je dan, nou ja, gewoon omdat je ook de diepere lagen, als het ware, dan kan uitleggen die nog niet altijd uit zo'n shop komt.

331
00:17:14,080 --> 00:17:16,600
Ja, daarnaast die shops die zijn super technisch.

332
00:17:16,600 --> 00:17:21,880
Dat is, alle waardes zijn op dezelfde schaal gezet, zodat je ze mooi onderling kunt vergelijken.

333
00:17:21,880 --> 00:17:24,640
Maar ja, daardoor gaat de betekenis voor mensen totaal verloren.

334
00:17:24,720 --> 00:17:25,720
Absoluut.

335
00:17:25,720 --> 00:17:30,160
En daar kan een ondernemer, daar kunnen onze interne mensen al niet zoveel mee, laat staan.

336
00:17:30,160 --> 00:17:31,720
Een ondernemer.

337
00:17:31,720 --> 00:17:37,520
Je moet echt wel een data scientist zijn wil je uiteindelijk die Shep grafieken kunnen

338
00:17:37,520 --> 00:17:38,520
snappen.

339
00:17:38,520 --> 00:17:44,040
Ja, en we hebben dus mensen die de features al begrijpen, maar ook die mensen die kunnen

340
00:17:44,040 --> 00:17:46,120
eigenlijk niet zoveel met zo'n Shep plot.

341
00:17:46,120 --> 00:17:48,120
Nee, dat werkt niet.

342
00:17:48,120 --> 00:17:49,120
Dat is lastig hè?

343
00:17:49,120 --> 00:17:53,120
Dat is natuurlijk al heel veel stagiairs die meegekomen zijn van "hé, kunnen we niet?"

344
00:17:53,120 --> 00:17:56,120
Ja, dat zou super cool zijn, maar dat is natuurlijk helemaal niet nodig,

345
00:17:56,120 --> 00:18:00,120
want de redenen die we hebben, zijn natuurlijk de mensen die het zelf doen.

346
00:18:00,120 --> 00:18:02,120
En dat is natuurlijk ook een van de grote dingen.

347
00:18:02,120 --> 00:18:04,120
En dat is ook een van de grote dingen.

348
00:18:04,120 --> 00:18:06,120
En dat is ook een van de grote dingen.

349
00:18:06,120 --> 00:18:08,120
En dat is ook een van de grote dingen.

350
00:18:08,120 --> 00:18:10,120
En dat is ook een van de grote dingen.

351
00:18:10,120 --> 00:18:12,120
En dat is ook een van de grote dingen.

352
00:18:12,120 --> 00:18:14,120
En dat is ook een van de grote dingen.

353
00:18:14,120 --> 00:18:16,120
En dat is ook een van de grote dingen.

354
00:18:16,120 --> 00:18:23,680
helemaal niet nodig, want de redenen die zijn... Het gros van de redenen is... Daar hebben

355
00:18:23,680 --> 00:18:28,080
we gewoon stukken tekst voor liggen waarvan we weten dat mensen ze snappen, die gewoon

356
00:18:28,080 --> 00:18:34,800
gevet zijn door mensen en door ervaring. En al die edge cases, daar zul je toch echt

357
00:18:34,800 --> 00:18:38,440
zelf iets voor moeten typen. En dat is ook de moeite waard, vinden wij.

358
00:18:38,440 --> 00:18:42,440
Zeker. En ik denk ook, dan heb je ook altijd de mogelijkheid om door te kunnen vragen en

359
00:18:42,440 --> 00:18:47,200
daarop in te gaan en te kijken wat past deze uitleg bij deze type ondernemer.

360
00:18:47,200 --> 00:18:48,680
Ja, dat ook heel waardevol is.

361
00:18:48,680 --> 00:18:54,160
Ja, en wij zijn ook best wel trots bijvoorbeeld op onze Google Review scorers.

362
00:18:54,160 --> 00:18:58,200
Die webshops en restaurants zijn daar heel goed in. Wij ook.

363
00:18:58,200 --> 00:19:04,560
Omdat de financiële instellingen vaak best wel, ja, er zitten wel negatieve associaties mee.

364
00:19:04,560 --> 00:19:12,400
En ja, wij moeten nog steeds de overgrote meerderheid teleurstellen, omdat er gewoon heel veel behoeftes in de markt zijn.

365
00:19:12,400 --> 00:19:14,400
en wij kunnen ze nou helemaal niet allemaal invullen.

366
00:19:14,400 --> 00:19:17,800
En wij willen altijd verantwoord financieren.

367
00:19:17,800 --> 00:19:20,280
Dus wij willen zeker weten dat het geld terugkomt.

368
00:19:20,280 --> 00:19:25,760
Wij zijn daarin, denk ik, wij nemen meer risico, denk ik, dan een aantal andere partijen.

369
00:19:25,760 --> 00:19:29,280
Ook door de manier waarop we werken, doordat we meer data hebben, nauwkeuriger kunnen kijken.

370
00:19:29,280 --> 00:19:35,160
Maar je wil wel dat die mensen ook met een relatief prettig gevoel de samenwerking verlaten.

371
00:19:35,160 --> 00:19:37,160
Misschien zodat ze in de toekomst weer terug kunnen komen.

372
00:19:37,160 --> 00:19:42,080
Maar ook zodat iedereen toch een gevoel heeft van, oké, weet je, het is hem niet geworden,

373
00:19:42,080 --> 00:19:46,680
maar ze zijn in ieder geval snel met de terugkoppeling en ze zijn duidelijk over wat er aan de hand is.

374
00:19:46,680 --> 00:19:51,600
En met die duidelijkheid kun je natuurlijk eventueel aan de slag als je een bepaalde onderneming runt,

375
00:19:51,600 --> 00:19:54,920
dat je denkt van, oh ja, maar dan weet ik eigenlijk waar ik naartoe moet groeien,

376
00:19:54,920 --> 00:20:01,320
of waar ik het risico moet verkleinen om misschien zo direct wel die aanvraag er doorheen te krijgen.

377
00:20:01,320 --> 00:20:02,440
Ja, dat gebeurt vaak.

378
00:20:02,440 --> 00:20:05,400
Wij zien vaak ondernemers terugkomen op een later tijdstip,

379
00:20:05,400 --> 00:20:07,920
omdat we ook kunnen aangeven van, nou ja, als die omzet op dit niveau is,

380
00:20:07,920 --> 00:20:10,440
of als er dat aan de hand is, dan kunnen we je wel helpen.

381
00:20:10,440 --> 00:20:17,840
Ja, ik denk heel mooi duidelijk verhaal over het belang van de uitlegbaarheid en dat groeien.

382
00:20:17,840 --> 00:20:20,240
Je zegt wel, we zijn gewoon ergens begonnen.

383
00:20:20,240 --> 00:20:24,440
En vanuit de praktijk zijn we gaan leren van wat is er nodig, wie heeft wat nodig.

384
00:20:24,440 --> 00:20:29,440
Je hebt duidelijk denk ik verschillende belanghebbenden en daar de dingen op afgestemd.

385
00:20:29,440 --> 00:20:32,720
Ja, en de mens eigenlijk als circuit breaker daarin bouwen.

386
00:20:32,720 --> 00:20:33,360
Ja, dat.

387
00:20:33,360 --> 00:20:36,840
Dat is denk ik wat je in staat stelt om ook te kunnen experimenteren.

388
00:20:36,840 --> 00:20:39,000
Want ja, je kunt een model beslissingen laten maken.

389
00:20:39,280 --> 00:20:40,720
Die beslissing hou je voor jezelf.

390
00:20:40,720 --> 00:20:44,280
Dan laat je mensen naar kijken en dan pas ga je communiceren in eerste instantie.

391
00:20:44,280 --> 00:20:46,360
En dat is de manier waarop dit kan.

392
00:20:46,360 --> 00:20:47,960
En die luxe heb je niet altijd.

393
00:20:47,960 --> 00:20:52,200
Als je bijvoorbeeld veel grotere schaal dingen moet gaan labelen met miljoenen per maand.

394
00:20:52,200 --> 00:20:53,720
Dan heb je die luxe niet.

395
00:20:53,720 --> 00:20:55,320
Moet je naar andere dingen op zoek.

396
00:20:55,320 --> 00:20:55,800
Ja.

397
00:20:55,800 --> 00:20:57,920
Nou mooi, dankjewel voor je inzicht Marijn.

398
00:20:57,920 --> 00:21:03,000
Hartstikke inspirerend toch?

399
00:21:03,000 --> 00:21:06,440
En gaaf om te zien hoe dit in de praktijk toegepast wordt.

400
00:21:06,440 --> 00:21:07,240
Dankjewel.

401
00:21:07,240 --> 00:21:08,240
Geen dank.

402
00:21:08,240 --> 00:21:13,240
Leuk dat je weer luisterde naar een aflevering van EOTD Live.

403
00:21:13,240 --> 00:21:21,240
Zorg dat je je inschrijft, nee wat zeg ik, dat je je abonneert op je favoriete podcast app.

404
00:21:21,240 --> 00:21:27,240
En als je ons een beetje wil steunen in Spotify kan je ons sterren geven en dat helpt enorm.

405
00:21:27,240 --> 00:21:28,240
Dankjewel alvast.

406
00:21:28,240 --> 00:21:44,160
[Eind culmini]