S05E25 - Wat is er mis met discriminatie? - Rijk Mercuur

In deze aflevering van AIToday Live verwelkomen we Rijk Mercuur researcher bij Hiro. Samen behandelen we het complexe vraagstuk van ethische afwegingen in kunstmatige intelligentie (AI) en het belang van verantwoorde toepassingen.

We onderzoeken wanneer onderscheid maken in algoritmes onrechtmatig wordt, de morele relevantie, proportionaliteit en het groeiende bewustzijn van de sociale gevolgen van AI. Voorts gaan we in op het belang van kennisdeling en een kritische benadering van algoritmegebruik in diverse sectoren. Rijk deelt inzichten uit workshops over data-ethiek en mensenrechten en legt uit hoe soms eenvoudigere oplossingen de negatieve effecten van AI kunnen vermijden.

Sluit je aan bij dit boeiende gesprek en abonneer je op AIToday Live via Spotify om op de hoogte te blijven van de nieuwste ontwikkelingen in de wereld van AI.

Wie is Rijk Mercuur?

Rijk Mercuur heeft een uitgebreide achtergrond in kunstmatige intelligentie, met een bachelor, master en PhD op zak. Bij Hiro zet hij zich in voor verantwoorde AI, waar hij workshops aanbiedt en mensen helpt met kennis over ethiek en AI. Hoewel hij geen les meer geeft aan de universiteit, neemt hij zijn ervaring mee in zijn huidige werk.

Links

• Hiro.nl
• Artikel - Wat is er mis met discriminatie?

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,000 --> 00:00:07,000
Welkom en leuk dat je weer luistert naar een nieuwe aflevering van de AIToday Live.

2
00:00:07,000 --> 00:00:11,000
Mijn naam Niels Naglé, chapter lead Data & AI bij Info Support.

3
00:00:11,000 --> 00:00:15,000
Mijn naam is Joop Snijder, CTO bij Aigency.

4
00:00:15,000 --> 00:00:20,000
Niet in de studio aanwezig, maar in ieder geval wel bij het gesprek.

5
00:00:20,000 --> 00:00:24,000
Fijn dat je het toch digitaal aan kan haken, want we hebben een leuke gast in onze nieuwe aflevering.

6
00:00:24,000 --> 00:00:28,000
Rijk Mercuur, zou je jezelf even willen voorstellen aan de luisteraars?

7
00:00:28,000 --> 00:00:33,800
luisteraars. Zeker Niels. Mijn naam is Rijk Mercuur. Ik heb een achtergrond in kunstmatige

8
00:00:33,800 --> 00:00:40,840
intelligentie. Ik heb een bachelor, master en een PhD. En tegenwoordig werk ik bij Hero en daar

9
00:00:40,840 --> 00:00:47,960
zet ik de afdeling verantwoorden AI op. Waar we workshops aanbieden en mensen proberen te helpen

10
00:00:47,960 --> 00:00:53,840
met kennis over ethiek en kunstmatige intelligentie. Ja en ik zag op je site van Hiro dat je ook nog

11
00:00:53,840 --> 00:00:57,400
nog steeds lesgeeft aan de universiteit van Utrecht?

12
00:00:57,400 --> 00:01:00,560
Oh nee, dat is afgerond. Dat was mijn vorige baan.

13
00:01:00,560 --> 00:01:03,280
Dus ik heb hier zo'n anderhalf jaar lesgeven.

14
00:01:03,280 --> 00:01:05,120
Dat was ook heel leuk.

15
00:01:05,120 --> 00:01:09,780
Ik mocht daar de vakken filosofie, voorkunstmatig, intelligentie

16
00:01:09,780 --> 00:01:11,820
en het mastervak, filosofie of AI.

17
00:01:11,820 --> 00:01:14,360
Dus een gelijknamig vak, maar twee vakken geven.

18
00:01:14,360 --> 00:01:17,340
En daar heb ik zelf ook weer heel veel van geleerd.

19
00:01:17,340 --> 00:01:18,720
Dus dat neem ik allemaal mee.

20
00:01:18,740 --> 00:01:23,740
Wat is dan de stof die behandeld wordt?

21
00:01:23,740 --> 00:01:27,740
We kiezen vooral verschillende papers die we interessant vinden.

22
00:01:27,740 --> 00:01:29,740
Deel het samen met collega's.

23
00:01:29,740 --> 00:01:37,740
Een paper dat ik me herinner ging over de beperkingen van Twitter als discussieplatform.

24
00:01:37,740 --> 00:01:41,740
En hoe sommige mensen misschien denken dat het heel mooi is om alles te gamifyen.

25
00:01:41,740 --> 00:01:48,100
maar dat er eigenlijk de diversiteit van onze prachtige waarde van gesprekken voeren misschien

26
00:01:48,100 --> 00:01:51,740
achteruit gaat. Dus we zijn nu niet alleen maar bezig met zoveel mogelijk likes krijgen,

27
00:01:51,740 --> 00:01:58,380
hoop ik, maar ook met een wat diepgaande gesprek. Dus op de inhoud. Ja, daar ging het over. Ik had

28
00:01:58,380 --> 00:02:05,980
zelf een deel over modellen en modeltheosofie. Dat ging over de relatie tussen modellen en de

29
00:02:05,980 --> 00:02:11,980
werkelijkheid. Bijvoorbeeld dat machine learning modellen vaak niet zo duidelijke relatie hebben

30
00:02:11,980 --> 00:02:19,340
tot de werkelijkheid omdat ze black box zijn. Ah oké, vanuit de black box gedacht. Geeft dat wel

31
00:02:19,340 --> 00:02:26,460
duidelijkheid? Ja zeker, absoluut. En ik had een artikel van je gelezen met een lekker prikkelende

32
00:02:26,460 --> 00:02:32,340
titel. Wat is er mis met discriminatie? En discriminatie, ja dat is de bedoeling. Ja.

33
00:02:32,340 --> 00:02:33,340
Ja.

34
00:02:33,340 --> 00:02:38,820
Dat de meeste mensen zouden denken van nee, we willen geen discriminatie.

35
00:02:38,820 --> 00:02:43,740
Kan je daar wat over vertellen van waarom je zeg maar vanuit die titel gestart bent?

36
00:02:43,740 --> 00:02:45,820
Nou die is natuurlijk expres heel prikkelend opgezet.

37
00:02:45,820 --> 00:02:51,500
Dus ik probeer discriminatie hier in de, ik bedoel discriminatie hier in de zachtere betekenis

38
00:02:51,500 --> 00:02:53,540
ervan, namelijk onderscheid maken.

39
00:02:53,540 --> 00:02:59,380
En onderscheid maken is iets wat mensen en algoritmes eigenlijk in de basis altijd doen.

40
00:02:59,380 --> 00:03:04,140
Dat is hoe wij als mensen eigenlijk de wereld duidelijk maken voor onszelf.

41
00:03:04,140 --> 00:03:07,460
Dus ik weet nu van ja, jullie zijn de host, ik ben de gast.

42
00:03:07,460 --> 00:03:09,700
Dus we hebben een andere rol en dat onderscheid maak ik.

43
00:03:09,700 --> 00:03:11,100
En dat helpt me ook heel erg.

44
00:03:11,100 --> 00:03:14,380
En soms wordt dat onderscheid onrechtmatig.

45
00:03:14,380 --> 00:03:16,980
En meestal is dat wat mensen bedoelen met discriminatie.

46
00:03:16,980 --> 00:03:20,060
En nou ja, daar heb ik natuurlijk ook iets tegen.

47
00:03:20,060 --> 00:03:22,460
Maar het artikel ging over wanneer dat onrechtmatig wordt.

48
00:03:22,460 --> 00:03:25,940
Ja, en wanneer wordt het onrechtmatig dan?

49
00:03:25,940 --> 00:03:29,140
Ja, ik maak eigenlijk drie stappen in dat artikel.

50
00:03:29,160 --> 00:03:34,160
Eerst vraag ik me af of een bepaalde variabel relevant is.

51
00:03:34,160 --> 00:03:38,700
Het voorbeeld ging eigenlijk over de toeslagenaffaire.

52
00:03:38,700 --> 00:03:43,200
Dus dat is alweer een tijdje geleden. De hype is weer een beetje voorbij.

53
00:03:43,200 --> 00:03:49,160
Maar bij de toeslagenaffaire was het zo dat er werd een algoritme gebruikt.

54
00:03:49,160 --> 00:03:52,360
En in dat algoritme werd er gekeken naar nationaliteit.

55
00:03:52,360 --> 00:03:55,640
En als mensen een niet-Nederlandse nationaliteit hadden,

56
00:03:55,640 --> 00:03:59,000
dan hadden ze een hogere kans om aangemerkt te worden als vrouw Duur.

57
00:03:59,020 --> 00:04:04,220
En daarbij kwam een amnesty report uit en natuurlijk een heel kabinet dat viel.

58
00:04:04,220 --> 00:04:10,740
Dat ging over het feit dat dat discriminerend was naar mensen met een niet-Nederlandse nationaliteit.

59
00:04:10,740 --> 00:04:15,860
Nou ja, ik vraag me af of dat dan dus zo is en hoe we dat precies goed kunnen bepalen.

60
00:04:15,860 --> 00:04:22,620
We kunnen eerst afvragen of nationaliteit relevant was. Dus was het werkelijk voorspellend?

61
00:04:22,620 --> 00:04:25,460
Dan kunnen we ons afvragen of het moreel relevant is.

62
00:04:25,460 --> 00:04:34,700
Kan ik er wat meer over uitleggen, maar dat betekent eigenlijk, is het eigenlijk ethisch

63
00:04:34,700 --> 00:04:38,020
oké om deze variabel mee te nemen als we een beslissing maken over fraude?

64
00:04:38,020 --> 00:04:39,180
Ja.

65
00:04:39,180 --> 00:04:41,580
En de laatste stap is om te kijken of iets proportioneel is.

66
00:04:41,580 --> 00:04:45,100
Dus om te kijken of het eigenlijk wel in verhouding staat met het doel.

67
00:04:45,100 --> 00:04:48,860
Misschien mogen we het wel meenemen, maar als het niet veel oplevert,

68
00:04:48,860 --> 00:04:52,740
dan is het misschien te veel schade aan de individu om het mee te nemen.

69
00:04:52,740 --> 00:04:53,740
En dan is het niet proportioneel.

70
00:04:53,740 --> 00:04:58,340
Je zegt 'moreel relevant'. Zou je dat verder kunnen afpellen?

71
00:04:58,340 --> 00:05:02,220
Ja, dat is de meest complexe term uit dit verhaal, zeker.

72
00:05:02,220 --> 00:05:05,700
De eerste kijkje dus, laten we daar beginnen of iets relevant is.

73
00:05:05,700 --> 00:05:09,780
Je hebt bijvoorbeeld het vooroordeel dat vrouwen niet kunnen autorijden.

74
00:05:09,780 --> 00:05:13,980
En dan kan je daadwerkelijk daar wetenschap op naslaan of statistieken.

75
00:05:13,980 --> 00:05:17,740
En dan kom je erachter dat vrouwen eigenlijk minder vaak dronken rijden

76
00:05:17,740 --> 00:05:19,180
en minder heftige ongelukken maken.

77
00:05:19,180 --> 00:05:22,340
Nou ja, dan zie je eigenlijk is deze variabel helemaal niet relevant.

78
00:05:22,340 --> 00:05:25,620
Dat is helemaal niet voorspellend. Dus dat is de eerste stap.

79
00:05:25,620 --> 00:05:34,140
Nu bleek het zo dat nationaliteit wel relevant was voor fraude.

80
00:05:34,140 --> 00:05:36,340
Dus in de modellen had het een voorspellende waarde.

81
00:05:36,340 --> 00:05:39,060
Dus daar kunnen we niet gelijk door zeggen van,

82
00:05:39,060 --> 00:05:41,220
we zouden de variabel niet moeten meenemen.

83
00:05:41,220 --> 00:05:44,340
Maar dan komt de tweede stap, moreel relevant.

84
00:05:44,340 --> 00:05:50,100
Ik gebruik daar eigenlijk de kindertoeslag als voorbeeld bij.

85
00:05:50,100 --> 00:05:56,700
Eerst vraag je je af of iemand wel kinderen heeft. Dat is al relevant.

86
00:05:56,700 --> 00:06:04,640
Dan kan je je misschien afvragen of dat kind graag naar de kinderopvang wil.

87
00:06:04,640 --> 00:06:11,040
Dat is al relevant, want een kind dat niet zo graag wil heeft misschien een minder belang bij de kinderopvang.

88
00:06:11,040 --> 00:06:13,780
Misschien moeten we die dan geen kinderopvang zomaar geven.

89
00:06:13,780 --> 00:06:16,860
Maar ik denk dat we daarover zeggen dat dat niet klopt.

90
00:06:16,860 --> 00:06:20,540
Die variabel is misschien wel relevant, maar niet moreel relevant.

91
00:06:20,540 --> 00:06:23,460
Het maakt eigenlijk niet zoveel uit of dat kind wel of niet wil.

92
00:06:23,460 --> 00:06:26,060
Het gaat erom dat iedereen, elk kind daar recht op heeft.

93
00:06:26,060 --> 00:06:28,640
En dat de ouders dat belangrijk vinden in de maatschappij.

94
00:06:28,640 --> 00:06:32,620
Dus we hebben soms variabelen.

95
00:06:32,620 --> 00:06:35,880
En dat is vaak ook dingen als inkomen of nationaliteit die wel relevant zijn.

96
00:06:35,880 --> 00:06:39,260
Maar die misschien we niet vinden dat mensen iets aan kunnen doen.

97
00:06:39,260 --> 00:06:41,200
Of iets niet in controle hebben.

98
00:06:41,200 --> 00:06:44,520
En daarom niet eigenlijk moreel of ethisch moeten meetellen.

99
00:06:44,540 --> 00:06:49,540
voor of iemand verdacht wordt voor fraude of iemand kinderopvang krijgt.

100
00:06:49,540 --> 00:06:53,360
Ja, en nationaliteit heb je niet voor het kiezen in eerste instantie.

101
00:06:53,360 --> 00:06:58,600
Klopt. Ja, en ik denk dat dat inderdaad eigenlijk het punt is van Amnesty,

102
00:06:58,600 --> 00:07:04,660
als ze zeggen dat er een groot schandaal is bij de toeslagenaffaire.

103
00:07:04,660 --> 00:07:08,120
En vaak verliest dat een beetje die nuancen.

104
00:07:08,120 --> 00:07:12,860
Dus vaak wordt het al heel pijnlijk om te zeggen dat misschien

105
00:07:12,880 --> 00:07:18,080
Mensen met een niet-Nederlandse nationaliteit, dat er echt een hogere kans was op fraude.

106
00:07:18,080 --> 00:07:22,160
Dat bleek in de eerdere modellen zo te zijn.

107
00:07:22,160 --> 00:07:25,120
Uiteindelijk bleek het bijna geen voorspellende waarde te hebben, voor de duidelijkheid.

108
00:07:25,120 --> 00:07:29,920
Maar dat vinden mensen vaak al wat pijnlijk op tafel te leggen.

109
00:07:29,920 --> 00:07:34,080
Dat er misschien echt een hoger percentage is van mensen die daar fraude op leegt.

110
00:07:34,080 --> 00:07:37,840
Dan nog kan je het verhaal verder voeren of het moreel relevant is.

111
00:07:37,840 --> 00:07:43,680
Want als we kijken naar artikel 1 van de grondwet, dan is iedereen gelijk, toch?

112
00:07:43,680 --> 00:07:47,640
Iedereen is gelijk, ja. Dus in gelijke...

113
00:07:47,640 --> 00:07:49,080
Moet je dan ook gelijk behandeld worden?

114
00:07:49,080 --> 00:07:55,760
Ik denk de vraag is op welke aspecten we denken of iemand op dit moment gelijk is.

115
00:07:55,760 --> 00:08:05,240
Dus op het moment dat een bepaald kind 42 is inmiddels, vinden we niet meer dat,

116
00:08:05,240 --> 00:08:08,160
Omhoog al is het nog steeds een kind, is het nog steeds gelijk, vinden we toch dat die minder

117
00:08:08,160 --> 00:08:12,840
recht heeft op kinderoopvang toeslag. Dus we bepalen eigenlijk welke variabelen vinden we

118
00:08:12,840 --> 00:08:17,200
dat mensen hier belangrijk zijn en waarin ze gelijk zijn. Ja, daar vond ik wel het mooie aan

119
00:08:17,200 --> 00:08:22,760
het artikel is inderdaad welk doel en welk belang hebben degenen om wie het gaat, in dit geval de

120
00:08:22,760 --> 00:08:28,400
mensen voor de toeslag inderdaad. Wat is het belang daarbij? Dat vond ik wel een mooi perspectief

121
00:08:28,400 --> 00:08:33,160
die je meenam in het artikel. Ja inderdaad, het kind van 42 is nog steeds van iemand een kind,

122
00:08:33,160 --> 00:08:37,160
maar is het relevant en is het van belang dat die kindertoeslag krijgt?

123
00:08:37,160 --> 00:08:41,160
En door met verschillende perspectieven ernaar te kijken,

124
00:08:41,160 --> 00:08:44,160
dat kwam wel mooi naar voren in het artikel, vond ik zelf.

125
00:08:44,160 --> 00:08:47,160
Dank je wel. Ik wil er een beetje aan denken,

126
00:08:47,160 --> 00:08:53,160
dat inkomen en nationaliteit vaak best wel spannende variabelen zijn om het over te hebben,

127
00:08:53,160 --> 00:08:58,160
maar we vinden niet zomaar dat mensen, dat ze niet inkomen mogen meenemen.

128
00:08:58,160 --> 00:09:02,160
Bijvoorbeeld bij een hypotheek vinden we het prima dat we het inkomen meenemen.

129
00:09:02,160 --> 00:09:08,560
Maar Amnesty zegt, ja eigenlijk is ook in de toeslagenaffaire het inkomen van mensen meegenomen.

130
00:09:08,560 --> 00:09:11,560
En dat, ze moeten gelijk behandeld worden, welk inkomen je ook hebt.

131
00:09:11,560 --> 00:09:16,960
Dus je merkt dat per casus het soort van verschilt welke variabelen we het oké vinden,

132
00:09:16,960 --> 00:09:19,360
moreel relevant vinden om mee te nemen en welke niet.

133
00:09:19,360 --> 00:09:20,360
Ja.

134
00:09:20,360 --> 00:09:25,960
En ik denk dat dat ook, daar zit natuurlijk ook de essentie, want je hebt het over belang.

135
00:09:25,960 --> 00:09:34,960
Maar denk je ook niet dat er verschillende belangen zijn voor degene die de uitkomst

136
00:09:34,960 --> 00:09:38,520
gaat gebruiken van een model en over wie het gaat?

137
00:09:38,520 --> 00:09:45,320
Ja precies, dus degenen die het model gebruiken willen misschien een eerlijke distributie

138
00:09:45,320 --> 00:09:46,320
van goederen.

139
00:09:46,320 --> 00:09:47,320
Zo zou je het mooi kunnen zeggen.

140
00:09:47,320 --> 00:09:52,160
Ze willen dat de toeslagen op een efficiënte manier worden ingezet.

141
00:09:52,160 --> 00:09:59,440
Maar misschien is het niet het belang van dat individu, die wil misschien vooral de toeslag hebben.

142
00:09:59,440 --> 00:10:01,880
En hoe weeg je dat af?

143
00:10:01,880 --> 00:10:05,080
Ja, daar kom je een beetje op die laatste stap, wat heet proportionaliteit.

144
00:10:05,080 --> 00:10:12,880
Dus eigenlijk, ik denk dat je het zo kan zeggen als, nou ja, als we heel vaak een vals positief hebben,

145
00:10:12,880 --> 00:10:16,880
dus we gaan heel vaak mensen geen toeslagen geven,

146
00:10:16,880 --> 00:10:19,720
er zitten nog heel veel stappen tussen, maar eerst verdacht maken voor toeslagen,

147
00:10:19,720 --> 00:10:21,720
omdat ze een bepaalde nationaliteit hebben.

148
00:10:21,720 --> 00:10:26,320
En dat levert eigenlijk uiteindelijk heel weinig op.

149
00:10:26,320 --> 00:10:29,760
Dan is iedereen het er wel over eens dat we dat niet moeten doen,

150
00:10:29,760 --> 00:10:32,520
omdat gewoon de schade voor mensen dan te groot is.

151
00:10:32,520 --> 00:10:36,080
Maar bij sommige dingen wordt het denk ik wat spannender.

152
00:10:36,080 --> 00:10:39,440
Dan moeten we daar als maatschappij een discussie over voeren.

153
00:10:39,440 --> 00:10:42,560
En dat is wat we denk ik continu doen door kranten artikelen,

154
00:10:42,560 --> 00:10:44,800
door politiek, door met elkaar te praten.

155
00:10:44,800 --> 00:10:51,520
Vinden we in dit geval gelijkheid wat zwaarder wegen of vinden we toch de efficiënte indeling

156
00:10:51,520 --> 00:10:52,520
van goederen zwaarder wegen?

157
00:10:52,520 --> 00:10:56,400
Zien we toch te veel fraudeurs en moeten we daar toch eens iets tegen doen en wat harder

158
00:10:56,400 --> 00:10:57,400
optreden?

159
00:10:57,400 --> 00:11:02,600
Vind je dat er op dit moment voldoende aandacht daarvoor is?

160
00:11:02,600 --> 00:11:11,000
Voor dat gesprek en eigenlijk het doorzetten van mogelijke regulering of inkaderen van

161
00:11:11,000 --> 00:11:13,240
hoe je met dit soort dingen omgaat?

162
00:11:13,240 --> 00:11:21,080
Nou ja, wat ik wel zie is dat als je in de politiek deze discussie voert, dat het dus

163
00:11:21,080 --> 00:11:26,160
eerder gaat over onderbuikgevoelens, van we moeten alle fraudeurs tegenhouden.

164
00:11:26,160 --> 00:11:29,440
Ja, dat zijn mensen die misbruik maken van ons belastinggeld.

165
00:11:29,440 --> 00:11:34,960
Of natuurlijk aan de andere kant, willen niet mensen zomaar voor het feit dat ze een andere

166
00:11:34,960 --> 00:11:37,160
nationaliteit hebben van fraudeur denken.

167
00:11:37,160 --> 00:11:39,240
Dat is natuurlijk ook heel schadelijk voor die individuen.

168
00:11:39,240 --> 00:11:43,240
Maar het voelt voor mij als meer een beetje schreeuwen allebei de kant op,

169
00:11:43,240 --> 00:11:47,200
omdat er dan wel duidelijk is dat we hier een waardeafweging hebben.

170
00:11:47,200 --> 00:11:51,560
Dus dat hier twee tegenstellen waarde zijn die we proberen op een bepaalde manier

171
00:11:51,560 --> 00:11:54,480
tegen elkaar af te wegen en dat er altijd een nadeel en een voordeel aan zit.

172
00:11:54,480 --> 00:11:56,880
Dat mis ik wel in het publieke debat.

173
00:11:56,880 --> 00:12:00,080
Ja, ik denk ik ook wel.

174
00:12:00,080 --> 00:12:06,560
Een paar maanden geleden hadden we ook nog een geval van fraudeopsporing van de gemeente Rotterdam,

175
00:12:06,560 --> 00:12:11,960
waar bleek dat als je vrouw van buitenlandse afkomst was met meerdere kinderen,

176
00:12:11,960 --> 00:12:19,080
nou dan dat was eigenlijk genoeg zeg maar om je verdacht te maken en dat je zo veel,

177
00:12:19,080 --> 00:12:25,080
hoe zeg je dat, zoveel controles kreeg dat het wel heel duidelijk was zeg maar dat nou

178
00:12:25,080 --> 00:12:30,760
ja dat je geprofileerd was. Ja. En onder de streep hadden ze ook uitgerekend,

179
00:12:30,760 --> 00:12:35,480
hadden ze niks extras opgeleverd aan fraudebestrijding. Ja dat laatste deel

180
00:12:35,480 --> 00:12:42,080
wel cruciaal. Ik ben sowieso altijd heel beladen en moeilijk om sowieso deze variatoren te gebruiken.

181
00:12:42,080 --> 00:12:47,720
Altijd er op op te passen. Maar volgens mij was bij toeslagenaffaire hetzelfde verhaal. Oh nee,

182
00:12:47,720 --> 00:12:51,760
sorry, dat was bij gemeentelijke belastingen. Misschien zit een voorbeeld daarvan. Maar

183
00:12:51,760 --> 00:12:55,360
daar was ook een tijd terug naar het diek over gemeentelijke belastingen, waar ook duidelijk

184
00:12:55,360 --> 00:13:00,680
werd dat eigenlijk bijna niks opleverde in een aantal fraudures vinden. Precies. Maar wat wil

185
00:13:00,680 --> 00:13:08,880
Wat je dan ziet is dat het op dat moment misschien wel logisch leek om dit soort variabelen

186
00:13:08,880 --> 00:13:09,880
mee te nemen.

187
00:13:09,880 --> 00:13:16,000
Maar dat er dus blijkbaar ook nog niet genoeg wordt nagedacht over van hoe gaan we hiermee

188
00:13:16,000 --> 00:13:20,160
om en wat vinden we er als maatschappij van.

189
00:13:20,160 --> 00:13:22,120
Dus het komt dan in het nieuws.

190
00:13:22,120 --> 00:13:23,840
Nou dit is ergens ondergesneeuwd.

191
00:13:23,840 --> 00:13:26,840
Je heeft niet eens volgens mij echt het landelijk nieuws gehaald.

192
00:13:26,840 --> 00:13:35,760
En daarom terugkomend op, vind je voldoende dat er nagedacht wordt over hoe we verantwoord

193
00:13:35,760 --> 00:13:38,240
met deze materie omgaan?

194
00:13:38,240 --> 00:13:40,720
Nou ja, nee.

195
00:13:40,720 --> 00:13:47,480
Ik denk dat vaak de kennis ook ontbreekt over wat er nou precies gebeurt in zo'n algoritme.

196
00:13:47,480 --> 00:13:55,320
Dus dat het wordt gezien als iets wat objectief werkt en waar geen waarde of politieke discussies

197
00:13:55,320 --> 00:13:59,800
over hoeveel te worden gevoerd, maar dat een stukje magie en een stukje techniek wat

198
00:13:59,800 --> 00:14:05,480
ja wat oplossingen biedt, een stukje AI. Volgens mij komen we daar later nog op,

199
00:14:05,480 --> 00:14:09,800
maar dat is ook een deel van onze missie bij Hero, dat we verantwoorden voor iedereen.

200
00:14:09,800 --> 00:14:14,160
En daarmee bedoelen we voor iedereen in de zin dat we geen minderheden willen buitensluiten.

201
00:14:14,160 --> 00:14:18,480
Dat vinden we heel belangrijk dat die worden meegenomen in het gesprek. Maar het bedekent

202
00:14:18,480 --> 00:14:24,160
ook voor iedereen in de zin dat we de kennis bij iedereen willen brengen, zodat nou ja zoals

203
00:14:24,160 --> 00:14:28,720
een collega laat zijn, eigenlijk als je de volgende verkiezing hebt, dat het dan mensen

204
00:14:28,720 --> 00:14:32,520
hier gewoon een verhaal over hebben. Dat de politicus gewoon zegt van ja, nou op deze manier

205
00:14:32,520 --> 00:14:38,400
weet ik ongeveer dat algoritmes werken en ik wil mijn standpunt daarover is meer transparency of

206
00:14:38,400 --> 00:14:43,600
nou ja dat hier in dit geval fraude toch belangrijker is om te bestrijden dan het gelijkheidsprincipe.

207
00:14:43,600 --> 00:14:50,320
Sowieso wil ik horen, niet alleen maar... - Niet het magische stokje van AI.

208
00:14:50,320 --> 00:14:55,780
Denk je dat het gaat gebeuren? Ik denk wel dat we die kant op gaan.

209
00:14:55,780 --> 00:15:00,640
Dus ik zie wel veel meer maatschappelijke discussie over wat AI brengt. Dat is echt

210
00:15:00,640 --> 00:15:07,000
in een vogelflucht geraakt de afgelopen 5 à 10 jaar denk ik. Met JetGPT natuurlijk ook,

211
00:15:07,000 --> 00:15:11,560
waarbij we een stukje technologie gewoon over de schutting is geworpen en we nu allemaal moeten

212
00:15:11,560 --> 00:15:16,280
dealen met de gevolgen. Nou dat wakkert het wel flink aan inderdaad. Dat geeft wel stof tot

213
00:15:16,280 --> 00:15:22,560
nadenken inderdaad. Ik ben iets sceptischer. Ik ben het met je eens zeg maar dat ik heel

214
00:15:22,560 --> 00:15:28,160
graag zou willen dat dit dat het zou gebeuren. Als je kijkt zeg maar naar de ontwikkelingen

215
00:15:28,160 --> 00:15:36,040
rondom social media dan is dat zeg maar minstens net zo ontwrichtend. Hebben we denk ik al van

216
00:15:36,040 --> 00:15:44,800
allerlei rampen gehad. Tot aan ingrijpen in democratieën en toch doen we daar buiten gewoon

217
00:15:44,800 --> 00:15:50,640
weinig aan. Wordt er misschien een beetje over gesproken, wordt er steeds meer bewustwording,

218
00:15:50,640 --> 00:15:57,160
maar welke regulering is er nou op dit gebied? Ja, ik weet dat er van wat boetes hier en daar

219
00:15:57,160 --> 00:16:03,480
die uitgedeeld zijn rond in ieder geval privacy. Maar ik denk dat jij meer de filterbubbel effecten

220
00:16:03,480 --> 00:16:13,640
bedoeld of de ja de de de de de de ja haast ontluisterende effecten zeg maar op onze

221
00:16:13,640 --> 00:16:20,160
samenleving het is de de eigenlijk nog verder dan het algoritme zelf maar wat het betekent aan

222
00:16:20,160 --> 00:16:27,680
bedreigingen die worden gedaan de misbruik die wordt gemaakt van de van de technologie ik denk

223
00:16:27,680 --> 00:16:35,600
dat er best wel heel veel analogieën zijn met AI. En we vinden dat allemaal best wel heel erg, maar

224
00:16:35,600 --> 00:16:42,440
blijkbaar niet erg genoeg om er daadwerkelijk serieuze stappen in te maken. Wat zou je willen

225
00:16:42,440 --> 00:16:57,640
zien? Of interview ik jou na te veel? Nee, nee, nee. Ik vind het wel leuk hoor om juist het gesprek aan te gaan. Nee, ja, ik zou beginnen met het opheffen van de anonimiteiten op social media. En ik zou gewoon beginnen met

226
00:16:57,640 --> 00:17:02,880
visie en bij bedrijven neerleggen die zeggen van ja maar dit dit soort gedragingen willen we niet

227
00:17:02,880 --> 00:17:11,680
meer. Op het moment dat wij nu dit opnemen heeft Vera Bergkamp de voorzitter van de Tweede Kamer

228
00:17:11,680 --> 00:17:19,160
aan Twitter gevraagd of die iets meer wil doen rondom bedreigingen die gedaan worden op Twitter

229
00:17:19,160 --> 00:17:24,600
over politici. Ik denk ja je hallo je bent iets meer dan de Tweede Kamer je bent toch

230
00:17:24,600 --> 00:17:31,520
wetgevend orgaan. Hoezo gaan we zeg maar op de knieën smeken of Twitter zich wil gaan

231
00:17:31,520 --> 00:17:36,680
gedragen. Dat gaat natuurlijk nooit gebeuren. Die zijn helemaal gebaat bij controversies.

232
00:17:36,680 --> 00:17:41,440
Zeker. Ik denk niet dat het met Elon Musk per se de betere kant op gaat.

233
00:17:41,440 --> 00:17:42,440
Nee toch?

234
00:17:42,440 --> 00:17:46,840
Ja, we hebben zelf een klein beetje macht. We kunnen overzappen van platform bijvoorbeeld.

235
00:17:46,840 --> 00:17:51,000
We zouden op Mastodon kunnen gaan zitten in plaats van op Twitter. Of je kan gewoon niet

236
00:17:51,000 --> 00:17:57,060
meedoen omdat je ziet hoe het eigenlijk een soort oppervlakkige manier van praten is geworden

237
00:17:57,060 --> 00:18:03,520
social media. Laagdrempelig ook. Laagdrempelig, op een korte termijn gereerd. Inderdaad, als

238
00:18:03,520 --> 00:18:09,120
je meer controversie maakt krijg je meer likes en meer subscriptions. Maar dat is hopelijk

239
00:18:09,120 --> 00:18:14,440
niet alleen het doel van een gesprek. Nee, maar het is wel waar ook natuurlijk juist het

240
00:18:14,440 --> 00:18:20,040
viral gaan van is en nog meer controversie juist nog meer zorgt dat je nog meer viral

241
00:18:20,040 --> 00:18:25,640
gaat en het is een soort van self-fulfilling prophecy van de negativiteit en de bubbel die er is.

242
00:18:25,640 --> 00:18:33,240
En ik denk dat met name standhouden en de regels stellen en inderdaad anders stappen ondernemen.

243
00:18:33,240 --> 00:18:38,640
Anders gaat die verandering echt niet komen. Om dan toch weer even een stapje terug te maken naar AI.

244
00:18:38,640 --> 00:18:44,040
Ik denk dat de AI-act hier een mooie start voor gaat maken om wat regels te stellen.

245
00:18:44,040 --> 00:18:49,240
Maar ik denk dat het ook aan bedrijven en ontwikkelaars van de AI-model is om...

246
00:18:49,240 --> 00:18:54,520
hoe vinden we dat het gebruikt mag worden en daar ook gewoon uitspraken over mogen gaan doen met

247
00:18:54,520 --> 00:18:57,720
elkaar van zo moet je het wel gebruiken zo moet je het niet gebruiken. Ik ben benieuwd hoe jullie

248
00:18:57,720 --> 00:19:04,440
er tegenaan kijken. Nou en als als jij nou onderdeel bent zeg maar van die algoritmes

249
00:19:04,440 --> 00:19:09,080
voor toeslagenaffaire of wat ik net noemde de gemeente Rotterdam, dan heb je niet de luxe om

250
00:19:09,080 --> 00:19:12,920
er om niet mee te doen en eruit te stappen. Nou je hebt in ieder geval de luxe om het aan te

251
00:19:12,920 --> 00:19:18,480
katen toch en ik bedoel bij de belastingdienst was ook een echt een cultuur waar waarschijnlijk

252
00:19:18,480 --> 00:19:24,000
die mensen, zover we weten, ook zo dachten. Dus ze dachten ook gewoon, ja, als jij een niet-Nederlandse

253
00:19:24,000 --> 00:19:29,200
afkomst hebt, dan ben jij waarschijnlijk een fraudeur. En dat zorgt ervoor dat als jij een

254
00:19:29,200 --> 00:19:33,760
algoritme hebt die in principe nog geen effect heeft op de werkelijkheid, in de zin dat er ook

255
00:19:33,760 --> 00:19:38,280
nog een mens bij moet komen, dat die mens dan uiteindelijk zegt, ja, wij gaan ook echt achter

256
00:19:38,280 --> 00:19:42,040
jou aan en we zetten je toeslagen, stop. Alleen maar omdat het algoritme zegt dat jij misschien

257
00:19:42,040 --> 00:19:46,800
een fraudeur bent. Dus ik geloof wel dat je als mens daar uiteindelijk, ja, the human in the loop,

258
00:19:46,800 --> 00:19:54,620
dat de mens uiteindelijk wel heel veel zeggenschap heeft en autonomie en ook beter dit soort complexe

259
00:19:54,620 --> 00:20:00,660
ethische afwegingen kan maken dan een machine en die ze dan cruciaal is om ja als onderdeel van

260
00:20:00,660 --> 00:20:04,580
dat team eigenlijk te hebben tussen mensen en machine. Ja, ik denk dat dat ook dat je,

261
00:20:04,580 --> 00:20:10,980
oh sorry, dat betekent ook vooral dat je heel goed moet weten wat algoritmes kunnen,

262
00:20:10,980 --> 00:20:18,260
wat ze niet kunnen, wat de gevaren zijn. Precies. En die leg je natuurlijk echt wel bij dan niet

263
00:20:18,260 --> 00:20:23,980
degene over wie het gaat, maar degene die ermee werkt. En daarom willen wij dus die kennis eigenlijk

264
00:20:23,980 --> 00:20:29,060
bij dit soort bedrijven brengen. Ja. Klopt, je moet iets snappen van hoe een algoritme in elkaar

265
00:20:29,060 --> 00:20:34,020
zit. En bijvoorbeeld wat ik in het begin zei over onderscheid maken. En je kan natuurlijk roepen

266
00:20:34,020 --> 00:20:38,340
haal alle bias uit een algoritme. Maar als je niet begrijpt dat bias eigenlijk een cruciaal

267
00:20:38,340 --> 00:20:41,780
onderdeel is van hoe een machine learning algoritme werkt, hoe het eigenlijk allemaal

268
00:20:41,780 --> 00:20:46,340
ja relaties probeert te vinden, oftewel een soort van bias het probeert te vinden,

269
00:20:46,340 --> 00:20:50,380
uitschieters probeert te vinden, ja dan kan je zo'n discussie ook helemaal niet aan,

270
00:20:50,380 --> 00:20:54,540
dan weet je niet waar je het over hebt. Ja precies, dus eigenlijk wat we stellen,

271
00:20:54,540 --> 00:21:01,620
het algoritme discrimineert niet, de data die erin gaat kan discriminatie of in ieder geval bias

272
00:21:01,620 --> 00:21:07,380
bevatten en de mensen moeten daar nog steeds een ethische afweging maken aan wat het algoritme

273
00:21:07,380 --> 00:21:09,380
eigenlijk als output aan ze aanlevert.

274
00:21:09,380 --> 00:21:12,020
Vond ik ook wel mooi, dacht ik, en het algoritme discrimineert wel.

275
00:21:12,020 --> 00:21:14,020
Ik denk dat dat wel past.

276
00:21:14,020 --> 00:21:17,060
Dus het algoritme maakt op een bepaalde manier onderscheid,

277
00:21:17,060 --> 00:21:19,060
maar het is eigenlijk wat we ermee doen.

278
00:21:19,060 --> 00:21:22,540
De input en de output, hoe we die aanleveren en hoe we die verwerken,

279
00:21:22,540 --> 00:21:24,540
wat het discriminerend uiteindelijk maakt.

280
00:21:24,540 --> 00:21:27,260
Ja, er zijn best wel veel aspecten die daarvan belang zijn.

281
00:21:27,260 --> 00:21:29,540
De data die erin gaat, de mensen die daarmee werken,

282
00:21:29,540 --> 00:21:32,820
de mensen die het algoritme maken, de mensen die het begrijpbaar maken,

283
00:21:32,820 --> 00:21:35,740
de interpretatie die je nog moet doen met de output die je krijgt.

284
00:21:35,740 --> 00:21:45,060
Dus heel veel factoren die eigenlijk in play zijn om eigenlijk te bepalen wat nu de daadwerke actie is die eruit hoort te komen, die wij vinden dat eruit hoort te komen.

285
00:21:45,060 --> 00:21:47,740
Je zou bijna zeggen misschien moeten we soms geen AI gebruiken.

286
00:21:47,740 --> 00:21:50,820
Nou, ik denk dat we in sommige gevallen dat ook niet moeten doen.

287
00:21:50,820 --> 00:21:55,260
Dat we eerst moeten begrijpen wat zijn we eigenlijk aan het doen en wat is het effect hiervan,

288
00:21:55,260 --> 00:22:01,260
voordat we het inderdaad in iets stoppen waar we nog minder van weten bij sommige situaties.

289
00:22:01,260 --> 00:22:03,260
Ik denk dat dat zeker het geval is, ja.

290
00:22:03,260 --> 00:22:07,580
Je ziet dus ook bij die gemeentelijke fraude detectie,

291
00:22:07,580 --> 00:22:11,140
dat daar dus de effecten, ik weet niet precies wat in die Rotterdam geval,

292
00:22:11,140 --> 00:22:12,700
maar in ieder geval een ander geval waarvan ik weet,

293
00:22:12,700 --> 00:22:15,220
dat het resultaat gewoon heel weinig is.

294
00:22:15,220 --> 00:22:18,460
Dus dat er eigenlijk helemaal niet zo effectief uiteindelijk

295
00:22:18,460 --> 00:22:20,460
fraude meer wordt gevonden dan daarvoor.

296
00:22:20,460 --> 00:22:25,100
Wat ik dan allemaal voor me zie is een groep management ofzo,

297
00:22:25,100 --> 00:22:26,700
die zegt ja, we hebben echt AI nodig, Moes.

298
00:22:26,700 --> 00:22:28,620
En laten we wat AI binnenhalen.

299
00:22:28,620 --> 00:22:30,260
En dat er dan een bedrijfje op wordt gezet.

300
00:22:30,300 --> 00:22:33,340
en die verdient daar aan en dan levert ze een stukje AI.

301
00:22:33,340 --> 00:22:37,740
En ja, ik weet niet, de management begrijpt dat niet, maar het heeft veel geld gekost.

302
00:22:37,740 --> 00:22:40,460
Dus we zetten het maar in en wat het precies oplevert is onduidelijk.

303
00:22:40,460 --> 00:22:42,260
- Ja, is eigenlijk op de hype in springen.

304
00:22:42,260 --> 00:22:45,460
- Ja, ik denk het wel. Ik denk dat hij heel veel meer bewustzijn vindt.

305
00:22:45,460 --> 00:22:50,020
- In Rotterdam was het ook niet een klein clubje die, ik zal de naam niet noemen,

306
00:22:50,020 --> 00:22:53,460
maar het was geen klein clubje die dat model gemaakt heeft.

307
00:22:53,460 --> 00:22:56,700
En waar ik dan met mijn hoofd niet bij kan, is dat je dan,

308
00:22:56,720 --> 00:23:02,840
Zij gebruikten dingen als persoonlijke hygiëne als variabel, als input.

309
00:23:02,840 --> 00:23:10,080
Ze hadden iets van 30 persoonskenmerken waar de ambtenaar een subjectief oordeel over

310
00:23:10,080 --> 00:23:11,080
gegeven had.

311
00:23:11,080 --> 00:23:19,000
En als je dat als data scientist al over je hart verkrijgt, dan hou ik mijn hart vast.

312
00:23:19,000 --> 00:23:23,600
Waar ik me wel aan moet denken is, toen ik zelf de master volgde en ook toen ik les

313
00:23:23,600 --> 00:23:29,160
je hebt gewoon heel veel mensen daar die het heel leuk vinden om te spelen met technologie en die

314
00:23:29,160 --> 00:23:35,280
heel weinig bezig zijn met de sociale gevolgen. Kijk, prototype AI'er is natuurlijk ook een nerd.

315
00:23:35,280 --> 00:23:40,600
Die is gewoon iets wat minder bezig met de sociale aspecten. Die vind het misschien helemaal niet zo

316
00:23:40,600 --> 00:23:44,480
leuk om een sociale wetenschap vak daarna te volgen of een filosofie vak. Die wil gewoon

317
00:23:44,480 --> 00:23:51,520
mooie dingen maken. En nou ja, die mensen zijn de mensen die bij dit niet zo kleine clubje

318
00:23:51,520 --> 00:23:54,280
uiteindelijk de algoritmes maken en waarbij dus geen belletje gaat rinken.

319
00:23:54,280 --> 00:23:58,280
Als ze persoonlijke hygiëne ook willen meenemen in het model.

320
00:23:58,280 --> 00:23:59,160
Ja, bizar.

321
00:23:59,160 --> 00:24:03,040
Ja, dat iets technisch kan, wil niet zeggen dat je het moet doen.

322
00:24:03,040 --> 00:24:08,880
Precies. Ja, dat is dus ook, ja, ik ga dat toch alvast een voorschot om nemen,

323
00:24:08,880 --> 00:24:14,680
maar wij bieden dus workshops over dataethiek en over algoritme en mensenrechten.

324
00:24:14,680 --> 00:24:18,720
En een van de vragen daarbij is ook, is het nodig om een algoritme te gebruiken?

325
00:24:18,720 --> 00:24:23,360
of is het misschien een simpele oplossing die afdoende is.

326
00:24:23,360 --> 00:24:26,960
Subsidiair noem je dat in legal terms.

327
00:24:26,960 --> 00:24:30,720
Dus kunnen we een makkelijkere, minder pijnlijke oplossing eigenlijk hetzelfde bereiken.

328
00:24:30,720 --> 00:24:35,320
Mooie vraag. Ik denk ook mooi om de luisteraars over na te laten denken.

329
00:24:35,320 --> 00:24:38,560
Dankjewel voor je gesprek Rijk.

330
00:24:38,560 --> 00:24:40,320
Jullie bedankt.

331
00:24:40,320 --> 00:24:45,120
Luisteraars, ook weer leuk dat je luistert naar een nieuwe aflevering van de EOTD Live.

332
00:24:45,120 --> 00:24:47,080
Dankjewel Rijk voor het aanschuiten.

333
00:24:47,080 --> 00:24:50,880
Dankjewel Joop dat je vanuit huis aan wilt sluiten bij deze aflevering.

334
00:24:50,880 --> 00:24:53,680
Vergeet je niet te abonneren op alle podcast kanalen.

335
00:24:53,680 --> 00:24:56,680
Vergeet het duimpje niet te doen bij Spotify om ons te sponsoren.

336
00:24:56,680 --> 00:24:58,680
En tot de volgende keer.

337
00:24:58,680 --> 00:25:00,680
TV Gelderland 2021

338
00:25:00,680 --> 00:25:23,480
(C) TV GELDERLAND 2021