S05E13 - Algoritmische vooroordelen: leren van een Nederlandse aanpak

We bespreken het belang van transparantie en verantwoordelijkheid in AI-toepassingen en de cruciale rol van een ethische cultuur, diversiteit en inclusie met Samaa Mohammad en Noëlle Cicilia.

Daarnaast verkennen we hoe bedrijven kunnen leren van AI-ethiek frameworks en de Dutch AI Ethics Community, evenals het pionierswerk van Fruitpunch AI op het gebied van verantwoordelijke kunstmatige intelligentie. 

Ten slotte onderstrepen we het belang van maatschappelijke uitdagingen aangaan en bewustwording stimuleren via educatie om een eerlijke en ethische technologische wereld te creëren.

Links

• Dutch AI Ethics Community
• Brush-ai
• Fruitpunch.ai
• Ethics Guidelines for Trustworthy AI
• Algoritme Register Amsterdam

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,000 --> 00:00:08,400
Hoi, leuk dat je weer luistert naar een nieuwe aflevering van de ART Day Live.

2
00:00:08,400 --> 00:00:15,360
We hebben vandaag twee hele interessante gasten, Samaa Mohammad en Noëlle Cecilia.

3
00:00:15,360 --> 00:00:18,800
Mijn naam is Joop Snijder, CTO van Aigency.

4
00:00:18,800 --> 00:00:22,680
En mijn naam Niels Naglé, Chapter Lead Data & AI bij Info Support.

5
00:00:22,680 --> 00:00:27,760
Samaa en Noëlle, dank jullie wel dat jullie zijn gekomen.

6
00:00:27,760 --> 00:00:31,760
Zouden jullie willen introduceren voor de luisteraars?

7
00:00:31,760 --> 00:00:33,760
Dus we beginnen bij jou Samaa.

8
00:00:33,760 --> 00:00:35,760
Ja, ik ben Sama Mohammad.

9
00:00:35,760 --> 00:00:37,760
Ik ben 23 jaar.

10
00:00:37,760 --> 00:00:39,760
Ik heb een achtergrond in AI.

11
00:00:39,760 --> 00:00:43,760
Ik heb de bachelor gedaan in de Universiteit Utrecht.

12
00:00:43,760 --> 00:00:47,760
Ik heb er bewust voor gekozen om alleen een bachelor te doen.

13
00:00:47,760 --> 00:00:49,760
Omdat ik graag me wilde richten op AI ethiek.

14
00:00:49,760 --> 00:00:55,760
En ik merkte dat dat in de academische wereld eigenlijk niet heel erg ter aandacht kwam.

15
00:00:55,760 --> 00:00:57,760
Dus ik wil dat in de praktijk opzoeken.

16
00:00:57,760 --> 00:01:04,760
Na mijn bachelor heb ik de Dutch AI Ethics Community opgericht,

17
00:01:04,760 --> 00:01:08,760
om juist ook mensen te verbinden die zich,

18
00:01:08,760 --> 00:01:12,760
ja, die geïnteresseerd waren om erover te praten, over AI ethiek,

19
00:01:12,760 --> 00:01:16,760
want dat was ook niet echt een onderwerp waar de gemiddelde AI student over praatte.

20
00:01:16,760 --> 00:01:20,760
Dus de paar mensen die ik dan kende probeerde ik dan in de groep zelf te zetten

21
00:01:20,760 --> 00:01:26,360
te zetten om linkjes te delen voor events of papers of andere interessante dingen.

22
00:01:26,360 --> 00:01:31,720
En dat is heel snel uitgegroeid naar meer mensen, waar ook Noëlle snel bij is gekomen.

23
00:01:31,720 --> 00:01:35,960
Nu zijn we met 170 mensen. Echte community dus.

24
00:01:35,960 --> 00:01:42,840
En het is nu echt uitgegroeid tot een community van mensen die echt de urgentie voelen om meer

25
00:01:42,840 --> 00:01:46,320
te leren, meer te doen met AI-ethiek en zo ook van elkaar te leren.

26
00:01:46,320 --> 00:01:51,840
ook tijdens events die we maandelijks organiseren ook ervaringen uit te wisselen,

27
00:01:51,840 --> 00:01:58,920
kennis, perspectieven op bepaalde onderwerpen. Dus ja, er gebeurt heel veel. We zijn ook bezig

28
00:01:58,920 --> 00:02:04,600
om het tot een officiële stichting te vormen. Interessant, laten we daar zo even dieper op

29
00:02:04,600 --> 00:02:11,040
ingaan. Noëlla, zou jij je kunnen voorstellen? Ja, natuurlijk. Nou, ik ben Noëlla Sicilia. Ik

30
00:02:11,040 --> 00:02:13,280
Ik heb een achtergrond in data science ook.

31
00:02:13,280 --> 00:02:19,160
Ik heb een bachelor gedaan, master gedaan en ik doe op dit moment een engineering doctorate,

32
00:02:19,160 --> 00:02:21,480
dat is een postmaster, ook in data science.

33
00:02:21,480 --> 00:02:24,480
En daar doe ik onderzoek naar algorithmic fairness.

34
00:02:24,480 --> 00:02:27,480
En daarnaast heb ik een bedrijf, Brush AI.

35
00:02:27,480 --> 00:02:29,960
Wij bieden responsible AI consultancy.

36
00:02:29,960 --> 00:02:35,560
Dus we helpen bedrijven om AI te implementeren, maar dan met een focus meer op ethiek.

37
00:02:35,560 --> 00:02:39,320
En ik doe mijn onderzoek over algorithmic fairness dus ook binnen het bedrijf.

38
00:02:39,320 --> 00:02:42,080
om te kijken van, nou ja, hoe kunnen we dat in de praktijk brengen?

39
00:02:42,080 --> 00:02:43,560
Hebben mensen daar ook echt iets aan?

40
00:02:43,560 --> 00:02:46,760
Ja, ik vind het een super tof onderwerp.

41
00:02:46,760 --> 00:02:49,680
Ik kan er echt uren over praten, dus ik ga er niet veel aan beginnen.

42
00:02:49,680 --> 00:02:50,700
- Heel goed.

43
00:02:50,700 --> 00:02:54,400
- En nou ja, ik ken Sama dus van de AI Ethics Community.

44
00:02:54,400 --> 00:02:57,920
Ja, ik denk nu anderhalf jaar ongeveer.

45
00:02:57,920 --> 00:02:58,940
- Ja.

46
00:02:58,940 --> 00:03:02,520
- En zij heeft mij ook hier geïntroduceerd tot deze podcast.

47
00:03:02,520 --> 00:03:03,540
En dat vind ik super leuk.

48
00:03:03,540 --> 00:03:06,120
- Ja, leuk dat jullie dit samen doen.

49
00:03:06,120 --> 00:03:07,140
- Ja.

50
00:03:07,160 --> 00:03:14,440
En die ethics community, want je zei van ja ik wilde dat gaan oprichten, er was weinig aandacht voor.

51
00:03:14,440 --> 00:03:17,160
Hoe merkte je dat, dat er weinig aandacht voor was?

52
00:03:17,160 --> 00:03:19,800
Dat is een goede vraag.

53
00:03:19,800 --> 00:03:33,720
Het was rondom mijn eerste, tweede jaar dat ik naar events ging buiten de universiteit om meer te leren over de impact van AI in de praktijk.

54
00:03:33,720 --> 00:03:40,520
en een van de lectures die ik tegenkwam was van Senné over bias.

55
00:03:40,520 --> 00:03:46,280
Maar ik merkte dat ik daar eigenlijk een van de weinige studenten was die daar aanwezig was.

56
00:03:46,280 --> 00:03:55,600
En keer op keer bij dat soort events viel het me dus op dat als ik hier over praatte met mijn medestudenten,

57
00:03:55,600 --> 00:03:58,520
dat ik eigenlijk altijd moest uitleggen wat bias inhield.

58
00:03:59,120 --> 00:04:03,360
En als ik ook aan een gemiddelde AI-student vroeg van...

59
00:04:03,360 --> 00:04:06,640
wat weet je eigenlijk over bias of explainability...

60
00:04:06,640 --> 00:04:09,280
of andere typische onderwerpen binnen AI-ethics...

61
00:04:09,280 --> 00:04:11,560
dan hadden ze niet echt een antwoord.

62
00:04:11,560 --> 00:04:16,560
En ook de vraag van, oké, maar wil je hierover leren...

63
00:04:16,560 --> 00:04:21,560
had ik ook vaak de antwoord terug van, nee, klinkt niet heel erg interessant.

64
00:04:21,560 --> 00:04:23,400
Oké, oeh, dat is spannend.

65
00:04:23,400 --> 00:04:24,440
Ja, dus...

66
00:04:24,440 --> 00:04:28,560
Maar ik hoop dat dit sindsdien, dat het nu inmiddels wel wat veranderd is...

67
00:04:28,600 --> 00:04:32,700
nu mensen ook meer bewust zijn voor wat zijn de toeslagen al verre, tja tjee piti, andere

68
00:04:32,700 --> 00:04:40,600
schandalen die zijn ontstaan. Maar toen ik dus om me heen dus aan het zoeken was naar contact over

69
00:04:40,600 --> 00:04:47,400
dit onderwerp, kwam ik dus niet echt veel mensen tegen. En blijkt dat dit ook op meerdere universiteiten

70
00:04:47,400 --> 00:04:53,240
het geval is. Je zei van je hebt nu een community opgebouwd van zo'n plus minus 170 personen.

71
00:04:53,240 --> 00:05:00,240
Kan je daar inzicht in geven wat voor type personen dat zijn?

72
00:05:00,240 --> 00:05:05,240
Om een beetje te duiden wie interesse heeft in ethiek.

73
00:05:05,240 --> 00:05:07,240
Nou, schijnbaar dus wel heel veel studenten.

74
00:05:07,240 --> 00:05:09,240
Dus ik had het eigenlijk compleet mis.

75
00:05:09,240 --> 00:05:12,240
Dus dat is echt gewoon een stukje zichtbaarheid.

76
00:05:12,240 --> 00:05:15,240
Gewoon laten zien van AI-ethiek is een onderwerp waar je het over kan hebben.

77
00:05:15,240 --> 00:05:18,240
En het is voor iedereen, dus het is niet abstract.

78
00:05:18,240 --> 00:05:26,640
De mensen die erin zitten zijn, de mensen die aan het afstuderen zijn, veel masters,

79
00:05:26,640 --> 00:05:30,800
er zijn ook mensen die net zijn afgestudeerd en op zoek zijn naar een baan of net begonnen zijn.

80
00:05:30,800 --> 00:05:36,440
Maar er zitten ook mensen in zoals Marijn en Mark, die hier ook zijn geweest bij de podcast.

81
00:05:36,440 --> 00:05:39,280
Die zitten er ook in en die hebben natuurlijk al lange werkervaring.

82
00:05:39,280 --> 00:05:41,840
Dus het is een hele mengelmoes van verschillende mensen.

83
00:05:41,840 --> 00:05:48,280
En daarin heb je ook mensen die researchen, die zelfs onderwijs geven.

84
00:05:48,280 --> 00:05:53,640
Je hebt allerlei verschillende soorten mensen in de community.

85
00:05:53,640 --> 00:06:01,200
En het grappige is dat door de zichtbaarheid van de Dutchy Ethics Community ook naar studenten toe,

86
00:06:01,200 --> 00:06:06,600
zijn zelfs eerstejaars geïnteresseerd om hier meer over te leren.

87
00:06:06,600 --> 00:06:10,240
Dus dat alleen al is gewoon heel fijn. Dat stukje bewustzijn, daarmee doet het ook.

88
00:06:10,240 --> 00:06:15,740
Ja, en zitten er ook mensen vanuit het bedrijfsleven nog veel meer bij?

89
00:06:15,740 --> 00:06:18,080
Want ik hoor vooral studenten, masters en...

90
00:06:18,080 --> 00:06:21,240
Ja, dus de mensen die dus net aan het werk zijn,

91
00:06:21,240 --> 00:06:24,320
die zijn er dus vanuit het bedrijfsleven.

92
00:06:24,320 --> 00:06:28,800
En ook steeds meer mensen die al dus lange werkervaring hebben.

93
00:06:28,800 --> 00:06:32,560
Het is nog steeds wel een minderheid, maar ik probeer ook wel goed te balanceren,

94
00:06:32,560 --> 00:06:37,840
zodat de jongere generatie ook kan leren van de mensen in het bedrijfsleven.

95
00:06:37,840 --> 00:06:38,860
En andersom.

96
00:06:38,860 --> 00:06:46,640
Maar ik denk dat de maximale leeftijd op dit moment ligt rond de 35/40.

97
00:06:46,640 --> 00:06:50,500
Maar het hoeft niet de maximale leeftijd te zijn.

98
00:06:50,500 --> 00:06:54,100
Het is net de doelgroep die wij bereiken op dit moment.

99
00:06:54,100 --> 00:06:57,900
Noëlle, wat was voor jou de reden om je aan te sluiten bij deze community?

100
00:06:57,900 --> 00:07:02,300
Ik was toen ongeveer een jaar bezig met Brush.

101
00:07:02,300 --> 00:07:06,820
En toen wij startten met Brush, wat jij ook zei, ongeveer twee jaar geleden,

102
00:07:06,820 --> 00:07:09,580
was er niet heel veel aandacht voor dit onderwerp.

103
00:07:09,580 --> 00:07:11,380
Ik denk dat het wel een beetje begon te borrelen,

104
00:07:11,380 --> 00:07:13,620
want het was een beetje ten tijde van de toeslagenaffaire.

105
00:07:13,620 --> 00:07:15,720
En ik had ook gewoon zoiets van,

106
00:07:15,720 --> 00:07:20,900
nou, ik wil gewoon mensen ontmoeten die dit ook een tof onderwerp vinden.

107
00:07:20,900 --> 00:07:24,520
Wat jij ook zei, ik heb toevallig wel een AI/ethiek vak gehad,

108
00:07:24,520 --> 00:07:25,860
ook in mijn master al.

109
00:07:25,860 --> 00:07:30,100
Wat ik heel erg merkte, is dat heel veel mensen dat een beetje als een moedje zien.

110
00:07:30,100 --> 00:07:33,900
En wat een beetje het probleem is, denk ik, is dat...

111
00:07:33,900 --> 00:07:35,820
Kijk, ik vind ethiek zelf heel interessant.

112
00:07:35,840 --> 00:07:40,160
Ik heb ook bijvoorbeeld een minor filosofie gedaan, dus ik was wel bekend met dit soort materie.

113
00:07:40,160 --> 00:07:46,760
Maar voor heel veel, dit is een beetje gechargeerd, maar voor veel technische studenten is het toch een beetje een ver van je bachelor.

114
00:07:46,760 --> 00:07:50,520
Dan moet je ineens gaan leren over Kant en Descartes.

115
00:07:50,520 --> 00:07:54,840
En dat is toch wel iets heel anders dan neurale netwerken, zeg maar.

116
00:07:54,840 --> 00:08:00,840
Dus ja, je merkt gewoon dat veel mensen zeiden van ja, dit is niet helemaal mijn pakkie aan.

117
00:08:00,840 --> 00:08:04,040
En ja, weet je, is dit wel mijn verantwoordelijkheid?

118
00:08:04,040 --> 00:08:07,840
Ik ben gewoon data scientist, waarom moet ik me ineens met ethiek gaan bezighouden?

119
00:08:07,840 --> 00:08:10,640
Dus ik merkte dat er niet heel veel interesse was.

120
00:08:10,640 --> 00:08:13,960
Dus ik vond het juist leuk om me bij een community aan te sluiten...

121
00:08:13,960 --> 00:08:17,120
waar mensen wel het nut daarvan inzagen.

122
00:08:17,120 --> 00:08:20,640
Terwijl uiteindelijk moet het helemaal doordruppelen tot aan de techniek, toch?

123
00:08:20,640 --> 00:08:21,920
Ik vind het zo, zeker ook.

124
00:08:21,920 --> 00:08:24,880
Daarom ben ik zelf dus nu ook met de technische kant ervan bezig.

125
00:08:24,880 --> 00:08:29,960
Want ik denk zeker dat ook vanuit de technische kant is dit onderwerp super interessant.

126
00:08:29,960 --> 00:08:32,440
En kan je er vet veel van leren.

127
00:08:32,440 --> 00:08:38,620
En ik denk ook los van bijvoorbeeld dingen als explainability of fairness,

128
00:08:38,620 --> 00:08:40,980
dat wordt dan vaak als een soort van AI-ethiek gezien.

129
00:08:40,980 --> 00:08:44,420
Los van dat die heel nuttig zijn voor ethiek,

130
00:08:44,420 --> 00:08:49,600
maak je denk ik ook gewoon echt betere algoritme als je dit soort technieken toepast.

131
00:08:49,600 --> 00:08:52,660
Dus het is ook inhoudelijk gewoon heel vet.

132
00:08:52,660 --> 00:08:54,660
En dat zien mensen gewoon niet echt.

133
00:08:54,660 --> 00:08:56,280
En heel uitdagend hè.

134
00:08:56,280 --> 00:08:58,540
Oh, sorry. Echt heel uitdagend.

135
00:08:58,540 --> 00:09:01,980
Want het valt nog niet mee om een blackbox te openen,

136
00:09:02,000 --> 00:09:05,640
Of nog mooier, daar hebben wij bijvoorbeeld allerlei onderzoeken op gelopen.

137
00:09:05,640 --> 00:09:09,000
Je zegt van, je begint gewoon met interpreteerbare modellen.

138
00:09:09,000 --> 00:09:13,000
En dat is super uitdagend, super technisch uitdagend.

139
00:09:13,000 --> 00:09:18,000
Dus zelfs voor technische mensen kan het een waanzinnig onderwerp zijn om je er juist in te verdiepen.

140
00:09:18,000 --> 00:09:21,000
Ja, inderdaad. En dat zien mensen nu niet zo.

141
00:09:21,000 --> 00:09:25,000
Die denken, oh dan moet ik allerlei frameworks gaan lezen van 60 pagina's.

142
00:09:25,000 --> 00:09:27,000
Maar dat hoeft helemaal niet.

143
00:09:27,000 --> 00:09:32,400
wel nuttig, maar dat is niet het enige wat dit onderwerp inhoudt.

144
00:09:32,400 --> 00:09:37,760
En wat ik ook grappig vind is wat je zei over jouw ethiek vak, dat het inging op Kant en

145
00:09:37,760 --> 00:09:41,240
Descartes en al die theoretische filosofen, weet je wel.

146
00:09:41,240 --> 00:09:49,040
Maar ik denk ook dat veel technische studenten vergeten dat je dat ook, nou ja, op de universiteit

147
00:09:49,040 --> 00:09:54,040
leer je daar dan op een theoretische manier over nadenken, maar dat dat ook op de praktijk

148
00:09:54,040 --> 00:09:56,960
eigenlijk kan toepassen.

149
00:09:56,960 --> 00:10:03,720
Dus bijvoorbeeld het klassieke voorbeeld is de trolleyproblemen.

150
00:10:03,720 --> 00:10:05,220
Ja, die zocht ik inderdaad.

151
00:10:05,220 --> 00:10:08,800
Het klinkt heel erg abstract als je erover nadenkt.

152
00:10:08,800 --> 00:10:13,080
Het is een gedachtexperiment, maar eigenlijk kan je dat ook nu al in de praktijk toepassen.

153
00:10:13,080 --> 00:10:17,780
Met bijvoorbeeld geautomatiseerde voertuigen.

154
00:10:17,780 --> 00:10:21,120
Dus alleen al dat.

155
00:10:21,120 --> 00:10:25,800
Ik zou dat in ieder geval heel vet vinden om daarover na te kunnen denken als ik aan zoiets wou.

156
00:10:25,800 --> 00:10:29,800
Ja, ik moet wel even een shout-out geven naar mijn docent, want die deed dat dus wel heel goed.

157
00:10:29,800 --> 00:10:34,520
Daar gingen we meteen ook toepassingen uit de praktijk, inderdaad, zoals zelfrijdende auto's.

158
00:10:34,520 --> 00:10:40,600
Maar ja, maar toch lijkt dat een soort van, oh ja, maar ik werk toch niet bij Tesla of Uber.

159
00:10:40,600 --> 00:10:43,240
Dus ja, dat is echt fijn.

160
00:10:43,240 --> 00:10:45,240
Ja, en wat was dan het antwoord?

161
00:10:45,240 --> 00:10:49,320
Nou ja, ik denk dat er bij Asic nooit een antwoord is.

162
00:10:49,320 --> 00:10:51,560
Het gaat natuurlijk altijd om de discussie.

163
00:10:51,560 --> 00:10:55,720
Maar wat wel een beetje de conclusie is, is dat bijvoorbeeld het trolleyproblem,

164
00:10:55,720 --> 00:10:57,720
ik weet niet of iedereen bekend is met het...

165
00:10:57,720 --> 00:11:01,160
- Nou, voor onze luisteraars is het wel goed om dat even uit te leggen.

166
00:11:01,160 --> 00:11:03,960
- Het trolleyproblem is zeg maar dat je een trein hebt,

167
00:11:03,960 --> 00:11:08,160
en je hebt een soort van twee sporen,

168
00:11:08,160 --> 00:11:13,960
en op het ene spoor ligt één persoon, en op het andere spoor liggen bijvoorbeeld vier personen,

169
00:11:13,960 --> 00:11:17,480
en hij gaat nu richting die vier personen,

170
00:11:17,480 --> 00:11:19,880
en jij staat bij een soort hendel,

171
00:11:19,880 --> 00:11:25,960
En als je die hendel omdraait, dan kan je er dus voor zorgen dat er maar één persoon wordt aangereden in plaats van vier personen.

172
00:11:25,960 --> 00:11:34,560
En het trolleyproblem vraagt dan eigenlijk van, is het oké dat jij gaat ingrijpen, zeg maar, en wat is dan goed?

173
00:11:34,560 --> 00:11:41,440
En nou ja, vanuit een bepaald perspectief zeggen sommige mensen van, oh nee, je moet het van het lot af laten hangen,

174
00:11:41,440 --> 00:11:45,120
terwijl anderen zeggen, nee, je wil zoveel mogelijk levens redden.

175
00:11:45,120 --> 00:11:50,600
En dat is natuurlijk naar zelfrijdende auto's heel goed te vertalen.

176
00:11:50,600 --> 00:11:52,400
En daar is ook onderzoek naar gedaan.

177
00:11:52,400 --> 00:11:55,960
Als je in verschillende landen zo'n soort situatie voorlegt...

178
00:11:55,960 --> 00:11:58,080
in de context van zelfrijdende auto's...

179
00:11:58,080 --> 00:12:02,720
dat in verschillende continenten of culturen mensen daar heel anders op reageren.

180
00:12:02,720 --> 00:12:04,880
Dus dan stellen ze bijvoorbeeld vragen van...

181
00:12:04,880 --> 00:12:09,240
Wil je de ouderen redden of wil je de businessman redden of wil je het kind redden?

182
00:12:09,240 --> 00:12:13,440
En in sommige culturen hechten mensen heel veel waarde aan status bijvoorbeeld.

183
00:12:13,560 --> 00:12:16,040
dan zeggen ze altijd de businessmen redden.

184
00:12:16,040 --> 00:12:20,760
Bijvoorbeeld in Azië hechten mensen veel waarde aan ouderen,

185
00:12:20,760 --> 00:12:24,960
die hebben daar veel status, dus dan zeggen ze nee, je moet altijd de ouderen redden.

186
00:12:24,960 --> 00:12:31,120
En dat laat dus eigenlijk zien dat iets als ethiek is ook heel erg cultuurafhankelijk.

187
00:12:31,120 --> 00:12:36,560
Dus de discussie daar rondom is eigenlijk, wie bepaalt dan uiteindelijk

188
00:12:36,560 --> 00:12:40,520
hoe zo'n zelfrijdende auto dan moet of mag reageren?

189
00:12:40,880 --> 00:12:45,880
En moeten we dat dan afhankelijk maken van de verschillende landen? Dat is de discussie.

190
00:12:45,880 --> 00:12:51,880
Ja en als je dat naar een meer, zeg maar, dichter bij huis denk ik wil brengen,

191
00:12:51,880 --> 00:12:56,880
want om erover te filosoferen is het fijn om over leven en dood te praten,

192
00:12:56,880 --> 00:12:59,880
want dat maakt het dilemma zo lekker duidelijk.

193
00:12:59,880 --> 00:13:08,880
Maar we hebben natuurlijk ook gewoon ervaring met modellen die bijvoorbeeld bijstandsfraude opsporen.

194
00:13:08,880 --> 00:13:13,280
Dan hebben we het niet over leven en dood, maar grap je wel op de leefsfeer van mensen,

195
00:13:13,280 --> 00:13:18,040
dan heb je eigenlijk met dezelfde problematiek te maken, toch?

196
00:13:18,040 --> 00:13:22,320
Wie wil je raken, wie niet, hoe eerlijk is het?

197
00:13:22,320 --> 00:13:25,480
Komen dat soort dingen dan ook aan bod?

198
00:13:25,480 --> 00:13:30,120
Nou ja, ik vind wel dat die aan bod zouden moeten komen.

199
00:13:30,120 --> 00:13:34,880
Omdat bijvoorbeeld bij bijstandsfraude begint het natuurlijk bij de vraag wat zien we als een fraudeur.

200
00:13:34,880 --> 00:13:39,880
Is het oké om bepaalde features mee te nemen of niet?

201
00:13:39,880 --> 00:13:43,080
En daar, ik moet wel eens bijvoorbeeld presentaties geven ofzo,

202
00:13:43,080 --> 00:13:44,480
geef ik ook altijd dit voorbeeld.

203
00:13:44,480 --> 00:13:48,080
En dan zie je ook dat mensen daar totaal anders op reageren.

204
00:13:48,080 --> 00:13:51,480
Sommige mensen zeggen ja, maar mensen met een migratieachtergrond,

205
00:13:51,480 --> 00:13:54,080
die frauderen nou eenmaal ook meer.

206
00:13:54,080 --> 00:13:54,880
Weet je?

207
00:13:54,880 --> 00:13:57,880
Nou ja, wat ik daarvan vind laat ik het niet meer.

208
00:13:57,880 --> 00:13:59,080
Maar... - Aannames.

209
00:13:59,080 --> 00:14:00,080
Ja, precies.

210
00:14:00,080 --> 00:14:03,280
Dus zeg maar, ik denk toen in het...

211
00:14:03,280 --> 00:14:08,280
Ik denk dat dit wel een onderwerp is wat ook in de AI-ethics community prima aan bod zou kunnen komen.

212
00:14:08,280 --> 00:14:11,080
Het is ook belangrijk om die discussie te voeren, denk ik.

213
00:14:11,080 --> 00:14:16,160
Omdat ik denk wat een beetje het gevaar is als je dit soort discussies niet voert.

214
00:14:16,160 --> 00:14:20,240
Dan gaan iemand zijn persoonlijke waarden zijplen eigenlijk door in de technologie.

215
00:14:20,240 --> 00:14:24,360
Terwijl als je de discussie wel voert, dan kan je samen tot een soort consensus komen.

216
00:14:24,360 --> 00:14:26,760
Van oké, wat vinden wij oké en wat vinden we niet oké.

217
00:14:26,760 --> 00:14:31,080
En wat willen we in de technologie laten, ja, naar voren laten komen.

218
00:14:31,080 --> 00:14:33,800
Ja, want uiteindelijk gaat het over morele acceptatie.

219
00:14:33,800 --> 00:14:35,320
Ja, precies.

220
00:14:35,320 --> 00:14:37,820
Ik denk dat we nu heel vaak niet eens weten...

221
00:14:37,820 --> 00:14:40,760
welke waarden een soort van geëmbedd zijn in de technologie.

222
00:14:40,760 --> 00:14:43,760
Terwijl als we daar wel actief mee bezig zijn, dan weten we het ook...

223
00:14:43,760 --> 00:14:46,640
en dan kunnen we ook beter ingrijpen als het misgaat...

224
00:14:46,640 --> 00:14:48,840
omdat we weten welke keuzes er gemaakt zijn.

225
00:14:48,840 --> 00:14:50,560
Vraagde je mij dat ik opoppe.

226
00:14:50,560 --> 00:14:53,200
Hoe kunnen we daar met elkaar stappen in zetten...

227
00:14:53,200 --> 00:14:55,560
om dat meer op tafel te krijgen?

228
00:14:55,560 --> 00:14:57,860
Je bedoelt...

229
00:14:57,860 --> 00:15:01,000
Dat we het hierover gaan hebben, dat we hierna gaan kijken...

230
00:15:01,020 --> 00:15:03,840
dat mensen er besef van hebben dat hierover nagedacht moet worden.

231
00:15:03,840 --> 00:15:07,580
Wat voor stappen kunnen we daar in de praktijk voor zetten om die discussie...

232
00:15:07,580 --> 00:15:10,540
Kom bij de Yayetic community.

233
00:15:10,540 --> 00:15:12,560
Ja, we hebben bij elk event,

234
00:15:12,560 --> 00:15:15,020
ik kan wel even uitleggen hoe zo'n event er bij ons uitziet.

235
00:15:15,020 --> 00:15:18,320
Tot nu toe hebben we drinks and talks georganiseerd,

236
00:15:18,320 --> 00:15:24,900
waarbij dan iemand van de community wordt uitgenodigd om een talk te geven over een onderwerp binnen Yayetic,

237
00:15:24,900 --> 00:15:26,420
waar ze dan gepassioneerd over zijn.

238
00:15:26,440 --> 00:15:31,640
Dus dat kan... Vorige keer was dat social bias in algoritmes.

239
00:15:31,640 --> 00:15:35,240
Andere keren zijn dat AI sustainability geweest,

240
00:15:35,240 --> 00:15:40,160
of het risico van AGI.

241
00:15:40,160 --> 00:15:43,960
Er zijn heel veel soorten onderwerpen geweest waar mensen over hebben gepraat.

242
00:15:43,960 --> 00:15:47,760
Maar het hoogtepunt van de avond zijn altijd de discussies.

243
00:15:47,760 --> 00:15:53,120
Want daar wordt echt de beeldvorming gevormd,

244
00:15:53,240 --> 00:15:58,440
of de meningen gevormd van mensen rondom die uitdagingen.

245
00:15:58,440 --> 00:16:03,640
Want ook mensen die helemaal geen kennis hadden van dat onderwerp,

246
00:16:03,640 --> 00:16:06,360
die komen ertoe en die vormen dan hun eigen mening

247
00:16:06,360 --> 00:16:12,280
door juist die discussie en die perspectieven en ervaring uitwisselingen van mensen.

248
00:16:12,280 --> 00:16:14,240
Dus dat vind ik heel interessant.

249
00:16:14,240 --> 00:16:16,640
En ik denk dat mensen daardoor ook steeds bewuster worden

250
00:16:16,640 --> 00:16:23,120
van wat voor aspecten er allemaal bij komen bij het nadenken over ethiek.

251
00:16:23,120 --> 00:16:27,720
En ik denk als je dan naar zo'n avond komt...

252
00:16:27,720 --> 00:16:33,040
Ja, ik ben even kwijt wat ik wil zeggen. Dat kan je uitleggen.

253
00:16:33,040 --> 00:16:35,840
Nou, ik hoorde een uitnodiging.

254
00:16:35,840 --> 00:16:38,760
Ja, inderdaad. Laten we daar eens mee beginnen.

255
00:16:38,760 --> 00:16:44,160
Ik zou het wel leuk vinden om een keer daadwerkelijk over Explainedemol Eaier te komen vertellen.

256
00:16:44,160 --> 00:16:48,520
Niet alleen dat ik daar veel van weet, maar ik vind er ook heel veel van.

257
00:16:48,520 --> 00:16:50,720
Ik ben heel benieuwd.

258
00:16:50,720 --> 00:16:55,220
Dus in die zin zou ik de uitnodiging wel willen aannemen.

259
00:16:55,220 --> 00:16:57,120
Ja, wees welkom.

260
00:16:57,120 --> 00:16:59,520
Ja, nou leuk. Dat hebben we alvast geregeld.

261
00:16:59,520 --> 00:17:02,320
Waar een podcast niet goed voor is, toch?

262
00:17:02,320 --> 00:17:03,340
Ja, inderdaad.

263
00:17:03,340 --> 00:17:05,260
Ik heb er misschien nog wel wat aan toe te voegen.

264
00:17:05,260 --> 00:17:08,780
Ik denk wat ook belangrijk is om dit soort discussies te voeren...

265
00:17:08,780 --> 00:17:11,820
is om ze vanaf het begin te voeren.

266
00:17:11,820 --> 00:17:14,500
Dus niet denken van, oh, we implementeren mooi een model...

267
00:17:14,500 --> 00:17:19,600
en dan gaan we eens nadenken van, goh, wat zijn hier eigenlijk de implicaties van?

268
00:17:19,620 --> 00:17:23,620
Ik denk dat, in ieder geval dat vinden wij met mijn bedrijf,

269
00:17:23,620 --> 00:17:27,100
dat je vanaf het begin al over dit soort dingen moet nadenken.

270
00:17:27,100 --> 00:17:29,420
En vanaf het begin al deze discussie voert.

271
00:17:29,420 --> 00:17:31,740
En het liefst ook interdisciplinair.

272
00:17:31,740 --> 00:17:33,660
Dus niet alleen met data scientist,

273
00:17:33,660 --> 00:17:37,940
maar ook met de mensen die uiteindelijk beïnvloed worden door dit product.

274
00:17:37,940 --> 00:17:41,420
Ja, dus het is een brede gebruikers, een brede groep.

275
00:17:41,420 --> 00:17:43,140
Dus niet alleen de mensen die het bouwen,

276
00:17:43,140 --> 00:17:44,900
maar ook de mensen die over de beslissingen gaan,

277
00:17:44,900 --> 00:17:48,420
maar ook die geraakt worden door de beslissing erbij te betrekken.

278
00:17:48,440 --> 00:17:52,720
En als je hen niet persoonlijk erbij kan betrekken, gewoon eens nadenken van...

279
00:17:52,720 --> 00:17:56,040
oké, wat zou ik doen als ik in die situatie zat?

280
00:17:56,040 --> 00:17:59,520
Of wat kunnen hun interests zijn?

281
00:17:59,520 --> 00:18:01,120
Ja, want daar dacht ik natuurlijk meteen aan.

282
00:18:01,120 --> 00:18:04,640
Als we het hebben over die bijstandsfraude, dan ga je het als model bouwen...

283
00:18:04,640 --> 00:18:07,440
ga je niet met bijstandsfraudeurs praten.

284
00:18:07,440 --> 00:18:09,440
Dus je moet wel...

285
00:18:09,440 --> 00:18:18,560
Iemand die dus de mensen die AI effect goed representeren.

286
00:18:18,560 --> 00:18:23,400
Representeren in de groep mensen waarmee je dit bouwt.

287
00:18:23,400 --> 00:18:30,160
Dus niet alleen maar met je stakeholders praten voordat je dit gaat bouwen,

288
00:18:30,160 --> 00:18:35,100
maar ook de teams die dit bouwen ook zo divers mogelijk maken.

289
00:18:35,120 --> 00:18:41,120
Als iemand nou hiernaar luistert en die denkt van ja ik moet hier iets mee.

290
00:18:41,120 --> 00:18:43,120
Waar begint diegene?

291
00:18:43,120 --> 00:18:45,120
Die komt naar mijn bedrijf.

292
00:18:45,120 --> 00:18:47,120
Dat is nood.

293
00:18:47,120 --> 00:18:51,120
Nou ja, ik denk waar begin je mee?

294
00:18:51,120 --> 00:18:55,120
Je bedoelt met zo van ik wil iets met AI/AT, waar begin ik?

295
00:18:55,120 --> 00:19:00,120
Ik denk dat de makkelijkste manier om te beginnen is je verdiepen in de frameworks die er zijn.

296
00:19:00,120 --> 00:19:03,120
En welke zou je als eerste aanbevelen?

297
00:19:03,120 --> 00:19:10,120
die van de Europese Commissie. Dat is een vrij gangbaar AI-ethiek framework.

298
00:19:10,120 --> 00:19:13,400
Ik zou niet het hele, ja dat is misschien niet heel nice van mij om te zeggen,

299
00:19:13,400 --> 00:19:17,000
maar ik zou niet het hele boekwerk gaan lezen, maar als je de grote lijnen,

300
00:19:17,000 --> 00:19:20,200
ze hebben een soort samenvattingen ook, dan kan je gewoon kijken van oké,

301
00:19:20,200 --> 00:19:22,200
wat zijn dingen waar ik op moet letten?

302
00:19:22,200 --> 00:19:27,600
Dan zou ik gaan nadenken van hoe kunnen wij dit een soort van gaan inzetten,

303
00:19:27,600 --> 00:19:30,600
een soort van vertalen naar ons proces, zeg maar.

304
00:19:30,600 --> 00:19:38,380
En dan gaan nadenken van, oké, wat gaan we aan de techniek kant doen om hier iets mee te doen.

305
00:19:38,380 --> 00:19:41,240
Dat is hoe ik er naar kijk.

306
00:19:41,240 --> 00:19:44,240
Dat is heel simplistisch wel.

307
00:19:44,240 --> 00:19:45,740
Nee, maar je moet ergens beginnen.

308
00:19:45,740 --> 00:19:48,380
Dat is het belangrijkste.

309
00:19:48,380 --> 00:19:50,380
En nog een kleine aanvulling erop.

310
00:19:50,380 --> 00:19:52,980
Bij de techniek beginnen we vaak over degene die het bouwen inderdaad.

311
00:19:52,980 --> 00:19:54,980
Maar ik denk dat het proces ook wel het belangrijkste is.

312
00:19:54,980 --> 00:20:00,340
Hoe ga je het proces hierom, van idee tot daadwerkelijke implementatie, ondersteunen?

313
00:20:00,340 --> 00:20:04,060
en daar ethiek in design meenemen, dus ethics by design.

314
00:20:04,060 --> 00:20:07,060
Net zoals dat we privacy by design doen en security by design.

315
00:20:07,060 --> 00:20:11,100
Is dit ook iets wat gewoon daar al een onderdeel van het proces hoort zijn, inderdaad.

316
00:20:11,100 --> 00:20:15,820
Ja, en ik denk ook hoe ga je de data scientist of machine learning engineers,

317
00:20:15,820 --> 00:20:17,780
of hoe je ze ook wilt noemen,

318
00:20:17,780 --> 00:20:21,860
hoe ga je iedereen enthousiasmeren om met dit onderwerp aan de gang te gaan?

319
00:20:21,860 --> 00:20:26,380
Want ik denk dat wat heel belangrijk is, is dat het een beetje tastbaar wordt.

320
00:20:26,380 --> 00:20:28,800
Wat wij bijvoorbeeld hebben gedaan binnen ons bedrijf,

321
00:20:28,820 --> 00:20:32,920
hebben gewoon van die ethiek frameworks gepakt en kijk kunnen we die over de

322
00:20:32,920 --> 00:20:37,760
Crispy M-Cycle leggen want dat is iets wat waar we allemaal mee bekend zijn of

323
00:20:37,760 --> 00:20:42,140
wat tot de voorbeelding spreekt. Maar dat is wel vanuit de technische kant,

324
00:20:42,140 --> 00:20:47,320
terwijl ja ik denk soms ook wel van je met die die ethiek moet eigenlijk

325
00:20:47,320 --> 00:20:53,060
beginnen juist bij de business, dat die als het ware eisen dat het ethisch

326
00:20:53,060 --> 00:20:58,480
verantwoord is en dat je daar begint met de discussie want dan leg je ook een

327
00:20:58,480 --> 00:21:01,320
soort van requirements niet waar je zou moeten voldoen.

328
00:21:01,320 --> 00:21:05,240
Maar de eerste stap van het Krusty M-cycle is ook business understanding.

329
00:21:05,240 --> 00:21:07,240
Ja dat is waar.

330
00:21:07,240 --> 00:21:12,840
Ik zou zeggen focus inderdaad niet alleen maar op de techniek maar ook op de governance.

331
00:21:12,840 --> 00:21:16,360
Dat is een hele logische natuurlijk maar ook op de cultuur.

332
00:21:16,360 --> 00:21:22,040
De cultuur van het bedrijf bepaalt eigenlijk ook hoe beslissingen worden gemaakt.

333
00:21:22,040 --> 00:21:30,720
Stel dat een algoritme bepaalde beslissingen wil automatiseren voor dat bedrijf,

334
00:21:30,720 --> 00:21:34,520
dan baseert dat zich op historische data van beslissingen.

335
00:21:34,520 --> 00:21:37,200
En stel dat die beslissingen misschien biased zijn,

336
00:21:37,200 --> 00:21:43,520
voor een exempel met toeslagen, dan wil je juist ook de cultuur aanpakken,

337
00:21:43,520 --> 00:21:45,520
want dat is denk ik de absolute bron.

338
00:21:45,520 --> 00:21:48,840
Net als bijvoorbeeld het gesprek over diversiteit en inclusie.

339
00:21:48,840 --> 00:21:53,640
Dat is nooit af, maar dat begint wel echt met de inherente cultuurverandering.

340
00:21:53,640 --> 00:21:54,640
Precies.

341
00:21:54,640 --> 00:21:56,640
Je kan niet symptoombestrijding gaan doen.

342
00:21:56,640 --> 00:21:58,240
Nee, je hebt gelijk.

343
00:21:58,240 --> 00:22:02,840
En anders ga je je problemen eigenlijk toeschuiven naar het algoritme.

344
00:22:02,840 --> 00:22:10,040
En naar de data scientist die er misschien vanuit zijn technische blik toch iets minder mee heeft.

345
00:22:10,040 --> 00:22:11,040
Precies.

346
00:22:11,040 --> 00:22:15,040
Die kan ook maar 1% van het hele probleem oplossen.

347
00:22:15,040 --> 00:22:18,440
Soms ligt het probleem eigenlijk toch wel eerder bij de mensheid.

348
00:22:18,440 --> 00:22:21,800
Misschien voor beide een hele moeilijke vraag hoor.

349
00:22:21,800 --> 00:22:26,200
Dus als je het antwoord niet hebt, is het niet erg.

350
00:22:26,200 --> 00:22:31,880
Maar heb je ergens, of kun je iets vertellen zonder het specifieke voorbeeld te noemen,

351
00:22:31,880 --> 00:22:36,040
waar het juist heel goed is gegaan, waar we dat tegenkomen?

352
00:22:36,040 --> 00:22:43,000
Hier hebben ze die ethics by design typisch goed opgepakt.

353
00:22:43,000 --> 00:22:44,760
Ja, ik weet wel een voorbeeld.

354
00:22:44,760 --> 00:22:46,440
Ik weet niet eens goed of ik ze mag noemen.

355
00:22:46,440 --> 00:22:48,440
Ja maar dan mag je het ook algemeen houden.

356
00:22:48,440 --> 00:22:53,280
Oké, het is een gemeente in Nederland en ik vind dat zij echt heel goed bezig zijn.

357
00:22:53,280 --> 00:22:58,080
Ze hebben een algoritmeregister, volgens mij werken zij ook met een soort ethiek.

358
00:22:58,080 --> 00:23:04,640
Ja, een soort ethiek orgaan wat elke keer de data scientist controleert.

359
00:23:04,640 --> 00:23:11,200
Ze zijn super transparant dus over welke algoritme ze allemaal in productie hebben.

360
00:23:11,200 --> 00:23:13,640
Zij zijn er echt actief mee bezig.

361
00:23:13,640 --> 00:23:17,120
Ik weet nog dat ik ooit een keer met een van hen heb gesproken,

362
00:23:17,120 --> 00:23:21,800
dat ik daarna echt zoveel energie had, want ik dacht, oh my god, het is wel gewoon mogelijk.

363
00:23:21,800 --> 00:23:27,920
Je hoort heel vaak dat het voor heel veel mensen toch nog een beetje als gedoe of iets wat vertraagt.

364
00:23:27,920 --> 00:23:33,360
Als gemeente heb je natuurlijk ook gewoon veel verantwoordelijkheid, maar zij dragen dat ook echt in.

365
00:23:33,360 --> 00:23:35,760
Ze hebben ook die verantwoordelijkheid genomen.

366
00:23:35,760 --> 00:23:41,160
Volgens mij zit daar ook wel de crux, dat stukje verantwoordelijk voelen en verantwoordelijkheid nemen.

367
00:23:41,160 --> 00:23:42,640
op dit onderwerp.

368
00:23:42,640 --> 00:23:45,840
Ja, want ik denk dat dat nu heel vaak het probleem is,

369
00:23:45,840 --> 00:23:48,840
is dat het niet helemaal duidelijk is wie ons verantwoordelijkheid dit is.

370
00:23:48,840 --> 00:23:50,960
Is het de verantwoordelijkheid van de business?

371
00:23:50,960 --> 00:23:53,160
Is het de verantwoordelijkheid van de techniek?

372
00:23:53,160 --> 00:23:55,800
Is het de verantwoordelijkheid van de overheid?

373
00:23:55,800 --> 00:23:57,880
Gaan we pas iets doen als er wetgeving is?

374
00:23:57,880 --> 00:24:01,720
Dat is wat je nu een beetje ziet en dat is jammer.

375
00:24:01,720 --> 00:24:05,640
En er zijn dus organisaties die die verantwoordelijkheid wel heel duidelijk voelen.

376
00:24:05,640 --> 00:24:08,800
En daar ben ik heel blij mee dat jullie er zijn.

377
00:24:08,820 --> 00:24:10,820
Ik vind het gewoon mooi, het zijn pioniers.

378
00:24:10,820 --> 00:24:12,820
Ja.

379
00:24:12,820 --> 00:24:21,820
Voor mij, ja, er komt niet echt 1, 2, 3 iets op, maar waar ik wel aan moet denken is Foodpunch AI.

380
00:24:21,820 --> 00:24:28,820
Zij organiseren in samenwerking met het bedrijf allemaal challenges voor AI for Good.

381
00:24:28,820 --> 00:24:36,820
Het zijn allemaal challenges als AI inzetten om stroopers te kunnen detecteren.

382
00:24:36,820 --> 00:24:43,220
Dat soort challenges om sociale of maatschappelijke impact te maken.

383
00:24:43,220 --> 00:24:43,720
Mooi.

384
00:24:43,720 --> 00:24:51,140
En zij doen dit dan ook in samenwerking met data scientists die dit vak willen leren,

385
00:24:51,140 --> 00:24:53,540
door middel dus van challenges.

386
00:24:53,540 --> 00:24:54,040
Oh ja.

387
00:24:54,040 --> 00:25:00,620
En zij hebben dan ook wel eens lectures die ze dan geven als onderdeel van de trainingen.

388
00:25:00,620 --> 00:25:04,740
En wat zij dan heel goed doen is onderwerpen als algorithmic bias meenemen.

389
00:25:04,740 --> 00:25:10,620
Dus echt die data scientists dat ook echt meegeven van, denk hier alsjeblieft aan en zo kan je dat doen.

390
00:25:10,620 --> 00:25:12,140
En zo kan je dat ook meten.

391
00:25:12,140 --> 00:25:16,340
Ik weet verder niet zo goed hoe zij dit verder technisch oppakken.

392
00:25:16,340 --> 00:25:22,900
En of zij dit ook meegeven aan de bedrijven waarmee ze dan samenwerken.

393
00:25:22,900 --> 00:25:25,460
Maar ik vind dat al echt gewoon een hele goede stap.

394
00:25:25,460 --> 00:25:30,660
Dus het meegeven in het stukje educatie, wat toen universiteiten nog niet eens echt...

395
00:25:30,660 --> 00:25:34,340
of hoe AI voor het goede werkt, is natuurlijk al heel zwaar.

396
00:25:34,340 --> 00:25:35,420
Zeker, zeker.

397
00:25:35,420 --> 00:25:40,460
Lijken me twee mooie voorbeelden van hoe het wel kan.

398
00:25:40,460 --> 00:25:41,980
Dank jullie wel.

399
00:25:41,980 --> 00:25:45,820
We zullen de linkjes ook opnemen in de show notes.

400
00:25:45,820 --> 00:25:47,820
Dan kunnen mensen daar ook naar kijken.

401
00:25:47,820 --> 00:25:49,820
Hoe noemde jij hem nou?

402
00:25:49,820 --> 00:25:50,820
Fruitpunch.ai

403
00:25:50,820 --> 00:25:53,820
Fruitpunch.ai zullen we opnemen.

404
00:25:53,820 --> 00:25:55,820
Dus dank jullie wel.

405
00:25:57,820 --> 00:26:03,820
Dankjewel Sama en Noëlle voor deze interessante discussie over ethiek.

406
00:26:03,820 --> 00:26:11,820
Abonneer je via je podcast app en mis geen enkele aflevering daardoor.

407
00:26:11,820 --> 00:26:15,820
Hopelijk tot de volgende keer en dankjewel voor het luisteren.