AIToday Live
AIToday Live deelt praktijkverhalen over AI die je direct vooruit helpen in je werk. In een wereld waar AI-ontwikkelingen elkaar razendsnel opvolgen, kiezen wij bewust voor verdieping en praktijkervaring. We bieden een kalm kompas in turbulente tijden.
In deze podcast hoor je professionals uit Nederland en België die openhartig vertellen over hun ervaringen met AI-implementaties. Voorbij de hype en krantenkoppen laten zij zien hoe organisaties écht met AI werken.
Onze gasten delen hun successen én uitdagingen op een toegankelijke manier.
Daarmee helpen we jou om:
- Praktische inzichten te krijgen in wat AI wel en niet kan
- Te leren van de ervaringen van andere professionals
- Concrete ideeën op te doen voor je eigen organisatie
- De grotere lijnen te zien in AI-ontwikkelingen
Iedere maandag een diepgaand gesprek met een gast, gepresenteerd door Joop Snijder (CTO Aigency) en Niels Naglé (Info Support). Elke donderdag deelt Joop in een korte aflevering zijn eigen praktijkervaringen en inzichten.
"AIToday Live is twee keer genomineerd voor 'De Prijs van Oranje' door de Belgian Podcast Awards en staat op nummer 1 in de lijst van Zomerse luister-inspiratie: podcasts over AI, productiviteit, SEO & meer (Frankwatching, juni 2024)."
Ontdek hoe andere professionals AI succesvol inzetten. Ontvang ook exclusieve content, kijk achter de schermen en blijf op de hoogte van nieuwe gasten via onze nieuwsbrief: https://aitodaylive.substack.com
AIToday Live
S05E27 - Verantwoorde AI en workshops voor ethisch bewustzijn
In deze aflevering van AIToday Live gaan Niels Naglé, Joop Snijder en hun gast Rijk Mercuur dieper in op het belang van verantwoorde AI en hoe workshops kunnen bijdragen aan het vergroten van AI-kennis en ethisch besef. Rijk doet uit de doeken over de workshops die hij organiseert, zoals de Impact Assessment Mensenrechten en Algoritme (IAMA) en de Data Ethiek workshop, en hoe deze bedrijven kunnen helpen om bewust te worden van ethische en maatschappelijke kwesties bij het ontwikkelen van AI-systemen.
Daarnaast wordt er ingegaan op het integreren van intuïtie en onderbuikgevoel in AI-modellen en het belang van eenvoudige, transparante en uitlegbare oplossingen naast complexe technologieën. De gastheren en hun gast bespreken hoe een hybride benadering van zowel technologie als mensenrechten kan bijdragen aan een verantwoord besluitvormingsproces en maken de link met psychologie, cognitie en menselijke taal. Sanne, een expert op het gebied van AI en psychologie, komt aan het woord en vertelt over de workshops die zij aanbiedt en hoe geïnteresseerden zich kunnen inschrijven.
Dit alles mikt op een geleidelijke introductie van complexere AI-benaderingen en het nastreven van een duurzamere en eerlijkere technologische toekomst.
Links
- Het boek "Thinking, Fast and Slow" van Daniel Kahneman, dat ingaat op de werking van systeem 1 en systeem 2 denken en de gevolgen hiervan voor besluitvorming en gedrag.
- De podcast "The AI Alignment Podcast" van het Future of Life Institute, met interviews en discussies over AI, de impact ervan op de samenleving en het waarborgen van ethisch AI-ontwerp.
- Het boek "Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy" van Cathy O'Neil, dat onderzoekt hoe algoritmen en AI-systemen kunnen leiden tot onrechtvaardigheid en discriminatie als ze niet goed worden ontworpen of toegepast.
- Workshops verantwoorde AI
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.
Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).
Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.
Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!
1
00:00:00,000 --> 00:00:07,000
Leuk dat je weer luistert naar een nieuwe aflevering van de AIToday Live.
2
00:00:07,000 --> 00:00:11,000
Mijn naam Niels Naglé, chapter lead Data & AI bij Info Support.
3
00:00:11,000 --> 00:00:14,000
En ik ben Joop Snijder, CTO bij Aigency.
4
00:00:14,000 --> 00:00:20,000
En we hebben wederom Rijk Mercuur te gast, bij de aflevering.
5
00:00:20,000 --> 00:00:24,000
Vorige aflevering mocht je nog niet geluisterd hebben, zeker een aanrad om even terug te luisteren.
6
00:00:24,000 --> 00:00:29,000
In de vorige aflevering, Rijk, had je het over workshops die je geeft.
7
00:00:29,000 --> 00:00:32,240
Maar voordat we daar verder induiken, misschien dat de luisteraars de eerste niet hebben gehoord,
8
00:00:32,240 --> 00:00:33,680
zou je even kort kunnen voorstaan.
9
00:00:33,680 --> 00:00:35,680
Dat is goed. Mijn naam is Rijk Mecuur.
10
00:00:35,680 --> 00:00:39,160
Ik heb een bachelor master in PhD in Artificial Intelligence.
11
00:00:39,160 --> 00:00:43,360
En ik werk tegenwoordig bij Jiro, waar we ons inzetten voor verantwoorde AI.
12
00:00:43,360 --> 00:00:48,600
En waar we workshops geven om de kennis over AI bij de bedrijven te brengen.
13
00:00:48,600 --> 00:00:50,600
Verantwoordelijke AI.
14
00:00:50,600 --> 00:00:53,400
Joop en ik hebben het er heel vaak over tijdens de podcast.
15
00:00:53,400 --> 00:00:56,200
Op de wandelgangen en dat soort zaken.
16
00:00:56,200 --> 00:00:59,280
Wat is voor jou verantwoordelijke AI?
17
00:00:59,280 --> 00:01:03,760
Ik denk dat het begint bij waarde.
18
00:01:03,760 --> 00:01:08,800
Dus vaak bij technologie denken we aan waarde als efficiëntie.
19
00:01:08,800 --> 00:01:13,040
Technologie maakt het leven makkelijker, gemakkelijk.
20
00:01:13,040 --> 00:01:18,120
Maar je hebt eigenlijk klassiek tien basiswaarden,
21
00:01:18,120 --> 00:01:20,480
volgens een bekend model van Swartz.
22
00:01:20,480 --> 00:01:27,480
En andere waarden daarin zijn bijvoorbeeld eerlijkheid en gelijkheid en transparantie.
23
00:01:27,480 --> 00:01:30,560
En zulke waarden worden vaak gegeten bij technologie.
24
00:01:30,560 --> 00:01:32,900
Dat zijn wat mij betreft wat meer de menselijke waarden.
25
00:01:32,900 --> 00:01:36,480
Dus we willen eigenlijk AI menselijk maken.
26
00:01:36,480 --> 00:01:39,660
Het menselijke samenbrengen met het technologische.
27
00:01:39,660 --> 00:01:43,200
Ja, datgene is denk ik ook wel een andere mindset.
28
00:01:43,200 --> 00:01:46,160
Inderdaad, wat je zegt, triggerde mij wel inderdaad.
29
00:01:46,160 --> 00:01:49,900
Efficiëntie, processen efficiënt te maken, zorgen dat de opslag goed is.
30
00:01:49,920 --> 00:01:51,360
- Zie je dat op jullie website veel staan?
31
00:01:51,360 --> 00:01:51,980
Ja, dat klopt.
32
00:01:51,980 --> 00:01:53,200
- Dit is hoe jullie klanten trekken, toch?
33
00:01:53,200 --> 00:01:54,140
Maar dit soort termen eigenlijk.
34
00:01:54,140 --> 00:01:57,280
Efficiëntie is inderdaad natuurlijk voor de IT vlak wel heel erg belangrijk.
35
00:01:57,280 --> 00:02:01,080
En misschien dat daardoor juist het andere stukje soms wat ondersneeuwt inderdaad.
36
00:02:01,080 --> 00:02:05,240
Dat nu eigenlijk steeds belangrijker begint te worden met deze ontwikkelingen, denk ik.
37
00:02:05,240 --> 00:02:08,340
Ja, klassiek zijn dat soort waardes, efficiëntie, meer met technologie verbonden.
38
00:02:08,340 --> 00:02:09,600
Dat is wat technologie doet.
39
00:02:09,600 --> 00:02:12,700
Het is een beetje een stokpaadje.
40
00:02:12,700 --> 00:02:13,960
Het slaat alles plat eigenlijk.
41
00:02:13,960 --> 00:02:17,520
Het paakt alles in duidelijke variabelen die het allemaal combineert.
42
00:02:17,540 --> 00:02:21,220
En daardoor kan alles een stuk efficiënter zijn.
43
00:02:21,220 --> 00:02:25,620
Net zoals er steeds minder types schoenen zijn bijvoorbeeld.
44
00:02:25,620 --> 00:02:30,580
Of ik heb een maat van bijna 47 en een wat te brede voet.
45
00:02:30,580 --> 00:02:34,540
Daar kan je helemaal geen schoenen voor vinden, omdat het niet zo goed past binnen het systeem.
46
00:02:34,540 --> 00:02:36,700
Zo is het ook met technologie.
47
00:02:36,700 --> 00:02:40,380
Eigenlijk moet alles passen binnen dat efficiënte technologische systeem,
48
00:02:40,380 --> 00:02:42,380
zodat het zo snel mogelijk werkt.
49
00:02:42,380 --> 00:02:43,780
Af en toe vind ik het ook wel fijn hoor.
50
00:02:43,780 --> 00:02:44,780
Al die keuze.
51
00:02:44,780 --> 00:02:47,260
Als die keuze zo reus is, dan heb je weer keuzestress.
52
00:02:47,260 --> 00:02:49,620
Af en toe is het ook wel lekker dat er niet te veel keus is hoor.
53
00:02:49,620 --> 00:02:50,900
Zeker, dat is ook heel erg.
54
00:02:50,900 --> 00:02:53,540
Maar wel belangrijk inderdaad, die je aangeeft inderdaad.
55
00:02:53,540 --> 00:02:56,060
Het moet ook wel voor iedereen inclusief zijn,
56
00:02:56,060 --> 00:02:58,380
dat jij ook gewoon schoenen kan halen.
57
00:02:58,380 --> 00:03:02,140
En zo jouw AI-oplossing ook voor jouw toepassing gebruikt worden.
58
00:03:02,140 --> 00:03:05,300
Precies, dat ook een gezinsherkenning is voor jou als jij een niet-witte huidsvluur hebt.
59
00:03:05,300 --> 00:03:06,300
Ja, inderdaad.
60
00:03:06,300 --> 00:03:12,860
In de workshop, als je kijkt naar de workshops die je gehad hebt,
61
00:03:12,860 --> 00:03:17,940
Wat is nou de meest prangende vraag van degene die jij op de workshop langskrijgt?
62
00:03:17,940 --> 00:03:19,700
- Ik moet gelijk even met de billen bloot,
63
00:03:19,700 --> 00:03:21,360
want we hebben eigenlijk nog geen workshop gegeven.
64
00:03:21,360 --> 00:03:22,380
We zijn net begonnen.
65
00:03:22,380 --> 00:03:25,920
Dus dit is echt iets wat we nu van de grond proberen te krijgen.
66
00:03:25,920 --> 00:03:30,880
Maar ik heb al wel veel gesprek gehad met de Utrecht Data School over deze workshop.
67
00:03:30,880 --> 00:03:33,100
Even kijken.
68
00:03:33,100 --> 00:03:37,680
En de vraag was, wat de meest prangende vraag is die je daar omhoog hoort te komen.
69
00:03:37,680 --> 00:03:42,680
Mijn insteek is denk ik dat ik veel over bias hoor daarbij.
70
00:03:42,700 --> 00:03:44,940
Dus over hoe je daarmee omgaat.
71
00:03:44,940 --> 00:03:50,300
En wat ik ook merk bij de gesprekken met Ultra Data School,
72
00:03:50,300 --> 00:03:53,780
en wat ik daarvan hoor, is dat eigenlijk willen zulke bedrijven echt heel graag
73
00:03:53,780 --> 00:03:56,780
ook meer bezig zijn met ethiek en met mensenrechten.
74
00:03:56,780 --> 00:03:59,400
Maar ja, er mist vaak een moment waarop ze dat kunnen.
75
00:03:59,400 --> 00:04:01,580
Er mist eigenlijk een reflectieruimte.
76
00:04:01,580 --> 00:04:05,260
En daardoor krijgen ze eigenlijk, ja,
77
00:04:05,260 --> 00:04:08,560
ook weer in het efficiëntie-denken van het bedrijf,
78
00:04:08,560 --> 00:04:12,000
missen ze eigenlijk deze stap om je ethisch over na te denken.
79
00:04:12,020 --> 00:04:14,020
Ja, dat snap ik.
80
00:04:14,020 --> 00:04:18,340
En met die mensenrechten, gaat dat met de Data School dan over de IAMA?
81
00:04:18,340 --> 00:04:20,860
Impact Assessment Mensenrechten en Algoritme?
82
00:04:20,860 --> 00:04:22,860
Ja, dat is het protocol dat we gebruiken.
83
00:04:22,860 --> 00:04:25,580
En daar begeleiden we mensen dan in een workshop in.
84
00:04:25,580 --> 00:04:29,020
En we hebben ook het Data Protocol dat we ook gebruiken.
85
00:04:29,020 --> 00:04:31,820
Dat noemen we dus de workshop Data Ethiek.
86
00:04:31,820 --> 00:04:37,020
Die is wat meer gericht op data en ethiek.
87
00:04:37,020 --> 00:04:40,140
En de andere is meer gericht op algoritme en op mensenrechten.
88
00:04:40,140 --> 00:04:43,580
meer juridisch, meer ethisch, meer data versus algoritme.
89
00:04:43,580 --> 00:04:47,380
Daar hebben we denk ik twee hele belangrijke basis al mee.
90
00:04:47,380 --> 00:04:51,660
Als je kijkt naar die laatste workshop,
91
00:04:51,660 --> 00:04:54,260
wat is daar typisch de doelgroep voor?
92
00:04:54,260 --> 00:05:01,460
Nou ja, we hebben het in de vorige aflevering gehad over een belastingdienst,
93
00:05:01,460 --> 00:05:05,540
die een algoritme inzet voor de toeslagenaffaire.
94
00:05:05,540 --> 00:05:08,420
Het lijkt me heel verstandig geweest dat zij een Yama-protocol
95
00:05:08,440 --> 00:05:12,360
hadden ingevuld in onze workshop, algoritme en mensenrechten hadden afgenomen.
96
00:05:12,360 --> 00:05:16,880
Ik denk dat dan het idee dat misschien sommige variabelen wat gevoelig liggen,
97
00:05:16,880 --> 00:05:19,080
zoals nationaliteit, heel snel naar voren was gekomen.
98
00:05:19,080 --> 00:05:23,520
De impact op mensenrechten, dus het gelijkheidsprincipe hier in dit geval.
99
00:05:23,520 --> 00:05:27,480
Ook de onschuldpresumptie, dat is het idee dat je onschuldig bent,
100
00:05:27,480 --> 00:05:29,120
totdat het tegendeel bewezen is.
101
00:05:29,120 --> 00:05:32,320
Nou ja, dat is het, mensenrechten waren naar boven gekomen.
102
00:05:32,320 --> 00:05:34,720
En zoals ik ook in de vorige aflevering zei,
103
00:05:34,720 --> 00:05:36,560
dat kan misschien nog steeds zo uitvallen dat je denkt,
104
00:05:36,600 --> 00:05:41,760
Dat is het waard. Wij winnen hier zoveel mee dat we dat eigenlijk proportioneel vinden.
105
00:05:41,760 --> 00:05:43,520
Maar waarschijnlijk was er al uitgekomen...
106
00:05:43,520 --> 00:05:46,400
dat het algoritme relatief weinig levert op en dat het zo pijnlijk is.
107
00:05:46,400 --> 00:05:47,720
Dit moeten we gewoon niet doen.
108
00:05:47,720 --> 00:05:50,640
Om die vraag van Joop nog even iets verder af te pellen.
109
00:05:50,640 --> 00:05:55,640
Wat voor businessrollen zou je dan verwachten in zo'n workshop?
110
00:05:55,640 --> 00:05:57,840
Dat is echt heel belangrijk bij de workshop.
111
00:05:57,840 --> 00:06:00,040
Dat we meerdere rollen aan tafel hebben.
112
00:06:00,040 --> 00:06:03,640
We willen dat er gesprek wordt gevoerd tussen die rollen, wat normaal niet wordt gevoerd.
113
00:06:03,660 --> 00:06:06,220
Dus hebben ze een jurist, dan willen we die aan tafel.
114
00:06:06,220 --> 00:06:10,460
Hebben ze een data scientist, nou ja, de manager, projectbegeleider,
115
00:06:10,460 --> 00:06:12,660
maar ook degene die de externe communicatie doet.
116
00:06:12,660 --> 00:06:16,340
Het is ook heel belangrijk dat je over zulke dingen nadenkt.
117
00:06:16,340 --> 00:06:20,420
Bijvoorbeeld wat ik net zeg, we weten dat zulke mensenrechten geschonden worden,
118
00:06:20,420 --> 00:06:22,700
maar we vonden het in verhouding met het doel.
119
00:06:22,700 --> 00:06:27,260
Nou, als je zo'n verhaal hebt klaar liggen, dan is het ook te verkopen.
120
00:06:27,260 --> 00:06:28,740
Dan is het ook duidelijk voor de ander.
121
00:06:28,740 --> 00:06:31,620
Nou ja, dan weet je in ieder geval dat er ook over gesproken en over nagedacht is.
122
00:06:31,640 --> 00:06:34,720
Dat is een geruststellend gedachte dat er over nagedacht is.
123
00:06:34,720 --> 00:06:36,240
Ja, precies.
124
00:06:36,240 --> 00:06:41,720
Leer je in de workshop ook hoe je de mensenrechten ten opzichte van elkaar kan wegen?
125
00:06:41,720 --> 00:06:42,720
Ja, dat.
126
00:06:42,720 --> 00:06:49,880
Want ik heb toen, zeg maar, ik heb ook zo'n training gehad van Iris Muijsen, een van de
127
00:06:49,880 --> 00:06:51,360
schrijvers van de IAMA.
128
00:06:51,360 --> 00:06:53,200
Zeker, ben ik ook geweest.
129
00:06:53,200 --> 00:06:58,640
En zij heeft mij toen verteld dat er 200 plus mensenrechten zijn.
130
00:06:58,640 --> 00:07:01,200
En daar schrok ik echt enorm van.
131
00:07:01,200 --> 00:07:02,200
Dat wist ik niet eens.
132
00:07:02,200 --> 00:07:04,200
Ik ken ze niet allemaal uit je hoofd.
133
00:07:04,200 --> 00:07:07,200
Alle 200, noem ze.
134
00:07:07,200 --> 00:07:08,200
Nee, zeker niet.
135
00:07:08,200 --> 00:07:13,280
Maar zeker vooral dat je, wat ik daar in ieder geval uit meenoem, is van als je goed doet
136
00:07:13,280 --> 00:07:18,680
voor de één, heb je op zijn minste aan de andere kant van de weegschaal dat je slecht
137
00:07:18,680 --> 00:07:19,680
bent voor een ander.
138
00:07:19,680 --> 00:07:28,640
Ja, ik vind dit eigenlijk ook het lastigste aan zo'n workshop, aan uiteindelijk proberen
139
00:07:28,640 --> 00:07:34,240
hier ethische beslissingen in te nemen, is dat je een afweging moet maken tussen iets wat bijna niet
140
00:07:34,240 --> 00:07:41,120
afweegbaar is. Dat noemen we in de wetenschap incommensurable. Dus dat betekent dat het niet
141
00:07:41,120 --> 00:07:48,200
eigenlijk op dezelfde lijn ligt. Dus een bijvoorbeeld vriendschap en geld verdienen
142
00:07:48,200 --> 00:07:52,920
of zo. Als je die twee dingen tegenover op probeert te wegen, dan kom je eigenlijk niet tegenuit ofzo.
143
00:07:52,920 --> 00:07:56,280
Dat zijn heel andere dingen. Die zijn eigenlijk niet met elkaar te vergelijken. Die zitten niet
144
00:07:56,280 --> 00:08:04,720
op dezelfde getallenlijn. Weegt 4 vriendschappen tegen 10 geld af. Ja, maar we hebben ook zoiets
145
00:08:04,720 --> 00:08:09,760
als wat soms sacred values worden genoemd. En zo heb je denk ik ook mensenrechten die echt
146
00:08:09,760 --> 00:08:16,920
cruciaal zijn. Als er echt bijvoorbeeld wordt gevraagd of jij een vriend zou doden voor geld
147
00:08:16,920 --> 00:08:23,320
of zo, dan zou je zeggen, nou ja, geen enkel bedrag. Het is gewoon niet, het is te heilig
148
00:08:23,320 --> 00:08:27,800
voor mij. Zo hebben we bij mensenrechten zulke dingen ook wel. Ik denk wat we in de workshop doen
149
00:08:27,800 --> 00:08:33,080
is een stap zetten in het veel explicieter maken. Dus het wordt duidelijk welke mensenrechten worden
150
00:08:33,080 --> 00:08:40,040
geschonden en in welke mate. En nou ja dan heb je dus nog steeds dat laatste stukje wat je gewoon
151
00:08:40,040 --> 00:08:46,000
als organisatie moet doen waar geen één antwoord op is. En dat is uiteindelijk daar een moeilijke
152
00:08:46,000 --> 00:08:50,600
politieke afwegingen maken. Maar we hebben in ieder geval alle data op tafel. Ja precies.
153
00:08:50,600 --> 00:08:55,800
Ja en het zijn ook inderdaad denk ik echt persoonlijke afwegingen. Want het gaat over,
154
00:08:55,800 --> 00:09:03,600
er ligt geen jurispidentie onder, want anders kan je de keuze heel makkelijk maken,
155
00:09:03,600 --> 00:09:08,160
want dan heb je gewoon wetgeving. En dit gaat juist over een braakliggend terrein
156
00:09:08,160 --> 00:09:11,240
waarin je zelf de keuze moet maken. Of heb ik dat verkeerd begrepen?
157
00:09:11,240 --> 00:09:16,880
Dat klopt ja. En een persoonlijke keuze, ja je ziet ook dat mensen soms daar gewoon
158
00:09:16,880 --> 00:09:22,340
andere afwegingen in maken en dan gaan die mensen hopelijk met elkaar in gesprek en uiteindelijk zoals
159
00:09:22,340 --> 00:09:28,280
bij heel veel politieke dingen proberen we dan toch ja voor nu meer in te zetten op duurzaamheid
160
00:09:28,280 --> 00:09:32,920
ook al kost dat ook meer geld als zo uiteindelijk vinden we toch ja ik heb toch dat is belangrijker
161
00:09:32,920 --> 00:09:38,880
ja kan ik daar dus eigenlijk mee concluderen dat we bij de implementatie hopelijk op de duur ook
162
00:09:38,880 --> 00:09:44,280
zien wat een beetje de cultuur en de ethiek van een organisatie of van een oplossing is ja en wij
163
00:09:44,280 --> 00:09:47,920
Wij geloven heel erg dat de cultuur van een organisatie, of in ieder geval de ethiek,
164
00:09:47,920 --> 00:09:50,240
in principe dat de mensen allemaal het goed willen doen.
165
00:09:50,240 --> 00:09:54,240
En dat ze ook echt waarde hebben en dat ze het belangrijk vinden om,
166
00:09:54,240 --> 00:09:58,120
nou ja, transparant te zijn of om bezig te zijn met gelijkheid.
167
00:09:58,120 --> 00:10:00,760
En dat die dingen dus inderdaad meer naar boven komen
168
00:10:00,760 --> 00:10:03,400
op het moment dat je daar een expliciet gesprek over voert.
169
00:10:03,400 --> 00:10:08,440
En dat je ziet hoe ze verbonden zijn met de keuzes die je maakt in je algoritme.
170
00:10:08,440 --> 00:10:10,640
Dus hoe je echt een keuze kan maken voor,
171
00:10:10,640 --> 00:10:14,200
nou ja, dit algoritme voorspelt misschien minder goed, maar het is wel eerlijker.
172
00:10:14,200 --> 00:10:16,200
Dat zou dus kunnen.
173
00:10:16,200 --> 00:10:19,900
Wat ik me dan afvraag is van waar leg je dat soort keuzes vast?
174
00:10:19,900 --> 00:10:23,200
Want die discussie die voer je, die heb je met de mensen in de groep in de ruimte,
175
00:10:23,200 --> 00:10:25,200
maar hoe ga je dat borgen?
176
00:10:25,200 --> 00:10:27,200
Ja, dus we hebben, het verschilt een beetje per workshop,
177
00:10:27,200 --> 00:10:34,200
maar in een workshop bij de workshop Data Ethiek hebben we twaalf stappen.
178
00:10:34,200 --> 00:10:38,200
En we zitten eigenlijk om tafel en de mensen hebben een gesprek
179
00:10:38,200 --> 00:10:42,200
en zo gauw ze een gezamenlijke conclusie hebben, dan schrijven ze dat op een post-it
180
00:10:42,200 --> 00:10:44,720
dan pakken ze het eigenlijk erbovenop.
181
00:10:44,720 --> 00:10:47,920
Dat is een hele fijne speelse manier om eraan te werken.
182
00:10:47,920 --> 00:10:51,640
Uiteindelijk schrijf je dat allemaal samen om in een stukje documentatie.
183
00:10:51,640 --> 00:10:55,260
Bij het JAMA-protocol hebben we eigenlijk,
184
00:10:55,260 --> 00:10:57,480
zoals de workshop algoritme en mensenrechten,
185
00:10:57,480 --> 00:11:03,480
is er eigenlijk een document klaar waarin je alle antwoorden gelijk kan invullen.
186
00:11:03,480 --> 00:11:06,680
En dat is dus ook gelijk je verantwoording, dat document,
187
00:11:06,680 --> 00:11:10,680
wat je inderdaad kan representeren als er een volgende toeslagenaffaire is.
188
00:11:10,700 --> 00:11:12,700
en mensen vragen hebben.
189
00:11:12,700 --> 00:11:14,700
Het liefst voorkomen natuurlijk.
190
00:11:14,700 --> 00:11:16,700
Voorkomen, precies.
191
00:11:16,700 --> 00:11:18,700
Nou ja, ik denk dat dat echt helpt.
192
00:11:18,700 --> 00:11:20,700
Ja.
193
00:11:20,700 --> 00:11:22,700
Op voorhand die gesprekken voeren in plaats van achteraf.
194
00:11:22,700 --> 00:11:24,700
Dat is denk ik ook wel goed.
195
00:11:24,700 --> 00:11:26,700
Het stukje efficiëntie waar we beginnen mee starten,
196
00:11:26,700 --> 00:11:28,700
is daar denk ik wel onderdeel van.
197
00:11:28,700 --> 00:11:30,700
Ik hield er een quote die ik ook op de weg
198
00:11:30,700 --> 00:11:32,700
tijdens het project heel vaak tegenom.
199
00:11:32,700 --> 00:11:34,700
"Go slow to go fast." Af en toe moet je even rustig aan gaan om echt meters te kunnen maken.
200
00:11:34,700 --> 00:11:36,700
Die continu weer in mijn hoofd nu zitten
201
00:11:36,700 --> 00:11:38,700
te resoneren. Dus ik wil het toch
202
00:11:38,700 --> 00:11:43,460
even uit hebben. Volgens mij is dat wel belangrijk bij dit soort zaken waar het niet alleen gaat om
203
00:11:43,460 --> 00:11:48,260
efficiëntie, maar ook wat voor impact maken we. Om daar even rustig bij stil te staan en met
204
00:11:48,260 --> 00:11:54,060
meerdere perspectieven te kijken naar de vraagstukken. Ja, ik doe me ook denken aan een van de vragen in
205
00:11:54,060 --> 00:12:00,180
de D-Day protocol. In het begin is wat is je onderbuikgevoel? En dat is ook zoiets wat even
206
00:12:00,180 --> 00:12:06,340
tijd nodig heeft. Dus je moet even over een project hebben nagedacht en alle feiten eigenlijk bij elkaar
207
00:12:06,340 --> 00:12:10,580
hebben. En dan kan ook voor een deel het onderbewuste aan het werk. En kan je ook een
208
00:12:10,580 --> 00:12:14,460
onderbuikgevoel hebben bij van ja maar volgens mij doen we hier toch iets fout. Volgens mij wordt
209
00:12:14,460 --> 00:12:19,700
toch een bepaalde groep hier weggezet als minderwaardig. Dat is niet genoeg. Je moet het
210
00:12:19,700 --> 00:12:24,220
natuurlijk nog steeds uitwerken. Onderbuikgevoel is niet het enige waar we op af willen gaan. Maar
211
00:12:24,220 --> 00:12:29,380
wat ik daar interessant aan vind is dat mensen kunnen dus heel veel met eigenlijk een onderbewust
212
00:12:29,380 --> 00:12:35,740
gevoel, met een intuïtie. En dat is ook waar onze ethiek uiteindelijk op gestoeld is. Uiteindelijk
213
00:12:35,740 --> 00:12:38,740
zijn het intuities over bepaalde gevallen die we proberen te rijmen allemaal.
214
00:12:38,740 --> 00:12:41,340
Dan kunnen we het niet overlaten aan techniek.
215
00:12:41,340 --> 00:12:43,820
Dat is iets wat mensen juist heel goed kunnen.
216
00:12:43,820 --> 00:12:45,660
Die kunnen zoveel verschillende input meenemen,
217
00:12:45,660 --> 00:12:48,580
zoveel sociale variabelen over hoe dit gesprek loopt
218
00:12:48,580 --> 00:12:51,580
en welke rollen we daarin hebben en welke staat we daarin hebben.
219
00:12:51,580 --> 00:12:56,820
Dat kan op dit moment in ieder geval een AI nog helemaal niet.
220
00:12:56,820 --> 00:13:00,660
Daarom is het zo belangrijk dat we dus ook luisteren naar de mensen
221
00:13:00,660 --> 00:13:03,580
die dan die algoritmes maken en uiteindelijk uitvoeren.
222
00:13:03,980 --> 00:13:04,980
Mooi, hè?
223
00:13:04,980 --> 00:13:13,740
Vind je dat IAMA ethische vraagstukken voor ieder AI-model zou moeten voeren?
224
00:13:13,740 --> 00:13:20,340
Ja, deze vraag stelde ook iemand in de podcast.
225
00:13:20,340 --> 00:13:29,500
Wat ik hier lastig vind, is dat je ook bepaalde creativiteit en een soort speeltuin voor mensen
226
00:13:29,500 --> 00:13:30,500
wil waarborgen.
227
00:13:30,500 --> 00:13:36,500
ook dat mensen die werken aan algoritmes dat ze creatief kunnen zijn, dat ze het gevoel hebben
228
00:13:36,500 --> 00:13:42,420
dat ze iets mogen uitproberen. Op het moment dat het in werking gaat en dat het dus ook het impact
229
00:13:42,420 --> 00:13:48,540
heeft, vooral natuurlijk wat gevoelige impact, ja dan moeten we echt zo'n gesprek daarover voeren.
230
00:13:48,540 --> 00:13:53,980
Maar ik kan me goed voorstellen, een vriend van mij werkt bij een elektriciteitscentrale en die werkt
231
00:13:53,980 --> 00:13:57,980
met weerdata. Volgens mij is weerdata echt een klassiek geval van dat het helemaal niet gevoelig
232
00:13:57,980 --> 00:14:01,220
Ik heb geen privacy voor de weer of de aarde.
233
00:14:01,220 --> 00:14:02,220
Precies.
234
00:14:02,220 --> 00:14:04,980
Nee, wel bepaalde emotie, maar geen privacy.
235
00:14:04,980 --> 00:14:07,980
Jij hebt emotie over het weer bedoel je?
236
00:14:07,980 --> 00:14:08,980
Jazeker wel.
237
00:14:08,980 --> 00:14:09,980
Ja, jouw interpretatie misschien.
238
00:14:09,980 --> 00:14:15,660
Ja, dus er zijn ook wel gevallen, er zijn trouwens ook gevallen waar machine learning
239
00:14:15,660 --> 00:14:16,660
klassiek het goed doet.
240
00:14:16,660 --> 00:14:23,060
Dus zo gauw er minder menselijke aspecten in de data zitten, hoe beter eigenlijk machine
241
00:14:23,060 --> 00:14:24,060
learning werkt.
242
00:14:24,060 --> 00:14:26,700
En hoe meer het gaat over sociale complexe problemen.
243
00:14:26,700 --> 00:14:30,900
Dus we hinten eerder even naar Cambridge Analytics,
244
00:14:30,900 --> 00:14:33,160
de vorige aflevering,
245
00:14:33,160 --> 00:14:37,760
over hoe daar misschien een politieke impact is geweest
246
00:14:37,760 --> 00:14:39,840
van het gebruik van Facebook data.
247
00:14:39,840 --> 00:14:44,880
Dat wordt gezegd, maar dat is volgens mij extreem complex.
248
00:14:44,880 --> 00:14:47,480
Om echt te voorspellen wat mensen gaan stemmen
249
00:14:47,480 --> 00:14:49,640
op het gebruik van hun Facebook.
250
00:14:49,640 --> 00:14:53,360
Tenminste, meer dan een simpel algoritme zou kunnen.
251
00:14:53,800 --> 00:14:59,780
Dus hoe meer menselijke aspecten, hoe meer emotionele aspecten,
252
00:14:59,780 --> 00:15:02,080
hoe meer ethische aspecten erbij komen kijken,
253
00:15:02,080 --> 00:15:04,880
hoe slechter machine learning eigenlijk is in een goede voorspelling maken.
254
00:15:04,880 --> 00:15:10,600
Zijn er voor jou ergens grenzen dat je zegt, hier zou ik het niet voor inzetten?
255
00:15:10,600 --> 00:15:14,220
Hier zou ik het überhaupt niet,
256
00:15:14,220 --> 00:15:17,820
nou ja, te eerst bij alles wat op een simpelere manier kan,
257
00:15:17,820 --> 00:15:19,320
en op een transparantere manier.
258
00:15:19,320 --> 00:15:21,540
Ze denken dat we heel vaak gewoon een Excel-sheet genoeg hebben,
259
00:15:21,540 --> 00:15:23,660
en dat we niet een heel AI-model nodig hebben.
260
00:15:23,680 --> 00:15:31,460
Bij heel veel andere gevallen, en dat zijn klassieke voorbeelden als killer drones,
261
00:15:31,460 --> 00:15:36,860
of bij inderdaad dingen waar fraude detectie, vind ik ook een spannend geval,
262
00:15:36,860 --> 00:15:38,920
nu aanbevelingssystemen vind ik ook spannend.
263
00:15:38,920 --> 00:15:43,460
Daarbij gaat het erover dat er zo groot impact op mensen heeft,
264
00:15:43,460 --> 00:15:44,880
dat er een human in de loop zit.
265
00:15:44,880 --> 00:15:47,900
Dus dat op zich mag je wel een algoritme gebruiken,
266
00:15:47,900 --> 00:15:51,580
maar er moet altijd een mens het algoritme interpreteren en controleren,
267
00:15:51,600 --> 00:15:54,960
voordat we het uiteindelijk het effect laten hebben op de wereld.
268
00:15:54,960 --> 00:16:00,720
Ja, dan is explainability denk ik ook wel heel erg van belang,
269
00:16:00,720 --> 00:16:05,320
want als je dat alsnog wil inzetten, dat je nu wel goed kan verklaren hoe het tot stand
270
00:16:05,320 --> 00:16:08,960
gekomen is en dat het begrijpbaar is om de keuze goed te kunnen maken.
271
00:16:08,960 --> 00:16:13,640
Precies. En dat is misschien ook wel goed om te zeggen is we vergeten ook dat AI
272
00:16:13,640 --> 00:16:17,320
klassiek eigenlijk twee delen heeft. Dus we praten heel veel over wat het
273
00:16:17,320 --> 00:16:21,000
het subsymbolische deel wordt genoemd. Dus dat zijn de machine learning modellen.
274
00:16:21,000 --> 00:16:25,200
Maar eigenlijk is er ook wat soms de good old fashioned AI wordt genoemd.
275
00:16:25,200 --> 00:16:26,560
Het symbolische deel.
276
00:16:26,560 --> 00:16:30,040
En dat is, ja, heel vroeger waren dat expert trees.
277
00:16:30,040 --> 00:16:33,240
Dat is een soort bomen waar je doorheen ging om een soort ja/nee-beschissingen te maken.
278
00:16:33,240 --> 00:16:36,440
En dat is klassiek veel transparanter.
279
00:16:36,440 --> 00:16:40,600
En de uitdaging waar we nu voor staan is om die twee weer bij elkaar te brengen.
280
00:16:40,600 --> 00:16:44,680
Dus machine learning modellen blijken gewoon echt heel goed te werken.
281
00:16:45,080 --> 00:16:46,080
Het is ook wel grappig om mee te maken.
282
00:16:46,080 --> 00:16:49,980
Tien jaar geleden waren mijn promotoren bijvoorbeeld echt nog heel sceptisch daarover.
283
00:16:49,980 --> 00:16:52,940
Die waren nog een beetje in de ontkenning van...
284
00:16:52,940 --> 00:16:57,100
Ja, dit is niet wat wij doen, dus het zal wel niet heel veel succes hebben.
285
00:16:57,100 --> 00:17:02,380
Maar het is nu echt onontkenbaar dat dit het meeste effect heeft op de maatschappij...
286
00:17:02,380 --> 00:17:03,500
en het meeste wordt ingezet.
287
00:17:03,500 --> 00:17:07,020
En ja, ook wel het meest effectief is op bepaalde vlakken.
288
00:17:07,020 --> 00:17:09,700
En nu willen we op een of andere manier weer iets hybrids hebben.
289
00:17:09,700 --> 00:17:11,940
We willen weer het symbolische combineren met het symbolische.
290
00:17:11,960 --> 00:17:16,200
uitlegbare. Die symbolen zijn meestal uitlegbaar, daarom worden ze symbolisch genoemd.
291
00:17:16,200 --> 00:17:21,200
Tegenover subsymbolisch, dus iets wat tussen symbolen in zit, met allemaal nulletjes en
292
00:17:21,200 --> 00:17:27,560
eentjes en nodes in een neuronetwerk die geen betekenis meer hebben en die niet uitlegbaar
293
00:17:27,560 --> 00:17:34,520
zijn. Ik heb geen heel kleedje te geven over AI, maar... - Leer ze aan.
294
00:17:34,520 --> 00:17:40,800
- Oh, Joop, je valt weg. Ik hoor je niet meer. - Ik had hem op mute staan.
295
00:17:40,800 --> 00:17:45,280
Een van mijn honden is af en toe wel eens verbaald.
296
00:17:45,280 --> 00:17:49,320
Nu was je zelf ook niet verbaal.
297
00:17:49,320 --> 00:17:50,320
Nee, daarom.
298
00:17:50,320 --> 00:17:58,560
Juist explainable AI, interpretable machine learning is echt een vak waar ik heel veel
299
00:17:58,560 --> 00:17:59,560
passie voor heb.
300
00:17:59,560 --> 00:18:02,920
Daar kunnen we het niet genoeg over hebben wat mij betreft.
301
00:18:02,920 --> 00:18:07,880
Zeker die terug naar wat jij net zei.
302
00:18:07,880 --> 00:18:12,300
Niet alleen van ja als je het makkelijker en eenvoudig kan oplossen moet je misschien
303
00:18:12,300 --> 00:18:13,760
helemaal niet met machine learning beginnen.
304
00:18:13,760 --> 00:18:16,200
Helemaal met je eens.
305
00:18:16,200 --> 00:18:20,920
En de volgende stap is eigenlijk kan je het met een zo eenvoudig mogelijk algoritme het
306
00:18:20,920 --> 00:18:23,000
liefst zo interpreterbaar mogelijk oplossen.
307
00:18:23,000 --> 00:18:27,880
En als dat niet lukt weet je dan ga je eigenlijk pas kijken wat mij betreft zeg maar naar stappen
308
00:18:27,880 --> 00:18:28,880
verder.
309
00:18:28,880 --> 00:18:33,360
Dus je black box is wat mij betreft je laatste redmiddel of zo.
310
00:18:33,360 --> 00:18:34,480
Ja.
311
00:18:34,480 --> 00:18:36,280
Dat wordt nou wel eens vergeten.
312
00:18:36,280 --> 00:18:40,240
We zijn zo bezig met alle nieuwsten van het nieuwste.
313
00:18:40,240 --> 00:18:48,080
Hoe complexer de algoritmes, hoe meer denken dat dat oplossingen biedt.
314
00:18:48,080 --> 00:18:51,400
En we vergeten eigenlijk een heel deel wat gewoon heel goed werkt
315
00:18:51,400 --> 00:18:53,640
op best wel hele eenvoudige manieren.
316
00:18:53,640 --> 00:18:54,760
Zeker.
317
00:18:56,200 --> 00:18:59,600
Mijn PhD ging eigenlijk over computersimulaties maken.
318
00:18:59,600 --> 00:19:02,200
Dat is ook een deel van kunstmatige intelligentie.
319
00:19:02,200 --> 00:19:05,520
En dat is dus heel kennisgedreven, waarbij je ook...
320
00:19:05,520 --> 00:19:09,400
Nou, heb je ook verschillende stromingen, maar één van de stromingen is 'keep it simple, soup it'.
321
00:19:09,400 --> 00:19:13,640
En dat is eigenlijk, je begint met een soort simpel mogelijk model van de werkelijkheid...
322
00:19:13,640 --> 00:19:15,160
en je bouwt steeds verder.
323
00:19:15,160 --> 00:19:20,000
En vanuit kennis die je hebt uit papers, maar ook vanuit expertinterviews...
324
00:19:20,000 --> 00:19:23,640
probeer je langzaam steeds meer te begrijpen van hoe maakt een mens bijvoorbeeld een keuze...
325
00:19:23,640 --> 00:19:25,440
of hoe werkt het systeem.
326
00:19:25,440 --> 00:19:31,960
Zodat je begrijpt wat de simulatie doet, waarom je dat hebt toegevoegd,
327
00:19:31,960 --> 00:19:37,040
hoe uiteindelijk wat er uit de simulatie komt in verhouding staat tot wat daarin is gestopt.
328
00:19:37,040 --> 00:19:41,160
En dus ook de mechanismes waardoor het gebeurt heel expliciet hebt,
329
00:19:41,160 --> 00:19:42,460
waardoor het heel uitlegbaar is.
330
00:19:42,460 --> 00:19:46,000
Dat verhaal mis ik eigenlijk heel erg in de AI-discussie.
331
00:19:46,000 --> 00:19:50,380
Dat is helemaal ondergesneeld door big data en machine learning modellen.
332
00:19:50,380 --> 00:19:52,940
Ja, ik denk dat dat ook weer een stukje is.
333
00:19:52,940 --> 00:19:54,940
Het is best complex om iets simpel te maken.
334
00:19:54,960 --> 00:19:57,400
En hier zeggen we, we moeten het simpel maken, simpel starten.
335
00:19:57,400 --> 00:20:00,260
En ja, nu wordt het ons soms makkelijk gemaakt om het complex te maken.
336
00:20:00,260 --> 00:20:04,300
En dat is echt wel zonde op sommige gebieden, in mijn mening.
337
00:20:04,300 --> 00:20:08,960
Ja, ik moet nog denken, er zit wel klassieke machine learning in,
338
00:20:08,960 --> 00:20:11,720
een manier dat je zo min mogelijk variabelen in je model wilt.
339
00:20:11,720 --> 00:20:15,080
Je wil eigenlijk dat het zoveel mogelijk voorspelt met zo min mogelijk variabelen erin.
340
00:20:15,080 --> 00:20:18,560
Dus er zit wel een soort neiging naar simplicity.
341
00:20:18,560 --> 00:20:22,780
Maar misschien niet in de transparantie of in de mechanismes.
342
00:20:24,080 --> 00:20:28,080
Ik denk dat dat aspect met name dan wat onderbelicht is inderdaad voor dat gedeelte.
343
00:20:28,080 --> 00:20:31,760
Nog een jullie tekenten met 'Nee, nog weer'.
344
00:20:31,760 --> 00:20:33,280
Kijk, dan ga ik toch weer met data.
345
00:20:33,280 --> 00:20:34,800
Sorry, toch weer over data.
346
00:20:34,800 --> 00:20:38,040
Maar we hadden het net over zaken waar het bij de maatschappij komt,
347
00:20:38,040 --> 00:20:39,440
bij de mensen, bij de emotie.
348
00:20:39,440 --> 00:20:42,360
Missen we daar ook niet eigenlijk gewoon het stukje input,
349
00:20:42,360 --> 00:20:45,520
een stukje data tot ons beschikking hebben over ons onderbuikgevoel?
350
00:20:45,520 --> 00:20:47,160
Vraag ik me dan af als ik jullie zo mooi praat.
351
00:20:47,160 --> 00:20:50,240
Het is bijna alsof je een paradox zegt ofzo.
352
00:20:50,240 --> 00:20:53,280
Het onderbuikgevoel, dat we daar de data over missen.
353
00:20:53,280 --> 00:20:59,640
Voor een deel kunnen we veel meer misschien uitvragen over wat,
354
00:20:59,640 --> 00:21:04,720
hoe wil je wel eerst denken aan intenties, aan beliefs, aan desires, intentions,
355
00:21:04,720 --> 00:21:09,060
dat soort aspecten, om die mee te nemen.
356
00:21:09,060 --> 00:21:12,560
Aan de andere kant is het natuurlijk super moeilijk te vatten wat het precies is,
357
00:21:12,560 --> 00:21:13,900
wat onze intuïtie is.
358
00:21:13,900 --> 00:21:17,720
En welk psychologisch model we kiezen om daar,
359
00:21:17,720 --> 00:21:19,560
om dat uiteindelijk in data te vertalen.
360
00:21:19,560 --> 00:21:21,320
Er zit heel veel interpretatie en keuze in.
361
00:21:21,340 --> 00:21:24,620
Ja, dat is ook heel mooi wat ik dacht inderdaad.
362
00:21:24,620 --> 00:21:27,140
Eigenlijk willen we nu weer terug naar het onderbuikgevoel,
363
00:21:27,140 --> 00:21:30,160
terwijl de voorbeelden we daar te hebben om het onderbuikgevoel ook af en toe even
364
00:21:30,160 --> 00:21:33,780
niet altijd mee te willen nemen, want sommige beslissingen wil je dat onderbuikgevoel juist even weghalen.
365
00:21:33,780 --> 00:21:38,580
En het stukje centraal stellen van gelijke behandeling, zeg maar.
366
00:21:38,580 --> 00:21:41,340
Dus klinkt een beetje paradoxaal, ja.
367
00:21:41,340 --> 00:21:43,060
Het is ook klassiek wat er in de psychologie gebeurt.
368
00:21:43,060 --> 00:21:46,220
Dus uiteindelijk hadden we de black box op een gegeven moment.
369
00:21:46,220 --> 00:21:50,140
Dus de skinner box is het bekende voorbeeld met een muis
370
00:21:50,160 --> 00:21:53,960
die steeds een belletje hoort en dan kijkt hij eten.
371
00:21:53,960 --> 00:21:55,740
Uiteindelijk hoort hij het belletje en dan gaat hij al kwijlen,
372
00:21:55,740 --> 00:21:57,560
of dan zie je al dat hij eten wil.
373
00:21:57,560 --> 00:21:59,580
Of de Pavlov reactie.
374
00:21:59,580 --> 00:22:03,500
Dat was allemaal het idee van, we willen niet meer kijken in de menselijke geest.
375
00:22:03,500 --> 00:22:08,000
We willen eigenlijk alles vanuit externe ideeën, externe data,
376
00:22:08,000 --> 00:22:11,260
willen we dat allemaal kunnen verklaren.
377
00:22:11,260 --> 00:22:14,260
Op een gegeven moment is daar ook in de psychologie een tegenreactie opgekomen.
378
00:22:14,260 --> 00:22:16,860
We willen eigenlijk wel de cognitie meenemen.
379
00:22:16,880 --> 00:22:23,160
We willen dat het in menselijke taal uitlegbaar is wat er gebeurt in een mens en misschien zelfs in een dier.
380
00:22:23,160 --> 00:22:28,280
Ik zie al eenzelfde soort iets waar we misschien met de AI heen kunnen.
381
00:22:28,280 --> 00:22:30,320
Hele mooie.
382
00:22:30,320 --> 00:22:32,880
Joop, heb jij nog een final question aan Sanne?
383
00:22:32,880 --> 00:22:34,400
Is dit een mooie om mee af te ronden?
384
00:22:34,400 --> 00:22:39,160
Nee, ik denk dat het allemaal heel duidelijk is.
385
00:22:39,160 --> 00:22:40,280
Dank je wel, Rijk.
386
00:22:40,280 --> 00:22:46,840
En zeker, nou laten we de link ook in de show notes opnemen naar de workshop.
387
00:22:46,840 --> 00:22:51,600
Ik denk dat het echt superbelangrijk is dat mensen dit ook gaan volgen.
388
00:22:51,600 --> 00:22:56,280
Dus hoe meer mensen begrijpen wat kan, wat niet kan, waar je op moet letten,
389
00:22:56,280 --> 00:22:58,840
welke keuzes je moet maken, ik denk alleen maar beter.
390
00:22:58,840 --> 00:23:01,280
Dus ik dank je voor je inzichten.
391
00:23:01,280 --> 00:23:05,560
Ja, ik wou nog zeggen, dit is Hero en de website is ai.hero.nl.
392
00:23:05,560 --> 00:23:09,440
En neem contact op als je interesse hebt in een workshop.
393
00:23:09,440 --> 00:23:10,840
Zeker wel.
394
00:23:10,840 --> 00:23:12,840
Zeker.
395
00:23:12,840 --> 00:23:14,120
Dankjewel.
396
00:23:14,120 --> 00:23:16,860
Dankjewel luisteraars voor het luisteren deze aflevering.
397
00:23:16,860 --> 00:23:20,040
Rijk, dankjewel dat je ons mee wilde nemen in het stukje psychologie
398
00:23:20,040 --> 00:23:23,280
en alle andere onderwerpen die we hebben aangestipt.
399
00:23:23,280 --> 00:23:24,840
Vond je dit een leuke aflevering?
400
00:23:24,840 --> 00:23:28,160
Vergeet niet te abonneren op je favoriete podcastkanaal.
401
00:23:28,160 --> 00:23:29,480
En tot de volgende keer.
402
00:23:29,480 --> 00:23:31,480
Heel graag gedaan.
403
00:23:31,480 --> 00:23:54,280
(C) TV GELDERLAND 2021