1
00:00:01,960 --> 00:00:05,140
Hoi, leuk dat je weer luistert naar een korte aflevering van AIToday Live.
2
00:00:05,480 --> 00:00:07,000
Mijn naam Joop Snijder, CTO bij Aigency.
3
00:00:08,130 --> 00:00:12,900
Ik wil je meenemen in de vraag: is een fout gemaakt door AI erger dan een fout van de mens?
4
00:00:14,940 --> 00:00:19,360
Kijk, we zijn bezig met het maken van een nieuwe editie van ons kaartspel met de stellingen.
5
00:00:19,790 --> 00:00:25,439
Je kent hem misschien wel. Deze nieuwe editie maken wij samen met het Elisabeth Tweesteden
6
00:00:25,460 --> 00:00:29,320
ziekenhuis, want de stellingen gaan ook over de zorg namelijk.
7
00:00:30,020 --> 00:00:33,880
En zij zijn voorlopers in Nederland in het gebruik van AI in het ziekenhuis.
8
00:00:34,380 --> 00:00:39,520
En dit kaartspel is bedoeld om perspectieven over AI uit te wisselen op een leuke interactieve
9
00:00:39,680 --> 00:00:39,840
manier.
10
00:00:40,580 --> 00:00:46,080
En een van de stellingen die ik zelf erg interessant vind is AI mag geen fouten maken.
11
00:00:46,740 --> 00:00:50,880
Ik heb deze stelling wat gewijzigd tijdens de presentaties die ik de afgelopen tijd gegeven
12
00:00:51,020 --> 00:00:53,020
heb en er dit van gemaakt.
13
00:00:53,280 --> 00:00:57,760
Een fout gemaakt door AI is erger dan een fout van een mens.
14
00:00:59,120 --> 00:01:06,520
Ik speel even een muziekje af van zo'n 20 seconden dat jij als luisteraar even kan bedenken of je het eens bent met deze stelling.
15
00:01:15,540 --> 00:01:16,960
Ik ben benieuwd wat je hebt bedacht.
16
00:01:17,380 --> 00:01:22,980
Nou, de reacties die ik krijg hier op deze stelling, die zijn wisselend eens en oneens.
17
00:01:23,030 --> 00:01:25,100
En dat maakt het ook zo'n interessante stelling.
18
00:01:25,680 --> 00:01:30,460
En zelf vind ik het best wel lastig om stellig te zeggen, ik ben het er mee eens of oneens.
19
00:01:31,120 --> 00:01:33,860
Daarom ben ik gaan zoeken naar studies over dit onderwerp.
20
00:01:34,720 --> 00:01:36,380
En laten we daar eens naar gaan kijken.
21
00:01:37,700 --> 00:01:42,000
Uit wetenschappelijk onderzoek komt namelijk best wel een interessant beeld naar voren.
22
00:01:42,720 --> 00:01:48,200
AI-fouten worden inderdaad harder beoordeeld dan vergelijkbare menselijke fouten.
23
00:01:48,690 --> 00:01:51,440
Een van de studies, je vindt trouwens alle bronnen in de show notes,
24
00:01:51,580 --> 00:02:00,880
een van de studies in de gezondheidszorg laat zien dat mensen een acceptabel foutenpercentage van 6,8% voor AI-systemen hanteren,
25
00:02:01,460 --> 00:02:05,280
terwijl dit voor mensen 11,3% bedraagt.
26
00:02:05,310 --> 00:02:06,500
Dat is best wel een fors verschil.
27
00:02:06,990 --> 00:02:10,759
Dus AI moet dus bijna twee keer zo goed zijn voordat we het accepteren.
28
00:02:11,460 --> 00:02:12,460
Waarom is dat zo?
29
00:02:12,940 --> 00:02:15,940
Mensen maken ongeveer 3 tot 6 fouten per uur.
30
00:02:16,240 --> 00:02:20,600
Dat kan zomaar oplopen tot zo'n 50 fouten per dag in normale werkomgevingen.
31
00:02:21,680 --> 00:02:29,400
Maar we zijn dus toleranter voor die frequente menselijke vergissingen dan voor minder frequente maar meer zichtbare AI fouten.
32
00:02:30,080 --> 00:02:34,720
En een van de hoofdoorzaken is dat we van AI perfectie verwachten.
33
00:02:35,300 --> 00:02:40,300
We verwachten van AI dat het heel consistente resultaten oplevert.
34
00:02:40,820 --> 00:02:47,480
Als een AI systeem faalt, valt dat dus harder op omdat we onrealistische verwachtingen van perfectie hebben.
35
00:02:48,240 --> 00:02:51,080
Dit leidt dan weer tot onevenredig erge teleurstelling.
36
00:02:52,120 --> 00:02:55,620
Laten we eens kijken naar de psychologie achter onze reactie.
37
00:02:57,099 --> 00:02:59,040
Want algoritmeaversie speelt ook een rol.
38
00:03:00,180 --> 00:03:10,640
Dit beschrijft de neiging om menselijke beslissingen te verkiezen boven de algoritmische, zelfs wanneer het algoritme aantoonbaar beter presteert.
39
00:03:11,400 --> 00:03:16,400
En deze bias wordt ook nog eens een keer versterkt wanneer mensen AI zien falen.
40
00:03:17,700 --> 00:03:22,100
Ook speelt het schenden van de verwachtingen mee die we hebben over deze systemen.
41
00:03:22,400 --> 00:03:31,740
Wanneer AI systemen worden gepresenteerd als geavanceerd, betrouwbaar of zelfs intelligent, ontwikkelen gebruikers hoge verwachtingen.
42
00:03:32,700 --> 00:03:42,460
En elke afwijking van die perfecte prestaties creëert dan een negatieve verwachtingsschending, zoals zij het dan noemen,
43
00:03:42,900 --> 00:03:47,020
die het vertrouwen meer beschadigt dan vergelijkbare menselijke fouten zouden doen.
44
00:03:48,420 --> 00:03:54,580
In een van onze eerdere afleveringen spraken we met Ger Jansen van Philips over ethische dilemma's in de medische AI.
45
00:03:55,130 --> 00:03:57,280
En hij zei iets wat hier perfect bij aansluit.
46
00:03:57,900 --> 00:03:59,600
Wij als mensen maken fouten.
47
00:04:00,320 --> 00:04:01,620
Artsen maken ook fouten.
48
00:04:02,200 --> 00:04:04,680
En van AI wordt niet geaccepteerd dat het fouten maakt.
49
00:04:06,980 --> 00:04:11,060
En dat is natuurlijk best wel een soort van tegenstelling.
50
00:04:11,920 --> 00:04:16,060
Interessant genoeg vertoonden mensen namelijk niet alleen algoritme-aversie,
51
00:04:16,420 --> 00:04:21,299
Maar ook een wat dan automatiseringsbias genoemd wordt.
52
00:04:22,060 --> 00:04:26,640
En dit is de neiging om te veel te vertrouwen op geautomatiseerde systemen.
53
00:04:27,080 --> 00:04:28,720
Ondanks tegenstrijdige informatie.
54
00:04:29,190 --> 00:04:31,260
En dit creëert een paradoxale situatie.
55
00:04:31,520 --> 00:04:34,740
Waarbij mensen tegelijkertijd te veel verwachten van AI.
56
00:04:35,540 --> 00:04:37,580
En er te zwaar op leunen.
57
00:04:39,220 --> 00:04:41,040
In aflevering 21 van seizoen 5.
58
00:04:41,900 --> 00:04:45,540
Besprak ik het verhaal van een advocaat met 30 jaar ervaring.
59
00:04:45,740 --> 00:04:48,400
die ChatGPT gebruikte om jurisprudentie te schrijven.
60
00:04:48,910 --> 00:04:52,840
Hij vertrouwde zo op de output dat hij de resultaten niet controleerde.
61
00:04:52,960 --> 00:04:56,160
Het bleek dat de AI verzonnen rechtszaken had geciteerd.
62
00:04:56,640 --> 00:04:59,920
En toen hij aan ChatGPT vroeg of de cases echt bestonden,
63
00:05:00,580 --> 00:05:02,620
antwoordde de AI bevestigend.
64
00:05:03,520 --> 00:05:08,740
En het overdreven vertrouwen leidde in ieder geval bij hem tot een zeer pijnlijke les.
65
00:05:12,280 --> 00:05:15,960
Er is nog iets heel aparts wat terugkomt uit de onderzoeken.
66
00:05:16,190 --> 00:05:21,440
En dat is namelijk dat het vermenselijke van de AI ons toleranter maakt.
67
00:05:22,220 --> 00:05:28,600
Want het blijkt namelijk hoe meer we AI vermenselijken, hoe toleranter we worden voor de fouten die AI maakt.
68
00:05:29,660 --> 00:05:36,420
Onderzoek toont aan dat chatbots met menselijke eigenschappen meer vergeving krijgen voor hun fouten.
69
00:05:37,120 --> 00:05:38,480
En dit gebeurt namelijk op twee manieren.
70
00:05:38,600 --> 00:05:45,720
We ervaren de ernst van de fout als minder erg en we gaan de fouten meer aan onszelf wijten dan aan de AI.
71
00:05:46,660 --> 00:05:55,000
Dit verklaart waarom sommige AI assistenten misschien wel bewust menselijke trekjes krijgen, zoals het excuses aanbieden of onzekerheid tonen.
72
00:05:56,100 --> 00:06:04,160
Het maakt in ieder geval ons meer begripvol voor hun beperkingen, alsof we het te maken hebben met een collega die zijn best doet in plaats van een machine die perfect zou moeten zijn.
73
00:06:05,140 --> 00:06:07,220
Ik moet zeggen dat ik dit best wel lastig vind.
74
00:06:07,700 --> 00:06:11,040
Ik ben juist voorstander van het niet vermenselijke van AI-technologie.
75
00:06:12,080 --> 00:06:18,120
In eerdere afleveringen heb ik al benadrukt dat we AI juist moeten zien als een gereedschap en niet als iets menselijk.
76
00:06:18,740 --> 00:06:28,640
Dit onderzoek laat zien dat vermenselijking misschien wel helpt om realistische verwachtingen te temperen of daar beter mee om te gaan.
77
00:06:29,620 --> 00:06:34,100
Dit moet ik in ieder geval even zelf verwerken en over nadenken wat ik hiervan vind.
78
00:06:36,940 --> 00:06:40,300
Er is in ieder geval een duidelijk verschil in de foutenpatroon.
79
00:06:40,660 --> 00:06:42,700
AI maakt andere soorten fouten dan mensen.
80
00:06:43,220 --> 00:06:48,520
Waar jij als mens misschien vandaag moe bent en daarom een fout maakt die je morgen niet zou maken.
81
00:06:49,000 --> 00:06:52,560
Daar maakt AI steeds dezelfde fouten in dezelfde situaties.
82
00:06:53,280 --> 00:06:56,820
Het is in die zin voorspelbaarder, maar ook hardnekkiger.
83
00:06:57,340 --> 00:07:00,119
Menselijke fouten zijn willekeuriger en contextafhankelijker.
84
00:07:00,140 --> 00:07:00,880
Afhankelijker.
85
00:07:01,410 --> 00:07:09,920
Ze ontstaan dus door factoren zoals vermoeidheid, afleiding, misschien je emotionele toestand en de grenzen sowieso van je menselijke cognitie.
86
00:07:10,920 --> 00:07:20,420
Dus hoewel mensen elkaar fouten maken, worden deze fouten vaak als meer begrijpelijk gezien, omdat we ons kunnen relateren aan die onderliggende oorzaken.
87
00:07:23,020 --> 00:07:29,860
De vraag openstaan, is een fout van AI erger dan die van een mens?
88
00:07:30,480 --> 00:07:42,020
De onderzoekers suggereren dat AI-fouten niet inherent erger zijn dan menselijke fouten, maar dus wel als erger worden ervaren door de psychologische biases en onrealistische verwachtingen.
89
00:07:42,640 --> 00:07:45,860
Deze perfectiekloof heeft belangrijke implicaties.
90
00:07:46,800 --> 00:07:59,360
Oneerlijke evaluatiestandaarden kunnen adoptie van nuttige AI-systemen voorkomen, terwijl de verwachtingen van het perfectionisme juist kunnen leiden tot voortijdige afwijzing van nuttige, maar misschien wel onvolmaakte AI-tools.
91
00:08:00,500 --> 00:08:06,860
En dan is er ook nog wel iets grappigs, want Julia Jansen vertelde ons in seizoen 6 dat fouten ook kunnen inspireren.
92
00:08:07,340 --> 00:08:12,460
Dat je iets doet wat onverwachts eruit komt waarvan je denkt, hé, maar dit is eigenlijk heel gaaf.
93
00:08:12,760 --> 00:08:14,420
En daar kan je dan op voortboorduren.
94
00:08:15,080 --> 00:08:18,540
Kijk, de meeste ontdekkingen worden gedaan op de meest willekeurige momenten.
95
00:08:18,830 --> 00:08:24,840
Dus misschien moeten we niet alleen kijken naar hoe we fouten kunnen voorkomen, maar ook hoe we er beter mee om kunnen gaan.
96
00:08:26,880 --> 00:08:30,680
Dus misschien is de sleutel niet om AI-fouten volledig te elimineren.
97
00:08:31,260 --> 00:08:32,960
Wat misschien denk ik ook zelfs onmogelijk is.
98
00:08:33,039 --> 00:08:37,419
Maar juist om de verwachtingen te managen, transparantie te verbeteren en interacties te ontwerpen.
99
00:08:37,560 --> 00:08:41,280
Die rekening houden met in ieder geval die menselijke psychologische biases.
100
00:08:42,000 --> 00:08:44,039
Ik ben heel benieuwd hoe jij erover denkt.
101
00:08:45,140 --> 00:08:48,400
Voel jij ook dan een fout van AI erger is dan een fout van een mens?
102
00:08:48,700 --> 00:08:50,920
Zo ja, zo nee. Waarom denk je dat dat zo is?
103
00:08:51,340 --> 00:08:54,040
Deel je gedachten met ons via LinkedIn of stuur een berichtje.
104
00:08:54,180 --> 00:08:55,260
Ik hoor heel graag van je.
105
00:08:56,040 --> 00:09:01,280
En zoals altijd, bedenk, AI is niet de oplossing voor elk probleem, maar onmisbaar waar het past.
106
00:09:02,040 --> 00:09:04,300
Dankjewel weer voor het luisteren. Tot de volgende keer.
