AIToday Live

S07E88 - Agent washing: de verborgen waarheid achter AI-beloftes

Aigency by Info Support Season 7 Episode 88

In deze aflevering van AIToday Live staat het hoge percentage mislukte AI-agent projecten centraal. Gartner voorspelt dat meer dan 40% van deze projecten voor eind 2027 geannuleerd zal worden.

Joop Snijder bespreekt vijf hoofdoorzaken voor het falen van AI-agent implementaties, waaronder te ambitieuze doelstellingen en onvoldoende menselijke supervisie. Hij benadrukt het belang van realistische verwachtingen en een stapsgewijze aanpak.

De podcast biedt praktische adviezen voor succesvolle AI-agent projecten, zoals het starten met een gerichte pilot en het investeren in menselijke samenwerking. Snijder waarschuwt ook voor 'agent washing' door leveranciers die bestaande technologie als AI-agents verkopen.

Onderwerpen

  • Redenen voor falen van AI-agent projecten
  • Agent washing en de realiteit van AI-agents
  • Implementatie-uitdagingen en dataproblemen
  • Belang van menselijke supervisie en samenwerking
  • Definiëren van succescriteria en organisatorische steun
Links

Stuur ons een bericht

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

1
00:00:02,360 --> 00:00:05,460
Hoi, welkom weer bij een korte aflevering van AIToday Live.

2
00:00:05,860 --> 00:00:07,420
Mijn naam Joop Snijder, CTO bij Aigency.

3
00:00:07,980 --> 00:00:12,180
En vandaag gaan we het hebben over waarom 40% van alle AI-agents projecten mislukt.

4
00:00:13,160 --> 00:00:13,360
Oei.

5
00:00:14,280 --> 00:00:16,280
Je opent LinkedIn en daar staat het weer.

6
00:00:16,480 --> 00:00:18,000
AI-agents gaat alles veranderen.

7
00:00:19,120 --> 00:00:24,000
Een consultant toont trots hoe zijn nieuwe agent binnen enkele seconden een complete rapportage schrijft.

8
00:00:24,820 --> 00:00:29,320
En een softwareleverancier belooft dat een agent je hele klantenservice kan overnemen.

9
00:00:29,760 --> 00:00:35,160
En jij? Jij vraagt je misschien wel af waarom jouw AI Agent project al maanden muur vast zit.

10
00:00:35,960 --> 00:00:38,860
Welkom bij de harde realiteit van AI Agents.

11
00:00:40,680 --> 00:00:42,720
Kijk, het volgende is er aan de hand.

12
00:00:42,880 --> 00:00:50,180
Gardner voorspelt dat meer dan 40% van alle AI Agent projecten voor eind 2027 geannuleerd wordt.

13
00:00:50,370 --> 00:00:53,260
Dus niet uitgesteld, niet bijgesteld, gewoon geannuleerd.

14
00:00:53,940 --> 00:00:57,880
Nou, vandaag vertel ik je waarom zoveel bedrijven falen met AI Agents.

15
00:00:57,920 --> 00:01:00,820
en belangrijker hoe jouw project die statistiek kan ontlopen.

16
00:01:02,060 --> 00:01:05,480
En laten we beginnen namelijk met het grootste probleem in de markt

17
00:01:05,480 --> 00:01:06,820
en dat is agent washing.

18
00:01:07,880 --> 00:01:12,280
Gartners schat dat slechts ongeveer 130 van de duizenden

19
00:01:12,480 --> 00:01:15,280
zogenaamde AI agent leveranciers echt zijn.

20
00:01:15,760 --> 00:01:18,220
De rest die hebben gewoon hun bestaande chatbot

21
00:01:18,360 --> 00:01:20,980
of automatiserings tool omgedoopt tot agent.

22
00:01:21,740 --> 00:01:25,700
Stel je voor je koopt een autonome AI agent voor je klantenservice

23
00:01:25,720 --> 00:01:30,300
En na weken implementatie blijkt het gewoon een chatbot met wat extra if-then-else regels.

24
00:01:30,460 --> 00:01:33,020
Geen autonomie, geen leervermogen, geen agent.

25
00:01:34,080 --> 00:01:37,780
Dan ben je gewoon slachtoffer geworden van agent washing.

26
00:01:38,140 --> 00:01:46,880
Het opnieuw verpakken van bestaande producten zoals AI-assistenten, RPA, robotic process automation en chatbots.

27
00:01:47,200 --> 00:01:50,760
Zonder substantiële agentic capaciteiten.

28
00:01:52,080 --> 00:01:54,060
Ik vind dat niet een klein probleem.

29
00:01:54,800 --> 00:02:04,820
Want zoals we in dit seizoen aflevering 4 bespraken, zijn echte AI agent systemen die hun omgeving waarnemen, zelfstandig handelen en leren van hun ervaringen.

30
00:02:05,240 --> 00:02:09,820
En het chatbot die alleen vooraf geprogrammeerde antwoorden geeft, dat is geen agent.

31
00:02:10,110 --> 00:02:11,560
Dat is gewoon een chatbot.

32
00:02:13,180 --> 00:02:18,080
Maar goed, zelfs als je een echte AI agent hebt, dan beginnen de problemen echt.

33
00:02:18,150 --> 00:02:20,400
Of problemen, laten we het uitdagingen noemen.

34
00:02:21,000 --> 00:02:24,280
Want hier is wat die glimmende demo's je niet vertellen.

35
00:02:24,640 --> 00:02:28,300
AI agents implementeren kan echt wel complex zijn.

36
00:02:29,140 --> 00:02:37,400
Denk aan een verzekeraar die een AI agent ontwikkelt voor bijvoorbeeld geautomatiseerde schadeafhandeling.

37
00:02:38,120 --> 00:02:42,060
De agent kan foto's analyseren, schade inschatten en uitkeringen berekenen.

38
00:02:44,040 --> 00:02:48,560
Maar ja, dan komen de eerste AI gegenereerde nepschades binnen.

39
00:02:48,920 --> 00:02:52,240
Fraudeurs gebruiken tegenwoordig AI om perfecte vervalsingen te maken.

40
00:02:52,380 --> 00:02:54,040
Van autodeuken tot waterschade.

41
00:02:54,280 --> 00:02:55,980
Alles ziet er fotograafisch echt uit.

42
00:02:56,500 --> 00:02:59,920
En de agent getraind op echte schades kan het verschil dan niet zien.

43
00:03:00,660 --> 00:03:03,060
En de verzekeraar staat dan voor onmogelijke keuzes.

44
00:03:03,500 --> 00:03:04,500
De agent werkt perfect.

45
00:03:05,440 --> 00:03:07,020
Maar wel voor de problemen van gisteren.

46
00:03:10,900 --> 00:03:16,700
In een wereld waar elke fraudeur toegang heeft tot AI tools die fotorealistische schade kunnen genereren.

47
00:03:17,520 --> 00:03:22,000
Ja dan heb je in één keer te maken met agents die plotseling een risico worden in plaats van een oplossing.

48
00:03:23,260 --> 00:03:26,420
En dan moet je het project misschien wel volledig heroverwegen.

49
00:03:26,840 --> 00:03:32,100
En niet omdat de technologie faalt, maar omdat de wereld sneller verandert dan de agent kan bijhouden.

50
00:03:33,040 --> 00:03:39,380
Nou zijn er even door de bank genomen vijf hoofdoorzaken van het falen.

51
00:03:40,140 --> 00:03:44,440
Want uit zowel onderzoek als praktijk zie ik vijf terugkerende patronen.

52
00:03:44,940 --> 00:03:47,260
Eén is namelijk dat het te groot wordt begonnen.

53
00:03:47,600 --> 00:03:48,540
Dat is een klassiek probleem.

54
00:03:48,780 --> 00:03:53,300
Je wilt meteen je hele klantenservice automatiseren in plaats van met één specifiek proces te beginnen.

55
00:03:54,050 --> 00:03:59,200
Een voorbeeld, je zou kunnen denken aan een retailer die een agent wil die alles kan.

56
00:03:59,640 --> 00:04:04,040
Vragen beantwoorden, bestellingen opnemen, klachten afhandelen, retouren verwerken.

57
00:04:04,700 --> 00:04:07,760
Het resultaat, een agent die uiteindelijk niks goed doet.

58
00:04:08,939 --> 00:04:13,780
Als zo'n retailer zou beginnen met alleen het beantwoorden van bijvoorbeeld voorraadvragen,

59
00:04:14,740 --> 00:04:17,320
dan heb je in ieder geval een werkende basis.

60
00:04:18,660 --> 00:04:22,180
Nummer twee is onvoldoende menselijke supervisie.

61
00:04:22,380 --> 00:04:28,780
Dus als je AI agents, die zijn niet zoals ze zo mooi in het Engels zeggen, set it and forget it oplossingen.

62
00:04:29,300 --> 00:04:31,980
Ze hebben continue monitoring en bijsturing nodig.

63
00:04:32,620 --> 00:04:36,360
Maar veel organisaties onderschatten dit toch wel volledig.

64
00:04:36,880 --> 00:04:41,100
Want de wereld verandert, je klant verandert, de data verandert.

65
00:04:41,440 --> 00:04:44,040
Dus je agent zal snel moeten meebewegen.

66
00:04:44,760 --> 00:04:47,840
En dat kan niet zonder de menselijke supervisie.

67
00:04:48,340 --> 00:04:50,160
De agent leert niet uit zichzelf.

68
00:04:51,520 --> 00:04:53,940
Drie, data en integratie problemen.

69
00:04:55,020 --> 00:04:56,540
Onze systemen integreren niet.

70
00:04:57,600 --> 00:04:58,000
Zo dan.

71
00:04:58,500 --> 00:05:00,220
Onze systemen integreren niet.

72
00:05:00,700 --> 00:05:01,880
Dat horen we heel vaak.

73
00:05:02,220 --> 00:05:07,460
AI agents hebben het liefst schone gestructureerde data nodig.

74
00:05:08,060 --> 00:05:12,020
Maar de meeste bedrijven hebben data verspreid over tientallen systemen.

75
00:05:12,160 --> 00:05:13,380
Elk met een eigen formaat.

76
00:05:14,220 --> 00:05:19,040
De data is vaak voor de operatie en niet zozeer voor analyse.

77
00:05:20,920 --> 00:05:24,260
En dan wordt het gewoon heel erg lastig.

78
00:05:24,600 --> 00:05:29,400
Denk aan een financiële dienstverlener die bijvoorbeeld een agent zou willen bouwen voor hypotheekaanvragen.

79
00:05:29,600 --> 00:05:33,900
Klantdata's in de Salesforce, financiële data in SAP, documenten in SharePoint.

80
00:05:34,720 --> 00:05:39,000
De agent moet het maar voor elkaar zien te krijgen om daar een compleet beeld uit te vormen.

81
00:05:40,900 --> 00:05:44,180
Grote kans dat het project vastloopt op allerlei technische complexiteit.

82
00:05:45,260 --> 00:05:45,560
Vier.

83
00:05:46,850 --> 00:05:49,100
Dat je geen duidelijke succesmetrieken hebt.

84
00:05:50,460 --> 00:05:52,540
We willen gewoon AI gebruiken.

85
00:05:52,920 --> 00:05:54,200
Is geen strategie.

86
00:05:54,540 --> 00:05:55,680
Toch hoor ik dit heel vaak.

87
00:05:56,200 --> 00:05:57,580
Bedrijven komen met deze vraag.

88
00:05:58,360 --> 00:05:59,340
En ik snap dat wel.

89
00:05:59,860 --> 00:06:01,400
Alleen als je niet weet.

90
00:06:01,870 --> 00:06:03,180
Wat je succes.

91
00:06:03,580 --> 00:06:04,820
Hoe je succes gaat meten.

92
00:06:04,920 --> 00:06:06,040
Hoe moet je dan weten.

93
00:06:08,640 --> 00:06:10,440
Of je agent ook doet.

94
00:06:10,660 --> 00:06:11,240
Wat je zou willen.

95
00:06:11,900 --> 00:06:13,220
Wat is succes dan?

96
00:06:13,310 --> 00:06:15,380
Is dat 20% minder verwerkingstijd?

97
00:06:15,860 --> 00:06:17,320
50% minder fouten?

98
00:06:17,920 --> 00:06:20,280
Als je dit vooraf niet definieert.

99
00:06:20,360 --> 00:06:22,740
Weet je ook niet wanneer je project slaagt of faalt.

100
00:06:23,680 --> 00:06:24,220
Nummer 5.

101
00:06:25,040 --> 00:06:25,920
Organisatorische weerstand.

102
00:06:26,300 --> 00:06:26,860
Hele belangrijk.

103
00:06:27,170 --> 00:06:30,020
Want dit is echt wel de stille killer van AI projecten.

104
00:06:31,280 --> 00:06:32,920
En ook dus van AI agents.

105
00:06:33,720 --> 00:06:35,420
Medewerkers die bang zijn voor hun baan.

106
00:06:36,320 --> 00:06:38,160
Managers die hun macht zien verdwijnen.

107
00:06:38,420 --> 00:06:40,340
Teams die gewoon niet willen veranderen.

108
00:06:42,480 --> 00:06:45,080
die weerstand komt vaak voort uit onzekerheid

109
00:06:45,080 --> 00:06:46,440
en gebrek aan begrip

110
00:06:46,470 --> 00:06:49,060
dus als je je mensen niet meeneemt in de verandering

111
00:06:49,560 --> 00:06:53,100
dan kunnen ze uiteindelijk bewust of onbewust

112
00:06:53,190 --> 00:06:55,300
misschien zelfs wel je project saboteren

113
00:06:56,740 --> 00:06:58,680
maar genoeg over obstakels

114
00:06:58,860 --> 00:07:00,860
want ondanks al deze uitdagingen

115
00:07:01,040 --> 00:07:03,800
geloof ik in het potentieel van deze AI agents

116
00:07:04,360 --> 00:07:05,340
de vraag alleen is

117
00:07:05,480 --> 00:07:06,699
hoe doe je het wel goed

118
00:07:08,920 --> 00:07:10,540
het blijkt een open duur

119
00:07:10,600 --> 00:07:12,420
maar het is gewoon echt belangrijk

120
00:07:13,340 --> 00:07:14,560
dat je begint met een pilot

121
00:07:14,800 --> 00:07:15,960
kies gewoon één proces

122
00:07:16,420 --> 00:07:17,980
één team, één duidelijk doel

123
00:07:18,360 --> 00:07:20,520
en analyseer eerst je totale bedrijfsproces

124
00:07:21,320 --> 00:07:23,060
identificeer de echte knelpunten

125
00:07:23,500 --> 00:07:25,160
en dan kan je bepalen

126
00:07:25,300 --> 00:07:27,560
namelijk welke vorm van intelligentie je nodig hebt

127
00:07:28,400 --> 00:07:30,140
dat reken je dan door met een business case

128
00:07:32,620 --> 00:07:34,839
investeer ook in de menselijke samenwerking

129
00:07:34,900 --> 00:07:39,440
Dus AI agents moeten wat mij betreft mensen versterken en juist niet vervangen.

130
00:07:39,720 --> 00:07:43,960
Dus zorg voor goede training, duidelijke communicatie over wat de agent wel en niet kan.

131
00:07:44,560 --> 00:07:46,740
En maak continue feedback loops.

132
00:07:48,200 --> 00:07:51,600
Maar wees ook realistisch over de data en de integratie.

133
00:07:51,700 --> 00:07:54,540
Je hoeft niet alle data perfect te hebben voordat je begint.

134
00:07:55,340 --> 00:07:59,760
Een van de valkuilen is dat de data echt zo slecht is dat het gewoon niet handig is.

135
00:07:59,800 --> 00:08:01,560
Maar het hoeft ook weer niet perfect te zijn.

136
00:08:02,060 --> 00:08:04,220
Als je maar wel eerlijk bent over de beperkingen.

137
00:08:04,460 --> 00:08:08,260
Dus start met de data die je hebt en bouw dat incrementeel uit.

138
00:08:08,350 --> 00:08:11,360
Als je ziet dat je bepaalde data mist, kan je die opnieuw gaan verzamelen.

139
00:08:11,490 --> 00:08:14,100
Je kan je data, je kwaliteit kan je verhogen.

140
00:08:15,020 --> 00:08:19,560
Maar accepteer op zijn minst dat perfectie een illusie is met deze technologie.

141
00:08:21,300 --> 00:08:23,720
Dan definieer je concrete succescriteria.

142
00:08:25,440 --> 00:08:26,980
Dat is de tegenhanger van de valkuil.

143
00:08:27,140 --> 00:08:29,940
Wat moet je agent precies bereiken? Hoe meet je dat?

144
00:08:30,370 --> 00:08:32,140
Wanneer is goed genoeg?

145
00:08:32,800 --> 00:08:35,700
En dit schrijf je dan ook op voordat je begint.

146
00:08:35,860 --> 00:08:37,080
Dus niet ergens halverwege.

147
00:08:37,240 --> 00:08:38,440
Je gaat het ook niet veranderen.

148
00:08:39,039 --> 00:08:39,979
Dat bepaal je aan het begin.

149
00:08:40,240 --> 00:08:42,740
Zodat je heel goed kan bepalen ben je op weg naar het succes.

150
00:08:44,000 --> 00:08:44,760
En als laatste.

151
00:08:46,100 --> 00:08:47,520
Creëer organisatorische buy-in.

152
00:08:47,740 --> 00:08:49,400
Dus betrek mensen vanaf dag 1.

153
00:08:49,680 --> 00:08:50,600
Laat ze meedenken.

154
00:08:50,860 --> 00:08:51,820
Mee experimenteren.

155
00:08:51,980 --> 00:08:52,700
Fouten maken.

156
00:08:53,560 --> 00:08:54,800
Via kleine successen.

157
00:08:55,080 --> 00:08:57,500
Maar wees ook transparant over de uitdagingen.

158
00:08:57,640 --> 00:08:59,280
En de tegenslagen waar je tegenaan komt.

159
00:09:02,380 --> 00:09:06,140
Dit wil ik ook nog wel kwijt, want hier is wat niemand je op LinkedIn vertelt.

160
00:09:06,800 --> 00:09:14,280
AI agents hebben een succespercentage op dit moment van zo'n 30 tot 35 procent voor wat we dan noemen multistep taken.

161
00:09:14,540 --> 00:09:19,400
Dus dat het echt wel hele complexe taken zijn die achter elkaar worden uitgevoerd.

162
00:09:20,240 --> 00:09:25,880
Dat betekent dat zelfs goed gebouwde agents twee derde van de tijd falen bij echt hele complexe opdrachten.

163
00:09:26,580 --> 00:09:28,460
Is dat erg? Ik denk het nee, niet per se.

164
00:09:28,780 --> 00:09:32,660
Dus een mens die 35% van die hele complexe taken uitvoert.

165
00:09:33,200 --> 00:09:34,980
Zou best wel een hele goede medewerker zijn.

166
00:09:35,740 --> 00:09:38,980
Het probleem is dat we van AI agents perfectie verwachten.

167
00:09:41,340 --> 00:09:45,300
Als je nou AI agents wil inkopen.

168
00:09:45,450 --> 00:09:47,599
Dan zijn er een aantal red flags bij leveranciers.

169
00:09:48,500 --> 00:09:51,100
Let op deze waarschuwingssignalen van agent washing.

170
00:09:52,560 --> 00:09:55,560
Kan de leverancier je uitleggen hoe een agent leert?

171
00:09:57,200 --> 00:10:01,940
De demo's, werken die alleen met hun eigen voorbeelden of kan je zelf ook dingen aandragen?

172
00:10:03,620 --> 00:10:05,860
Is er een duidelijke roadmap voor integraties?

173
00:10:06,520 --> 00:10:10,940
Als er beloftes zijn van 100% automatisering zou ik me achter mijn oren krabben.

174
00:10:11,800 --> 00:10:14,640
En zijn er ook referenties van vergelijkbare implementaties?

175
00:10:15,500 --> 00:10:22,260
En prijzen die te mooi lijken om waar te zijn, zijn natuurlijk ook altijd een waarschuwingssignaal.

176
00:10:23,240 --> 00:10:27,440
Een echte AI agent leverancier kan je precies vertellen wat een systeem wel en niet kan.

177
00:10:28,000 --> 00:10:32,220
Welke data het nodig heeft en waar menselijke supervisie essentieel blijft.

178
00:10:33,620 --> 00:10:36,460
Ondanks al deze uitdaging blijf ik optimistisch.

179
00:10:36,720 --> 00:10:41,560
Want het is uiteindelijk een technologie die echt wel mooie grote stappen kan maken.

180
00:10:41,980 --> 00:10:46,980
De bedrijven die zo direct slagen met AI agents zijn niet degene met de grootste budgetten of de beste technologie.

181
00:10:47,460 --> 00:10:50,160
Het zijn de bedrijven die realistisch zijn over wat mogelijk is.

182
00:10:50,360 --> 00:10:53,400
Die investeren in de mensen en die stap voor stap bouwen aan de toekomst.

183
00:10:54,860 --> 00:10:59,840
Die 40% faal ratio van AI agents projecten is geen noodlot.

184
00:10:59,840 --> 00:11:00,700
Het is een waarschuwing.

185
00:11:00,780 --> 00:11:05,560
Het is een oproep juist van mij om slimmer, voorzichtiger en mensgerichter te werk te gaan.

186
00:11:05,640 --> 00:11:06,160
Begin klein.

187
00:11:06,580 --> 00:11:10,800
Een agent die één ding goed doet is waardevoller dan een agent die alles half kan.

188
00:11:11,460 --> 00:11:12,440
Investeer in je mensen.

189
00:11:12,900 --> 00:11:16,840
Want zij maken uiteindelijk het verschil tussen een werkende agent en een dure mislukking.

190
00:11:17,620 --> 00:11:18,360
Wees kritisch.

191
00:11:18,980 --> 00:11:22,660
Niet elke leverancier die agent roept verkoopt ook een echte agent.

192
00:11:22,860 --> 00:11:24,340
En vooral blijf leren.

193
00:11:26,460 --> 00:11:31,080
En bedenk, AI is niet de oplossing voor elk probleem, maar onmisbaar waar het past.

194
00:11:31,640 --> 00:11:32,620
Dankjewel weer voor het luisteren.

195
00:11:35,500 --> 00:11:38,760
De bronnen die ik gebruikt heb voor deze aflevering vind je in de show notes.

196
00:11:39,260 --> 00:11:40,340
Dan kun je alles goed nalezen.

197
00:11:40,980 --> 00:11:43,680
Als je dat wil, vergeet je niet te abonneren via de voorafrede podcast.

198
00:11:44,100 --> 00:11:45,100
Miss je geen aflevering.

199
00:12:14,220 --> 00:12:14,240
 

People on this episode