1
00:00:00,001 --> 00:00:07,000
Hoi, leuk dat je weer luistert naar een korte aflevering van AIToday Live.
2
00:00:07,000 --> 00:00:13,080
De boeiende Nederlandse podcast voor iedereen die geïnteresseerd is in kunstmatige intelligentie,
3
00:00:13,080 --> 00:00:14,680
ongeacht je technische achtergrond.
4
00:00:14,680 --> 00:00:21,520
Dit is de afsluiting van de drieluik waar we het hebben gehad over hoe zet je nou een
5
00:00:21,520 --> 00:00:24,040
goed AI-experiment op.
6
00:00:24,040 --> 00:00:26,080
Dus vandaag sluiten we hem af.
7
00:00:26,080 --> 00:00:32,640
Heb je deel 1 en deel 2 nog niet geluisterd, dan ga die uiteraard even luisteren.
8
00:00:32,640 --> 00:00:40,520
Maar voordat ik begin met deze deel 3, even een hele korte terugblik op wat we hebben
9
00:00:40,520 --> 00:00:43,360
gedaan en waar we dan nu zijn gekomen.
10
00:00:43,360 --> 00:00:46,960
In deel 1 hebben we vooral gekeken naar de praktijkcase.
11
00:00:46,960 --> 00:00:52,520
Universiteit krijgt veel vragen van studenten over toelatingseisen en daar moet best wel
12
00:00:52,520 --> 00:00:54,400
heel veel meel voor beantwoorden.
13
00:00:54,400 --> 00:01:01,040
Dus dan hebben we eigenlijk gezegd dat het doel is om werkdruk van medewerkers die verantwoordelijk
14
00:01:01,040 --> 00:01:06,640
zijn voor het beantwoorden van dat soort vragen te verlagen door een AI-gestuurde chatbot
15
00:01:06,640 --> 00:01:07,800
om die in te zetten.
16
00:01:07,800 --> 00:01:14,080
En dat zou moeten resulteren in een grote vermindering van het aantal te beantwoorden
17
00:01:14,080 --> 00:01:15,080
e-mails.
18
00:01:15,080 --> 00:01:18,320
Waardoor de efficiëntie wordt verhoogd, kosten wordt bespaard.
19
00:01:18,320 --> 00:01:20,240
Nou, dat dus.
20
00:01:20,240 --> 00:01:24,160
En daar hebben we een hele duidelijke hypothese uiteindelijk op gesteld.
21
00:01:24,160 --> 00:01:28,800
We hebben gezegd dat een gespecialiseerde chatbot voor het beantwoorden van toelatingseisen
22
00:01:28,800 --> 00:01:33,600
verlaagt het aantal mails dat wij moeten beantwoorden met 70% voor het eind van het jaar.
23
00:01:33,600 --> 00:01:37,040
Daar zijn we in deel 2 op gekomen.
24
00:01:37,040 --> 00:01:43,280
We hebben gekeken hoe meet je dat dan en waar leg je dan de lat om te weten of dat experiment
25
00:01:43,280 --> 00:01:44,280
gelukt is.
26
00:01:44,280 --> 00:01:47,560
Omdat het niet per se over die 70% in je experiment gaat.
27
00:01:47,560 --> 00:01:49,800
Maar luister dat dan eventjes terug.
28
00:01:49,800 --> 00:01:56,360
Dus we weten wat we willen, we weten hoe we aan de slag gaan en we weten hoe we het
29
00:01:56,360 --> 00:01:57,360
moeten meten.
30
00:01:57,360 --> 00:02:03,040
Maar nu we daar dan zo mee bezig zijn is het ook wel heel goed om na te denken, dus dat
31
00:02:03,040 --> 00:02:10,920
is eigenlijk de volgende stap in het definiëren van je experiment, is wat zou er nou mogelijk
32
00:02:10,920 --> 00:02:19,640
kunnen optreden voordat het experiment plaatsvindt of gedurende het experiment waardoor het uit
33
00:02:19,640 --> 00:02:22,400
voeren van het experiment geen zin heeft.
34
00:02:22,400 --> 00:02:26,640
Denk aan privacywetgeving, AVG, GDPR.
35
00:02:26,640 --> 00:02:33,800
Dat je erachter komt dat je de mails dat daar zoveel persoonlijke informatie in zit, dat
36
00:02:33,800 --> 00:02:37,640
je daar zoveel problemen mee krijgt om dat te verwerken, dat je zegt 'dan gaan we toch
37
00:02:37,640 --> 00:02:39,960
het experiment uiteindelijk niet aan'.
38
00:02:39,960 --> 00:02:44,600
Denk ook aan de aankomende EU AI Act.
39
00:02:44,600 --> 00:02:50,680
Je maakt uiteindelijk een systeem voor meerdere jaren, die gaat zo direct spelen, dus dan
40
00:02:50,680 --> 00:02:53,280
ga je nadenken 'heeft dit invloed?
41
00:02:53,280 --> 00:02:54,960
Zo ja, welke?'
42
00:02:54,960 --> 00:02:59,520
En als dat het nemen van maatregelen is, ga je die gewoon opschrijven.
43
00:02:59,520 --> 00:03:04,680
Maar misschien kom je erachter dat je zegt 'ja maar als dit optreedt dan heeft het experiment
44
00:03:04,680 --> 00:03:05,680
geen zin'.
45
00:03:05,680 --> 00:03:07,040
En dan stop je.
46
00:03:07,040 --> 00:03:08,880
Zo simpel is het.
47
00:03:08,880 --> 00:03:12,160
En dit is eigenlijk ook het moment, dus dan heb je dat klaar.
48
00:03:12,160 --> 00:03:19,880
Dus je hebt je doel, hypothese meten, we hebben aan welk niveau moet het experiment
49
00:03:19,880 --> 00:03:25,760
voldoen, zijn er mogelijkheden dat we moeten stoppen, dat je terug gaat naar je hypothese.
50
00:03:25,760 --> 00:03:30,080
Dat je denkt 'ja maar ik wilde het namelijk in een hele korte periode, wil ik deze hypothese
51
00:03:30,080 --> 00:03:35,480
bewijzen, zou ik de hypothese misschien nog wat kleiner kunnen maken?
52
00:03:35,480 --> 00:03:42,360
Het duidelijker kunnen maken en specifieker kunnen zijn in wat we gaan doen om zo snel
53
00:03:42,360 --> 00:03:49,320
mogelijk erachter te komen 'ja heeft uiteindelijk het experiment het idee wat we hebben waarde?'
54
00:03:49,320 --> 00:03:55,640
En wat je zou kunnen doen, dus we hadden gezegd het aantal mails moeten we met 70% naar beneden
55
00:03:55,640 --> 00:04:01,920
krijgen en misschien in het experiment hadden we gezegd 'nou ja 60% ofzo'.
56
00:04:01,920 --> 00:04:04,520
Als dat zou lukken zouden we al heel eind zijn.
57
00:04:04,520 --> 00:04:08,720
Maar misschien kan je ook wel zeggen 'ja maar we doen het op een hele specifieke categorie,
58
00:04:08,720 --> 00:04:11,560
of voor een heel specifiek type student'.
59
00:04:11,560 --> 00:04:16,640
Of nou ja zo kan je zeg maar horizontaal, verticaal, als je dat even nadenkt zeg maar
60
00:04:16,640 --> 00:04:23,400
in jouw business, dan kan je product georiënteerd kijken, je kan categorie georiënteerd kijken,
61
00:04:23,400 --> 00:04:26,480
je kan over gebruikers, leveranciers.
62
00:04:26,480 --> 00:04:32,560
Er zijn allerlei doorsnede te maken waardoor je het experiment nog kleiner kan maken.
63
00:04:32,560 --> 00:04:39,560
En als we dat hebben, wat we dan gaan doen, want dan heb je eigenlijk het moeilijkste
64
00:04:39,560 --> 00:04:40,560
heb je erop zitten.
65
00:04:40,560 --> 00:04:47,080
Wat we dan gaan doen is alles noteren dat nodig is om dit experiment uit te voeren.
66
00:04:47,080 --> 00:04:52,360
Dus dan heb je het echt over wie, wat, waar, wanneer, hoe ziet het eruit.
67
00:04:52,360 --> 00:04:54,000
Laten we bij dat laatste beginnen.
68
00:04:54,000 --> 00:05:01,480
En als je nadenkt 'ja wat is nou eigenlijk het product wat we aan het eind van het experiment
69
00:05:01,480 --> 00:05:04,040
hebben, hoe ziet dat eruit?'
70
00:05:04,040 --> 00:05:10,080
Nou bij een chatbot is dat misschien wel eenvoudig, maar je zou kunnen zeggen van 'nou we nemen
71
00:05:10,080 --> 00:05:14,640
een heel eenvoudige user interface, dat is het', dan schrijf je dat op.
72
00:05:14,640 --> 00:05:20,080
Maar je kan je ook voorstellen dat als je bepaalde voorspellingen doet, dat het genoeg is om
73
00:05:20,080 --> 00:05:24,880
bijvoorbeeld een excel lijstje te hebben, een comma separated file, tekstbestandje.
74
00:05:24,880 --> 00:05:26,560
Dus dat soort dingen schrijf je op.
75
00:05:26,560 --> 00:05:29,120
Maar je schrijft dus ook op van wie heb je nodig.
76
00:05:29,120 --> 00:05:33,320
En niet alleen maar in je team voor het uitvoeren van het experiment.
77
00:05:33,320 --> 00:05:36,160
Als het goed is heb je ook allerlei belanghebbenden.
78
00:05:36,160 --> 00:05:43,560
En dus wie gaat bijvoorbeeld beoordelen of de mail die de deur uit gaat straks goed genoeg
79
00:05:43,560 --> 00:05:44,560
is.
80
00:05:44,560 --> 00:05:51,880
Heb je te maken met risk, heb je te maken met orators, heb je… nou ja, je kan het
81
00:05:51,880 --> 00:05:55,440
zo gek niet verzinnen en die zitten misschien niet in je team, maar je gaat er wel allemaal
82
00:05:55,440 --> 00:05:59,520
op schrijven, die heb je nodig, misschien heb je die al voor zoveel uur nodig, weet
83
00:05:59,520 --> 00:06:00,520
je dat.
84
00:06:00,520 --> 00:06:06,040
En als dat Jantje, Pietje, Klaasje, Tamara is, schrijf je dat ook erbij.
85
00:06:06,040 --> 00:06:07,040
Namen erbij.
86
00:06:07,040 --> 00:06:09,480
Dus wie, wat, waar, wanneer.
87
00:06:09,480 --> 00:06:11,960
En dat is dus in de aanloop.
88
00:06:11,960 --> 00:06:14,840
Dus wat moet je klaarzetten bijvoorbeeld?
89
00:06:14,840 --> 00:06:20,520
Waarschijnlijk heb je data nodig, moeten die historische mailtjes moeten verzameld worden
90
00:06:20,520 --> 00:06:26,360
om die straks aan de chatbot te gaan voeden zodat die dat ook kan gaan leren.
91
00:06:26,360 --> 00:06:28,560
Waar komt die data vandaan?
92
00:06:28,560 --> 00:06:29,920
Mag je bij die data?
93
00:06:29,920 --> 00:06:31,560
Van wie is die data?
94
00:06:31,560 --> 00:06:34,720
Is er een data-eigenaar die je op de hoogte moet stellen?
95
00:06:34,720 --> 00:06:39,920
En dus dat soort zaken kun je eigenlijk allemaal al voor de uitvoering van het experiment kan
96
00:06:39,920 --> 00:06:44,480
je doen en dat soort activiteiten leg je allemaal vast.
97
00:06:44,480 --> 00:06:51,480
Als allerlaatste ga je nadenken over niet alleen de duur van het experiment.
98
00:06:51,480 --> 00:06:58,200
Ik heb al eerder gezegd dat het heel logisch is om het in 5 tot 10 werkdagen uit te voeren.
99
00:06:58,200 --> 00:07:02,920
Maar dan heb je het over het maken van het experiment.
100
00:07:02,920 --> 00:07:07,800
En in ons geval, bij de universiteit, met het verlagen van de mails, zou je kunnen
101
00:07:07,800 --> 00:07:15,120
kijken van "als we dat op een historische set doen, dan kan je dat berekenen.
102
00:07:15,120 --> 00:07:21,440
Kan je berekenen van "deze mails heeft hij nog nooit gezien, zou hij dan inderdaad automatisch
103
00:07:21,440 --> 00:07:24,680
de antwoorden kunnen geven tegen hoeveel procent?"
104
00:07:24,680 --> 00:07:32,200
Maar soms heb je het ook nodig dat het een tijdje bij een proefgebruikersgroep loopt.
105
00:07:32,200 --> 00:07:37,520
Dat je het in een betatest of zoiets, in een gebruikertest, dat je zegt van "we laten
106
00:07:37,520 --> 00:07:43,040
dit twee maanden lopen en dan kunnen we pas eigenlijk de resultaten zien."
107
00:07:43,040 --> 00:07:44,320
Dus dat bepaal je ook.
108
00:07:44,320 --> 00:07:45,320
Dus de tijdsduur.
109
00:07:45,320 --> 00:07:51,720
En als allerlaatste gewoon HET moment, dus de datum prikken.
110
00:07:51,720 --> 00:07:54,240
Wanneer evolueer je?
111
00:07:54,240 --> 00:07:57,160
En kijk je "hebben we het gehaald?
112
00:07:57,160 --> 00:07:58,400
Hebben we deze gehaald?
113
00:07:58,400 --> 00:07:59,400
Ja/nee?
114
00:07:59,400 --> 00:08:00,400
Ja.
115
00:08:00,400 --> 00:08:01,400
Gaan we dan door?
116
00:08:01,400 --> 00:08:02,400
In welke vorm?
117
00:08:02,400 --> 00:08:04,840
Welke funding is er dan nodig?
118
00:08:04,840 --> 00:08:08,160
Je kan je business case dan veel beter gaan uitrekenen.
119
00:08:08,160 --> 00:08:13,280
Het is veel duidelijker hoeveel tijd, geld en energie je dan kwijt bent.
120
00:08:13,280 --> 00:08:17,720
Is het antwoord "nee, we hebben het niet gehaald."?
121
00:08:17,720 --> 00:08:21,680
Ja, in dat geval heb je eigenlijk twee keuzes.
122
00:08:21,680 --> 00:08:22,680
Stoppen.
123
00:08:22,680 --> 00:08:24,280
Je zegt van "dit gaat het gewoon niet worden.
124
00:08:24,280 --> 00:08:25,280
We hebben het geprobeerd.
125
00:08:25,280 --> 00:08:28,360
We hebben er een kleine investering aan gegeven.
126
00:08:28,360 --> 00:08:29,720
Gaat het niet worden.
127
00:08:29,720 --> 00:08:30,720
Stoppen we ermee."
128
00:08:30,720 --> 00:08:34,880
Dan hebben we ruimte, tijd voor nieuwe ideeën, nieuwe experimenten.
129
00:08:34,880 --> 00:08:41,520
Of je zegt "nou, met alles wat we geleerd hebben, wat we gezien hebben, zouden we misschien
130
00:08:41,520 --> 00:08:43,080
de hypothese moeten aanpassen.
131
00:08:43,080 --> 00:08:45,760
Moeten we misschien een andere weg kiezen?
132
00:08:45,760 --> 00:08:47,080
Moeten we een beetje bijstellen?"
133
00:08:47,080 --> 00:08:54,600
En dan is een volgend experiment, en je sluit deze echt af, volgend experiment, ga je vanuit
134
00:08:54,600 --> 00:09:00,800
hetzelfde doel opnieuw kijken van "wat zou een hypothese zijn?" en ga je dit hele proces
135
00:09:00,800 --> 00:09:01,800
doorlopen.
136
00:09:01,800 --> 00:09:04,840
Dat waren de drie delen.
137
00:09:04,840 --> 00:09:06,400
Dankjewel voor het luisteren.
138
00:09:06,400 --> 00:09:14,720
Ik hoop dat je na het luisteren van deze delen zegt "ik pak pen en papier, ik ga het uitwerken
139
00:09:14,720 --> 00:09:16,720
en ik ga direct aan de slag."
140
00:09:16,720 --> 00:09:20,560
Dankjewel weer voor het luisteren.
141
00:09:20,560 --> 00:09:26,000
Wil je als eerste op de hoogte zijn van exclusief nieuws over AI, schrijf je dan eens in voor
142
00:09:26,000 --> 00:09:30,840
onze nieuwsbrief en ontvang updates, blik achter de schermen en meer.
143
00:09:30,840 --> 00:09:35,760
Meld je nu aan via onze website of zie de link in de show notes.
144
00:09:35,760 --> 00:09:36,440
Dankjewel.
145
00:09:36,440 --> 00:09:43,440
[Muziek]
146
00:09:50,440 --> 00:09:52,440
[Muziek]
