S06E60 - Deel 3: Ontsluit het volledige potentieel van jouw AI-experiment

In deze aflevering van AIToday Live ronden we onze drieluik af over het opzetten van een effectief AI-experiment. We bespreken de cruciale stappen die nodig zijn om een experiment te definiëren, mogelijke obstakels te identificeren en hoe deze aan te pakken.

We duiken dieper in de voorbereidingen: van het bepalen van de benodigde middelen tot het vaststellen van de duur van het experiment. Ook behandelen we hoe je na afloop van het experiment besluit of je verder gaat met je project.

Deze aflevering biedt concrete handvatten voor iedereen die aan de slag wil met AI-experimenten en zoekt naar manieren om deze efficiënt en effectief uit te voeren.

Links

• Canvas: Aigency AI Experiment Canvas (https://aigency.com/wp-content/uploads/2024/07/Achterkant_AI_Canvas_v3-scaled.jpg)
• Podcast: Deel 1: Ontsluit het volledige potentieel van jouw AI-experiment (https://aitoday-live.buzzsprout.com/899785/15385077-s06e56-ontsluit-het-volledige-potentieel-van-jouw-ai-experiment)
• Podcast: Deel 2: Ontsluit het volledige potentieel van jouw AI-experiment (https://aitoday-live.buzzsprout.com/899785/15422909-s06e58-deel-2-ontsluit-het-volledige-potentieel-van-jouw-ai-experiment)

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,001 --> 00:00:07,000
Hoi, leuk dat je weer luistert naar een korte aflevering van AIToday Live.

2
00:00:07,000 --> 00:00:13,080
De boeiende Nederlandse podcast voor iedereen die geïnteresseerd is in kunstmatige intelligentie,

3
00:00:13,080 --> 00:00:14,680
ongeacht je technische achtergrond.

4
00:00:14,680 --> 00:00:21,520
Dit is de afsluiting van de drieluik waar we het hebben gehad over hoe zet je nou een

5
00:00:21,520 --> 00:00:24,040
goed AI-experiment op.

6
00:00:24,040 --> 00:00:26,080
Dus vandaag sluiten we hem af.

7
00:00:26,080 --> 00:00:32,640
Heb je deel 1 en deel 2 nog niet geluisterd, dan ga die uiteraard even luisteren.

8
00:00:32,640 --> 00:00:40,520
Maar voordat ik begin met deze deel 3, even een hele korte terugblik op wat we hebben

9
00:00:40,520 --> 00:00:43,360
gedaan en waar we dan nu zijn gekomen.

10
00:00:43,360 --> 00:00:46,960
In deel 1 hebben we vooral gekeken naar de praktijkcase.

11
00:00:46,960 --> 00:00:52,520
Universiteit krijgt veel vragen van studenten over toelatingseisen en daar moet best wel

12
00:00:52,520 --> 00:00:54,400
heel veel meel voor beantwoorden.

13
00:00:54,400 --> 00:01:01,040
Dus dan hebben we eigenlijk gezegd dat het doel is om werkdruk van medewerkers die verantwoordelijk

14
00:01:01,040 --> 00:01:06,640
zijn voor het beantwoorden van dat soort vragen te verlagen door een AI-gestuurde chatbot

15
00:01:06,640 --> 00:01:07,800
om die in te zetten.

16
00:01:07,800 --> 00:01:14,080
En dat zou moeten resulteren in een grote vermindering van het aantal te beantwoorden

17
00:01:14,080 --> 00:01:15,080
e-mails.

18
00:01:15,080 --> 00:01:18,320
Waardoor de efficiëntie wordt verhoogd, kosten wordt bespaard.

19
00:01:18,320 --> 00:01:20,240
Nou, dat dus.

20
00:01:20,240 --> 00:01:24,160
En daar hebben we een hele duidelijke hypothese uiteindelijk op gesteld.

21
00:01:24,160 --> 00:01:28,800
We hebben gezegd dat een gespecialiseerde chatbot voor het beantwoorden van toelatingseisen

22
00:01:28,800 --> 00:01:33,600
verlaagt het aantal mails dat wij moeten beantwoorden met 70% voor het eind van het jaar.

23
00:01:33,600 --> 00:01:37,040
Daar zijn we in deel 2 op gekomen.

24
00:01:37,040 --> 00:01:43,280
We hebben gekeken hoe meet je dat dan en waar leg je dan de lat om te weten of dat experiment

25
00:01:43,280 --> 00:01:44,280
gelukt is.

26
00:01:44,280 --> 00:01:47,560
Omdat het niet per se over die 70% in je experiment gaat.

27
00:01:47,560 --> 00:01:49,800
Maar luister dat dan eventjes terug.

28
00:01:49,800 --> 00:01:56,360
Dus we weten wat we willen, we weten hoe we aan de slag gaan en we weten hoe we het

29
00:01:56,360 --> 00:01:57,360
moeten meten.

30
00:01:57,360 --> 00:02:03,040
Maar nu we daar dan zo mee bezig zijn is het ook wel heel goed om na te denken, dus dat

31
00:02:03,040 --> 00:02:10,920
is eigenlijk de volgende stap in het definiëren van je experiment, is wat zou er nou mogelijk

32
00:02:10,920 --> 00:02:19,640
kunnen optreden voordat het experiment plaatsvindt of gedurende het experiment waardoor het uit

33
00:02:19,640 --> 00:02:22,400
voeren van het experiment geen zin heeft.

34
00:02:22,400 --> 00:02:26,640
Denk aan privacywetgeving, AVG, GDPR.

35
00:02:26,640 --> 00:02:33,800
Dat je erachter komt dat je de mails dat daar zoveel persoonlijke informatie in zit, dat

36
00:02:33,800 --> 00:02:37,640
je daar zoveel problemen mee krijgt om dat te verwerken, dat je zegt 'dan gaan we toch

37
00:02:37,640 --> 00:02:39,960
het experiment uiteindelijk niet aan'.

38
00:02:39,960 --> 00:02:44,600
Denk ook aan de aankomende EU AI Act.

39
00:02:44,600 --> 00:02:50,680
Je maakt uiteindelijk een systeem voor meerdere jaren, die gaat zo direct spelen, dus dan

40
00:02:50,680 --> 00:02:53,280
ga je nadenken 'heeft dit invloed?

41
00:02:53,280 --> 00:02:54,960
Zo ja, welke?'

42
00:02:54,960 --> 00:02:59,520
En als dat het nemen van maatregelen is, ga je die gewoon opschrijven.

43
00:02:59,520 --> 00:03:04,680
Maar misschien kom je erachter dat je zegt 'ja maar als dit optreedt dan heeft het experiment

44
00:03:04,680 --> 00:03:05,680
geen zin'.

45
00:03:05,680 --> 00:03:07,040
En dan stop je.

46
00:03:07,040 --> 00:03:08,880
Zo simpel is het.

47
00:03:08,880 --> 00:03:12,160
En dit is eigenlijk ook het moment, dus dan heb je dat klaar.

48
00:03:12,160 --> 00:03:19,880
Dus je hebt je doel, hypothese meten, we hebben aan welk niveau moet het experiment

49
00:03:19,880 --> 00:03:25,760
voldoen, zijn er mogelijkheden dat we moeten stoppen, dat je terug gaat naar je hypothese.

50
00:03:25,760 --> 00:03:30,080
Dat je denkt 'ja maar ik wilde het namelijk in een hele korte periode, wil ik deze hypothese

51
00:03:30,080 --> 00:03:35,480
bewijzen, zou ik de hypothese misschien nog wat kleiner kunnen maken?

52
00:03:35,480 --> 00:03:42,360
Het duidelijker kunnen maken en specifieker kunnen zijn in wat we gaan doen om zo snel

53
00:03:42,360 --> 00:03:49,320
mogelijk erachter te komen 'ja heeft uiteindelijk het experiment het idee wat we hebben waarde?'

54
00:03:49,320 --> 00:03:55,640
En wat je zou kunnen doen, dus we hadden gezegd het aantal mails moeten we met 70% naar beneden

55
00:03:55,640 --> 00:04:01,920
krijgen en misschien in het experiment hadden we gezegd 'nou ja 60% ofzo'.

56
00:04:01,920 --> 00:04:04,520
Als dat zou lukken zouden we al heel eind zijn.

57
00:04:04,520 --> 00:04:08,720
Maar misschien kan je ook wel zeggen 'ja maar we doen het op een hele specifieke categorie,

58
00:04:08,720 --> 00:04:11,560
of voor een heel specifiek type student'.

59
00:04:11,560 --> 00:04:16,640
Of nou ja zo kan je zeg maar horizontaal, verticaal, als je dat even nadenkt zeg maar

60
00:04:16,640 --> 00:04:23,400
in jouw business, dan kan je product georiënteerd kijken, je kan categorie georiënteerd kijken,

61
00:04:23,400 --> 00:04:26,480
je kan over gebruikers, leveranciers.

62
00:04:26,480 --> 00:04:32,560
Er zijn allerlei doorsnede te maken waardoor je het experiment nog kleiner kan maken.

63
00:04:32,560 --> 00:04:39,560
En als we dat hebben, wat we dan gaan doen, want dan heb je eigenlijk het moeilijkste

64
00:04:39,560 --> 00:04:40,560
heb je erop zitten.

65
00:04:40,560 --> 00:04:47,080
Wat we dan gaan doen is alles noteren dat nodig is om dit experiment uit te voeren.

66
00:04:47,080 --> 00:04:52,360
Dus dan heb je het echt over wie, wat, waar, wanneer, hoe ziet het eruit.

67
00:04:52,360 --> 00:04:54,000
Laten we bij dat laatste beginnen.

68
00:04:54,000 --> 00:05:01,480
En als je nadenkt 'ja wat is nou eigenlijk het product wat we aan het eind van het experiment

69
00:05:01,480 --> 00:05:04,040
hebben, hoe ziet dat eruit?'

70
00:05:04,040 --> 00:05:10,080
Nou bij een chatbot is dat misschien wel eenvoudig, maar je zou kunnen zeggen van 'nou we nemen

71
00:05:10,080 --> 00:05:14,640
een heel eenvoudige user interface, dat is het', dan schrijf je dat op.

72
00:05:14,640 --> 00:05:20,080
Maar je kan je ook voorstellen dat als je bepaalde voorspellingen doet, dat het genoeg is om

73
00:05:20,080 --> 00:05:24,880
bijvoorbeeld een excel lijstje te hebben, een comma separated file, tekstbestandje.

74
00:05:24,880 --> 00:05:26,560
Dus dat soort dingen schrijf je op.

75
00:05:26,560 --> 00:05:29,120
Maar je schrijft dus ook op van wie heb je nodig.

76
00:05:29,120 --> 00:05:33,320
En niet alleen maar in je team voor het uitvoeren van het experiment.

77
00:05:33,320 --> 00:05:36,160
Als het goed is heb je ook allerlei belanghebbenden.

78
00:05:36,160 --> 00:05:43,560
En dus wie gaat bijvoorbeeld beoordelen of de mail die de deur uit gaat straks goed genoeg

79
00:05:43,560 --> 00:05:44,560
is.

80
00:05:44,560 --> 00:05:51,880
Heb je te maken met risk, heb je te maken met orators, heb je… nou ja, je kan het

81
00:05:51,880 --> 00:05:55,440
zo gek niet verzinnen en die zitten misschien niet in je team, maar je gaat er wel allemaal

82
00:05:55,440 --> 00:05:59,520
op schrijven, die heb je nodig, misschien heb je die al voor zoveel uur nodig, weet

83
00:05:59,520 --> 00:06:00,520
je dat.

84
00:06:00,520 --> 00:06:06,040
En als dat Jantje, Pietje, Klaasje, Tamara is, schrijf je dat ook erbij.

85
00:06:06,040 --> 00:06:07,040
Namen erbij.

86
00:06:07,040 --> 00:06:09,480
Dus wie, wat, waar, wanneer.

87
00:06:09,480 --> 00:06:11,960
En dat is dus in de aanloop.

88
00:06:11,960 --> 00:06:14,840
Dus wat moet je klaarzetten bijvoorbeeld?

89
00:06:14,840 --> 00:06:20,520
Waarschijnlijk heb je data nodig, moeten die historische mailtjes moeten verzameld worden

90
00:06:20,520 --> 00:06:26,360
om die straks aan de chatbot te gaan voeden zodat die dat ook kan gaan leren.

91
00:06:26,360 --> 00:06:28,560
Waar komt die data vandaan?

92
00:06:28,560 --> 00:06:29,920
Mag je bij die data?

93
00:06:29,920 --> 00:06:31,560
Van wie is die data?

94
00:06:31,560 --> 00:06:34,720
Is er een data-eigenaar die je op de hoogte moet stellen?

95
00:06:34,720 --> 00:06:39,920
En dus dat soort zaken kun je eigenlijk allemaal al voor de uitvoering van het experiment kan

96
00:06:39,920 --> 00:06:44,480
je doen en dat soort activiteiten leg je allemaal vast.

97
00:06:44,480 --> 00:06:51,480
Als allerlaatste ga je nadenken over niet alleen de duur van het experiment.

98
00:06:51,480 --> 00:06:58,200
Ik heb al eerder gezegd dat het heel logisch is om het in 5 tot 10 werkdagen uit te voeren.

99
00:06:58,200 --> 00:07:02,920
Maar dan heb je het over het maken van het experiment.

100
00:07:02,920 --> 00:07:07,800
En in ons geval, bij de universiteit, met het verlagen van de mails, zou je kunnen

101
00:07:07,800 --> 00:07:15,120
kijken van "als we dat op een historische set doen, dan kan je dat berekenen.

102
00:07:15,120 --> 00:07:21,440
Kan je berekenen van "deze mails heeft hij nog nooit gezien, zou hij dan inderdaad automatisch

103
00:07:21,440 --> 00:07:24,680
de antwoorden kunnen geven tegen hoeveel procent?"

104
00:07:24,680 --> 00:07:32,200
Maar soms heb je het ook nodig dat het een tijdje bij een proefgebruikersgroep loopt.

105
00:07:32,200 --> 00:07:37,520
Dat je het in een betatest of zoiets, in een gebruikertest, dat je zegt van "we laten

106
00:07:37,520 --> 00:07:43,040
dit twee maanden lopen en dan kunnen we pas eigenlijk de resultaten zien."

107
00:07:43,040 --> 00:07:44,320
Dus dat bepaal je ook.

108
00:07:44,320 --> 00:07:45,320
Dus de tijdsduur.

109
00:07:45,320 --> 00:07:51,720
En als allerlaatste gewoon HET moment, dus de datum prikken.

110
00:07:51,720 --> 00:07:54,240
Wanneer evolueer je?

111
00:07:54,240 --> 00:07:57,160
En kijk je "hebben we het gehaald?

112
00:07:57,160 --> 00:07:58,400
Hebben we deze gehaald?

113
00:07:58,400 --> 00:07:59,400
Ja/nee?

114
00:07:59,400 --> 00:08:00,400
Ja.

115
00:08:00,400 --> 00:08:01,400
Gaan we dan door?

116
00:08:01,400 --> 00:08:02,400
In welke vorm?

117
00:08:02,400 --> 00:08:04,840
Welke funding is er dan nodig?

118
00:08:04,840 --> 00:08:08,160
Je kan je business case dan veel beter gaan uitrekenen.

119
00:08:08,160 --> 00:08:13,280
Het is veel duidelijker hoeveel tijd, geld en energie je dan kwijt bent.

120
00:08:13,280 --> 00:08:17,720
Is het antwoord "nee, we hebben het niet gehaald."?

121
00:08:17,720 --> 00:08:21,680
Ja, in dat geval heb je eigenlijk twee keuzes.

122
00:08:21,680 --> 00:08:22,680
Stoppen.

123
00:08:22,680 --> 00:08:24,280
Je zegt van "dit gaat het gewoon niet worden.

124
00:08:24,280 --> 00:08:25,280
We hebben het geprobeerd.

125
00:08:25,280 --> 00:08:28,360
We hebben er een kleine investering aan gegeven.

126
00:08:28,360 --> 00:08:29,720
Gaat het niet worden.

127
00:08:29,720 --> 00:08:30,720
Stoppen we ermee."

128
00:08:30,720 --> 00:08:34,880
Dan hebben we ruimte, tijd voor nieuwe ideeën, nieuwe experimenten.

129
00:08:34,880 --> 00:08:41,520
Of je zegt "nou, met alles wat we geleerd hebben, wat we gezien hebben, zouden we misschien

130
00:08:41,520 --> 00:08:43,080
de hypothese moeten aanpassen.

131
00:08:43,080 --> 00:08:45,760
Moeten we misschien een andere weg kiezen?

132
00:08:45,760 --> 00:08:47,080
Moeten we een beetje bijstellen?"

133
00:08:47,080 --> 00:08:54,600
En dan is een volgend experiment, en je sluit deze echt af, volgend experiment, ga je vanuit

134
00:08:54,600 --> 00:09:00,800
hetzelfde doel opnieuw kijken van "wat zou een hypothese zijn?" en ga je dit hele proces

135
00:09:00,800 --> 00:09:01,800
doorlopen.

136
00:09:01,800 --> 00:09:04,840
Dat waren de drie delen.

137
00:09:04,840 --> 00:09:06,400
Dankjewel voor het luisteren.

138
00:09:06,400 --> 00:09:14,720
Ik hoop dat je na het luisteren van deze delen zegt "ik pak pen en papier, ik ga het uitwerken

139
00:09:14,720 --> 00:09:16,720
en ik ga direct aan de slag."

140
00:09:16,720 --> 00:09:20,560
Dankjewel weer voor het luisteren.

141
00:09:20,560 --> 00:09:26,000
Wil je als eerste op de hoogte zijn van exclusief nieuws over AI, schrijf je dan eens in voor

142
00:09:26,000 --> 00:09:30,840
onze nieuwsbrief en ontvang updates, blik achter de schermen en meer.

143
00:09:30,840 --> 00:09:35,760
Meld je nu aan via onze website of zie de link in de show notes.

144
00:09:35,760 --> 00:09:36,440
Dankjewel.

145
00:09:36,440 --> 00:09:43,440
[Muziek]

146
00:09:50,440 --> 00:09:52,440
[Muziek]