AIToday Live

S06E58 - Deel 2: Ontsluit het volledige potentieel van jouw AI-experiment

Aigency by Info Support Season 6 Episode 58

In deze aflevering van AI Today Live duiken we dieper in de wereld van AI-experimenten met het tweede deel van de Drieluik. We verkennen hoe een universiteit met behulp van een gespecialiseerde chatbot het aantal binnenkomende mails over toelatingseisen aanzienlijk kan verminderen.

De focus ligt op het opstellen van een heldere hypothese en het bepalen van de minimale succescriteria voor een kortlopend experiment. Verder wordt de financiële kant van het opzetten van een AI-systeem belicht, inclusief de operationele kosten en de bouw van een overtuigende business case.

Dit deel biedt essentiële inzichten voor iedereen die geïnteresseerd is in het effectief inzetten van AI binnen hun organisatie. 


Links

Stuur ons een bericht

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

1
00:00:00,001 --> 00:00:05,940
Voordat we beginnen even dit. De Drieluik behandelt een AI-experiment canvas die we

2
00:00:05,940 --> 00:00:12,440
hebben ontwikkeld voor het opzetten van AI-experimenten. En die kun je namelijk gewoon gratis downloaden.

3
00:00:12,440 --> 00:00:18,040
We hebben geen gegevens van je nodig. De link staat in de show notes. Veel plezier ermee!

4
00:00:18,040 --> 00:00:24,680
Hey, goed dat je weer luistert naar een nieuwe aflevering van de AIToday live. Met vandaag

5
00:00:24,680 --> 00:00:32,400
het tweede deel uit de Drieluik over hoe zet je nou een AI-experiment op. Heb je deel 1

6
00:00:32,400 --> 00:00:38,660
nog niet geluisterd? Doe dat dan even. Daarin leg ik natuurlijk uit dat je begint met een

7
00:00:38,660 --> 00:00:43,400
heel duidelijk doelstellen. Maar even in het heel kort om misschien even je geheugen op

8
00:00:43,400 --> 00:00:50,600
te frissen. Waar waren we mee bezig? Een openbare case van een universiteit. Die kreeg 3000

9
00:00:50,600 --> 00:00:59,040
mailtjes binnen met de vraag over toelatingseisen van studenten. Wat zij nodig hebben om toegelaten

10
00:00:59,040 --> 00:01:06,680
dus te worden op de universiteit. We hadden daar een rekensommetje van gemaakt. Zou je

11
00:01:06,680 --> 00:01:16,640
alle mail automatiseren met kunstmatige intelligentie dan zou je potentieel… Nee, daar zitten

12
00:01:16,640 --> 00:01:22,400
kosten aan verbonden, zo zou ik het eigenlijk moeten zeggen, van 100.000 euro per jaar om

13
00:01:22,400 --> 00:01:29,800
die mailtjes te beantwoorden. Nou, ervan uitgaand dat zo'n systeem een aantal jaren meegaat,

14
00:01:29,800 --> 00:01:35,920
laten we 5 jaar pakken. Dat als we straks een business case zouden willen maken, zou je

15
00:01:35,920 --> 00:01:45,520
dus potentieel 5 keer 100.000 euro aan kosten aan de kostenkant hebben. Goed, we hadden

16
00:01:45,520 --> 00:01:52,080
die case. 13.000 mail, hadden we gezegd. Er zijn verschillende mogelijke hypothese voor

17
00:01:52,080 --> 00:01:55,840
een case als deze. Je zou kunnen beginnen met misschien een betere zoekfunctie op je

18
00:01:55,840 --> 00:02:01,760
website als dat dan afvalt. Je zou kunnen kiezen voor templates waarbij er nog steeds

19
00:02:01,760 --> 00:02:09,720
handwerk is maar misschien je de medewerkers sneller kan laten werken. Maar goed, de vraag

20
00:02:09,720 --> 00:02:17,000
was een chatbot. Dus laten we die gaan oppakken. Dus we zeiden van een chatbot. Maar we hadden

21
00:02:17,000 --> 00:02:24,520
de hypothese nog niet helemaal exact uitgewerkt en die hypothese zou kunnen zijn voor een

22
00:02:24,520 --> 00:02:31,120
chatbot om dan te zeggen, want die hypothese is een zin met een uitroepteken erachter,

23
00:02:31,120 --> 00:02:37,840
we zouden kunnen zeggen "een gespecialiseerde chatbot voor het beantwoorden van toelatingseisen

24
00:02:37,840 --> 00:02:49,680
verlaagt het aantal mail die wij moeten beantwoorden met 70% voor het eind van het jaar." Uitroepteken.

25
00:02:49,680 --> 00:02:57,080
Waarom is het nou zo belangrijk dat je zo'n hypothese heel duidelijk stelt? Dus je zegt

26
00:02:57,080 --> 00:03:05,200
waarmee denk je een verandering te gaan bereiken? Welke verandering zou je willen? Hoe weten

27
00:03:05,200 --> 00:03:11,200
we dat we er zijn en in welke periode zou je dat willen doen? Nou dat zit erin toch?

28
00:03:11,200 --> 00:03:18,240
Dus een gespecialiseerde chatbot voor het beantwoorden van toelatingseisen verlaagt het aantal mail.

29
00:03:18,240 --> 00:03:26,400
Dat is eigenlijk de, laten we zeggen de wat en de hoe, met 80% dus je wil weten voor

30
00:03:26,400 --> 00:03:33,200
wanneer je klaar bent en wanneer het een succes is, laat ik het zo zeggen, voor eind van dit

31
00:03:33,200 --> 00:03:36,400
jaar. Dus je hebt ook nog eens een tijdseenheid erop zitten.

32
00:03:36,400 --> 00:03:42,280
Nou wat is nou de volgende stap wat je gaat doen voor een experiment? Want die 80% dat

33
00:03:42,280 --> 00:03:46,800
klinkt natuurlijk heel gaaf, maar als je een experiment opzet wil je dat in een hele kleine

34
00:03:46,800 --> 00:03:54,520
periode, het liefst 1 tot 2 werkweken, wil je gaan gebruiken om deze hypothese te valideren

35
00:03:54,520 --> 00:04:03,080
of te invalideren. Waarbij invalideren betekent dat je laat zien dat het niet kan. Dat is

36
00:04:03,080 --> 00:04:10,840
uiteindelijk de vraag. Gaat het lukken? Ja of nee? Maar dat betekent dat die 80% die ga

37
00:04:10,840 --> 00:04:19,200
je natuurlijk nooit halen in die 1 of 2 weken. Dus je gaat eerst bepalen waar ga je op meten.

38
00:04:19,200 --> 00:04:24,760
Nou in dit geval is dat een hele eenvoudige. Het verlagen van het aantal mail. Soms heb

39
00:04:24,760 --> 00:04:31,160
je een indirectie nodig. Stel je zou zeggen van ja wij willen graag de NPS scoren wat

40
00:04:31,160 --> 00:04:37,280
gaat over klanttevredenheid zouden we verhogen. Nou daar zit nooit een directe relatie tussen.

41
00:04:37,280 --> 00:04:43,960
Dus dan heb je vaak een indirectie nodig voor wat je gaat meten. Maar goed, we hebben hier

42
00:04:43,960 --> 00:04:49,880
een hele duidelijke meting. Het aantal mails moet verlaagd worden. Maar goed, dus geen

43
00:04:49,880 --> 00:04:57,960
80%. Dus wat je nu gaat doen is nadenken over ja wat zouden we nou minimaal moeten halen

44
00:04:57,960 --> 00:05:05,880
in zo'n experiment. Waarbij we zeggen oh ja maar dan is die ook gevalideerd. Maar weten

45
00:05:05,880 --> 00:05:12,400
we ook dat we daar meer tijd, geld en energie in willen steken. En wat is dan het minimale

46
00:05:12,400 --> 00:05:19,720
niveau wat je zou willen halen in die zeg 2 weken. Waarbij je zegt van oh ja maar dan

47
00:05:19,720 --> 00:05:28,880
is het experiment ook daadwerkelijk geslaagd. Is dat dan 60% en als dat dan 59% is, betekent

48
00:05:28,880 --> 00:05:36,000
dat het dan niet geslaagd is. Is dat 40% is dat 30%? Ja dat hangt natuurlijk van je use

49
00:05:36,000 --> 00:05:41,840
case af. Ik zou bijvoorbeeld in het geval hiervan zeggen van nou stel dat je komt zegmaar

50
00:05:41,840 --> 00:05:50,760
tot laten we zeggen 30-40% na 2 weken. Dat je al een heel groot gedeelte van dit soort

51
00:05:50,760 --> 00:05:56,680
mail zou kunnen afhandelen. Dan zou je je al kunnen gaan bouwen aan een business case.

52
00:05:56,680 --> 00:06:03,080
Nou die business case die is natuurlijk ook wel heel belangrijk. Want we hebben het de

53
00:06:03,080 --> 00:06:10,120
hele tijd over die 100.000 per jaar, ik dat een keer 5, 500.000 euro. Dan zou je denken

54
00:06:10,120 --> 00:06:15,240
oh dat is een geweldige besparing. Maar je hebt natuurlijk ook gewoon de kosten voor

55
00:06:15,240 --> 00:06:20,880
het bouwen. Kosten voor het onderhouden van het systeem. Want veel mensen denken ja maar

56
00:06:20,880 --> 00:06:26,800
AI is zelflerend dus die kan dat zelf in de gaten houden. Helaas niet. Dus je moet de

57
00:06:26,800 --> 00:06:31,720
hele tijd in de gaten houden. Blijft een chatbot de goede antwoorden geven? Moeten we hem

58
00:06:31,720 --> 00:06:39,120
bijsturen? Moeten we meer voorbeelden geven? Krijgen we hele andere type vragen omdat

59
00:06:39,120 --> 00:06:46,000
juist die bot de standaardvragen allemaal kan beantwoorden. Misschien komen er juist

60
00:06:46,000 --> 00:06:53,000
wel meer vragen omdat het nu makkelijker is om vragen te stellen. Dus zo moet je dat allemaal

61
00:06:53,000 --> 00:06:57,760
gaan bijhouden. Dus er zitten ze ook heel veel operationele kosten aan. Maar ook operationele

62
00:06:57,760 --> 00:07:03,720
kosten in de zin van je spreekt natuurlijk een taalmodel aan. Dus waarschijnlijk een

63
00:07:03,720 --> 00:07:10,760
leverancier, OpenAI, Microsoft, Amazon, Entropic. Ja dat kost ook geld. Dus in die periode van

64
00:07:10,760 --> 00:07:16,920
het experiment ga je ook kijken van hoeveel kost nou uiteindelijk ook die invoering en

65
00:07:16,920 --> 00:07:23,280
uitvoering van een traject experiment zoals dit. En daardoor krijg je een veel betere

66
00:07:23,280 --> 00:07:32,160
heldere kijk op wat er nodig is. Dit is deel 2. We zijn nu gekomen van we hebben een doel.

67
00:07:32,160 --> 00:07:38,640
We hebben een duidelijke hypothese en zo direct hebben we in ieder geval vast liggen van wanneer

68
00:07:38,640 --> 00:07:49,600
weten we of het experiment gelukt is, geslaagd is. En we hebben al nagedacht over die kostenkant.

69
00:07:49,600 --> 00:07:54,560
Want die kostenkant is toch wel heel belangrijk om uiteindelijk je business case op te bouwen.

70
00:07:54,560 --> 00:08:00,440
Nou wat gaan we nou doen in deel 3? Deel 3 gaan we eigenlijk de laatste stap maken is

71
00:08:00,440 --> 00:08:08,920
dat we na gaan denken over hoe we uitvoering gaan geven aan dit experiment. Zorg dat je

72
00:08:08,920 --> 00:08:14,680
je abonneert via je favoriete podcast app want dan krijg je namelijk automatisch een seintje

73
00:08:14,680 --> 00:08:19,400
als ook deel 3 verschijnt. Dank je wel weer voor het luisteren. Tot de volgende keer!

74
00:08:19,400 --> 00:08:21,400
[Muziek]


People on this episode