S07E90 - Observability voor AI-agents: zie wat je agent doet

Observability staat centraal in de nieuwste aflevering van AIToday Live. Dit concept gaat verder dan monitoring en biedt ontwikkelaars diepgaand inzicht in het functioneren van AI agents. 

De podcast bespreekt hoe observability ontwikkelaars in staat stelt om precies te zien wat hun AI agents doen en waarom ze bepaalde beslissingen nemen. Er wordt een praktisch voorbeeld gegeven van een 'guest search agent' die voor de podcast is ontwikkeld.

De aflevering behandelt ook verschillende manieren om observability te implementeren en het belang ervan voor AI governance. Het maakt duidelijk waarom observability essentieel is voor verantwoorde en effectieve inzet van AI agents.

Onderwerpen

• Observability in AI agents
• Functioneren van AI agents
• Praktische voorbeelden van AI agents
• Implementatie van observability
• Rol van observability in AI governance

Links

• Podcast: AIToday Live podcast
• Tool: Portkey.ai
• Platform: Copilot Studio
• Platform: n8n
• Boek: Doeltreffend met AI Agents - Joop Snijder

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:01,980 --> 00:00:05,440
Hoi, welkom bij een nieuwe aflevering van AIToday Live, de korte aflevering.

2
00:00:05,760 --> 00:00:10,700
En vandaag wil ik een technische term met je bespreken die belangrijk is voor het ontwikkelen en beheren van AI agents.

3
00:00:12,060 --> 00:00:13,820
En die term is observability.

4
00:00:14,460 --> 00:00:17,980
En in het Nederlands zou je het observeerbaarheid kunnen noemen.

5
00:00:18,260 --> 00:00:19,680
Een woord dat je niet zo vaak hoort.

6
00:00:20,040 --> 00:00:24,900
En het staat simpelweg voor dat je kunt zien wat je AI agent doet.

7
00:00:25,020 --> 00:00:27,920
Dus je kunt observeren wat er gebeurt.

8
00:00:29,320 --> 00:00:32,259
observability is wat anders dan monitoring.

9
00:00:33,000 --> 00:00:36,460
Veel mensen halen dit door elkaar, dus laat me even het verschil uitleggen.

10
00:00:38,100 --> 00:00:42,180
Stel je voor dat je 's nachts op de snelweg rijdt met een blinddoek op.

11
00:00:42,920 --> 00:00:47,400
Dat is wat kan gebeuren als je AI agents inzet zonder observability.

12
00:00:48,700 --> 00:00:53,920
Je kan dan niet zien wat er gebeurt, waarom beslissingen worden genomen of waar het misgaat.

13
00:00:54,540 --> 00:00:57,740
En monitoring, dat is eigenlijk meer als een brandmelder thuis.

14
00:00:58,140 --> 00:00:59,580
Die gaat af wanneer er rook is.

15
00:01:00,840 --> 00:01:04,339
Observability daarentegen is als een complete bewakingscamera.

16
00:01:04,580 --> 00:01:09,420
Met warmtebeeld, rookdetector en een systeem dat je vertelt waar de brand ontstond.

17
00:01:09,520 --> 00:01:12,280
Hoe die zich verspreidt en wat je moet doen om hem te blussen.

18
00:01:13,260 --> 00:01:16,180
En voor AI agent is dit een wezenlijk verschil.

19
00:01:18,600 --> 00:01:24,520
Stel je hebt een AI klantenservice agent en die geeft plotseling verkeerde productinformatie.

20
00:01:25,220 --> 00:01:28,420
Traditionele monitoring ziet alleen er komen klachten binnen.

21
00:01:29,080 --> 00:01:34,900
Maar observability toont je de complete keten van de vraag van de klant via het redeneerproces van de AI,

22
00:01:35,410 --> 00:01:38,860
de database die oude informatie opleverde tot het foute antwoord.

23
00:01:39,280 --> 00:01:48,360
Dus je ziet niet alleen dat het misging, maar ook welke dataset verouderd was en waarom de agent juist die dataset dan koos.

24
00:01:49,600 --> 00:01:57,540
Om goed te begrijpen waarom het observeren van AI agents zo belangrijk is, moet ik eerst toch weer gewoon even uitleggen hoe AI agents werken.

25
00:01:58,860 --> 00:02:03,540
Het hart van de AI agents waar we het tegenwoordig over hebben bestaat uit een taalmodel.

26
00:02:04,040 --> 00:02:07,280
Dezelfde modellen die gebruikt worden door ChatGPT of Cloth.

27
00:02:08,000 --> 00:02:13,380
En met een prompt kun je de agent een opdracht geven die complexer is dan het beantwoorden van een vraag.

28
00:02:14,020 --> 00:02:21,000
En je geeft de agent een doel, maar ook gereedschappen, tools, die de agent kan gebruiken om dat doel te halen.

29
00:02:22,120 --> 00:02:27,780
Een taalmodel kan namelijk zelf niet op het internet browsen of gegevens, bijvoorbeeld uit een database halen.

30
00:02:28,180 --> 00:02:31,200
Hiervoor heeft het model dus gereedschappen nodig en die geef je mee.

31
00:02:31,820 --> 00:02:35,120
Wat de agent dan doet is een plan maken om het doel te bereiken.

32
00:02:35,840 --> 00:02:42,920
Het bepaalt welke tools in welke volgorde aangeroepen moeten worden en welke gegevens er aan die gereedschappen wordt meegegeven.

33
00:02:43,840 --> 00:02:47,660
En met de prompt die je aan de AI agent geeft, heb je hier wat invloed op.

34
00:02:47,950 --> 00:02:53,860
Maar de kracht zit juist in dat de agent vrijheid heeft om zelf de volgorde en die gegevens te bepalen.

35
00:02:54,700 --> 00:02:58,020
Anders kun je net zo goed een workflow maken met een vaste volgorde van stappen.

36
00:02:58,260 --> 00:03:01,780
Met voorop gedefinieerde data hoe die dat moet gebruiken.

37
00:03:02,420 --> 00:03:06,600
Dus de agent bepaalt dus welke gereedschappen, volgorde en data.

38
00:03:07,560 --> 00:03:10,400
En als de agent in productie niet doet wat je verwacht.

39
00:03:10,700 --> 00:03:14,300
Dan is het wel belangrijk dat je juist die elementen moet kunnen terugvinden.

40
00:03:14,900 --> 00:03:19,620
Wat was de invoer? Wat was het plan? Welke gereedschappen zijn en welke volgen er uitgevoerd?

41
00:03:19,960 --> 00:03:21,400
En welke data is meegegeven?

42
00:03:22,540 --> 00:03:28,160
Laat me een concreet voorbeeld geven van een AI agent die we hebben gebouwd voor juist onze podcast.

43
00:03:29,240 --> 00:03:32,360
We hebben een agent gemaakt die automatisch nieuwe gasten zoekt.

44
00:03:32,780 --> 00:03:36,000
We krijgen echt wel goede gasten aanbevolen en aangedragen.

45
00:03:36,360 --> 00:03:40,000
Maar een agent is voor ons een mooie manier om buiten ons netwerk juist te zoeken.

46
00:03:40,760 --> 00:03:44,280
Buiten wat ik zelf over al deze technologie lees.

47
00:03:45,040 --> 00:03:48,100
Deze, wat we dan noemen, moet natuurlijk in het Engels zijn,

48
00:03:48,210 --> 00:03:50,460
guest search agent, die werkt in fases.

49
00:03:51,100 --> 00:03:54,320
En in de eerste fase maakt de agent een zoekstrategie.

50
00:03:54,820 --> 00:04:00,200
Het taalmodel analyseert wat er deze week actueel is in de Nederlandse AI wereld

51
00:04:00,510 --> 00:04:03,420
en bedenkt welke onderwerpen en sectoren belangrijk zijn.

52
00:04:04,140 --> 00:04:07,260
En net als een onderzoeker die eerst nadenkt over waar hij moet gaan zoeken,

53
00:04:07,440 --> 00:04:10,100
maakt de agent een lijst van slimme zoekopdrachten.

54
00:04:11,460 --> 00:04:15,180
De agent gebruikt ook nog eens kennis uit eerdere zoeksessies.

55
00:04:15,440 --> 00:04:18,540
Het bekijkt welke zoekopdrachten en bronnen voorheen succesvol waren

56
00:04:18,739 --> 00:04:20,560
en past daar de strategie op aan.

57
00:04:21,280 --> 00:04:25,640
De agent krijgt de opdracht om na te denken over welke bronnen relevant zijn,

58
00:04:25,800 --> 00:04:30,020
vakmedia, universiteiten, conferenties en welke onderwerpen aandacht verdienen,

59
00:04:30,120 --> 00:04:33,480
zoals bijvoorbeeld AI-wetgeving, ethiek, verzin het.

60
00:04:34,340 --> 00:04:37,560
En in de tweede fase gaat die agent daadwerkelijk op zoek.

61
00:04:37,780 --> 00:04:43,940
Dus het taalmodel voert de zoekopdrachten één voor één uit met behulp van de gereedschappen die het kan aanroepen.

62
00:04:44,900 --> 00:04:52,080
De agent heeft bijvoorbeeld een zoekgereedschap om het web te zoeken en een ander gereedschap om complete webpagina's op te halen.

63
00:04:52,700 --> 00:04:55,320
En tijdens het zoeken past de agent zijn strategie aan.

64
00:04:55,860 --> 00:05:00,520
Dus wanneer bepaalde zoekrichtingen succesvol blijken, onderzoekt het meer variaties daarop.

65
00:05:00,960 --> 00:05:03,200
Minder productieve paden worden overgeslagen.

66
00:05:03,840 --> 00:05:08,720
Dus wanneer de agent interessante resultaten vindt, zoals een congresprogramma of een persbericht,

67
00:05:09,140 --> 00:05:13,180
gebruikt het het gereedschap om de volledige inhoud van die pagina dus dan op te halen.

68
00:05:13,580 --> 00:05:17,340
En zo vindt het dan concrete namen van sprekers, onderzoekers of professionals.

69
00:05:18,420 --> 00:05:23,820
En voor elk gevonden persoon controleert de agent eerst of deze persoon niet al recent is aangeboden aan me.

70
00:05:24,260 --> 00:05:27,980
En als alles klopt, slaat het de kandidaat op met alle relevante informatie.

71
00:05:28,260 --> 00:05:32,939
Na afloop reflecteert de agent ook nog eens een keer op de zoeksessie

72
00:05:33,080 --> 00:05:36,180
en documenteert wat goed werkte voor toekomstige zoekopdrachten.

73
00:05:36,860 --> 00:05:40,320
Dus de agent blijft zoeken totdat het genoeg geschikte kandidaat heeft gevonden.

74
00:05:41,140 --> 00:05:45,120
Je ziet dat er behoorlijk wat autonomie gegeven wordt aan deze agent.

75
00:05:45,470 --> 00:05:52,000
En het observeren van wat hij doet, welke volgorde, welke data, welke zoekacties er worden uitgevoerd,

76
00:05:52,040 --> 00:05:57,960
is dan geen overbodige luxe om na te kijken of de agent ook werkt zoals we dat willen

77
00:05:58,270 --> 00:06:00,360
en of er geen fouten ontstaan.

78
00:06:01,960 --> 00:06:05,660
Voor deze agent heb ik het product Ortkey geprobeerd.

79
00:06:05,830 --> 00:06:07,520
Voor de observability.

80
00:06:07,720 --> 00:06:09,440
Gewoon om uit te zoeken hoe goed het werkt.

81
00:06:10,080 --> 00:06:11,380
Een linkje staat in de show notes.

82
00:06:11,610 --> 00:06:13,000
Maar dat even terzijde.

83
00:06:14,540 --> 00:06:15,980
Kijk de grote vraag is nu natuurlijk.

84
00:06:16,660 --> 00:06:18,780
Ja maar hoe zorg je dat jouw agent.

85
00:06:18,940 --> 00:06:20,200
Als jij agents gaat bouwen.

86
00:06:20,540 --> 00:06:22,360
Dat die ook observability krijgt.

87
00:06:23,400 --> 00:06:24,760
Wanneer je kiest voor maatwerk.

88
00:06:25,820 --> 00:06:27,620
Het klinkt misschien wat tegenstrijdig.

89
00:06:27,620 --> 00:06:28,980
Maar dat is eigenlijk het meest eenvoudige.

90
00:06:29,580 --> 00:06:31,360
Want bij maatwerk bouw je alles.

91
00:06:31,660 --> 00:06:32,580
Dan ontwerp je alles zelf.

92
00:06:33,540 --> 00:06:36,220
En voor de observability van AI agents.

93
00:06:36,480 --> 00:06:37,840
En het aanroepen van die taalmodellen.

94
00:06:37,980 --> 00:06:39,500
Zijn er echt gewoon allerlei standaard.

95
00:06:40,320 --> 00:06:40,720
Programmeerbibliotheken.

96
00:06:42,080 --> 00:06:43,220
Cloudprofiders zijn beschikbaar.

97
00:06:43,820 --> 00:06:45,980
En die zijn eigenlijk best wel heel eenvoudig te gebruiken.

98
00:06:46,420 --> 00:06:48,440
Dus je programmeert dat dan zelf erbij.

99
00:06:49,380 --> 00:06:50,860
Waar je dan wel even op moet letten.

100
00:06:51,320 --> 00:06:53,360
Is dat als je een cloudproduct gebruikt.

101
00:06:53,360 --> 00:06:55,020
Is dat er dus ook alle data.

102
00:06:55,400 --> 00:06:57,900
Die wordt dus ook naar die cloudprovider gestuurd.

103
00:06:58,000 --> 00:06:58,860
Dus alle input.

104
00:06:59,140 --> 00:07:00,640
Alles wat hij gevonden heeft.

105
00:07:02,580 --> 00:07:03,540
eventuele bedrijfsgegevens

106
00:07:03,640 --> 00:07:04,840
gaat er ook allemaal naartoe

107
00:07:04,900 --> 00:07:07,300
met alle vraagstukken rondom data delen van dienen

108
00:07:08,979 --> 00:07:10,300
maar gebruik je bijvoorbeeld

109
00:07:10,620 --> 00:07:11,320
Copilot Studio

110
00:07:11,600 --> 00:07:12,960
voor het maken van AI agents

111
00:07:13,200 --> 00:07:14,620
dan biedt bijvoorbeeld Microsoft

112
00:07:14,860 --> 00:07:16,580
die noemt het dan activiteitenkaarten

113
00:07:17,040 --> 00:07:19,560
ik moet je eerlijk zeggen dat ik dit nog niet heb uitgeprobeerd

114
00:07:19,560 --> 00:07:21,300
en niet kan aangeven hoe goed het werkt

115
00:07:21,740 --> 00:07:23,160
maar de documentatie beschrijft wel

116
00:07:23,180 --> 00:07:26,080
dat je automatisch agent sessies kunt volgen

117
00:07:27,360 --> 00:07:28,400
NETN ken je misschien

118
00:07:28,700 --> 00:07:30,039
is een populair platform

119
00:07:30,060 --> 00:07:31,660
waar je AI agents in kunt bouwen.

120
00:07:32,260 --> 00:07:35,440
Kijk, zij hebben op dit moment geen standaard optie voor observability.

121
00:07:36,000 --> 00:07:38,700
Ik verwacht dat dat wel gaat komen, want op dit moment is het er nog niet.

122
00:07:39,520 --> 00:07:42,060
En ja, eerlijk gezegd voor persoonlijke workflows

123
00:07:42,500 --> 00:07:44,960
of persoonlijke agents is dat niet zo erg.

124
00:07:45,540 --> 00:07:49,240
Maar als je de agents wil gaan inzetten in bedrijfskritische processen

125
00:07:49,360 --> 00:07:52,140
en in grotere volumes, dan wordt het toch wel lastig.

126
00:07:52,800 --> 00:07:55,500
Ik zie wel dat de community zelf wat tools heeft gebouwd,

127
00:07:55,900 --> 00:07:58,160
maar ik kan nu moeilijk beoordelen hoe goed die zijn.

128
00:07:59,160 --> 00:08:06,580
Wat daar wel duidelijk bij is, is je hebt behoorlijk wat technische kennis nodig om die tools dan te integreren in NITN.

129
00:08:09,080 --> 00:08:18,700
Wat wel mooi is, als je de producten gebruikt van de leveranciers die observability aanbieden, dan heb je ook nog een aantal bijkomende voordelen.

130
00:08:19,060 --> 00:08:23,440
Ze houden namelijk vaak ook bij hoe lang bijvoorbeeld iedere stap van de agent duurt.

131
00:08:24,140 --> 00:08:27,000
En dit kan je dan gebruiken om de performance in de gaten te houden.

132
00:08:28,640 --> 00:08:31,400
Je ziet ook de kosten van wat de agents verbruiken.

133
00:08:31,979 --> 00:08:34,099
Foutmeldingen van de gereedschappen worden gelogd.

134
00:08:34,640 --> 00:08:37,520
En afhankelijk van het product dat je gebruikt nog veel meer.

135
00:08:37,919 --> 00:08:40,060
Dus dat zijn echt wel fijne bijkomstigheden.

136
00:08:42,140 --> 00:08:44,940
Wat ik nog wil toevoegen is dit.

137
00:08:46,580 --> 00:08:48,640
AI governance is natuurlijk ook belangrijk.

138
00:08:48,840 --> 00:08:50,140
Er wordt ook veel over gesproken.

139
00:08:50,540 --> 00:08:53,560
En observability is best wel een belangrijk element.

140
00:08:54,140 --> 00:08:57,300
Waardoor je een vorm, een deel van die AI governance.

141
00:08:57,390 --> 00:08:59,080
In ieder geval daar invulling aan kan geven.

142
00:08:59,580 --> 00:09:01,640
Want het maakt namelijk, zoals we gezien hebben.

143
00:09:03,020 --> 00:09:04,580
Zichtbaar wat agents doen.

144
00:09:04,790 --> 00:09:06,960
En daarmee kunnen we dus ook controleren.

145
00:09:07,180 --> 00:09:10,240
Of ze zich aan het beleid en de regels houden.

146
00:09:10,340 --> 00:09:12,780
Die je hebt voorgesteld of ingesteld.

147
00:09:13,820 --> 00:09:17,120
Want zonder de gedetailleerde logs of monitoring.

148
00:09:17,380 --> 00:09:21,580
Kun je toch heel slecht verifiëren of een agent binnen de vastgestelde grenzen opereert.

149
00:09:22,720 --> 00:09:25,800
Daarmee levert het ook bewijs voor audits als je het goed inzet.

150
00:09:26,160 --> 00:09:30,040
Elke beslissing en elke actie van de agent is gedocumenteerd en traceerbaar.

151
00:09:30,660 --> 00:09:33,260
En bij incidenten kun je dus precies achterhalen wat de fout ging.

152
00:09:33,820 --> 00:09:36,400
En of dit mogelijk zelfs een beleidsovertreding is.

153
00:09:37,240 --> 00:09:42,720
Dus observability transformeert governance van we hopen dat de agent zich aan de regels houdt.

154
00:09:43,060 --> 00:09:46,520
Naar we kunnen aantonen dat de agent zich aan de regels houdt.

155
00:09:47,980 --> 00:09:49,980
Vandaag hebben we het gehad over die observability.

156
00:09:50,680 --> 00:09:57,640
En ook het verschil met de monitoring en waarom het belangrijk is voor het begrijpen van wat je agent doet en hoe je het kunt implementeren.

157
00:09:57,990 --> 00:10:02,340
En of je nou kiest voor maatwerk of bestaande platforms zoals Copilot Studio of n8n.

158
00:10:02,880 --> 00:10:07,660
Zorg dat je vanaf het begin nadenkt over hoe je je agents observeerbaar maakt.

159
00:10:08,050 --> 00:10:12,640
Want zonder observability rijd je blind op de digitale snelweg zou ik zeggen.

160
00:10:14,120 --> 00:10:18,940
En bedenk zoals altijd, AI is niet de oplossing voor elk probleem, maar onmisbaar waar het past.

161
00:10:20,760 --> 00:10:21,900
dankjewel weer voor het luisteren

162
00:10:22,260 --> 00:10:24,540
vergeet je niet te abonneren via je favoriete podcast app

163
00:10:24,920 --> 00:10:25,820
mis je geen aflevering

164
00:10:25,920 --> 00:10:26,540
tot de volgende keer

165
00:10:55,640 --> 00:10:55,660
[Muziek]