S07E86 - Context engineering: de onzichtbare motor achter betrouwbare AI

In de nieuwste aflevering van AIToday Live staat context engineering centraal. Deze discipline binnen AI-ontwikkeling richt zich op het ontwerpen van systemen die AI-modellen voorzien van de juiste informatie op het juiste moment.

Context engineering gaat verder dan prompt engineering en omvat het bouwen van dynamische informatiesystemen. Deze systemen combineren gegevens uit verschillende bronnen, zoals gebruikersinput, databases en API's.

Een belangrijke uitdaging hierbij zijn de context window limieten van AI-modellen. Context engineers moeten slim selecteren welke informatie essentieel is binnen deze technische beperkingen.

De podcast bespreekt zeven methoden om context toe te voegen aan AI-systemen, waaronder het gebruik van web URL's, documenten uploaden en RAG-systemen. Ook wordt gewaarschuwd voor de risico's van context pollution.

Onderwerpen

• Wat is context engineering?
• Context window limieten
• Verschil tussen context engineering en prompt engineering
• Zeven manieren om context toe te voegen aan AI-systemen
• Context pollution en de impact op AI-systemen

Links

• Podcast: AIToday Live podcast
• Artikel: Context Engineering Explained
• Technologie: Retrieval Augmented Generation (RAG) systems
• Platform: ChatGPT CustomGPT
• Podcast: AIToday Live S07E02 - 2025 de doorbraak van AI agents: hoe werken ze?
• Podcast: AIToday Live S07E06 - AI agents in 2025: je organisatie voorbereiden
• Podcast: AIToday Live S07E60 - Dit is het verschil tussen AI agents en Agentic AI

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:02,920 --> 00:00:06,900
Hoi, leuk dat je weer luistert naar deze korte aflevering van AIToday Live.

2
00:00:07,320 --> 00:00:09,300
Mijn naam, Joop Snijder, CTO bij Aigency.

3
00:00:11,300 --> 00:00:14,020
En picture this, Barcelona 2025.

4
00:00:15,120 --> 00:00:17,520
Je ziet jezelf een reis maken door deze prachtige stad.

5
00:00:18,240 --> 00:00:21,960
Je hebt een overzicht met bezienswaardigheden, restaurants, activiteiten.

6
00:00:22,080 --> 00:00:24,320
De mooiste plekken om over de stad uit te kijken.

7
00:00:24,780 --> 00:00:29,300
En het meest geweldige, je hebt deze route uit laten stippelen door een AI-assistent.

8
00:00:29,960 --> 00:00:31,800
Maar er is één probleem.

9
00:00:32,840 --> 00:00:38,800
De AI weet niet dat je rolstoelgebonden bent, dat je vegetariër bent of dat je vorige week al in Barcelona was voor je werk.

10
00:00:39,600 --> 00:00:42,580
Het resultaat een volledig irrelevant advies.

11
00:00:43,760 --> 00:00:50,540
En dit is precies waarom context engineering misschien wel het belangrijkste onderdeel van AI ontwikkeling is geworden.

12
00:00:51,240 --> 00:00:54,000
En toch verwarren veel mensen het nog steeds met prompt engineering.

13
00:00:54,760 --> 00:00:57,820
Daarom vertel ik je vandaag over context engineering.

14
00:00:58,540 --> 00:01:03,340
Want zonder goede context kan de beste AI agent ter wereld niets voor je betekenen.

15
00:01:04,280 --> 00:01:08,500
Maar goed, laten we eerst dan beginnen bij wat is context engineering eigenlijk?

16
00:01:11,580 --> 00:01:17,140
Deze context engineering, het is wel veel van herhalen van dit woord, maar goed, daar gaat het vandaag ook over.

17
00:01:17,440 --> 00:01:20,740
Het gaat veel verder dan een slimme vraag stellen aan ChatGPT.

18
00:01:21,400 --> 00:01:31,140
Het is het ontwerpen en bouwen van complete informatiesystemen die AI modellen precies de juiste informatie geven op het juiste moment.

19
00:01:31,820 --> 00:01:39,800
Het zorgt ervoor dat AI systemen niet alleen weten wat ze moeten doen, maar ook beschikken over alle informatie die ze nodig hebben om het goed te doen.

20
00:01:40,480 --> 00:01:46,640
Met context engineering bouw je dynamische systemen die informatie uit verschillende bronnen samenbrengt.

21
00:01:47,180 --> 00:02:00,300
Dat kan zijn gebruikersinput, gespreksgeschiedenis, externe databases, daar data uit, tools die je ter beschikking stelt, APIs, programmeren interfaces naar SaaS producten.

22
00:02:00,640 --> 00:02:05,900
En die worden allemaal georganiseerd en gepresenteerd op het moment dat de AI ze nodig heeft.

23
00:02:06,540 --> 00:02:13,120
Het is een holistische benadering die zich constant aanpast aan veranderende omstandigheden.

24
00:02:13,240 --> 00:02:14,960
Dat is een veranderende situatie moet ik zeggen.

25
00:02:17,420 --> 00:02:27,020
Maar als we het hebben over deze vorm van engineering, dan moeten we het ook hebben over de context window limieten.

26
00:02:28,900 --> 00:02:31,100
Want hier stuiten we namelijk op een beperking.

27
00:02:31,300 --> 00:02:35,720
AI-modellen kunnen namelijk niet oneindig veel informatie tegelijkertijd verwerken.

28
00:02:36,440 --> 00:02:43,100
Ze hebben een context window, dat is een limiet aan het aantal woorden, tokens eigenlijk, dat ze in één keer kunnen begrijpen.

29
00:02:43,640 --> 00:02:50,840
En dat betekent dat context engineering niet alleen gaat over het verzamelen van informatie, maar vooral over het slim selecteren ervan.

30
00:02:51,300 --> 00:02:55,080
En je kunt niet alles wat potentieel relevant is in de context stoppen.

31
00:02:55,720 --> 00:02:56,460
Dus je moet kiezen.

32
00:02:57,560 --> 00:03:02,800
En welke informatie is dan het belangrijkste voor deze specifieke taak?

33
00:03:03,260 --> 00:03:06,240
Wat kan worden samengevat? Wat kan worden weggelaten?

34
00:03:06,980 --> 00:03:10,640
En dit is dus waar context engineering echt een vaardigheid wordt.

35
00:03:10,880 --> 00:03:14,780
Het gaat over het maken van slimme keuzes binnen de beperkingen.

36
00:03:16,530 --> 00:03:18,580
Maar goed, wat is dan het verschil met prompt engineering?

37
00:03:19,130 --> 00:03:21,900
En dat gaat verder. Het is geen semantisch verschil.

38
00:03:22,460 --> 00:03:26,660
Veel mensen denken dat context engineering gewoon een fancy naam is voor prompt engineering.

39
00:03:27,340 --> 00:03:31,719
Maar ik denk dat de verschillen goed te begrijpen zijn als ze het een beetje afbellen.

40
00:03:32,740 --> 00:03:34,600
De verschillen zitten bijvoorbeeld in de focus.

41
00:03:35,180 --> 00:03:39,900
Bij prompt engineering richt je je op het schrijven van een hele specifieke instructie.

42
00:03:40,780 --> 00:03:44,820
En context engineering bouwt complete informatiesystemen die dynamisch reageren.

43
00:03:44,820 --> 00:03:45,560
Wat ik net al zei.

44
00:03:46,200 --> 00:03:47,120
Je hebt een verschil in scope.

45
00:03:47,380 --> 00:03:51,140
Dus een prompt is een enkele zin-tekenreeks.

46
00:03:52,820 --> 00:04:00,220
Maar de context engineering omvat alle relevante data, tools, documenten en doorlopende status van het systeem.

47
00:04:01,000 --> 00:04:02,520
Er is een verschil in de aanpasbaarheid.

48
00:04:02,540 --> 00:04:04,060
De prompt is een grotendeels statisch.

49
00:04:04,160 --> 00:04:07,340
Die schrijf je eenmaal en die gebruik je vaker.

50
00:04:08,580 --> 00:04:11,680
Terwijl bij context engineering dat is veel dynamischer.

51
00:04:12,100 --> 00:04:21,519
Dus per taak, per gebruiker, per sessie kan je aanpassen wat uiteindelijk samen met die prompt opgestuurd wordt naar het taalmodel.

52
00:04:22,860 --> 00:04:27,260
En je hebt verschil qua impact op de kwaliteit van de uitkomst.

53
00:04:27,280 --> 00:04:29,920
Dus een goede prompt heeft laten we zeggen een medium impact.

54
00:04:30,340 --> 00:04:33,620
Omdat het beperkt afhankelijk is van de context die gegeven wordt.

55
00:04:34,220 --> 00:04:39,900
Bij context engineering die heeft een hele hoge impact op de kwaliteit van de uitkomst.

56
00:04:40,020 --> 00:04:44,740
Omdat het direct verantwoordelijk is voor het geheugen, meer stapsmogelijkheden van de AI.

57
00:04:45,980 --> 00:04:47,300
Alle data die je geeft.

58
00:04:47,410 --> 00:04:53,420
Dus dit verklaart waarom organisaties die succesvol met AI zijn vaak meer tijd besteden.

59
00:04:53,660 --> 00:04:56,440
Juist aan die context engineering dan aan de prompt engineering.

60
00:04:57,440 --> 00:05:01,240
Context engineering bepaalt uiteindelijk wat een AI systeem kan en niet kan.

61
00:05:03,200 --> 00:05:07,120
Ik wil je zeven manieren vertellen hoe je context kan toevoegen.

62
00:05:07,420 --> 00:05:10,060
En dat is niet volledig, maar dit zijn wel hele belangrijke, denk ik.

63
00:05:11,419 --> 00:05:14,680
Nou, het begint eigenlijk al bij die prompt zelf.

64
00:05:15,320 --> 00:05:15,980
Hier begint alles.

65
00:05:16,140 --> 00:05:18,740
Dus dit zijn de instructies en die instructies moeten helder zijn.

66
00:05:18,980 --> 00:05:22,560
En de AI kan bijvoorbeeld ook vertellen wat dan de rol is.

67
00:05:22,680 --> 00:05:24,420
Dat is eigenlijk al een klein beetje context geven.

68
00:05:25,120 --> 00:05:31,480
Maar ook systeeminstructies, die bepalen ook hoe de AI zich gedraagt en welke stijl het hanteert.

69
00:05:32,060 --> 00:05:35,300
En zo kun je een duidelijk doel meegeven, rol beschrijven.

70
00:05:35,440 --> 00:05:40,180
Of zelfs een placeholder gebruiken waar je de huidige datum in mee kan geven.

71
00:05:40,640 --> 00:05:43,460
Dus daar loopt de prompt en de context al een beetje door elkaar.

72
00:05:44,320 --> 00:05:48,800
Een andere is, misschien heb je dat al heel vaak gedaan, is gewoon een web URL meegeven.

73
00:05:49,040 --> 00:05:50,540
En een link naar een webpagina.

74
00:05:51,360 --> 00:05:55,020
En daarmee geef je de AI toegang tot actuele informatie.

75
00:05:55,500 --> 00:05:58,960
En dit zorgt ervoor dat je AI niet vast zit aan verouderde trainingsdata.

76
00:05:59,140 --> 00:06:01,340
Maar juist realtime informatie kan ophalen.

77
00:06:01,920 --> 00:06:03,400
Simpel, maar wel heel krachtig.

78
00:06:04,280 --> 00:06:05,400
Je kan documenten uploaden.

79
00:06:05,580 --> 00:06:06,180
Misschien ook al gedaan.

80
00:06:07,400 --> 00:06:10,120
Bedrijfsdocumenten, handleidingen, specifieke kennisbronnen.

81
00:06:10,880 --> 00:06:12,660
Die kun je dan direct beschikbaar maken.

82
00:06:15,080 --> 00:06:18,500
Je geeft daarmee de AI letterlijk jouw kennis mee.

83
00:06:19,200 --> 00:06:20,440
Ook een manier van context engineering.

84
00:06:21,140 --> 00:06:23,540
Dan hebben we nog de aangepaste AI-assistenten.

85
00:06:23,660 --> 00:06:25,640
Dus denk hier aan de CustomGPT.

86
00:06:27,800 --> 00:06:28,460
In ChatGPT.

87
00:06:29,200 --> 00:06:32,780
Waar je een complete kennisbank kan uploaden.

88
00:06:32,960 --> 00:06:36,980
Wel beperkt, maar je kan echt al heel wat context meegeven.

89
00:06:37,070 --> 00:06:42,980
Dus de AI heeft dan altijd toegang tot die specifieke informatie en werkwijze die je mee hebt gegeven.

90
00:06:44,360 --> 00:06:46,680
Volgende stap zijn de RAG-systems.

91
00:06:47,500 --> 00:06:49,680
RAG staat voor Retrieval Augmented Generation.

92
00:06:50,780 --> 00:06:56,180
Dat zijn systemen die slim informatie opzoeken uit meestal best wel grote databases.

93
00:06:56,760 --> 00:06:59,480
En alleen die relevante stukjes aan de AI geven.

94
00:07:00,060 --> 00:07:05,120
En dit is eigenlijk de professionele manier om kennis te beheren binnen een context window.

95
00:07:05,720 --> 00:07:06,920
Die de beperking heeft.

96
00:07:07,080 --> 00:07:09,920
Omdat je alleen maar namelijk relevante stukjes opzoekt.

97
00:07:10,500 --> 00:07:12,680
In die hele grote pak aan data die er is.

98
00:07:14,100 --> 00:07:16,360
Wat ik al eerder noemde is bijvoorbeeld de API toegang.

99
00:07:17,060 --> 00:07:22,280
Dus je geeft de AI programmatisch toegang tot externe systemen.

100
00:07:22,360 --> 00:07:25,419
Dat kan een CRM zijn, je agenda of andere bedrijfssystemen.

101
00:07:26,460 --> 00:07:35,140
En hiermee wordt de AI een echte digitale collega, zou je kunnen zeggen, die data op kan halen en echt jouw context kent.

102
00:07:36,740 --> 00:07:45,100
En in de wereld van de ontwikkelaars, waar ik ook zelf uitkom, daar zie je heel erg dat je met Cloud Projects of GitHub Copilot,

103
00:07:45,290 --> 00:07:49,800
dat je die kan configureren, bijvoorbeeld met je eigen codingstandard, je projectstructuur.

104
00:07:50,300 --> 00:07:54,620
Maar die kan dus ook kijken in de code en daar de context uithalen.

105
00:07:55,380 --> 00:08:00,980
De AI begrijpt op die manier dan de manier van werken en past zich dan aan jouw stijl eventueel aan.

106
00:08:02,260 --> 00:08:08,300
Nou, en heb ik dan nu vooral gesproken over wat je toevoegt als in de context engineering.

107
00:08:08,340 --> 00:08:14,600
Maar in de context engineering hoort ook bij dat je keuzes maakt in wat juist niet in de context thuis hoort.

108
00:08:14,960 --> 00:08:19,620
Er is een keerzijde, want we moeten namelijk ook kijken van wat past binnen die beperkingen.

109
00:08:20,300 --> 00:08:22,420
En hier wordt het ook extra interessant voor agents.

110
00:08:23,060 --> 00:08:28,360
Want net zo belangrijk als wat er wel in staat, moet je ook kijken wat er niet in hoort.

111
00:08:29,979 --> 00:08:37,260
En ik haal dat namelijk omdat je best wel heel snel te maken krijgt met zogenaamde context pollution, context vervuiling.

112
00:08:37,580 --> 00:08:41,360
En dat is echt een probleem aan het worden, vooral met die beperkte context windows.

113
00:08:41,560 --> 00:08:47,720
Dus als je te veel informatie geeft, dan kan dat zo'n AI agent afleiden of verwarren.

114
00:08:48,880 --> 00:08:51,400
verouderde informatie kan tot verkeerde beslissingen leiden.

115
00:08:51,980 --> 00:08:54,260
En gevoelige informatie die niet thuis hoort,

116
00:08:54,600 --> 00:08:57,040
die kan juist weer veiligheidsrisico's opleveren.

117
00:08:58,180 --> 00:09:00,800
Dus het betekent echt wel dat je slim moet filteren,

118
00:09:01,420 --> 00:09:02,900
eventueel wat moet comprimeren.

119
00:09:04,300 --> 00:09:09,300
En vragen stellen als welke informatie is relevant voor deze specifieke taak?

120
00:09:09,380 --> 00:09:12,240
Welke gespreksgeschiedenis hoeft niet bewaard te worden?

121
00:09:12,640 --> 00:09:16,180
Welke systemen mag de AI agent wel en niet benaderen?

122
00:09:16,720 --> 00:09:19,680
En wat kan worden samengevat zonder belangrijke details te verliezen?

123
00:09:21,560 --> 00:09:25,780
De kwaliteit van deze context bepaalt direct hoe betrouwbaar je AI systeem is.

124
00:09:26,760 --> 00:09:30,560
In vorige afleveringen over de toekomst van AI agents.

125
00:09:30,900 --> 00:09:31,900
Kijk maar even in de show notes.

126
00:09:32,280 --> 00:09:36,580
Hebben we het gehad over hoe deze systemen steeds meer taken van ons gaan overnemen.

127
00:09:37,040 --> 00:09:40,900
Maar dat kan dus alleen als we de juiste context hebben om die taken goed uit te voeren.

128
00:09:41,900 --> 00:09:47,380
voor de technische realiteit en de limieten van de context qua woorden en tokens.

129
00:09:48,480 --> 00:09:53,320
Wat mij betreft is context engineering daarom misschien wel de belangrijkste vaardigheid om te ontwikkelen

130
00:09:53,550 --> 00:09:55,340
als je echt wil profiteren van AI.

131
00:09:56,920 --> 00:10:02,500
Maar bedenk zoals altijd, AI is niet de oplossing van elk probleem, maar onmisbaar waar het past.

132
00:10:05,720 --> 00:10:06,940
Dank je wel weer voor het luisteren.

133
00:10:07,860 --> 00:10:09,740
Vind je deze aflevering nou interessant?

134
00:10:10,240 --> 00:10:13,320
Delen we ook eens met vrienden, collega's, familie.

135
00:10:14,180 --> 00:10:15,060
Dat we het erg leuk vinden.

136
00:10:15,380 --> 00:10:16,060
Tot de volgende keer.

137
00:10:45,160 --> 00:10:45,180
[Muziek]