S08E40 - "Hallucineer niet" zeggen lost niets op. Dit wel!

Waarom werkt "hallucineer niet" tegen AI niet, terwijl "schrijf in het Nederlands" wel wordt opgevolgd? Het probleem is dat hallucinatie geen stijlkeuze is die je aan of uit kunt zetten. Taalmodellen kunnen bij elk woord controleren of het Nederlands is, maar hebben geen mechanisme om te checken of iets waar is.

RAG-implementatie vermindert hallucinaties met 71% door het model bronmateriaal te geven. Bronvermelding vragen en stap-voor-stap redenering helpen ook effectief. Morgen kun je beginnen met één methode: vraag je AI expliciet om bij elke bewering de bron te vermelden.

Onderwerpen

• Waarom instructies als 'hallucineer niet' niet werken bij taalmodellen
• Het verschil tussen stijlinstructies en waarheidsinstructies bij AI
• RAG (Retrieval-Augmented Generation) als methode om hallucinaties te verminderen
• Praktische verificatietechnieken zoals bronvermelding en chain-of-thought prompting
• De rol van context window en web search bij het voorkomen van hallucinaties

Links

• Podcast: AIToday Live S06E26 — De waarheid achter AI-hallucinaties
• Podcast: AIToday Live S06E72 — 3 promptingtechnieken die je productiviteit verhogen
• Rapport: AI Hallucination Report 2026: Which AI Hallucinates the Most?
• Artikel: After the headlines: six practical techniques for managing LLM hallucination

Genoemde entiteiten: ChatGPT - Claude - Anthropic - OpenAI

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:01,439 --> 00:00:04,400
Hoi, leuk dat je luistert naar de korte aflevering van AIToday.

2
00:00:04,480 --> 00:00:08,080
Mijn naam is Joop Snijder, head of AI bij Info Support.

3
00:00:08,080 --> 00:00:12,720
en ik ga je vandaag meenemen in de vragen 1
00:00:01,439 --> 00:00:04,400
Hoi, leuk dat je luistert naar de korte aflevering van AIToday.

2
00:00:04,480 --> 00:00:08,080
Mijn naam is Joop Snijder, head of AI bij Info Support.

3
00:00:08,080 --> 00:00:12,720
en ik ga je vandaag meenemen in de vragen over hallucinaties.

4
00:00:12,720 --> 00:00:17,280
Want laatst krijg ik tijdens een workshop een vraag die ik inmiddels wel vaker hoor.

5
00:00:17,280 --> 00:00:25,759
en dat is echt een hele leuke vraag, want iemand stak een hand op en zei: Joop, waarom schrijf je niet gewoon in je prompt dat het taalmodel niet mag hallucineren?

6
00:00:25,760 --> 00:00:28,559
Dan is dat hele hallucineren opgelost.

7
00:00:28,879 --> 00:00:31,359
En ik snap die vraag volledig.

8
00:00:31,359 --> 00:00:37,200
Want taalmodellen zijn tegenwoordig natuurlijk heel goed in het opvolgen van instructies.

9
00:00:37,200 --> 00:00:40,239
Je zegt schrijf formeel en het schrijft formeel.

10
00:00:40,240 --> 00:00:43,920
Je zegt antwoord in het Nederlands en het antwoordt in het Nederlands.

11
00:00:43,920 --> 00:00:47,199
Dus waarom niet gewoon zeggen hallucineer niet.

12
00:00:48,079 --> 00:00:54,240
Ik ga je zo direct uitleggen waarom dat niet werkt, maar laten we eerst kijken wat voor soorten instructies wel werken.

13
00:00:54,240 --> 00:00:58,799
Want er zijn natuurlijk genoeg dingen die een taalmodel prima kunt verbieden.

14
00:00:59,119 --> 00:01:02,479
Je kunt zeggen, gebruik geen opsommingstekens.

15
00:01:02,480 --> 00:01:05,040
En het model schrijft dan in een lopende tekst.

16
00:01:05,039 --> 00:01:08,079
Je kunt zeggen, geef geen medisch advies.

17
00:01:08,079 --> 00:01:11,920
Het model zal het netjes weigeren.

18
00:01:11,920 --> 00:01:20,000
En je kunt zeggen, schrijf niet langer dan 200 woorden en dan houdt het zich redelijk aan, gebruik geen Engelse woorden.

19
00:01:20,640 --> 00:01:26,559
Dat soort beperkingen, verboden, kun je prima opgeven.

20
00:01:27,040 --> 00:01:29,519
Waarom werken die instructies zo goed?

21
00:01:29,519 --> 00:01:35,679
Omdat het allemaal keuzes zijn die het model kan maken op het moment dat een tekst gegenereerd wordt.

22
00:01:35,679 --> 00:01:40,399
Het model kiest woord voor woord en bij elk woord kan het als het ware checken.

23
00:01:40,399 --> 00:01:44,239
Past dit bij de instructie, moet ik hier een opsommingsteken plaatsen?

24
00:01:44,239 --> 00:01:45,519
Nee, dat mag niet.

25
00:01:45,519 --> 00:01:47,519
Moet ik hier een Engels woord gebruiken.

26
00:01:47,520 --> 00:01:49,519
Nee, de opdracht zegt Nederlands.

27
00:01:49,519 --> 00:01:53,759
Dat zijn stuurbare beslissingen over de vorm en de stijl van het antwoord.

28
00:01:54,560 --> 00:01:58,560
Maar hallucinatie is geen stijlkeuze.

29
00:01:58,560 --> 00:02:03,439
Het is geen formatting optie die je aan of uitzet.

30
00:02:03,439 --> 00:02:06,159
En hier zit echt dat verschil in.

31
00:02:06,159 --> 00:02:12,480
Een taalmodel voorspelt woord voor woord wat het meest waarschijnlijke vervolg is op de vorige tekst.

32
00:02:12,479 --> 00:02:15,519
Het heeft geen apart mechanisme dat tussendoor zegt.

33
00:02:15,759 --> 00:02:18,000
Wacht even, is dit wel waar.

34
00:02:18,079 --> 00:02:20,319
Het heeft simpelweg geen besef van waarheid.

35
00:02:20,319 --> 00:02:22,160
Het heeft sowieso helemaal geen begrip.

36
00:02:22,159 --> 00:02:30,639
Het weet niet wanneer het iets verzint, want het ervaart geen verschil tussen een feit en iets wat het fabriceert, hallucineert.

37
00:02:30,639 --> 00:02:32,959
Dus voor het model is alles hetzelfde proces.

38
00:02:32,959 --> 00:02:35,679
Het meest waarschijnlijk volgende woord kiezen.

39
00:02:36,159 --> 00:02:41,359
En daarom blijft wat mij betreft de analogie met rekenmachine zo treffend.

40
00:02:41,759 --> 00:02:45,919
Stel, je zegt tegen je rekenmachine, maak geen afrondingsfouten.

41
00:02:45,919 --> 00:02:48,880
En de rekenmachine weet niet wat een afrondingsfout is.

42
00:02:48,880 --> 00:02:51,760
Die voert je gewoon berekeningen uit volgens vaste regels.

43
00:02:51,759 --> 00:02:59,280
Een afronding is een gevolg van hoe de machine werkt en niet een bewuste keuze die je kunt uitschakelen.

44
00:02:59,759 --> 00:03:02,080
Bij een taalmodel is dat net zo.

45
00:03:02,399 --> 00:03:06,080
De hallucinatie is een bijproduct van het proces zelf.

46
00:03:06,080 --> 00:03:08,560
Het model kiest het meest waarschijnlijke volgende woord.

47
00:03:08,560 --> 00:03:14,159
En soms leidt die keten van waarschijnlijke woorden naar een overtuigend klinkend antwoord dat niet klopt.

48
00:03:14,159 --> 00:03:20,480
Het model heeft op geen enkele wijze of op geen enkel moment, moet ik zeggen, besloten om te gaan hallucineren.

49
00:03:20,479 --> 00:03:25,759
Er is geen kruispunt waar het links kon gaan voor waarheid en rechts voor verzinsel.

50
00:03:25,759 --> 00:03:28,399
Het kent dat kruispunt gewoon niet.

51
00:03:29,120 --> 00:03:32,240
Vergelijk het met de instructie: schrijf geen Engels.

52
00:03:32,240 --> 00:03:34,400
Daar kan het model bij elk woord controleren.

53
00:03:34,400 --> 00:03:35,200
Is dit Engels?

54
00:03:35,199 --> 00:03:36,000
Ja of nee.

55
00:03:36,159 --> 00:03:42,160
Bij hallucineer niet, zou het model bij elk woord moeten controleren, is wat ik hier beweer feitelijk correct.

56
00:03:42,160 --> 00:03:47,280
En dat kan het niet, want het heeft geen toegang tot een waarheidstoets.

57
00:03:47,680 --> 00:03:55,919
In een eerdere aflevering over de waarheid achter AI-hallucinaties heb ik al eens uitgelegd dat de term hallucinatie dat ik die eigenlijk misleidend vind.

58
00:03:55,919 --> 00:04:01,440
We lenen een woord uit de menselijke psychologie voor iets dat puur statistisch is.

59
00:04:01,439 --> 00:04:07,919
En dat maakt het verleidelijk om te denken dat je met een menselijke oplossing doe het gewoon niet vanaf bent.

60
00:04:08,400 --> 00:04:11,520
Uiteindelijk is een hallucinatie namelijk een fout.

61
00:04:11,759 --> 00:04:13,439
Wat wel helpt.

62
00:04:14,080 --> 00:04:15,599
Want dat is misschien wel handig.

63
00:04:15,599 --> 00:04:19,280
Kijk, je kunt dan niet een taalmodel vragen om te stoppen met hallucineren.

64
00:04:19,280 --> 00:04:24,800
Maar er zijn wel een aantal dingen die je wel kan doen om in ieder geval te zorgen dat het minder gebeurt.

65
00:04:24,800 --> 00:04:27,040
En gelukkig zijn dat er best veel.

66
00:04:27,040 --> 00:04:32,639
En de eerste en meest effectieve aanpak is: geef het model bronmateriaal mee.

67
00:04:32,639 --> 00:04:36,959
Zeg expliciet baseer je antwoord alleen op de aangeleverde tekst.

68
00:04:36,960 --> 00:04:41,120
Dit is het principe achter RAG, Retrieval Augmented Generation.

69
00:04:41,120 --> 00:04:45,120
Waarbij je het model koppelt aan jouw eigen documenten en data.

70
00:04:45,120 --> 00:04:49,040
En onderzoek laat bijvoorbeeld zien dat RAG hallucinaties.

71
00:04:49,040 --> 00:04:59,360
Dat RAG, zou ik moet zo zeggen, onderzoek laat zien dat deze vorm RAG, hallucinaties met zo'n 71% kan verminderen als het goed wordt ingezet.

72
00:04:59,560 --> 00:05:02,040
Ten tweede vraag om bronvermelding.

73
00:05:02,920 --> 00:05:07,160
Geef de instructie dat het model bij elk antwoord moet aangeven waar de informatie vandaan komt.

74
00:05:07,639 --> 00:05:18,599
Anthropic, de maker van Claude adviseert zelfs om het model elke bewering te laten onderbouwen met een citaat uit de bronnen en beweringen in te trekken waarvoor geen onderbouwing te vinden is.

75
00:05:18,600 --> 00:05:23,960
En dat maakt het voor jou als gebruiker veel gemakkelijker om te controleren of iets klopt.

76
00:05:24,199 --> 00:05:28,600
En ten derde kun je het model stap voor stap laten redeneren.

77
00:05:28,600 --> 00:05:30,600
Dat heet chain-of-thought prompting.

78
00:05:30,600 --> 00:05:36,599
In plaats van direct naar een eindantwoord te springen, vraag je het model om zijn denkstappen te laten horen.

79
00:05:36,600 --> 00:05:44,280
En dat verkleint in die zin de kans op fouten, omdat het model dan minder snel een sprong maakt naar een conclusie die nergens op gebaseerd is.

80
00:05:45,079 --> 00:05:51,800
In aflevering 72 van vorige seizoen over promptingtechnieken heb ik laten horen hoe dat in de praktijk werkt.

81
00:05:51,800 --> 00:05:54,359
Dus die kan je even terugluisteren als je zou willen.

82
00:05:54,840 --> 00:06:01,719
En dan is er nog een hele simpele: dat is namelijk als je de mogelijkheid hebt om web search aan te zetten.

83
00:06:01,720 --> 00:06:10,439
Veel modellen gebruiken standaard alleen hun eigen interne kennis, maar dat vergroot juist de kans op hallucinaties, vooral rondom actuele onderwerpen.

84
00:06:10,439 --> 00:06:22,120
En met websearch erbij haalt het model recente informatie op en krijg je vaak ook links erbij, die je kunt controleren, maar die je taalmodel ook zelf kan gebruiken om dingen te controleren.

85
00:06:24,360 --> 00:06:30,759
Een andere mogelijkheid is dat je bijvoorbeeld een tweede model taalmodel als controleur zou gebruiken.

86
00:06:30,759 --> 00:06:37,399
Je laat de output van het ene model beoordelen door een ander model met instructie om te controleren op feitelijke fouten.

87
00:06:37,399 --> 00:06:42,760
Dus wat je kan vragen is welke claims zitten hierin en controleer of die claims waar zijn.

88
00:06:43,240 --> 00:06:45,800
Dat zijn structuren.

89
00:06:46,039 --> 00:06:51,240
Die het complexer maken, maar wel uiteindelijk de hallucinatie kunnen verminderen.

90
00:06:51,240 --> 00:06:54,040
Het is een beetje hetzelfde als bij menselijk werken.

91
00:06:54,039 --> 00:06:58,359
Een collega die meeleest, vangt fouten op die je zelf over het hoofd hebt gezien.

92
00:06:59,639 --> 00:07:01,000
En dan nog iets.

93
00:07:01,000 --> 00:07:05,800
En dit is wel waar veel mensen niet bij stilstaan is houd je context window in de gaten.

94
00:07:06,039 --> 00:07:11,160
Dus elk model heeft een limiet aan hoeveel tekst het tegelijk kan verwerken.

95
00:07:11,159 --> 00:07:17,400
De grote modellen adverteren tegenwoordig het enorme van dit soort vensters van honderdduizenden woorden.

96
00:07:17,399 --> 00:07:19,720
Dat zeg maar een miljoen tokens.

97
00:07:19,720 --> 00:07:24,360
Maar in de praktijk presteert het model het beste bij misschien wel de helft maar ervan.

98
00:07:24,360 --> 00:07:30,600
Ga je daar overheen, dan neemt de kwaliteit af en daarmee ook dus die kans op fouten, de kans op hallucinatie.

99
00:07:30,919 --> 00:07:35,399
Maar ook te veel context binnen die limiet, dus wat je meegeeft.

100
00:07:35,639 --> 00:07:40,199
Dus hoe meer tekst je het model voorschotelt, hoe meer ruis kan ontstaan.

101
00:07:40,199 --> 00:07:46,040
Het model moet dan een berg aan informatie er doorheen worstelen om de relevante stukken eruit te halen.

102
00:07:46,039 --> 00:07:50,439
Kijk, als je een speld wil zoeken in hooiberg, kan die hooiberg maar zo klein mogelijk.

103
00:07:50,439 --> 00:07:55,800
Als je als je die zo klein mogelijk maakt, heb je zo snel mogelijk uiteindelijk die speld gevonden.

104
00:07:55,799 --> 00:08:04,839
Dus werk je aan een lang document of een uitgebreid gesprek, begin dan een nieuwe sessie of knip je document op in stukken en verwerkt die dan apart.

105
00:08:05,960 --> 00:08:16,119
Als we het even afsluiten, dan is de les van deze aflevering eigenlijk heel simpel: namelijk een taalmodel houdt zich aan je instructies over vorm, taal en structuur.

106
00:08:16,120 --> 00:08:19,080
Want dat zijn de keuzes die het model woord voor woord kan maken.

107
00:08:19,080 --> 00:08:28,199
Maar een instructie over waarheid, ja dat werkt niet, omdat het model geen verschil tussen feit en fictie kent, dat onderscheid, blijft mensenwerk.

108
00:08:28,199 --> 00:08:35,639
Dus het zou heel mooi zijn als je zou kunnen zeggen, hallucineer niet, maar helaas kan dat niet.

109
00:08:37,879 --> 00:08:40,919
Dankjewel weer voor het luisteren naar deze korte aflevering.

110
00:08:40,919 --> 00:08:48,120
Wil je niets missen van AIToday Live, druk dan op de volgknop in je podcast app en je hebt iedere week een nieuwe aflevering klaarstaan.

111
00:08:48,120 --> 00:08:53,480
En bedenk zoals altijd: AI is niet de oplossing van elk probleem, maar onmisbaar waar het past.

112
00:08:53,480 --> 00:08:56,920
Tot de volgende keer.

over hallucinaties.

4
00:00:12,720 --> 00:00:17,280
Want laatst krijg ik tijdens een workshop een vraag die ik inmiddels wel vaker hoor.

5
00:00:17,280 --> 00:00:25,759
en dat is echt een hele leuke vraag, want iemand stak een hand op en zei: Joop, waarom schrijf je niet gewoon in je prompt dat het taalmodel niet mag hallucineren?

6
00:00:25,760 --> 00:00:28,559
Dan is dat hele hallucineren opgelost.

7
00:00:28,879 --> 00:00:31,359
En ik snap die vraag volledig.

8
00:00:31,359 --> 00:00:37,200
Want taalmodellen zijn tegenwoordig natuurlijk heel goed in het opvolgen van instructies.

9
00:00:37,200 --> 00:00:40,239
Je zegt schrijf formeel en het schrijft formeel.

10
00:00:40,240 --> 00:00:43,920
Je zegt antwoord in het Nederlands en het antwoordt in het Nederlands.

11
00:00:43,920 --> 00:00:47,199
Dus waarom niet gewoon zeggen hallucineer niet.

12
00:00:48,079 --> 00:00:54,240
Ik ga je zo direct uitleggen waarom dat niet werkt, maar laten we eerst kijken wat voor soorten instructies wel werken.

13
00:00:54,240 --> 00:00:58,799
Want er zijn natuurlijk genoeg dingen die een taalmodel prima kunt verbieden.

14
00:00:59,119 --> 00:01:02,479
Je kunt zeggen, gebruik geen opsommingstekens.

15
00:01:02,480 --> 00:01:05,040
En het model schrijft dan in een lopende tekst.

16
00:01:05,039 --> 00:01:08,079
Je kunt zeggen, geef geen medisch advies.

17
00:01:08,079 --> 00:01:11,920
Het model zal het netjes weigeren.

18
00:01:11,920 --> 00:01:20,000
En je kunt zeggen, schrijf niet langer dan 200 woorden en dan houdt het zich redelijk aan, gebruik geen Engelse woorden.

19
00:01:20,640 --> 00:01:26,559
Dat soort beperkingen, verboden, kun je prima opgeven.

20
00:01:27,040 --> 00:01:29,519
Waarom werken die instructies zo goed?

21
00:01:29,519 --> 00:01:35,679
Omdat het allemaal keuzes zijn die het model kan maken op het moment dat een tekst gegenereerd wordt.

22
00:01:35,679 --> 00:01:40,399
Het model kiest woord voor woord en bij elk woord kan het als het ware checken.

23
00:01:40,399 --> 00:01:44,239
Past dit bij de instructie, moet ik hier een opsommingsteken plaatsen?

24
00:01:44,239 --> 00:01:45,519
Nee, dat mag niet.

25
00:01:45,519 --> 00:01:47,519
Moet ik hier een Engels woord gebruiken.

26
00:01:47,520 --> 00:01:49,519
Nee, de opdracht zegt Nederlands.

27
00:01:49,519 --> 00:01:53,759
Dat zijn stuurbare beslissingen over de vorm en de stijl van het antwoord.

28
00:01:54,560 --> 00:01:58,560
Maar hallucinatie is geen stijlkeuze.

29
00:01:58,560 --> 00:02:03,439
Het is geen formatting optie die je aan of uitzet.

30
00:02:03,439 --> 00:02:06,159
En hier zit echt dat verschil in.

31
00:02:06,159 --> 00:02:12,480
Een taalmodel voorspelt woord voor woord wat het meest waarschijnlijke vervolg is op de vorige tekst.

32
00:02:12,479 --> 00:02:15,519
Het heeft geen apart mechanisme dat tussendoor zegt.

33
00:02:15,759 --> 00:02:18,000
Wacht even, is dit wel waar.

34
00:02:18,079 --> 00:02:20,319
Het heeft simpelweg geen besef van waarheid.

35
00:02:20,319 --> 00:02:22,160
Het heeft sowieso helemaal geen begrip.

36
00:02:22,159 --> 00:02:30,639
Het weet niet wanneer het iets verzint, want het ervaart geen verschil tussen een feit en iets wat het fabriceert, hallucineert.

37
00:02:30,639 --> 00:02:32,959
Dus voor het model is alles hetzelfde proces.

38
00:02:32,959 --> 00:02:35,679
Het meest waarschijnlijk volgende woord kiezen.

39
00:02:36,159 --> 00:02:41,359
En daarom blijft wat mij betreft de analogie met rekenmachine zo treffend.

40
00:02:41,759 --> 00:02:45,919
Stel, je zegt tegen je rekenmachine, maak geen afrondingsfouten.

41
00:02:45,919 --> 00:02:48,880
En de rekenmachine weet niet wat een afrondingsfout is.

42
00:02:48,880 --> 00:02:51,760
Die voert je gewoon berekeningen uit volgens vaste regels.

43
00:02:51,759 --> 00:02:59,280
Een afronding is een gevolg van hoe de machine werkt en niet een bewuste keuze die je kunt uitschakelen.

44
00:02:59,759 --> 00:03:02,080
Bij een taalmodel is dat net zo.

45
00:03:02,399 --> 00:03:06,080
De hallucinatie is een bijproduct van het proces zelf.

46
00:03:06,080 --> 00:03:08,560
Het model kiest het meest waarschijnlijke volgende woord.

47
00:03:08,560 --> 00:03:14,159
En soms leidt die keten van waarschijnlijke woorden naar een overtuigend klinkend antwoord dat niet klopt.

48
00:03:14,159 --> 00:03:20,480
Het model heeft op geen enkele wijze of op geen enkel moment, moet ik zeggen, besloten om te gaan hallucineren.

49
00:03:20,479 --> 00:03:25,759
Er is geen kruispunt waar het links kon gaan voor waarheid en rechts voor verzinsel.

50
00:03:25,759 --> 00:03:28,399
Het kent dat kruispunt gewoon niet.

51
00:03:29,120 --> 00:03:32,240
Vergelijk het met de instructie: schrijf geen Engels.

52
00:03:32,240 --> 00:03:34,400
Daar kan het model bij elk woord controleren.

53
00:03:34,400 --> 00:03:35,200
Is dit Engels?

54
00:03:35,199 --> 00:03:36,000
Ja of nee.

55
00:03:36,159 --> 00:03:42,160
Bij hallucineer niet, zou het model bij elk woord moeten controleren, is wat ik hier beweer feitelijk correct.

56
00:03:42,160 --> 00:03:47,280
En dat kan het niet, want het heeft geen toegang tot een waarheidstoets.

57
00:03:47,680 --> 00:03:55,919
In een eerdere aflevering over de waarheid achter AI-hallucinaties heb ik al eens uitgelegd dat de term hallucinatie dat ik die eigenlijk misleidend vind.

58
00:03:55,919 --> 00:04:01,440
We lenen een woord uit de menselijke psychologie voor iets dat puur statistisch is.

59
00:04:01,439 --> 00:04:07,919
En dat maakt het verleidelijk om te denken dat je met een menselijke oplossing doe het gewoon niet vanaf bent.

60
00:04:08,400 --> 00:04:11,520
Uiteindelijk is een hallucinatie namelijk een fout.

61
00:04:11,759 --> 00:04:13,439
Wat wel helpt.

62
00:04:14,080 --> 00:04:15,599
Want dat is misschien wel handig.

63
00:04:15,599 --> 00:04:19,280
Kijk, je kunt dan niet een taalmodel vragen om te stoppen met hallucineren.

64
00:04:19,280 --> 00:04:24,800
Maar er zijn wel een aantal dingen die je wel kan doen om in ieder geval te zorgen dat het minder gebeurt.

65
00:04:24,800 --> 00:04:27,040
En gelukkig zijn dat er best veel.

66
00:04:27,040 --> 00:04:32,639
En de eerste en meest effectieve aanpak is: geef het model bronmateriaal mee.

67
00:04:32,639 --> 00:04:36,959
Zeg expliciet baseer je antwoord alleen op de aangeleverde tekst.

68
00:04:36,960 --> 00:04:41,120
Dit is het principe achter RAG, Retrieval Augmented Generation.

69
00:04:41,120 --> 00:04:45,120
Waarbij je het model koppelt aan jouw eigen documenten en data.

70
00:04:45,120 --> 00:04:49,040
En onderzoek laat bijvoorbeeld zien dat RAG hallucinaties.

71
00:04:49,040 --> 00:04:59,360
Dat RAG, zou ik moet zo zeggen, onderzoek laat zien dat deze vorm RAG, hallucinaties met zo'n 71% kan verminderen als het goed wordt ingezet.

72
00:04:59,560 --> 00:05:02,040
Ten tweede vraag om bronvermelding.

73
00:05:02,920 --> 00:05:07,160
Geef de instructie dat het model bij elk antwoord moet aangeven waar de informatie vandaan komt.

74
00:05:07,639 --> 00:05:18,599
Anthropic, de maker van Claude adviseert zelfs om het model elke bewering te laten onderbouwen met een citaat uit de bronnen en beweringen in te trekken waarvoor geen onderbouwing te vinden is.

75
00:05:18,600 --> 00:05:23,960
En dat maakt het voor jou als gebruiker veel gemakkelijker om te controleren of iets klopt.

76
00:05:24,199 --> 00:05:28,600
En ten derde kun je het model stap voor stap laten redeneren.

77
00:05:28,600 --> 00:05:30,600
Dat heet chain-of-thought prompting.

78
00:05:30,600 --> 00:05:36,599
In plaats van direct naar een eindantwoord te springen, vraag je het model om zijn denkstappen te laten horen.

79
00:05:36,600 --> 00:05:44,280
En dat verkleint in die zin de kans op fouten, omdat het model dan minder snel een sprong maakt naar een conclusie die nergens op gebaseerd is.

80
00:05:45,079 --> 00:05:51,800
In aflevering 72 van vorige seizoen over promptingtechnieken heb ik laten horen hoe dat in de praktijk werkt.

81
00:05:51,800 --> 00:05:54,359
Dus die kan je even terugluisteren als je zou willen.

82
00:05:54,840 --> 00:06:01,719
En dan is er nog een hele simpele: dat is namelijk als je de mogelijkheid hebt om web search aan te zetten.

83
00:06:01,720 --> 00:06:10,439
Veel modellen gebruiken standaard alleen hun eigen interne kennis, maar dat vergroot juist de kans op hallucinaties, vooral rondom actuele onderwerpen.

84
00:06:10,439 --> 00:06:22,120
En met websearch erbij haalt het model recente informatie op en krijg je vaak ook links erbij, die je kunt controleren, maar die je taalmodel ook zelf kan gebruiken om dingen te controleren.

85
00:06:24,360 --> 00:06:30,759
Een andere mogelijkheid is dat je bijvoorbeeld een tweede model taalmodel als controleur zou gebruiken.

86
00:06:30,759 --> 00:06:37,399
Je laat de output van het ene model beoordelen door een ander model met instructie om te controleren op feitelijke fouten.

87
00:06:37,399 --> 00:06:42,760
Dus wat je kan vragen is welke claims zitten hierin en controleer of die claims waar zijn.

88
00:06:43,240 --> 00:06:45,800
Dat zijn structuren.

89
00:06:46,039 --> 00:06:51,240
Die het complexer maken, maar wel uiteindelijk de hallucinatie kunnen verminderen.

90
00:06:51,240 --> 00:06:54,040
Het is een beetje hetzelfde als bij menselijk werken.

91
00:06:54,039 --> 00:06:58,359
Een collega die meeleest, vangt fouten op die je zelf over het hoofd hebt gezien.

92
00:06:59,639 --> 00:07:01,000
En dan nog iets.

93
00:07:01,000 --> 00:07:05,800
En dit is wel waar veel mensen niet bij stilstaan is houd je context window in de gaten.

94
00:07:06,039 --> 00:07:11,160
Dus elk model heeft een limiet aan hoeveel tekst het tegelijk kan verwerken.

95
00:07:11,159 --> 00:07:17,400
De grote modellen adverteren tegenwoordig het enorme van dit soort vensters van honderdduizenden woorden.

96
00:07:17,399 --> 00:07:19,720
Dat zeg maar een miljoen tokens.

97
00:07:19,720 --> 00:07:24,360
Maar in de praktijk presteert het model het beste bij misschien wel de helft maar ervan.

98
00:07:24,360 --> 00:07:30,600
Ga je daar overheen, dan neemt de kwaliteit af en daarmee ook dus die kans op fouten, de kans op hallucinatie.

99
00:07:30,919 --> 00:07:35,399
Maar ook te veel context binnen die limiet, dus wat je meegeeft.

100
00:07:35,639 --> 00:07:40,199
Dus hoe meer tekst je het model voorschotelt, hoe meer ruis kan ontstaan.

101
00:07:40,199 --> 00:07:46,040
Het model moet dan een berg aan informatie er doorheen worstelen om de relevante stukken eruit te halen.

102
00:07:46,039 --> 00:07:50,439
Kijk, als je een speld wil zoeken in hooiberg, kan die hooiberg maar zo klein mogelijk.

103
00:07:50,439 --> 00:07:55,800
Als je als je die zo klein mogelijk maakt, heb je zo snel mogelijk uiteindelijk die speld gevonden.

104
00:07:55,799 --> 00:08:04,839
Dus werk je aan een lang document of een uitgebreid gesprek, begin dan een nieuwe sessie of knip je document op in stukken en verwerkt die dan apart.

105
00:08:05,960 --> 00:08:16,119
Als we het even afsluiten, dan is de les van deze aflevering eigenlijk heel simpel: namelijk een taalmodel houdt zich aan je instructies over vorm, taal en structuur.

106
00:08:16,120 --> 00:08:19,080
Want dat zijn de keuzes die het model woord voor woord kan maken.

107
00:08:19,080 --> 00:08:28,199
Maar een instructie over waarheid, ja dat werkt niet, omdat het model geen verschil tussen feit en fictie kent, dat onderscheid, blijft mensenwerk.

108
00:08:28,199 --> 00:08:35,639
Dus het zou heel mooi zijn als je zou kunnen zeggen, hallucineer niet, maar helaas kan dat niet.

109
00:08:37,879 --> 00:08:40,919
Dankjewel weer voor het luisteren naar deze korte aflevering.

110
00:08:40,919 --> 00:08:48,120
Wil je niets missen van AIToday Live, druk dan op de volgknop in je podcast app en je hebt iedere week een nieuwe aflevering klaarstaan.

111
00:08:48,120 --> 00:08:53,480
En bedenk zoals altijd: AI is niet de oplossing van elk probleem, maar onmisbaar waar het past.

112
00:08:53,480 --> 00:08:56,920
Tot de volgende keer.