S06E92 - 9 mythes over Large Language Models ontkracht

Joop Snijder en Niels Naglé bespreken in deze aflevering van AIToday Live negen hardnekkige mythes over large language models (LLMs). Ze belichten de complexiteit van deze AI-technologie en ontkrachten misvattingen over de capaciteiten en beperkingen van LLMs.

De hosts gaan in op onderwerpen zoals de veelzijdigheid van LLMs, het belang van menselijke input en de verschillen tussen diverse modellen. Ze behandelen ook de relatie tussen LLMs en menselijke creativiteit, en de noodzaak om modellen zorgvuldig te selecteren op basis van specifieke organisatiebehoeften.

Onderwerpen

• Mythen over de functionaliteit van LLMs
• De rol van menselijke input in LLM-training
• Verschillen tussen verschillende LLMs
• De impact van LLMs op menselijke creativiteit
• Beperkingen van LLMs in kennis en leren

Links

• Podcast: AIToday Live podcast
• Podcast: S06E90 - De onzichtbare leraar: hoe AI leert om ons te begrijpen
• Kaartspel: AI Game Changer - Generative AI editie

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,001 --> 00:00:10,080
Hoi, welkom bij de korte aflevering van AIToday Live, de podcast die je helpt om AI beter te begrijpen en toe te passen.

2
00:00:10,080 --> 00:00:17,480
Vandaag gaan we in op mythes en misverstanden rondom large language models, oftewel LLMs.

3
00:00:17,480 --> 00:00:20,560
Mijn naam is Joop Snijder en ik ben CTO bij Aigency.

4
00:00:20,560 --> 00:00:29,300
Sinds de komst van ChatGPT hoor ik vaak verhalen over wat deze large language models, AI systemen wel en niet kunnen.

5
00:00:29,860 --> 00:00:32,220
Sommige kloppen, andere zijn pure fictie.

6
00:00:32,220 --> 00:00:44,020
En in deze aflevering ga ik negen best wel hardnekkige mythes ontkrachten, zodat je begrijpt wat deze technologie echt kan betekenen voor jou en je organisatie.

7
00:00:44,020 --> 00:00:52,200
Laten we starten met mythe nummer 1, waarbij LLMs, large language models, zijn gewoon geavanceerde chatbots.

8
00:00:52,200 --> 00:00:57,540
Als je denkt aan large language models, denk je waarschijnlijk meteen aan ChatGPT.

9
00:00:58,260 --> 00:01:03,880
Logisch, want voor de meeste mensen was dit namelijk hun eerste kennismaking met deze technologie.

10
00:01:03,880 --> 00:01:12,300
Maar LLMs reduceren tot chatbots is als zeggen dat een smartphone alleen een telefoon is.

11
00:01:12,300 --> 00:01:14,620
De werkelijkheid is veel rijker en complexer.

12
00:01:16,620 --> 00:01:19,520
Naast de chat kan het ontzettend veel meer.

13
00:01:19,520 --> 00:01:30,900
Het is wij als software ontwikkelaars gebruiken large language … niet alleen bijvoorbeeld om code te schrijven, maar ook om bestaande code te analyseren, bugs op te sporen en documentatie te genereren.

14
00:01:31,740 --> 00:01:38,820
In de marketing helpen deze modellen bij het analyseren van klantfeedback en het personaliseren van content voor verschillende doelgroepen.

15
00:01:39,860 --> 00:01:49,400
Je kan denken aan het vertalen van technische handleidingen in verschillende talen waarbij je specifieke vaktermen correct blijft behouden.

16
00:01:49,400 --> 00:02:00,600
Een andere bijzonder krachtige toepassing vind je ook in de klantenservice waarin large language models binnenkomende vragen automatisch categoriseren en routeren.

17
00:02:01,100 --> 00:02:08,200
Waardoor menselijke medewerkers zich kunnen concentreren op de meer complexe gevallen die echt menselijk inzicht vereisen.

18
00:02:08,200 --> 00:02:11,700
Dus het gaat heel veel verder dan alleen de chat.

19
00:02:11,700 --> 00:02:15,220
Dan naar mythe nummer 2.

20
00:02:15,220 --> 00:02:19,520
Large language models hebben geen menselijke input nodig.

21
00:02:19,520 --> 00:02:26,980
Deze mythe is misschien wel de gevaarlijkste omdat ze een volledig verkeerd beeld schets van hoe deze technologie werkt.

22
00:02:27,300 --> 00:02:32,400
Large language models zijn geen autonome breinen die zelfstandig opereren.

23
00:02:32,400 --> 00:02:37,020
Ze zijn juist diep verweven met menselijke input en sturing.

24
00:02:37,020 --> 00:02:43,220
Denk aan het trainen van een large language model als het schrijven van een encyclopedie.

25
00:02:43,220 --> 00:02:53,820
De kwaliteit van het eindresultaat hangt volledig af van welke bronnen je selecteert, hoe je ze organiseert en wie bij dat redactieproces de begeleiding uitvoert.

26
00:02:53,820 --> 00:02:56,600
Bij large language models is dit niet anders.

27
00:02:57,140 --> 00:03:04,060
Dus mensen selecteren, cureren de trainingsdata en bepalen welke bronnen betrouwbaar zijn en welke niet.

28
00:03:04,060 --> 00:03:07,320
En stellen de parameters in die bepalen hoe het model leert.

29
00:03:07,320 --> 00:03:13,240
Maar zelfs na die initiële training blijft menselijke input cruciaal.

30
00:03:13,240 --> 00:03:15,040
Tijdens het fine-tunen.

31
00:03:15,040 --> 00:03:21,120
Ik heb een aflevering gemaakt over reinforcement learning with human feedback.

32
00:03:21,120 --> 00:03:33,840
Waarbij uitgelegd is dat mensen met gegeven feedback op het output van het model en zo krijg je uiteindelijk een large language model die het veel beter begrijpt.

33
00:03:37,360 --> 00:03:38,540
Nummer 3.

34
00:03:38,540 --> 00:03:42,240
Alle large language models zijn hetzelfde.

35
00:03:42,280 --> 00:03:45,520
Nou, dit is absoluut niet waar.

36
00:03:45,520 --> 00:03:57,700
Dus ook weer hier in de vorige aflevering, de onzichtbare leraar, besprak ik al hoe reinforcement learning with human feedback werkt bij het trainen van AI-modellen.

37
00:03:58,660 --> 00:04:05,500
En wat daar duidelijk werd, is dat elke AI-aanbieder zijn eigen unieke aanpak heeft in dit proces.

38
00:04:05,500 --> 00:04:18,880
En dit verklaart waarom JetGPT, Claude, Gemini, ook al zijn ze getraind op vergelijkbare databronnen, toch heel verschillende persoonlijkheden, eigenlijk capaciteiten ontwikkelen.

39
00:04:18,880 --> 00:04:30,360
Dus het hangt er helemaal van af hoe uiteindelijk het toplaagje erbij getraind is wat het large language model als goede output ziet.

40
00:04:30,680 --> 00:04:39,660
Het is vergelijkbaar met hoe verschillende autofabrikanten allemaal toegang hebben tot dezelfde basistechnologie, maar toch heel verschillende voertuigen kunnen produceren.

41
00:04:39,660 --> 00:04:43,360
Deze verschillen zijn niet toevallig.

42
00:04:43,360 --> 00:04:47,000
Ze zijn het resultaat van bewuste keuzes in het ontwerpproces.

43
00:04:47,000 --> 00:04:58,340
Sommige modellen zijn geoptimaliseerd voor snelheid, andere voor nauwkeurigheid en weer andere, hele specifieke toepassingen zoals codering of wetenschappelijke analyse.

44
00:04:58,860 --> 00:05:07,580
Dat betekent dat de keuze van een large language model sterk zou moeten afhangen van jouw specifieke gebruik en jouw specifieke behoeftes.

45
00:05:07,580 --> 00:05:09,680
Nummer 4.

46
00:05:09,680 --> 00:05:12,940
LLMs vervangen menselijke creativiteit.

47
00:05:12,940 --> 00:05:20,300
Deze mythe raakt natuurlijk aan een diepgewortelde angst die we bij elke technologische revolutie zien terugkomen.

48
00:05:20,300 --> 00:05:24,380
Maar de geschiedenis leert ons best wel iets belangrijks.

49
00:05:24,380 --> 00:05:29,220
Namelijk nieuwe technologieën vervangen zelden menselijke creativiteit.

50
00:05:29,220 --> 00:05:32,500
Ze verrijken en transformeren haar eerder.

51
00:05:32,500 --> 00:05:39,740
Dit komt omdat menselijke creativiteit denk ik iets bijzonders en constant in ontwikkeling is.

52
00:05:40,540 --> 00:05:51,980
Als soort zijn we niet alleen handig in het gebruik van gereedschap, maar ook meestelijk in het vinden van nieuwe manieren om juist deze nieuwe gereedschappen in te zetten.

53
00:05:51,980 --> 00:05:57,620
En voor mij zijn large language models simpelweg nieuwe gereedschappen, nieuwe tools.

54
00:05:57,620 --> 00:06:03,760
En het is nu aan ons om te leren hoe we ze kunnen gebruiken om juist onze creativiteit te vergroten.

55
00:06:06,140 --> 00:06:13,440
Kijk naar de geschiedenis. Elke keer dat er een nieuwe technologie verscheen was er angst dat deze menselijke vaardigheden zou vervangen.

56
00:06:13,440 --> 00:06:18,960
Toen fotografie werd uitgevonden vreesde schilders dat een kunst overbodig zou worden.

57
00:06:18,960 --> 00:06:24,120
Maar in plaats daarvan ontstonden juist nieuwe kunstvormen, nieuwe expressievormen.

58
00:06:24,120 --> 00:06:31,360
Toen synthesizers werden geïntroduceerd was er angst dat ze traditionele muziekinstrumenten totaal zouden vervangen.

59
00:06:31,900 --> 00:06:36,760
In plaats daarvan hebben ze het muzikale landschap juist verrijkt met nieuwe mogelijkheden.

60
00:06:36,760 --> 00:06:42,400
Dus LLM zijn het nieuwste gereedschap in onze creatieve gereedschapskist.

61
00:06:42,400 --> 00:06:47,920
Ze kunnen ons helpen bij het genereren van ideeën en het verkennen van nieuwe perspectieven.

62
00:06:47,920 --> 00:06:57,360
Ze zijn geen vervanging van menselijke creativiteit, maar juist een katalysator die ons helpt nieuwe creatieve hoogtes te bereiken, wat mij betreft in ieder geval.

63
00:06:58,900 --> 00:07:09,760
De laatste mythe voor vandaag gaat over dat je altijd het beste topmodel nodig hebt voor je bedrijf.

64
00:07:09,760 --> 00:07:13,960
In de wereld van AI-modellen zijn er constant nieuwe releases en updates.

65
00:07:13,960 --> 00:07:19,960
En elke keer als er een nieuw model uitkomt, zien we indrukwekkende scores op allerlei leaderboards.

66
00:07:19,960 --> 00:07:23,660
Over metrieken, alles is dan beter, mooier, sneller.

67
00:07:23,760 --> 00:07:31,680
Maar deze scores zijn als laptop recensies in een technologieblog en ze vertellen maar een deel van het verhaal.

68
00:07:31,680 --> 00:07:37,360
De werkelijkheid is dat het tussen aanhalingstekens beste model een relatief begrip is.

69
00:07:37,360 --> 00:07:44,260
Een model dat uitblinkt in het schrijven van poëzie is mogelijk niet het beste voor het analyseren van financiële data, toch?

70
00:07:44,720 --> 00:07:53,460
En een model dat perfect is in het genereren van code is misschien niet het meest kosteneffectief voor het beantwoorden van eenvoudige klantvragen.

71
00:07:53,460 --> 00:07:58,400
Het is belangrijk om te kijken naar de specifieke behoeften van je organisatie.

72
00:07:58,400 --> 00:08:01,560
Wat zijn je gebruikerscenario's? Wat is je budget?

73
00:08:01,560 --> 00:08:05,940
Hoe zit het met integratiebehoeften, beveiligingseisen?

74
00:08:06,080 --> 00:08:16,760
Een klein gespecialiseerd model dat perfect aansluit bij jouw behoeften is vaak een betere keuze dan het nieuwste, grootste, duurste model dat op de markt is.

75
00:08:16,760 --> 00:08:20,880
En dit leidt ons naar mythe nummer zes.

76
00:08:20,880 --> 00:08:23,640
Large language models weten alles.

77
00:08:23,640 --> 00:08:31,620
Deze mythe komt voort uit de indrukwekkende prestaties van large language models op het gebied van algemene kennis.

78
00:08:31,620 --> 00:08:39,320
Ze kunnen inderdaad gedetailleerd vertellen over historische gebeurtenissen, wetenschappelijke concepten en culturele fenomenen.

79
00:08:39,320 --> 00:08:42,000
Maar er is een belangrijke kanttekening.

80
00:08:42,000 --> 00:08:48,560
Ze kennen alleen wat publiekelijk beschikbaar is en wat ze tijdens hun training hebben gezien.

81
00:08:48,560 --> 00:08:50,300
Dus wat ze geleerd hebben.

82
00:08:50,300 --> 00:08:57,900
En de specifieke kennis van jouw organisatie, jouw bedrijfsprocessen, je klantrelatie, je interne documentatie,

83
00:08:58,220 --> 00:09:01,820
die is normaal gesproken niet publiek beschikbaar, mag ik hopen voor je.

84
00:09:01,820 --> 00:09:08,840
En dus een large language model weet dus niets over de unieke manier waarop jouw team samenwerkt,

85
00:09:08,840 --> 00:09:14,240
de specifieke uitdagingen van je projecten of de bijzondere behoeften van je klanten.

86
00:09:14,240 --> 00:09:20,080
En dat betekent niet dat large language models waardeloos zijn voor organisatiespecifieke taken.

87
00:09:20,600 --> 00:09:24,800
Het betekent wel dat je extra stappen moet zetten om ze effectief te maken.

88
00:09:24,800 --> 00:09:31,300
Dit kan door ze te trainen met je eigen data, door ze te integreren met je bestaande systemen

89
00:09:31,300 --> 00:09:34,280
of door ze te voorzien van de juiste context in prompts.

90
00:09:36,360 --> 00:09:45,100
Over prompten gesproken, een mythe die ik ook veel zie, hoor en lees, gaat over beleefdheid.

91
00:09:45,100 --> 00:09:49,040
Of beleefdheid de kwaliteit van je antwoorden beïnvloedt.

92
00:09:49,040 --> 00:09:56,340
Er bestaat best wel een interessant debat of je beleefd moet zijn tegen AI-systemen, tegen large language models.

93
00:09:56,560 --> 00:10:03,180
Sommige mensen behandelen hun large language model als een digitale assistent en zijn zeer beleefd in een communicatie.

94
00:10:03,180 --> 00:10:08,960
Anderen gaan er zakelijker mee om en focussen puur op de taak.

95
00:10:08,960 --> 00:10:15,360
Er is best wel wat onderzoek uitgevoerd op dit gebied en die is niet eenduidig, moet ik zeggen.

96
00:10:15,360 --> 00:10:22,940
Sommige studies suggereren dat extreem onbeleefde of agressieve taal kan leiden tot minder coherente antwoorden.

97
00:10:23,620 --> 00:10:32,200
Maar dit heeft waarschijnlijk meer te maken met hoe deze modellen zijn getraind dan überhaupt met aanhalingstekens gevoelens van het large language model.

98
00:10:32,200 --> 00:10:33,280
Dat heeft hij sowieso niet.

99
00:10:33,280 --> 00:10:40,840
Andere studies vinden geen significant verschil in de kwaliteit van antwoorden tussen beleefde en directe communicatie.

100
00:10:40,840 --> 00:10:45,460
De realiteit is dat large language models geen emotie hebben.

101
00:10:45,460 --> 00:10:51,800
En niet beïnvloed worden door sociale beleefdheid zoals mensen dat wel zijn.

102
00:10:52,320 --> 00:10:56,000
Het belangrijkste is dat je duidelijk en precies bent in je communicatie.

103
00:10:56,000 --> 00:11:00,960
Als je een beleefd antwoord wilt, dan wees dan ook beleefd in je vraag.

104
00:11:00,960 --> 00:11:04,320
Als je een zakelijk antwoord wilt, stel dan een zakelijke vraag.

105
00:11:04,320 --> 00:11:05,960
Eigenlijk zo eenvoudig is het.

106
00:11:05,960 --> 00:11:08,480
Mythe nummer acht.

107
00:11:08,480 --> 00:11:12,320
Je kunt gegenereerde content altijd detecteren.

108
00:11:12,320 --> 00:11:17,880
En dit is vast iets wat voor wat reuring gaat zorgen.

109
00:11:17,880 --> 00:11:22,960
Maar dit is echt een hele hardnekkige mythe die maar stand houdt.

110
00:11:22,960 --> 00:11:26,840
Ondanks echt overweldigend bewijs van het tegendeel.

111
00:11:26,840 --> 00:11:32,780
Er is recent onderzoek geweest met 805 testen die werden uitgevoerd.

112
00:11:32,920 --> 00:11:37,640
En die toonde aan dat de huidige detectietools dramatisch tekortschieten.

113
00:11:38,600 --> 00:11:45,000
15% van het menselijke werk werd onterecht bestempeld als AI gegenereerd.

114
00:11:45,000 --> 00:11:46,880
Dan moet je even op je inlaten werken.

115
00:11:46,880 --> 00:11:55,320
Terwijl 76% van juist de AI gegenereerde content, juist door de mazen van het net glipte.

116
00:11:55,320 --> 00:11:57,960
Dus die werd gewoon gezien als menselijke content.

117
00:11:59,560 --> 00:12:02,380
Deze resultaten zijn wat mij betreft helemaal niet verrassend.

118
00:12:02,380 --> 00:12:05,940
Als je juist begrijpt hoe large language models werken.

119
00:12:05,940 --> 00:12:11,560
En ze genereren tekst die statistisch waarschijnlijk is gebaseerd op de trainingsdata.

120
00:12:11,560 --> 00:12:16,560
En daarmee dezelfde patronen heeft die mensen gebruiken wanneer ze schrijven.

121
00:12:16,560 --> 00:12:22,620
Het idee dat er een duidelijk onderscheid is tussen menselijke en AI gegenereerde tekst.

122
00:12:22,620 --> 00:12:24,760
Is daarom fundamenteel problematisch.

123
00:12:24,760 --> 00:12:29,500
Nog zorgwekkender is dat deze detectietools vaak tegelijkertijd.

124
00:12:29,500 --> 00:12:33,040
discrimineren tegen wat je dan niet zegt.

125
00:12:33,040 --> 00:12:34,620
Niet moedertaalsprekers.

126
00:12:34,620 --> 00:12:41,840
Dus als ik Engels schrijf is het eerder geneigd om te zeggen dat het door AI geschreven is.

127
00:12:41,840 --> 00:12:45,140
Komen we bij de laatste uit.

128
00:12:45,140 --> 00:12:46,720
Nummer 9.

129
00:12:46,720 --> 00:12:50,700
Large language models leren continu bij.

130
00:12:50,700 --> 00:12:58,700
De laatste mythe die ik vandaag wil behandelen is het idee dat large language models net als mensen continu bijleren van nieuwe ervaringen.

131
00:12:58,700 --> 00:13:01,260
Maar dit is niet het geval.

132
00:13:01,460 --> 00:13:10,800
Anders dan het menselijk brein dat zich constant aanpast naar nieuwe informatie zijn large language models statistische systemen na hun training.

133
00:13:10,800 --> 00:13:20,340
Wat we wel zien is dat large language models steeds beter worden in het herkennen van patronen in hun bestaande trainingsdata en het maken van nieuwe verbindingen.

134
00:13:20,340 --> 00:13:30,380
Maar nieuwe informatie gebeurtenissen die na de trainingsdata bijvoorbeeld plaatsvonden, nieuwe ontdekkingen, veranderende omstandigheden kennen ze niet.

135
00:13:30,380 --> 00:13:33,860
Tenzij ze opnieuw getraind worden.

136
00:13:35,020 --> 00:13:39,720
En dit heeft belangrijke implicaties voor organisaties die met large language models werken.

137
00:13:39,720 --> 00:13:51,480
Als je wilt dat je AI systeem up-to-date blijft met de laatste ontwikkelingen in jouw vakgebied of jouw organisatie moet je een strategie hebben om dus regelmatig updates aan te leveren.

138
00:13:51,480 --> 00:13:55,180
Dus eigen data en een vorm van hertraining uit te voeren.

139
00:13:57,680 --> 00:14:05,760
Deze negen mythes laten zien hoe complex en wat mij betreft echt ook wel fascinerend de wereld van large language models is.

140
00:14:05,760 --> 00:14:11,860
Ze zijn geen wondermiddel, heb je denk ik al gehoord, begrijp je wel dat al onze problemen oplost.

141
00:14:11,860 --> 00:14:13,720
Maar het zijn ook geen simpele chatbots.

142
00:14:13,720 --> 00:14:23,980
Krachtige tools waar het belangrijk voor is dat je begrijpt hoe ze ingezet kunnen worden, waar ze waarde kunnen toevoegen aan je werk en jouw organisatie.

143
00:14:24,720 --> 00:14:35,320
Ik hoop door deze mythes te doorbreken en dat je de realiteit begrijpt dat je betere beslissingen kunt nemen hoe je large language models kunt inzetten, juist in jouw context.

144
00:14:35,320 --> 00:14:38,640
Vond je deze aflevering nuttig?

145
00:14:38,640 --> 00:14:44,480
Deel hem dan met je collega's en blijf volgende week luisteren voor meer AI-kennis.

146
00:14:44,480 --> 00:14:46,380
Dit was AIToday Live.

147
00:14:46,380 --> 00:14:47,500
Tot de volgende keer!

148
00:14:47,500 --> 00:14:48,500
[Muziek]

149
00:14:48,500 --> 00:15:18,480
[Muziek]