S07E46 - De onzichtbare lagen van ChatGPT

In de nieuwste aflevering van AIToday Live staat de verborgen technologie achter AI-chatbots centraal. De hosts bespreken hoe complexe softwarelagen de interactie tussen gebruikers en AI-modellen mogelijk maken.

Ze belichten de evolutie van deze systemen, van eenvoudige tekstverwerkers naar geavanceerde ecosystemen die verschillende datatypen kunnen verwerken. Pre-processing en post-processing worden uitgelegd als cruciale stappen in het communicatieproces met AI.

De podcast gaat dieper in op hoe verschillende bestandstypen worden verwerkt en welke uitdagingen dit met zich meebrengt. Ook komen de voordelen en risico's van deze verwerkingslagen aan bod, evenals praktische tips voor effectiever gebruik van AI-chatbots.

Onderwerpen

• De infrastructuur achter AI-chatbots
• Pre-processing en post-processing van input
• Verwerking van verschillende bestandstypen
• Voordelen en risico's van verwerkingslagen
• Toekomst van AI-chatbot technologie

Links

• Podcast: AIToday Live podcast

Doe mee met de 4e Community of Practice voor Generatieve AI op Hogeschool Windesheim! Mis het niet en schrijf je gratis in.

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:02,580 --> 00:00:05,500
Hoi, welkom bij de korte aflevering van AIToday Live.

2
00:00:05,780 --> 00:00:08,260
Ik ben Joop Snijder, CTO bij Aigency.

3
00:00:08,640 --> 00:00:13,800
En vandaag gaan we de onzichtbare wereld achter AI-systemen, chatbots, zichtbaar maken.

4
00:00:14,500 --> 00:00:18,540
Je chat misschien dagelijks met ChatGPT, Copilot of Claude.

5
00:00:19,060 --> 00:00:23,440
Maar wist je dat je zelden direct met het pure AI-model communiceert?

6
00:00:24,100 --> 00:00:28,860
In werkelijkheid zit er namelijk een hele infrastructuur van software rondom deze modellen.

7
00:00:29,480 --> 00:00:33,700
die je input eerst verwerkt en de output bewerkt voordat jij het resultaat ziet.

8
00:00:34,340 --> 00:00:42,660
En dit verborgen aspect heeft best een behoorlijke invloed op wat deze technologie kan doen en hoe wij ermee omgaan.

9
00:00:43,180 --> 00:00:51,960
Dus tijdens deze aflevering ontdek je deze onzichtbare lagen, wat ze mogelijk maken en welke uitdagingen ze met zich meebrengen.

10
00:00:53,520 --> 00:00:57,080
De evolutie van AI-systemen laat een duidelijke ontwikkeling zien.

11
00:00:57,520 --> 00:01:03,020
De eerste taalmodellen waren eenvoudig, ze werkten direct met de tekst die ze ontvingen zonder tussenstappen.

12
00:01:03,920 --> 00:01:10,500
Maar naarmate AI complexer werd, groeide ook de behoefte aan geavanceerdere methoden om verschillende soorten input te verwerken.

13
00:01:11,260 --> 00:01:13,780
Het is vergelijkbaar met de evolutie van videogames.

14
00:01:14,120 --> 00:01:21,220
Pong, een van de eerste computerspelletjes met niet meer dan twee balkjes en een stuiterende bal op een zwart scherm,

15
00:01:21,680 --> 00:01:24,480
dat was simpel en direct. Wat je zag is wat je kreeg.

16
00:01:25,500 --> 00:01:35,840
En moderne games hebben daarentegen complexe engines nu voor fysica, grafische weergave en gebruikersinterfaces die samenwerken om een meest slepende ervaring te creëren.

17
00:01:36,780 --> 00:01:47,460
En op dezelfde manier zijn hedendaagse AI chatbots complete ecosystemen geworden met gespecialiseerde componenten die verschillende datatypen kunnen verwerken.

18
00:01:47,840 --> 00:01:52,600
Van tekst tot afbeeldingen, spreadsheets en zelfs video en audio.

19
00:01:54,320 --> 00:01:58,480
Pre-processing en post-processing zijn twee belangrijke begrippen om te begrijpen.

20
00:01:58,980 --> 00:02:08,000
Pre-processing, pre-processing, moet ik eigenlijk zeggen, omvat alle bewerkingen die plaatsvinden op je input voordat deze het AI-model bereikt.

21
00:02:08,520 --> 00:02:15,340
Post-processing betreft de bewerkingen die worden uitgevoerd op de output van het model voordat jij het resultaat ziet.

22
00:02:16,240 --> 00:02:19,860
Stel je een restaurant voor. Het AI-model is de chef-kok.

23
00:02:20,540 --> 00:02:25,520
Maar voordat jouw ingrediënten bij de chef komen, worden ze voorbereid door keukenhulpjes.

24
00:02:26,420 --> 00:02:33,840
En nadat de chef een gerecht heeft bereid, zorgen andere medewerkers voor de presentatie voordat dat bij jou op tafel komt.

25
00:02:34,340 --> 00:02:38,580
Dit is dus vormen van pre-processing en post-processing.

26
00:02:39,660 --> 00:02:45,760
En de manier waarop verschillende bestandstypen worden verwerkt, verschilt sterk tussen AI-systemen.

27
00:02:46,680 --> 00:02:53,160
Bij afbeeldingen maken moderne AI chatbots gebruik van speciale vision technologie.

28
00:02:54,100 --> 00:03:01,440
Deze multimodale modellen zijn specifiek getraind om zowel tekst als afbeeldingen te interpreteren en begrijpen.

29
00:03:03,020 --> 00:03:06,000
Terwijl voor pdf documenten werkt het heel anders.

30
00:03:06,390 --> 00:03:14,840
De software extraheert alleen de ruwe tekst uit het document, waardoor soms complexe layouts vaak tot verwarring kunnen leiden.

31
00:03:15,900 --> 00:03:19,380
Afbeeldingen en grafieken in de pdf worden soms volledig genegeerd.

32
00:03:19,920 --> 00:03:23,520
En dan is het alsof je een rijk geïllustreerd boek voorleest aan iemand die niet kan zien.

33
00:03:24,720 --> 00:03:29,920
Bij spreadsheets schakelen veel AR-systemen over naar een data-analyse-modus.

34
00:03:30,700 --> 00:03:35,260
Waarin ze code genereren om de gegevens weer te interpreteren.

35
00:03:36,180 --> 00:03:38,800
En dit werkt uitstekend voor numerieke gegevens.

36
00:03:39,230 --> 00:03:43,140
Maar is natuurlijk veel minder effectief voor textuele inhoud in die spreadsheets.

37
00:03:44,300 --> 00:03:47,180
Audio en video vormen een nog grotere uitdaging.

38
00:03:47,980 --> 00:03:55,140
Sommige modellen zijn hier aanzienlijk beter in dan andere, maar de verwerking blijft complex en is nog volop in ontwikkeling.

39
00:03:56,220 --> 00:04:04,280
Deze verwerkingslagen betekenen een enorme vooruitgang in hoe we de AI, de chatbots, nu kunnen inzetten.

40
00:04:04,780 --> 00:04:09,000
Zonder deze extra software zouden taalmodellen beperkt blijven tot platte tekst.

41
00:04:09,520 --> 00:04:14,020
Nu kunnen we complexe documenten, beelden en datasets analyseren.

42
00:04:15,740 --> 00:04:22,340
Denk bijvoorbeeld aan een bedrijf dat jarenlang rapporten heeft verzameld en die dat nu in één keer kan laten analyseren.

43
00:04:22,620 --> 00:04:27,140
Of een marketingteam dat duizenden afbeeldingen automatisch kan laten beoordelen.

44
00:04:27,760 --> 00:04:34,240
Deze verbreding van toepassingsmogelijkheden maakt AI toegankelijker en relevanter voor steeds meer sectoren.

45
00:04:35,720 --> 00:04:40,060
Maar natuurlijk zijn er ook risico's en uitdagingen verbonden aan deze verwerkingslagen.

46
00:04:40,720 --> 00:04:43,080
Een groot probleem is het gebrek aan transparantie.

47
00:04:44,240 --> 00:04:50,740
Wij als gebruikers hebben vaak geen idee hoe je input wordt verwerkt.

48
00:04:51,220 --> 00:04:53,100
En dit kan leiden tot miscommunicatie.

49
00:04:53,680 --> 00:04:59,580
Bijvoorbeeld wanneer je een spreadsheet vol belangrijke grafieken uploadt, maar de AI alleen de kale getallen kan zien.

50
00:05:00,440 --> 00:05:05,420
Daarnaast brengen deze verwerkingslagen ook nieuwe beveiligingsrisico's met zich mee.

51
00:05:06,040 --> 00:05:11,200
De preprocessing software kan kwetsbaarheden bevatten die niet in het kernmodel aanwezig zijn.

52
00:05:12,240 --> 00:05:14,280
Neem bijvoorbeeld prompt injection aanvallen.

53
00:05:14,620 --> 00:05:19,360
Dat is een techniek waarbij kwaadwillende verborgen instructies in beelden of documenten kunnen verstoppen.

54
00:05:20,080 --> 00:05:25,060
En omdat de verwerkingslagen deze bestanden omzet naar tekst voordat het AI-model ze ziet,

55
00:05:25,680 --> 00:05:29,680
kunnen aanvallers commando's invoegen die het model niet zou mogen uitvoeren.

56
00:05:30,520 --> 00:05:39,380
Het is alsof iemand een geheime boodschap in een foto verstopt die alleen de AI kan lezen waardoor het model dingen doet die jij niet hebt gevraagd.

57
00:05:40,620 --> 00:05:43,800
Tot slot ontstaan er complexe verantwoordelijkheidsvragen.

58
00:05:43,980 --> 00:05:47,820
Want als een chatbot een fout maakt, wie draagt dan de verantwoordelijkheid?

59
00:05:47,840 --> 00:05:51,400
Is dat de schuld van het taalmodel of ligt het aan de verwerkingssoftware?

60
00:05:53,300 --> 00:05:58,740
Ik wil je een aantal praktische tips geven om effectiever met deze technologie te werken.

61
00:06:00,140 --> 00:06:03,600
Wees je bewust van hoe verschillende bestandstypen worden verwerkt.

62
00:06:03,860 --> 00:06:10,580
Bij een complexe spreadsheet met veel tekst kun je overwegen die tekst apart te kopiëren en direct in de chat te plakken.

63
00:06:11,680 --> 00:06:19,600
Voor pds met belangrijke visuele informatie beschrijf je de hoofdpunten in je bericht zodat het AI model begrijpt wat het mogelijk mist.

64
00:06:20,440 --> 00:06:27,120
Als het AI systeem je input verkeerd interpreteert probeer de informatie anders aan te leveren in een andere vorm.

65
00:06:27,880 --> 00:06:30,020
Soms maakt een kleine aanpassing een groot verschil.

66
00:06:30,740 --> 00:06:32,840
Vergelijk ook verschillende AI platforms.

67
00:06:33,380 --> 00:06:36,660
Want ze verwerken bestandstypes allemaal op een eigen manier.

68
00:06:37,140 --> 00:06:40,280
Wat bij het ene systeem werkt, werkt misschien niet bij het andere.

69
00:06:41,400 --> 00:06:42,400
Of juist andersom natuurlijk.

70
00:06:43,940 --> 00:06:49,860
We hebben vandaag een kijkje genomen in de verborgen wereld van software rondom AI modellen.

71
00:06:50,560 --> 00:06:54,880
Deze lagen van pre- en postprocessing maken AI veelzijdiger.

72
00:06:55,920 --> 00:06:58,640
Maar brengen ook hun eigen uitdagingen met zich mee.

73
00:06:59,240 --> 00:07:04,140
Door te begrijpen hoe deze processen werken kun je effectiever gebruik maken van AI technologie.

74
00:07:04,730 --> 00:07:06,660
En beter anticiperen op mogelijke problemen.

75
00:07:07,400 --> 00:07:11,680
Ik daag je uit om te experimenteren met verschillende soorten bestanden in je favoriete AI tool.

76
00:07:12,720 --> 00:07:14,980
Let op hoe verschillende inputs worden verwerkt.

77
00:07:15,480 --> 00:07:17,000
En pas je verwachtingen daarop aan.

78
00:07:17,680 --> 00:07:19,760
Maak aantekeningen over wat wel en niet werkt.

79
00:07:20,180 --> 00:07:23,260
En deel deze inzichten dan met anderen in je organisatie.

80
00:07:24,400 --> 00:07:30,060
En als laatste bedenk altijd goed, AI is niet de oplossing voor elk probleem, maar onmisbaar waar het past.

81
00:07:32,380 --> 00:07:34,720
Dankjewel weer voor het luisteren naar deze aflevering.

82
00:07:35,190 --> 00:07:39,940
Wil je geen aflevering missen? Abonneer je dan even via je favoriete podcast app.

83
00:07:41,220 --> 00:07:41,800
Tot de volgende keer!