S05E44 - Kracht en uitdagingen van LLMs

In deze aflevering bespreken we de opkomst van grote taalmodellen, met name Large language models zoals ChatGPT. 

We benadrukken echter dat er ook andere leveranciers zijn met vergelijkbare modellen. Het is cruciaal om de voorwaarden van de leverancier te begrijpen en te weten wat er met jouw input en data gebeurt. We bespreken ook hoe open source modellen meer controle bieden over implementatie en databehandeling.

 Met de juiste overwegingen kunnen large language models veel waarde toevoegen.

Doe mee met de 4e Community of Practice voor Generatieve AI op Hogeschool Windesheim! Mis het niet en schrijf je gratis in.

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,000 --> 00:00:08,000
ChatGPT is nog het bekendste taalmodel, maar met Google BarD, Metas LLama, Claude en nog veel meer is de keuze reuze.

2
00:00:08,000 --> 00:00:14,000
Er zijn verschillen en overeenkomsten. In deze aflevering hoor je de kracht en de uitdagingen van al deze modellen.

3
00:00:14,000 --> 00:00:22,000
Luister naar een korte aflevering van AIToday Live. Actuele onderwerpen over AI in 5 minuten.

4
00:00:23,000 --> 00:00:28,160
Met de introductie van de ChatGPT is er veel aandacht ontstaan voor large language models.

5
00:00:28,160 --> 00:00:32,600
Maar ChatGPT is niet het enige large language model dat beschikbaar is.

6
00:00:32,600 --> 00:00:37,400
Er zijn inmiddels diverse grote taalmodellen op de markt van verschillende leveranciers.

7
00:00:37,400 --> 00:00:42,800
En het lijkt wel alsof je voor de neus van een etalage van een snoepwinkel staat met

8
00:00:42,800 --> 00:00:46,800
je neus er tegenaan en je de keuze hebt uit allerlei lekkernijen.

9
00:00:46,800 --> 00:00:49,240
Maar je moet wel opletten wat je kiest.

10
00:00:49,240 --> 00:00:54,840
Deze keuzevrijheid is goed, want iedere leverancier heeft andere voorwaarden voor het gebruik van

11
00:00:54,840 --> 00:00:55,840
hun modellen.

12
00:00:55,840 --> 00:00:57,920
Dit kan zelfs verschillen per modelversie.

13
00:00:57,920 --> 00:01:02,880
Zo heeft GPT 3.5 andere voorwaarden dan GPT 4 van OpenAI.

14
00:01:02,880 --> 00:01:07,280
Het is dus zaak goed op te letten welk large language model je kiest.

15
00:01:07,280 --> 00:01:08,960
Tenminste, welke leverancier welk model.

16
00:01:08,960 --> 00:01:14,720
Mag de leverancier bijvoorbeeld jouw input gebruiken om de modellen verder te trainen?

17
00:01:14,720 --> 00:01:17,920
Ook kun je nu kiezen voor open source versies.

18
00:01:17,920 --> 00:01:23,600
Je bepaalt dan zelf wanneer je een nieuwe versie implementeert en wat er met je data gebeurt.

19
00:01:23,600 --> 00:01:29,280
Deze krachtige modellen kunnen enorm veel taken uitvoeren, waardoor veel bedrijven

20
00:01:29,280 --> 00:01:32,960
zich afvragen of en hoe ze deze technologie kunnen inzetten.

21
00:01:32,960 --> 00:01:37,800
Large language models kunnen bijvoorbeeld realistische en diverse synthetische data genereren.

22
00:01:37,800 --> 00:01:40,240
Dit kan helpen bij het trainen van AI-systemen.

23
00:01:40,240 --> 00:01:45,400
Ook kunnen ze ondersteuning bieden bij het schrijven van natuurlijke taal en zelfs computercode.

24
00:01:45,400 --> 00:01:46,400
Het programmeercode.

25
00:01:46,400 --> 00:01:51,840
Verder zijn large language models in staat om mensachtige gespraak te synthetiseren en

26
00:01:51,840 --> 00:01:53,360
stemconversie uit te voeren.

27
00:01:53,360 --> 00:02:00,560
Ook kunstmatige beeldanalyse, inclusief segmentatie, reconstructie, behoren tot de mogelijkheden.

28
00:02:00,560 --> 00:02:06,520
Complexe datasets omzetten in intuïtieve representaties.

29
00:02:06,520 --> 00:02:10,920
Dat wil zeggen dat ze grafieke documenten uit kunnen leggen in voor ons begrijpelijke taal.

30
00:02:10,920 --> 00:02:16,640
Maar er zijn ook uitdagingen voor het inzetten van large language models.

31
00:02:16,640 --> 00:02:22,440
Hoewel de mogelijkheden enorm zijn, zijn er ook genoeg uitdagingen bij het inzetten van

32
00:02:22,440 --> 00:02:23,440
deze modellen.

33
00:02:23,440 --> 00:02:24,880
Daar moeten we wel rekening mee houden.

34
00:02:24,880 --> 00:02:30,400
Ten eerste presteren ze slecht op taken die feitelijkheden vereisen.

35
00:02:30,400 --> 00:02:35,120
En er is natuurlijk geen betrouwbare controle over het uitvoerformaat.

36
00:02:35,120 --> 00:02:39,480
Zo vraag ik regelmatig om iets in een tabel te zetten.

37
00:02:39,480 --> 00:02:41,320
Gaat 9 van de 10 keer goed.

38
00:02:41,320 --> 00:02:42,320
En wat denk je?

39
00:02:42,320 --> 00:02:45,920
De 10e keer krijg ik het gewoon in een heel ander formaat, bijvoorbeeld uitgeschreven in

40
00:02:45,920 --> 00:02:46,920
tekst.

41
00:02:46,920 --> 00:02:48,200
Heel erg lastig.

42
00:02:48,200 --> 00:02:51,680
Dus betrouwbare controle over het uitvoerformaat kan lastig zijn.

43
00:02:51,680 --> 00:02:56,800
Verder is het een uitdaging om prompt zo te schrijven dat ze blijven werken met nieuwere

44
00:02:56,800 --> 00:02:57,800
modellen.

45
00:02:57,800 --> 00:03:04,160
En bestaande modellen hebben ook een afkappunt in de tijd voor verzamelde trainingsdata.

46
00:03:04,160 --> 00:03:11,800
je heel erg op letten. GPT 4, even uit mijn hoofd, september 2021 bijvoorbeeld. Alles

47
00:03:11,800 --> 00:03:17,680
wat daarna komt zit niet in de trainingsdata. Daarnaast is er een gebrek aan interpreteerbaarheid,

48
00:03:17,680 --> 00:03:26,280
bronvermelding in de gegenereerde tekst. Uiteindelijk wil je natuurlijk ook weten hoeveel iets gaat

49
00:03:26,280 --> 00:03:31,480
kosten en is het lastig om operationele kosten van deze modellen in productie in te schatten.

50
00:03:31,480 --> 00:03:37,200
Dit beperkt soms de breedte van de inzetbaarheid.

51
00:03:37,200 --> 00:03:39,260
Daar moet je echt wel rekening mee houden.

52
00:03:39,260 --> 00:03:45,760
Oh ja, en niet te vergeten, de prestaties in niet-Engelse talen zijn over het algemeen

53
00:03:45,760 --> 00:03:47,760
lager dan in het Engels.

54
00:03:47,760 --> 00:03:53,200
Nou gebruik ik zelf Engels en Nederlands voor dit soort taalmodellen en merk ik dat

55
00:03:53,200 --> 00:03:54,480
Nederlands best wel goed werkt.

56
00:03:54,480 --> 00:03:56,800
Maar soms begin ik toch gewoon in het Engels.

57
00:03:56,800 --> 00:04:03,160
Ga ik op het Engels door en zogauw ik een juiste output heb, dan schakel ik over, laat ik het

58
00:04:03,160 --> 00:04:05,960
vertalen naar het Nederlands en kan ik vanuit daaruit verder.

59
00:04:05,960 --> 00:04:12,040
Maar je moet wel even opletten dat een aantal van deze tekortkomingen die ik genoemd heb

60
00:04:12,040 --> 00:04:17,560
best wel de breedte van de inzetbaarheid kan beperken.

61
00:04:17,560 --> 00:04:25,080
Concluderend, er zijn volop keuzemogelijkheden wat betreft large language models en ik denk

62
00:04:25,080 --> 00:04:30,480
dat dat ook een hele goede zaak is, want dan kunnen we ook een juiste afweging maken,

63
00:04:30,480 --> 00:04:36,840
rekeninghoudend, juist met de factoren zoals de leveringsvoorwaarden, wordt je data gebruikt

64
00:04:36,840 --> 00:04:44,240
om te trainen, open source versus commercieel en het precieze gebruikstoel. Als je dat in oogschouw

65
00:04:44,240 --> 00:04:49,280
houdt kun je de juiste keuze maken en kunnen large language models heel veel waarde toevoegen.

66
00:04:49,280 --> 00:04:55,200
Dank voor het luisteren. Mis geen aflevering, abonneer je via je favoriete podcast app.

67
00:04:55,200 --> 00:04:57,200


68
00:04:57,200 --> 00:04:59,200


69
00:04:59,200 --> 00:05:01,200


70
00:05:01,200 --> 00:05:03,200