S06E97 - Hoe kies je het beste taalmodel voor jouw organisatie?

Joop Snijder bespreekt in deze aflevering van AIToday Live hoe organisaties het beste AI-taalmodel kunnen kiezen. De snelle ontwikkeling van grote taalmodellen (LLMs) maakt deze keuze complex en belangrijk voor bedrijven.

Het LLM-landschap wordt gedomineerd door spelers als Anthropic, OpenAI, Google en open source alternatieven. Snijder waarschuwt voor valkuilen zoals blind vertrouwen op benchmarks en constant overstappen naar nieuwe modellen.

Hij adviseert een praktische aanpak: verken opties binnen bestaande cloud-infrastructuur, investeer in prompt engineering en weeg verschillende criteria af. Een hybride strategie en duidelijk beleid zijn belangrijke aandachtspunten bij implementatie.

Onderwerpen

• Keuze van AI-taalmodellen voor organisaties
• Ontwikkelingen in grote taalmodellen (LLMs)
• Belangrijke spelers in het LLM-landschap
• Valkuilen bij het kiezen van een taalmodel
• Praktische aanpak en implementatie van LLMs

Links

• Podcast: AIToday Live podcast
• Clouddienst: Microsoft Azure
• Clouddienst: AWS
• Clouddienst: Google Cloud
• Kaartspel: AI Game Changer - Generative AI editie

Genoemde entiteiten: Anthropic - Claude - OpenAI - GPT - Google - Gemini - Lama - Mistral - Gemma

Doe mee met de 4e Community of Practice voor Generatieve AI op Hogeschool Windesheim! Mis het niet en schrijf je gratis in.

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,001 --> 00:00:07,960
Elke week kondigen techgiganten nieuwe, krachtigere taalmodellen met indrukwekkende mogelijkheden aan.

2
00:00:07,960 --> 00:00:13,120
Terwijl organisaties worstelen met de vraag welk model ze moeten kiezen.

3
00:00:13,120 --> 00:00:22,000
Met investeringen die behoorlijk kunnen oplopen, gecombineerd met een strategische impact voor jaren, is de juiste keuze cruciaal.

4
00:00:22,000 --> 00:00:26,180
Maar hoe maak je die keuze in een landschap dat continu verandert?

5
00:00:26,860 --> 00:00:33,500
Deze aflevering neem ik je mee in een praktische aanpak om tot de beste beslissing te komen voor jouw organisatie.

6
00:00:33,500 --> 00:00:37,000
Mijn naam is Joop Snijder en ik ben CTO bij Aigency.

7
00:00:37,000 --> 00:00:45,140
De snelle ontwikkeling van Large Language Models, LLMs, zorgt voor een overweldigende keuze aan mogelijkheden.

8
00:00:45,140 --> 00:00:55,120
Waar je als individu nog relatief eenvoudig kunt experimenteren met verschillende modellen, sta je als organisatie voor een veel complexere uitdaging.

9
00:00:55,700 --> 00:01:03,320
Organisaties moeten wel overwogen keuzes maken die passen binnen hun strategie, beveiliging en budgetaire kaders.

10
00:01:03,320 --> 00:01:07,140
Hoe kom je dan als organisatie tot de beste keuze?

11
00:01:07,140 --> 00:01:15,340
Nu we de uitdaging hebben geschetst, laten we eerst eens kijken naar de belangrijkste spelers in de markt van taalmodellen.

12
00:01:15,340 --> 00:01:20,900
Het LLM landschap wordt momenteel gedomineerd door enkele grote spelers.

13
00:01:20,900 --> 00:01:32,040
Anthropic heeft je gevestigd met de Claude familie, waaronder de krachtige Claude 3 Opus, de veelzijdige Sonnet en de snelle kleinere model Haiku.

14
00:01:32,720 --> 00:01:39,840
OpenAI blijft toonaangevend met verschillende GPT modellen, terwijl Google zich in de markt mengt met de Gemini serie.

15
00:01:40,540 --> 00:01:50,480
Daarna zien we een groeiende beweging in open source alternatieven, waarbij Lama, Mistral en Gemma zich onderscheiden met interessante mogelijkheden.

16
00:01:50,480 --> 00:01:59,320
En het is vooral belangrijk om niet in de valkuil van fear of missing out, FOMO, te trappen.

17
00:02:00,160 --> 00:02:08,640
Het constant willen overstappen naar het nieuwste model is niet alleen inefficiënt, maar kan ook contraproductief zijn voor je organisatie.

18
00:02:08,640 --> 00:02:15,560
Een veelgemaakte fout is toch wel blind vertrouwen op de benchmarkresultaten.

19
00:02:15,560 --> 00:02:23,800
Hoewel deze cijfers interessant zijn, vertellen ze vaak weinig over hoe een model in jouw specifieke situatie zal presteren.

20
00:02:23,800 --> 00:02:28,740
Sterker nog, veel modellen worden specifiek geoptimaliseerd voor deze benchmarks,

21
00:02:29,200 --> 00:02:33,380
wat niet automatisch betekent dat ze beter presteren in real world toepassingen.

22
00:02:33,380 --> 00:02:38,540
Ze komen lekker boven aan lijstjes, geven jou het gevoel van FOMO,

23
00:02:38,540 --> 00:02:45,280
maar de vraag is wat je er daadwerkelijk dan aan hebt in jouw organisatie voor jouw use case.

24
00:02:45,280 --> 00:02:53,860
Na het begrijpen van deze fundamentele aspecten kunnen we ons juist richten op een praktische aanpak voor het selecteren van het juiste model.

25
00:02:55,860 --> 00:03:04,720
Een pragmatische eerste stap is het verkennen van de LLM opties binnen je bestaande cloud infrastructuur als je die hebt.

26
00:03:04,720 --> 00:03:13,040
Deze aanpak wordt steeds aantrekkelijker omdat cloud providers hun aanbod van ondersteunde modellen continu uitbrengen.

27
00:03:13,040 --> 00:03:18,080
Met Microsoft Azure heb je bijvoorbeeld niet alleen directe toegang tot open-source modellen,

28
00:03:18,080 --> 00:03:23,360
maar ook tot open-source alternatieven die zij hosten zoals Lama en Mistral.

29
00:03:23,360 --> 00:03:32,000
AWS volgt eenzelfde strategie door na zijn eigen modellen en partnerships ook ondersteuning te bieden voor verschillende open-source modellen.

30
00:03:32,560 --> 00:03:38,940
Google Cloud gebruikers kunnen naadloos integreren met Gemini en andere modellen binnen dat ecosysteem.

31
00:03:38,940 --> 00:03:45,240
En deze ontwikkeling waarbij cloud providers steeds meer verschillende modellen ondersteunen,

32
00:03:45,240 --> 00:03:53,100
zet zich door en biedt organisaties dan ook meer flexibiliteit zonder dat ze hun vertrouwde cloud omgeving hoeven te verlaten.

33
00:03:53,320 --> 00:03:58,120
Het betekent dat je niet vastzit aan één specifieke modelfamilie,

34
00:03:58,120 --> 00:04:03,240
maar kunt kiezen uit een groeiend aanbod van mogelijkheden binnen je bestaande infrastructuur.

35
00:04:03,240 --> 00:04:06,100
Deze aanpak biedt verschillende voordelen.

36
00:04:06,100 --> 00:04:13,700
Je kunt gebruik maken van geïntegreerde facturering, bestaande security, compliance is vaak geregeld

37
00:04:13,700 --> 00:04:16,200
en de technische integratie verloopt meestal soepeler.

38
00:04:16,200 --> 00:04:20,680
Bovendien kun je terugvallen op de support via je bestaande kanalen.

39
00:04:21,880 --> 00:04:27,520
Die toenemende beschikbaarheid van verschillende modellen binnen dezelfde cloud omgeving maakt het ook eenvoudiger

40
00:04:27,520 --> 00:04:32,600
om in de toekomst van een model te wisselen, mits dat nodig blijkt uiteraard.

41
00:04:32,600 --> 00:04:38,980
Dan de focus op prompt engineering.

42
00:04:38,980 --> 00:04:48,120
Want een onderbelicht aspect is dat je vaak meer winst kunt halen door te investeren in betere prompt engineering

43
00:04:48,120 --> 00:04:50,440
dan door steeds van model te wisselen.

44
00:04:50,440 --> 00:04:54,860
Wanneer je team meer ervaring opbouwt met één specifiek model,

45
00:04:54,860 --> 00:04:58,280
groeit juist een begrip van de mogelijkheden en beperkingen.

46
00:04:58,280 --> 00:05:02,160
En dit leidt tot effectievere prompts en meer consistente resultaten.

47
00:05:02,160 --> 00:05:11,560
En deze expertise is vaak zoveel waardevoller dan de marginale verbeteringen die nieuwe modelversies bieden.

48
00:05:12,080 --> 00:05:25,500
Dus voordat je overstapt naar zo'n nieuw model denk ik dat er echt zoveel meer winst te halen valt uit beter begrip van het huidige taalmodel.

49
00:05:26,500 --> 00:05:39,060
Om tot een goede keuze te komen uit welk model je dan kiest, moeten we eigenlijk verschillende criteria zorgvuldig tegen elkaar afwegen bij het maken van de keuze voor een LLM model.

50
00:05:40,340 --> 00:05:48,900
En als je zo kijkt, vanuit een taakgericht perspectief is het essentieel om te bepalen welke specifieke taken het model moet uitvoeren.

51
00:05:48,900 --> 00:05:53,880
Of er bepaalde domeinkennis nodig is en welke outputformaten vereist zijn.

52
00:05:53,880 --> 00:05:57,420
En de technische randvoorwaarden spelen een cruciale rol.

53
00:05:57,420 --> 00:06:02,540
Hierbij moet je rekening houden met de gewenste reactiesnelheid van het systeem,

54
00:06:02,540 --> 00:06:11,080
de benodigde contextwindowgrootte en de beschikbare hardwareresources binnen je organisatie als je kiest voor het lokaal draaien van open source modellen.

55
00:06:11,080 --> 00:06:15,640
Security en compliance vormen natuurlijk een ander belangrijk aandachtspunt.

56
00:06:15,880 --> 00:06:19,980
Je moet duidelijk een kaart brengen waar je data mag worden opgeslagen,

57
00:06:19,980 --> 00:06:26,020
welke certificeringen noodzakelijk zijn en hoe je omgaat met data privacy vraagstukken.

58
00:06:26,020 --> 00:06:29,060
En de kostenstructuur verdient natuurlijk ook aandacht.

59
00:06:29,060 --> 00:06:35,560
Hij onderzoekt de kosten per token, mogelijke volumekortingen en hoe voorspelbaar de kosten zijn op langere termijn.

60
00:06:35,560 --> 00:06:39,100
Want de kosten wisselen per model per provider.

61
00:06:39,100 --> 00:06:45,360
Door voor de zogenaamde kleinere modellen te kiezen die iedere cloud leverancier aanbiedt,

62
00:06:45,420 --> 00:06:46,780
kun je veel kosten besparen.

63
00:06:46,780 --> 00:06:54,860
De laatste criteria die bepalend zijn voor je succes zijn integratie en onderhoud.

64
00:06:54,860 --> 00:06:58,400
Kijk naar de kwaliteit van de API documentatie.

65
00:06:58,400 --> 00:07:03,600
Dat is hoe je met programmeertalen de taalmodellen aanspreekt.

66
00:07:03,600 --> 00:07:07,600
De mate van community support en de frequentie van updates.

67
00:07:07,600 --> 00:07:16,920
De frequentie van model updates verdient speciale aandacht bij het maken van de keuze.

68
00:07:17,380 --> 00:07:26,040
Hoewel verbeteringen in modellen op het eerste gezicht positief lijken, kunnen frequente updates in de praktijk juist voor uitdagingen zorgen.

69
00:07:27,040 --> 00:07:36,780
Een geüpdate model reageert vaak net iets anders op dezelfde pront wat vooral in geautomatiseerde processen tot onverwachte resultaten kan leiden.

70
00:07:36,780 --> 00:07:47,260
En voor organisaties die LLMs hebben geïntegreerd in hun kernprocessen, betekent elke model update daarom ook het opnieuw testen en mogelijk aanpassen van hun systemen.

71
00:07:47,760 --> 00:07:54,640
In sommige gevallen kan het daarom verstandiger zijn om te kiezen voor een model met minder frequente, maar meer stabiele updates.

72
00:07:54,640 --> 00:08:04,860
Nu we de theorie hebben behandeld, is het tijd om te kijken naar de praktische stappen voor implementatie, want in sommige gevallen kan een hybride strategie de beste oplossing zijn.

73
00:08:04,860 --> 00:08:15,320
Je kunt bijvoorbeeld open source modellen on-premise inzetten voor privacygevoedige data, terwijl je cloud-based modellen gebruikt voor algemene taken.

74
00:08:15,840 --> 00:08:19,960
Voor specifieke expertisegebieden kun je kiezen voor gespecialiseerde modellen.

75
00:08:19,960 --> 00:08:23,840
Deze aanpak vereist wel een doordachte implementatie.

76
00:08:23,840 --> 00:08:29,380
Je organisatie heeft duidelijk beleid nodig over wanneer welk model te gebruiken.

77
00:08:29,380 --> 00:08:33,960
Daarnaast is goede documentatie van de verschillende implementaties essentieel,

78
00:08:33,960 --> 00:08:39,740
evenals gedegen training van medewerkers in het gebruik van verschillende systemen.

79
00:08:39,740 --> 00:08:44,960
Je ziet de keuze voor een LLM model is geen eenmalige beslissing,

80
00:08:44,960 --> 00:08:46,520
maar een strategisch proces.

81
00:08:46,520 --> 00:08:51,680
Het belangrijkste is niet om het beste tussen aanhalingstekens model te kiezen,

82
00:08:51,680 --> 00:08:56,680
maar om een model te selecteren dat optimaal aansluit bij jouw organisatie.

83
00:08:56,680 --> 00:09:05,640
Het moet passen binnen je technische infrastructuur, voldoen aan je security eisen en kosten effectief zijn voor jouw specifieke use cases.

84
00:09:06,600 --> 00:09:09,120
Bovendien moet je team er effectief mee kunnen werken.

85
00:09:09,120 --> 00:09:13,340
De werkelijke waarde zit niet in het constant switchen naar het nieuwste model,

86
00:09:13,340 --> 00:09:18,380
maar in het opbouwen van expertise met één of enkele goedgekozen modellen.

87
00:09:18,380 --> 00:09:24,600
Investeer daarom liever in het grondig leren kennen en effectief gebruiken van je gekozen oplossing.

88
00:09:24,600 --> 00:09:28,500
Blijf de ontwikkelingen in het veld natuurlijk wel volgen,

89
00:09:28,500 --> 00:09:31,060
maar laat je niet leiden door FOMO.

90
00:09:32,060 --> 00:09:38,400
Wel overwogen, praktische aanpak levert je uiteindelijk de beste resultaten op voor jouw organisatie.

91
00:09:38,400 --> 00:09:45,120
Dankjewel weer voor het luisteren naar deze korte aflevering van AIToday Live.

92
00:09:45,120 --> 00:09:48,640
Abonneer je via je favoriete podcast app,

93
00:09:48,640 --> 00:09:52,160
dan krijg je vanzelf een seintje bij de volgende aflevering.

94
00:09:54,060 --> 00:10:24,040
[Muziek]