S03E08 - Metas OPT-175B - GPT-3 - DALLE-2

Er zijn nieuwe grote modellen ontwikkeld door Meta (Facebook) en OpenAI. Meta's OPT-175B is een groot taalmodel. Dit taalmodel is gelijksoortig aan het taalmodel GPT-3 van OpenAI. We spreken deze modellen en Joop deelt zijn ervaringen met GPT-3.

Daarnaast heeft OpenAI DALL·E 2 uitgebracht. DALL·E 2 is een nieuw AI-systeem dat realistische afbeeldingen en kunst kan creëren op basis van een beschrijving in natuurlijke taal. Synth.run is een gelijksoortig model, waar Niels naar gekeken heeft.

Links

• https://www.techzine.nl/nieuws/analytics/486859/meta-maakt-zeer-groot-llm-ai-model-opt-175b-openbaar/
• https://www.synth.run
• https://openai.com/dall-e-2/

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

0:00

Hij staat aan. We kunnen. Goeie check. Welkom bij de Bitesize aflevering van de AIToday Live podcast. Niels Naglé, chapter lead data en AI van Info Support en ik, CTO van Aigency, bespreken wat ons is opgevallen in dit nieuws over AI. Hey Niels. Hey Joop. Nou, even een korte aflevering. We kijken natuurlijk altijd bij zo'n Bitesize aflevering wat ons is opgevallen in het nieuws. Dus mijn vraag aan jou, wat is je opgevallen? Die vraag had ik kunnen verwachten natuurlijk. Ik heb meerdere items, maar laten we gewoon bij de eerste beginnen. Dat was er eentje van Meta en Meta maakte een zeer groot LLM AI-model, de Opt 175B, openbaar. Wat het mogelijk moet gaan maken om eigenlijk de natural language processing heel erg mooi op te gaan pakken met die modellen. Ja, dus het is een taalmodel. Wat kan je met zo'n taalmodel, als je dat uit zou moeten leggen aan onze luisteraars? Ja, wat kan je er eigenlijk niet mee met zo'n taalmodel? Eigenlijk heel veel. Dus hij kan kortere teksten maken, samenvattingen maken, allemaal op basis van wat hij daar geleerd heeft in die teksten. En dit is echt eentje met 175 miljard parameters die hij nu is getraind. Ja, gelijk aan de GPT-3 is dat. Die heeft ook 175 miljard. Weet je wat dan het verschil is met de GPT-3? Of is het gewoon omdat hij door Meta getraind is? Meta het moederbedrijf van Facebook hebben we het over. Ik heb er nog niet naar gekeken wat de verschillen zijn. Of hij nou beter gaat performen of niet gaat performen. Dus dat is nog iets wat uitgezocht moet worden. Oké, interessant. En jou Joop? Nou, dat sluiten we allemaal eigenlijk. Wij bespreken dit soort dingen niet voor, dus laat dat even voorop stellen. Ik wilde het namelijk hebben over GPT-3. Misschien geen nieuws, maar ik heb dat wel in de afgelopen tijd veel gebruikt. Een nieuwe website gemaakt voor Aigency, Aigency.com. En wat daarvoor nodig was, is ook gewoon een aantal standaard teksten. Weet je, wat is MLOps? Wat is machine learning? Gewoon heel kort, weet je, allemaal introductieteksten wat niet verschillend is. Nee, laat ik het zeggen, dat is niet het onderscheidend vermogen. Want dat heb ik uiteraard allemaal zelf geschreven. Maar gewoon dit soort wat copyright-achtige dingen. Daarvoor heb ik GPT-3 gebruikt. Wat er zo fijn aan is, is dat hij regelmatig, als je de juiste instellingen hebt, dat maakt ook nog uit, het juiste taalmodel moet je selecteren, dat hij dan echt wel input geeft waar je dan mee verder kan. Dus ik heb meestal wel ook dan de zinnen weer wat aangepast. Ik denk van, ja, maar ik vind meer dit, ik vind meer dat. Maar het helpt heel erg bij, zeg maar, je start van die copywriting. Dus je begint eigenlijk niet met een blanko pagina, maar hij vult al wat voor je in. En wat geef je hem als eerst mee? Geef je hem een paar korte zinnen mee? Geef je hem onderwerpen mee? Ja, je kan dus in die zin van alles. Dus in die zin wat ik gedaan heb, is gezegd van, geef mij, wat zijn de drie belangrijkste kenmerken van MLOps? Want daar wilde ik wat verder over zeggen, van, ja, wat doen wij er dan als bedrijf mee? Maar gewoon eerst eens maar die drie, dat is handig, dan krijg je dat. Nou, en voor deze podcast heb ik in die zin wat voorbereid, om te laten zien van, weet je, hoe werkt dat? Wat krijg je er dan uit? Dus ik heb bijvoorbeeld gevraagd, what are the five points I should know when I study AI for good? Dus je vraagt het ook in het Engels, dat is wel belangrijk. En ik heb even wat eruit gekomen is, het zijn vijf punten, die heb ik ook even vertaald naar Nederlands. Want je krijgt ze uiteraard, als je het zo stelt, krijg je dat in het Engels, krijg je dat terug. Nou, wat hij dan bijvoorbeeld zegt, is, punt één, dus vijf punten die ik zou moeten weten, als ik wat ga studeren over AI voor goed. Punt één, AI technologieën kunnen worden gebruikt om verschillende wereldwijde doelen te helpen bereiken, waaronder het terugdringen van aanboeden, het verbeteren van de gezondheidszorg en het beschermen van het milieu. Mooie zin, hè? Ja. Ja. Punt twee, AI kan worden gebruikt om beslissingen te helpen nemen, die eerlijker, efficiënter en transparanter zijn. Nou, maar zo komt hij zeg maar met nog een aantal punt vijf, AI kan een krachtig hulpmiddel zijn voor het goede, maar het belangrijke, maar het is belangrijk om ervoor te zorgen dat de ontwikkeling en toepassing ervan ethisch verantwoord zijn. Mooi. Ja, toch? Ja, echt een heleboel contexten die hij ook meegeeft. Niet alleen de kreten daar die hij op zoekt, maar echt wel de samenhang pakt van eigenlijk de vraag die je dus aan hem stelt. Ja, en dat doet zeg maar vermoeden alsof jij best wel een heel wel overwogen antwoord krijgt. Maar we moeten niet vergeten dat het natuurlijk een soort van repetering is van wat hij geleerd heeft en dat wel gerelateerd aan je vraag. Maar er komt natuurlijk niks echt heel nieuws. En om daar zeg maar een voorbeeld, want dit is een voorbeeld dat het best wel goed gaat. En er zijn ook best wel mogelijkheden dat het niet zo goed gaat. Dus ik heb eigenlijk gevraagd van ja, maar want ik heb het nu zelf vertaald naar het Nederlands. Maar je kan ook gewoon een vraag stellen en zeggen van, maar geef het antwoord dan in het Nederlands. O, serieus? Dus is het ook translatie ook gelijk? Het zou kunnen. Dus ik heb inderdaad gevraagd dan, doe deze vijf punten nou eens. Weet je, als ik dit nou zou moeten studeren, ben jij wel goed, doe ik het in het Nederlands. Dan krijg ik terug. 1. Nederlanders hebben een lange geschiedenis van tolerantie en sociale cohesie, waardoor een omgeving is gecreëerd die bevoordelijk is voor innovatie en creativiteit. Oké. Nederlanders zijn early adopters van nieuwe technologieën, waaronder kunstmatige intelligentie. De Nederlandse overheid ondersteunt AI-onderzoek en ontwikkeling en heeft hierin fors geïnvesteerd. 5. Nederlanders zijn actief betrokken bij internationale initiatieven om verantwoorde AI-ontwikkelingen en gebruik te bevorderen. Het zijn hele mooie zinnen, maar dit is natuurlijk niet wat ik gevraagd had. Het hek niet de lading. Nee, hè? Dus je ziet ook, er zit geen begrijpen in. Het is het terug oplepelen van dingen die ik geleerd heb. Je kan er echt wel handige dingen mee doen. De vraag is hoe slim het is. Ik denk dat je dat wel in overweging moet nemen. Dus voor mij was het bijvoorbeeld voor die website heel handig, want je geeft ook bijvoorbeeld aan wat de lengte is van de output die je wil hebben. Dus als ik die kort zet en je vraagt wat is MLOps, dan krijg ik dat in één zin. Ik kan ook een hele paragraaf terugkrijgen. Ik krijg het er wat langer uitgelegd. Voor dit soort werk is dat heel handig. Dus je zegt van ik wil het even heel kort, ik wil het wat verder uitgebreid, ik wil het in punten. En volgens mij ook doelgroep, toch? Ik heb in de presentatie gezien dat je ook een doelgroep kan meegeven. Ja, zeker. Dat soort dingen is wel heel grappig. Dat je inderdaad kan zeggen van, geef een description voor C-level management. Ja. En heb je dat geprobeerd? Heb je daar veel verschil in teruggezien? Nou, zeker als de doelgroepen wat verder uit elkaar liggen. Uiteraard. Dus als je dat echt vraagt voor technische mensen, krijg je echt al een hele andere zin eruit dan als je zegt voor management. Ja. O, gaaf. Ja, toch? Ja, het helpt denk ik ook heel veel bij je creativiteit. Het stukje het lezen van een tekst en het zelf weer terugzien, geeft toch altijd een echt een nieuw beeld voor je eigen tekst inderdaad. Ja. Nou, het nieuws wat hier eigenlijk aangekoppeld is, is dat OpenAI, want daar is GPT-3 van, is met een nieuw model gekomen. We hebben dan Delhi-2. Ja. En dat gaat dan over het maken van plaatjes, foto's. Daar hebben we het heel kort eventjes in de vorige podcast over gehad. Ja. Dus dat is eigenlijk een gelijksoortig model, maar dan helemaal dat je kan zeggen van, nou geef mij een hamster die springt op een trampoline met een computer in zijn pootjes. Waarom? Dat is denk ik, ja. Anders je dat zou willen. Ja. En we hebben daar dat genoemd in het kader van de creatieve sector. Ja. Maar die moet je dan ook net zo zien als dit, van in plaats van dat je begint met een leeg canvas, begin je met iets anders. En we hebben het toen even gehad over creativiteit. En daar heb ik wel even over nagedacht. Want de creativiteit zit dan nog steeds in de mens, want ik moet zeg maar die rare zinnen verzinnen. Dus ik heb een beeld in mijn hoofd, van die hamster die op de trampoline springt met een computer in zijn hand. Die heb jij nu ook in je hoofd. Ja nu zeker. Ja toch? En onze luisteraars dus ook. Maar dat is iets wat bij mij eruit komt. En de vraag is of dat model dat kan omzetten naar een beeld dat lijkt op wat ik in mijn hoofd heb zitten. Ja. Hoe creatief is dat dan nog inderdaad? Is dat mijn creativiteit? Is dat dat van dat model? Maar het biedt heel veel leuke mogelijkheden. Ik heb helaas nog geen toegang tot het model. Jammer. Maar je kan er wel wat op zoeken als je op internet wat zoekt. Er zijn mensen die wel al toegelaten zijn. Die laten zien dat hij de ene keer heel goed doet. Dan krijg je echt geweldige plaatjes. En soms bakt hij er helemaal niks van. Ik was ook wel geïnspireerd door de talk van Maaike over het stukje creativiteit. Dus ik had er ook een beetje op zitten zoeken. Ik was er niet bekend mee. Synth.run. Die bouwt digitale achtergrond plaatjes en plaatjes op basis van de teksten die hij aanlevert. Dus ik dacht ik ga het toch eens even proberen. Ik was verbaasd maar nog niet echt tevreden met het eindresultaat. Het teken voor mij is de IT boardroom of the future. Dus ik kreeg wel iets van een boardroomachtige feeling. Met een soort van scherm. Een beetje conceptenwil erin en een stad van de toekomst erin. Dus ik dacht dat is net niet helemaal wat ik zoek. Maar op zich wel creatief dat je daarmee terugkomt. Maar het kostte wel een tijdje inderdaad. Als het daar een beetje op lijkt dan hebben we nog wel een weg te gaan. Maar het helpt wel. Ja toch? Het zijn in ieder geval leuke ontwikkelingen om bij te houden. En vooral te kijken waar kun je het voor gebruiken, waar niet. Waar zitten ook de grenzen van de toepassing. Zeker weten. Ja en een beetje in het verlengde was een ander artikel die ik was tegengekomen. Dat was van Google. Die komt met je conversatiepartner. Dus wil je toch nog even met iemand praten. Die bieden ze dus een soort van chatbot aan met wie je gewoon een gesprek kan aangaan. Oké! Heel bijzonder. AI Test Kitchen heet het. En hij werkt al jaren aan Lambda. Een AI model voor menselijke gesprekken. En inmiddels hebben ze dus de AI Test Kitchen om dat een beetje te gaan proeftuinen. En voor diegene die het leuk vindt zoek er even op. En dan komt hij dus ook met een soort van chatbot. Een beetje oldschool interface met gewoon een tekstboksje. En dan 'Imagine I'm at'. En dan zeg je waar je bent. En dan gaat hij beschrijven wat hij ziet. Bijzonder. Ja dat is wel heel bijzonder inderdaad. Wat zou het toepassingsgebied zijn? Het toepassingsgebied is dat je dus het gesprek kan aangaan op een bepaald onderwerp. En dat je eigenlijk een soort van handleiding krijgt. Het artikel schrijft zo van ik wil iets met planten gaan doen. Ik wil planten gaan kweken. En dan gaat hij eigenlijk in een soort van gespreksvorm eigenlijk er doorheen leiden. Dan moet je eerst zorgen voor zaadjes. Dan moet je naar de winkel voor planten potten. Dan moet je grond hebben. En zo eigenlijk in een gesprek eigenlijk gaan zeggen wat er allemaal bij komt kijken. Oh grappig. Ja ik denk dat dat nog wel de term is. Grappig. Ik heb nog niet de toepassing gezien inderdaad. Maar het zijn natuurlijk allemaal kleine stapjes. Allemaal kleine Lego blokjes die in de toekomst natuurlijk wel heel veel waarde gaan opleveren. Die nu nog een beetje in de experimentele fase, ondanks dat ze al jaren mee bezig zijn. Maar je ziet het wel steeds rijker worden. Dus het wordt wel steeds duidelijker en steeds beter. Het voelt wel meer als een conversatie. Ja precies. Had jij nog wat meer? Ja maar dan moet ik even de link opzoeken. Dat was ook naar aanleiding van de creatieve sessie van vorige keer. En dat was, die kwam op LinkedIn ineens voorbij. Alsof dat ineens allemaal terug de luisteraars op de podcast opnamen. En ineens vallen ze op in je flow. En dat was echt een heel realistisch beeld van een model die werd ingezet. Dat is ook een van de voorbeelden die natuurlijk vorige keer naar voren was gekomen. Het leuke is wat je nu beschrijft is een bepaald type bias. Ik ben even de naam kwijt. Maar als je denkt van, hé mijn auto is uniek, die heb ik net gekocht. Die heb ik nog nooit gezien rijden. En vervolgens zie je hem alleen maar op de snelweg rijden. Dus dat is je de afgelopen week gebeurd. Of zeker weten. En dat gebeurt wel vaker. Vooral na weer een nieuwe podcast opnamen. Dan zit al het nieuws een beetje in die context inderdaad. Erik, heb jij nog een punt? Dan zoek ik hem in de tussentijd op. Nou nee, ik ben vooral hier eigenlijk mee bezig geweest. Dus ik dacht van dat is op zich wel leuk om te delen. En Dali 2 vind ik wel heel interessant om te gaan volgen. Waar gaat dat ons brengen? Zelf zou ik het heel erg leuk vinden. Je bent toch altijd weer op zoek naar nieuwe plaatjes voor je website. Of een artikel. Dat je nu dat iets gerichter kan maken. Ik kan nooit precies vinden wat ik eigenlijk zou willen. Of ik nu het beeld in mijn hoofd ook daadwerkelijk zo direct op het scherm zou kunnen krijgen. Het is ook voor je creativiteit. Als we weer een sessie gaan maken en op een conferentie willen presenteren. Om net even een ander beeld te creëren dan dat we van zichzelf zouden maken. Zeker. Ik zie hem zo even niet meer voorbij komen. Ik zal hem even opzoeken. Ik neem hem mee in de notities van de podcastopname. Hartstikke goed. Dan houden we het hierbij. We hebben een mooie, korte, lekkere, duidelijke aflevering. Leuk dat je weer luisterde. Dankjewel. Tot de volgende keer. Tot de volgende keer. Vind je onze podcast leuk? Volg ons dan in je favoriete podcast app en mis geen aflevering. Tot de volgende keer. Ondertitels ingediend door de Amara.org gemeenschap***