S02E01 - Groeipad van AI Pilot naar Productie

Een nieuw seizoen met een nieuw gezicht. Niels Naglé, chapter lead Data & AI schuift maandelijks aan om alles rondom Artificial Intelligence in de Enterprise te bespreken. 

Het nieuwe seizoen betekent ook een nieuw format voor de podcast. Iedere aflevering bespreken we wat ons is opgevallen in het nieuws over AI, gevolgd door het hoofdonderwerp van de podcast. Deze keer is dat het groeipad van een AI pilot naar productie.

Als laatste bespreken we praktijk cases die zoveel mogelijk aansluiten bij het thema. 

In deze podcast hoor je o.a.:

• Over algoritmen en de toeslagenaffaire
• Een mooie vinding van Microsoft voor het oefenen van je presentatie
• Hoe maak je een AI-pilot tot een succes en hoe krijg je die in productie
• Wat was het groeipad van Westfort en van een grote Nederlandse bank.

In de podcast komt noemen we de Ethics and Guidelines voor Trustworthy AI. Deze vind je hier: https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Chapters

• 2:03 AI in het nieuws
• 16:18 AI in de Enterprise
• 30:07 AI in de praktijk

Transcript

0:00

Maar dat betekent dus dat je door middel van een nieuw algoritme, artificial intelligence, ervoor zorgt dat die zoveel kunnen rekenen, dat ze uiteindelijk bij een antwoord komen waar wij mensen waarschijnlijk veel langer over hadden gedaan als ze het al überhaupt hadden gevonden. Dat gaat ons helpen om nog grotere problemen te gaan oplossen. Denk maar aan een computer die zelf kan leren. Waar ik aan denk bij kunstmatige intelligentie is dat het door de mens gecreëerd is, dus het is door de mens bedacht. Bij kunstmatige intelligentie denk ik aan data. Zo, kunstmatige intelligentie. Eerlijk gezegd weet ik niet wat dat is. Hi, je luistert naar de podcast AIToday Live van Imageaboard. Iedere aflevering kijken we naar wat is er in het nieuws over AI, AI in enterprise en AI in de praktijk. Zo, welkom bij het tweede seizoen van AIToday met een flinke verandering. Waar ik eerst de podcast mee opneem nam, die heeft een andere uitdaging gevonden. Die is directeur geworden bij een ander bedrijf, maar een hele goede vervanger, namelijk Niels. Niels Naglee, welkom Niels. Dankjewel Joop, leuk dat ik mee mag doen aan deze interessante podcast. Ja, we gaan er denk ik een mooi seizoen van maken. We hebben al leuke thema's volgens mij in gedachten. En omdat het een nieuw seizoen is, gaan we ook een nieuw format gaan doen. We hebben afgesproken van, we delen het in drie delen op. We gaan eerst even kijken naar AI in het nieuws. Dus wat hebben wij zo'n beetje de afgelopen maanden voorbij zien komen, waarvan we denken van, hé, dat willen we wel even bespreken met elkaar. Daarna gaan we kijken van, ja, hoe pas je nou AI in de enterprise toe? Dan pakken we eigenlijk iedere keer een topic, diepen we wat verder uit. En als laatste AI in de praktijk van, ja, wat zien we gebeuren? Wat komen we tegen? En misschien kunnen we dat ook wel relateren dan aan dat topic. Dus nou ja, laten we van start gaan.[INTRO] Wat is jou de afgelopen tijd opgevallen in het nieuws? Ja, het grappige is, toen wij dit voorbespraken, deze podcast, een tijd geleden, dat we zouden gaan starten met het nieuwe seizoen, hebben we natuurlijk even dingetjes wat voorbesproken en zei ik tegen jou van, ik ga het niet over de toeslagenaffaire hebben, gedoe. Ik wil het gewoon niet. Hoop daar rond geweest, maar toch zit het me niet lekker. Dus daar wil ik het eigenlijk toch wel over hebben. En vooral eigenlijk omdat het raakt niet alleen de overheid, media, maar ook de enterprise. En dat is eigenlijk de reden waarom ik het erover wil hebben. En vooral over de manier waarop er geredeneerd wordt. Het wordt nu als een soort van computerfout, algoritmefout wordt het benaderd. Terwijl, ja, dat is het natuurlijk helemaal niet. Het is heel makkelijk om het op die manier af te schrijven. Kijk, het probleem is niet het algoritme aan zich. Uiteindelijk gaat het om de data die ze gebruikt hebben en wat ze daarmee gedaan hebben. En daar zit inherent aan de manier waarop ze dat gedaan hebben, is er op z'n minst een discriminerend element in. En dan maakt het niet zoveel uit of ze het nou met de hand zouden hebben gedaan. Dan zouden ze uiteindelijk dezelfde mensen eruit hebben gepikt, als dat ze dat nu met een algoritme hebben gedaan. Het probleem zit natuurlijk in het idee hoe ze dit hebben aangevlogen. Ga je daar voor de luisteraars iets verder op uitdiepen, zodat ze hem een beetje kunnen vastpakken? Want je hebt hem al in je gedachten, in je hoofd zit ie. Hoe kunnen mensen dat nou herkennen? Nou ja, kijk, uiteindelijk hebben ze een model gebouwd. Uitgekomen is van welke mensen mogelijk een risico zouden vormen op het plegen van fraude. Om dat te kunnen doen pak je data, combineer je samen met een algoritme. En zo'n model komt er dan uit. Dat algoritme is een wiskundige formule. Wiskundige formules discrimineren niet op mensen. Dus zit het in die data. Wat mij daar aan dwars zit, is dat ze er specifiek voor hebben gekozen om op deze manier dit aan te vliegen. Met een algoritme heb je vooral een volume probleem. Doordat je het nu met zo'n model op je hele data loslaat, en dat betekent dat, waar ging het over? 20.000, 30.000 man ofzo die op deze manier geraakt waren. Nou, zou je dat handmatig doen, dan waren ze nooit tot 20.000, 30.000 man gekomen. Dus eigenlijk alleen maar de schaalgrootte, dat is het verschil. Of ze het handmatig hadden gedaan, of nu met een algoritme. Door het alleen maar te richten op een algoritme, haal je het probleem weg dat ze ervoor hebben gekozen om mensen te selecteren die uiteindelijk geen fraude hebben gepleegd, maar wel al zodanig hebben aangemerkt dat ze hebben gezegd, ja, maar dat risico dat nemen we gewoon. Dus het was een bewuste keuze om het risico te nemen, dat mensen uiteindelijk schade hebben van een model, of als je dit handmatig had gedaan. Dus eigenlijk gewoon een keuze van, zoals een enterprise in de praktijk ook zou nemen, dit is het risico wat we lopen, dit vinden we een soort van collateral damage, ondanks hoe cruut het ook klinkt. Deze aanpak is beter dan handmatig tien personen eruit te halen in plaats van de grote bulk te gaan klassificeren. Precies. En blijkbaar, zeg maar, hebben ze, want dit is echt wel, voor deze mensen is het een levensveranderende technologie geweest, he. Ik bedoel, dat heeft zo'n enorme impact gehad. En dan vind ik het vooral stuitend dat daar helemaal niemand zit, zowel bij belastingdienst, Kamer, regering, die daar dan over nadenkt. En dan niet alleen maar bij deze affaire, maar in het algemeen. Er is uiteindelijk veel te weinig kennis op dit gebied, bij de overheid, om hier wat aan te doen. Want het zal niet alleen bij deze toeslagenaffaire aan de hand zijn. Het zal bij gemeentes, het zal op veel meer overheidsplekken, zal dit een probleem zijn. En met de technologie die we nu hebben, de kunstmatige intelligentie die als belangrijk wordt gezien, snap ik uiteindelijk niet waarom wij nog steeds geen minister van digitale zaken hebben. Dat verbaast mij dus ook inderdaad. Vooral omdat met deze innovatie van artificial intelligence, de trein heeft eigenlijk gewoon nog een extra paar motoren gekregen, waardoor die echt gewoon ineens kan gaan vliegen. En we kunnen het nu soms al niet bijbenen bij de overheid met de kennis van IT. Laat staan als dit nog verder gaat draaien. En dat gaat het vanaf dit jaar natuurlijk. Want we gaan gewoon steeds meer zaken van nu in productie zien. Dus ja, nou en het grappige is van aan de ene kant zien ze het wel. Je kan opzoeken op YouTube heb je een filmpje heel mooi van Mark Rutte bij de World Economic Forum van vorig jaar, waarbij die letterlijk zegt van de uitvinding van kunstmatige intelligentie. Die zal een grotere impact hebben dan de uitvinding van internet. Hij noemt het zelfs de basis zo direct voor het oplossen van de klimaatcrisis, de precisie agricultuur. Wat zegt hij nog letterlijk meer? Nou ja, en het verlengde daarvan weet je, als je de klimaatcrisis weet te beteugelen, heb je ook de bouwcrisis te pakken. Dus het is. Hij noemt het als de basis voor heel veel uitdagingen waar we gewoon de aankomende decennia voor staan. Maar we besteden daar op het zeg maar binnen de regering is het is het ergens een plekje. Ik geloof bij het ministerie van Economische Zaken of zo zoiets. Ja, ik zou het niet verwachten. Nee toch? Ik zou verwachten dat daar echt dedicated en dan misschien niet alleen maar kunstmatige intelligentie, maar digitale zaken in het algemeen. Ja, dus de staatssecretaris van van kunstmatige intelligentie ofzo. Maar dat je cloud hebt, dat je inderdaad data hebt, AI, de hele keten daarvan. Ja, ja. En wat mij betreft weet je, zou de media en dan ga ik eventjes specifiek zeg maar journalisten zouden zich hier ook veel meer in moeten verdiepen en veel meer kritisch moeten zijn op wat er gebeurt. Kennis ook naar boven halen. Dus mocht iemand luisteren. Je bent journalist, je kent iemand die journalist is. Ik sta in ieder geval beschikbaar als je mij even via LinkedIn benadert. Wil ik je bijpraten over alles wat over artificial intelligence gaat of wat je wil weten? Heel graag. Ja, zeker goede call to action. Dus hopelijk staat je telefoon roodgloeiend en moet je keuzes maken wie en wanneer het woord staat. Inderdaad. Precies. En jij, wat was jou opgevallen? Ja, ik had heel veel leuke artikelen gevonden. Het is altijd moeilijk om te kiezen. Er is zoveel nieuws over AI. Ik had er eigenlijk twee en gisteravond is er eigenlijk weer eentje vanaf gevallen. Want gisteravond kwam een heel interessant artikel die vrijdag online gezet is. En het heeft wel een beetje raakvlak met jouw punt. En dat is dat ze in de EU bezig zijn met de AI wetgeving. Dus dat raakt natuurlijk wel mooi. Er zijn ze dus wel op hoog niveau zijn ze erover nadenken. Maar het zijn nog echte beginselen. Het is een 81 pagina volle artikel over wat ze allemaal bedenken zijn. Ik ben nog niet helemaal doorheen. Dus ik moet er nog doorheen verder. Maar het is wel goed dat ze op dat niveau erover hebben. Dus ze hebben het over trainingsdaten. Ze hebben het over documentatie die verplicht is. Het is ook je administratie. Maar ook het testen van is er een human in the loop? Hoe zit het met nauwkeurigheid en veiligheid? Dus eigenlijk de zaken waar we eigenlijk al heel lang met elkaar over nadenken. Maar dat er nu ook een deel van wetgeving omheen komt om mensen eigenlijk wel te gaan verplichten om erover na te gaan denken en de keuzes daarvoor te gaan maken en vast te leggen. Ja, precies. Ik denk dat dat sowieso een heel goed initiatief is. Er zal uiteindelijk ook op Europees niveau zal hier de dingen over besproken moeten worden. Ik bedoel, we leven nou eenmaal in een veel meer geglobaliseerde wereld. Maar om ook nog even terug te komen inderdaad op dat Nederlands aspect. Ik vind nog steeds dat Nederland dan zelf ook initiatief moet tonen, want in Europa zal het allemaal best wel lang duren voordat je dit op orde hebt, dat je de afspraken hebt gemaakt. Dus ik vind wel dat je op landelijk niveau moet je gewoon beginnen. Ja, en dan haak je gewoon uiteindelijk haak je aan aan het Europese initiatief. Maar je kan niet blijven wachten op Europa. Dan zijn we straks weer vier, vijf, zes jaar verder. En daarvoor gaat het allemaal te snel, te hard. Ja, zeker weten. Helemaal met je eens. Het is dus goed dat die grote lijnen dadelijk nu in ieder geval door iedereen gelezen kunnen worden. En dan moet je gewoon al beginnen op landelijk niveau om in kaart te brengen. Waar liggen de risico's? Wat zijn de kansen? En daar met elkaar het gesprek aan te gaan. Want ik heb echt het geloof dat de mensen de juiste dingen hiermee willen doen. En het is hele jachtende technologie. En het kan dus ook voor andere dingen ingezet worden. En ja, dat moeten we in de gaten houden met elkaar. Nou, dat was namelijk mijn tweede die ik wilde bespreken. Echt jongen, nou, daar zakte mijn broek vanaf. Ik weet niet of je die gezien hebt. Is dat Amazon die heeft in Amerika. En volgens mij kan dit alleen maar onder de Amerikaanse wetgevingen worden. Maar het feit, nou ja, dat is dat zij zijn begonnen met camera's plaatsen in de bestelbusjes gericht op de chauffeurs. Dus daar wordt gewoon de hele dag de chauffeur in de gaten gehouden. Hoe die achter het stuur zit. Hoe lang die achter het stuur zit. Of die niet te lang weg is. Of die niet wegdommelt. Of die, nou, whatever. Hij wordt gewoon gedurende zijn hele dienst in de gaten gehouden met een camera. Waar natuurlijk kunstmatige intelligentie achter zit. Om van alles te klassificeren. Van wat die aan het doen is. En op basis daarvan, nou ja, Amazon zegt dat het een service is of zoiets naar de chauffeurs om ze meer veiligheid te bieden. Weet ik wat. Maar dit is echt, ja, weet je, dit is precies de reden waarom je als land, als Europa, ja, hiermee bezig wil zijn dat je dit soort rare uitwassen gewoon niet krijgt. Het is net wat jij zegt. Hele krachtige technologie. Waar je de juiste dingen zo direct mee wil doen. Dus moet je ook de andere dingen die je niet wil, zo je moet er gaan uitsluiten. Ja, nee, dat is zeker waar. En dat is niet iets wat we alleen met de overheid moeten bepalen. Dat zijn alle burgers, alle mensen die zouden daar een zegje moeten hebben. Het gaat over publieke veiligheid. Het gaat over persoonlijke gegevens. Dus daar moeten we met z'n allen een zegje over kunnen doen. En niet alleen dadelijk ook vanuit de politiek. Dat kunnen we niet verwachten van de politiek. En dat moeten we ook niet willen. Dus daar zullen we zelf ook op bijlagen. Ja, helemaal meteen. En als bedrijf kan je echt direct starten. Wij zijn bijvoorbeeld ook aangesloten bij het Trustworthy AI initiatief in Europa. Waarbij je gewoon eerste richtlijnen hebt waar je je aan houdt. Zijn zeven richtlijnen waar je je aan commit als bedrijf. Dat je zegt van wij gaan op een goede manier, op een ethische manier gaan wij om met onze kunstmatige intelligentie. Dus alles wat wij bouwen houden wij tegen die zeven elementen aan. Dus zoek er maar eens op Trustworthy AI in Europa. Dan krijg je vanzelf die lijst. Nou, we kunnen het misschien ook posten eventjes. Het linkje bij de podcast zelf. Ja, mijn tweede topic was meer een praktische variant. Ik vind het leuk om brainstormen verder te kijken. Maar om ook te zien van wat is er nu al in onze handen wat we kunnen gebruiken. Dus het hangt een beetje in de praktijk aan. Maar dit is er eentje die ik zelf persoonlijk vlak heel interessant vond. We geven vaak presentaties vanuit Info Support, op conferenties en heel vaak nu ook vanuit huis. En ik vind het fijn om feedback te ontvangen. Bij grote groepen is dat altijd lastig. En ook digitaal vinden mensen dat altijd lastig om feedback op te geven. Maar ik wil altijd mijn presentaties oefenen. En nu heeft Microsoft een dienst aangeboden die eigenlijk in PowerPoint jouw opname van tevoren zou je gewoon al kunnen oefenen. Je presentatie kunnen geven en die geeft dus de feedback op jouw presentatie. Hoe tastbaar, hoe handig is dat? Horecac, eigenlijk allemaal van die zaken die je onbewust zelf doet. En die worden dan gewoon op het scherm getoond als een soort van review aan het eind. Je hebt zo'n standaard spreeksnelheid, je hebt intonatie erin zitten. Bij deze slide was je wat enthousiaster of minder enthousiast. En zoveel stopwoordjes heb je gebruikt. Dat vind ik fantastisch om te zien. Het is iets wat ik zelf ook mee bezig was om zelf te ontwikkelen, maar dat is niet meer nodig. Want het is nu gewoon als een dienst, kun je hem afnemen. Dat vind ik gewoon fantastisch om te zien. Ja, gaaf. En heb je gekeken of Nederlands daar ook al in ondersteund of is het alleen nog in het Engels? De presentaties die ik gezien heb is nog alleen maar in het Engels. Maar ja, dat is wel vaker het geval met language detection dat Nederlands toch altijd wat later is. Of toch zelf opgezet moet worden. Ik heb nog niet getest, dus ik kan niet zeggen dat het er niet in zit. Maar wat ik nu gezien heb is met name Engels. Oh ja. Cool, ja dat zijn echt gave dingen. Ja, leuk spul. Zullen we eens even kijken naar ons topic? Groeipad van pilot naar productie. Dus laten we kijken naar AI in the enterprise. Ja. Artificial intelligence in the enterprise. Het thema van deze podcast, van pilot naar productie. Kan je een korte glimpse geven, Joop, wat komt hier allemaal op je af als je de pilot eenmaal hebt draaien? Want dan zijn we er natuurlijk nog niet. Nee, dat zien we natuurlijk best wel veel. Dat bedrijven wel tot een pilot komen en het moeilijk vinden om uiteindelijk van pilot naar productie te gaan. En wat we daar zien is dat het vaak als een te grote stap wordt gezien. Terwijl je het eigenlijk kan ophakken in wat kleinere stukjes. Dus wat je vooral doet, wat mij betreft, is beginnend met je pilot, dat je al nadenkt over wat je daar straks in productie mee wil doen. Dus je begint klein. Vaak pak je iets binnen een kader van een applicatie. Dat je daar wat low hanging fruit hebt. Dat je daar een verandering kan laten plaatsvinden. Die ook impact heeft, wat mij betreft, altijd op je bedrijfstoel. Het moet altijd wat opleveren. Of dat nou omzetten, groeien is, of kostenreductie, of hogere klanttevredenheid. Het maakt me niet uit, maar het moet wat opleveren. Dat test je vooral in je pilotfase. Kan je met het model dat je ontwikkeld hebt, kan dat geïntegreerd worden? Levert het ook daadwerkelijk iets op om dan naar productie te gaan? Dat betekent vaak dat je dat model relatief snel voor elkaar hebt. Dat je dat op een redelijk niveau hebt kunnen aantonen. En dan gaan we pas echt lopen. Vaak betekent dat dat je model verbeterd moet worden. Dat je zegt, we hebben wel aangetoond dat de correlaties die we dachten dat die er zijn, dat die er inderdaad in zitten. Dat we inderdaad die bedrijfsdoelen kunnen beïnvloeden. Maar dan heeft het nog niet het niveau dat het naar productie kan. Dus je moet hem vaak verbeteren. Wat je meestal ook doet, is toch wel langzaam opzetten van een stukje van je AI pipeline. Net als je bij softwareontwikkeling hebt, wil je natuurlijk niet de software die je ontwikkeld hebt, wil je niet handmatig in productie gaan zetten. Je wil daar een pipeline hebben dat als je model getraind is, dat je hem kan testen, basaal op zijn minst. Dat je kijkt waar je op optimaliseert. Of dat nou een neukeurigheid is, of een F1 scoren, of wat dan ook. Dat die voldoende is, maar ook dat je een aantal testen hebt van normale cases, waarvan je weet, daar moet hij gewoon goed op presteren dat hij dat soort dingen doet. En dan zorg je dat hij ook geautomatiseerd naar productie kan. Dat zijn eigenlijk de eerste stappen. Stap 2 is vaak dat je ook weer gaat kijken van, hoe krijg ik nou nieuwe data aangeleverd? Want vaak wil je natuurlijk ook dat het model zich gaat aanpassen aan de werkelijkheid van nieuwe data die komt. Dan moet misschien opnieuw getraind worden. Dus je moet weer van ruwe data naar input data, features van je model. Dat deel wil je uiteindelijk ook automatiseren. Jij noemde net in de Europese richtlijnen al de human in the loop. Die was ik overgeslagen in stap 1. Dat je gaat nadenken van, als er besluiten worden genomen die impact hebben op de levens van mensen. De AVG stelt twee dingen. Als een model een aanzienlijke impact heeft op de levenssfeer van mensen, moet je een menselijke beslissing ertussen zetten. Of als het juridische consequenties heeft voor degene waar je een besluit overneemt. Dus de human in the loop heb je vrij snel nodig als je besluiten neemt waar mensen door beïnvloed worden. Er zijn voorbeelden waar dat niet zo is. Met Netflix krijgen we movie recommendations van welke serie, welke film is interessant voor jou. Nou, daar hoeft geen human in the loop. Dat zijn geen levensveranderende algoritmes. Het kan wel weer een paar uurtjes Netflix opleveren als er toch even wat leuks voorbij komt. Maar inderdaad, de impact is drastisch anders dan vaker. Dat heeft zeker geen juridische consequenties. Dus daar moet je rekening mee houden. En wat we vaak ook wel zien is dat je van de ene budgethouder naar de andere overgaat. En dat is vaak nog een veel groter probleem dan al die technische dingen die ik nu noem. Herken je dat? Jazeker, inderdaad. Je ziet bij veel bedrijven, het grote enterprisebedrijf, dat er een aparte research & development afdeling is. Waar heel vaak hele gave proof of concept getoetst worden. Of het haalbaar is, wat de waarde is die eruit komt. De basale test wordt er ook in meegegeven. En dan is het van het moet nu naar de operatie. Dat is weer een andere afdeling. Dan hebben ze een andere focus, een andere planning. En helaas zie je dat het daar dan gestopt wordt. En dat het echt wel weer even duurt voordat het weer op die andere agenda komt. Dus wij proberen ook met de pilot dat je dat deel, dat je dat al van tevoren hebt afgestemd. Maar dat valt echt niet mee. Maar dan moet je zo vroeg mogelijk mee beginnen om precies wat je zegt, die operatie klaar te maken. Om zo direct die pilot verder te kunnen brengen naar productie. Ja, en dan hebben we het natuurlijk niet alleen over de budgethouder, maar ook over mandaat en hoe zit het in de operatie. Want kijk het naar, research & development teams zijn heel erg divers. En operations teams zijn dat nog niet altijd. Hoe kijk jij naar zo'n team om zoiets van pilot naar productie te brengen? Waar moet jouw team dan uit bestaan? Ja, het liefst zo divers mogelijk. In die zin is dat ook niet zo heel veel anders als bij standaard software ontwikkeling. Je wil niet alleen een data scientist hebben die dat model maakt. Maar je wil ook iets van, laten we het een ML engineer noemen, die dat kan verpakken. Zodanig in een service dat je dat ook heel makkelijk kan aanroepen. Je hebt developers nodig, maar je hebt ook mensen uit de business nodig. Dus je wil kijken of het model ook echt wat je wil. En dat is wat anders. We kunnen hem super nauwkeurig maken. En dan zeg je, 99,9% hebben getraind op de testdata. We krijgen echt geweldige waardes eruit. En vervolgens doet hij in de praktijk niet wat je wil. Of komen er data voorbij die zover buiten de trainingsdata ligt. Dat het model eigenlijk helemaal over de rode gaat. Dus je hebt echt mensen uit de business nodig. En het liefst dus ook uit de operatie. Dat je ze meteen mee kan nemen. Je hebt natuurlijk vaak wel een kennisgat. Dus mensen die dan meedoen uit de operatie kunnen ook zien hoe het ontwikkeld is. Wat je nodig hebt. Kunnen die kennis meenemen. Om het uiteindelijk ook in productiesgedrekt verder te ontwikkelen. En te onderhouden. Belangrijk inderdaad dat die altijd meegenomen worden. Wat ik echt nog vaak zie in de praktijk is. Een stukje business domeinkennis. Dat die wel aangehaakt is van begin af aan. Bij het eerste opzet. En dan vervolgens gedurende het traject even afhaakt. En dan bij het einde weer aanhaakt. Maar mijn persoonlijke opvatting is. Dat moet je niet doen. Echt van begin af aan meenemen. En continu in het proces erbij doen. Want dit is degene die dadelijk ook weet. Hoe zit het dan dadelijk onder de motorkap. Wat gebeurt daar? Wat voor beslissingen worden genomen? En ook de domeinkennis heeft van. Ja maar wacht. Vijf jaar geleden hadden we een speciaal geval. Hoe gaat die uit het systeem komen? Want dat zien we tegenwoordig wel vaker. En die kennis van de praktijk. Die is van essentieel belang. Voor als het steeds verder naar productie toe gaat. Wat mij betreft. Ja nou helemaal meeens. En als ik nog naar die pilot fase kijk. Wat ik daar zie. Is dat er vaak ook wel. Te groot en te moeilijk gestart wordt. Waardoor de transformatie van pilot. Naar productie ook weer moeilijker wordt. Dus ik zei net al. Begin simpel. En dat klinkt ook heel eenvoudig. Maar wat je vaak ziet. Is dat als je de mogelijkheden ziet. Zeker als de business de mogelijkheden ziet. Van kunstmatige intelligentie. Dan ontploft het bijna. De ideeën die ontploffen. En dan kan ook dit en zus en zo. Dus hou het heel gericht. Op dat je. Nou ja. Precies wat ik zeg. Klein hou. Maar dat geldt ook voor de technologie. Dus de. Degene die dat ontwikkelt. De data scientist. Of de ML engineer. Moeten het ook eenvoudig houden. Dus die kunnen beginnen. Met eerst maar eens bijvoorbeeld. AutoML inzetten. Of standaard algoritmes. Zeker niet. Als het niet nodig is. Dus als je niet in de. De beelden zit. Of in video. Of in spraak. Dat soort zaken. Start gewoon niet met. Neurale netwerken. Begin gewoon met machine learning. En dan dus het liefst. AutoML. Is de technologie. Waarbij. Waarbij je de data kan geven. En kan gaan aangeven. Waarop je uiteindelijk wil optimaliseren. Wat ook het. Voorspelde. Data element zou moeten zijn. Waar wil je bijvoorbeeld op klassificeren. Of moet die huizenprijzen voorspellen. Dat soort dingen. En dan gaat de computer zelf op zoek. Naar van wat is nou het meest handige algoritme daarvoor. En. Dat dat scheelt niet alleen. Kost de tijd. Maar maakt het ook gewoon eenvoudiger. En in het begin. Wat ik zei. Het model hoeft niet per se. Meteen in één keer helemaal goed te zijn. Je wil in die pilot fase. Wil je vooral aantonen. Dat je impact kan maken. Nogmaals op die bedrijfsdoelen. En dat je ziet. Dat er een correlatie is. Tussen jouw data. En wat je uiteindelijk zou willen voorspellen. Klassificeren. Of. Of wat dan ook. Het is eigenlijk ook niet anders. Dan dat je een applicatie gaat bouwen. Kijken van. Gaan we hier de doel behalen. Kunnen we het hiermee gaan behalen. Ja mooi. Dan kunnen we door. Inderdaad. Ja. En dan heb je dus aan de business kant. Heb je het eenvoudig. Heb je het aan de technologie kant. Heb je het eenvoudig. En dan kan het veel beter. Naar productie. Ja. En ook. Zelfs die stap in productie. Ook die kan je weer vereenvoudigen. Door te zeggen van. Misschien wil je niet. Al je gebruikers blootstellen. Aan de nieuwe functionaliteit. Maar zeg je van. Nou ja. Weet je. Laten we een soort van beta groep maken. Of dat je AB testen doet. Dat je zegt van. Ja maar ik ga met een klein. Geselecteerde groep. Die. Stel ik bloot aan die nieuwe functionaliteit. Dat je van daaruit ook kan leren. Daarmee verlaag je ook weer het risico. Van de introductie. Van die machine learning modellen. Dus maak het jezelf gewoon makkelijk. Vooral. Zodat je veel. Dat je eigenlijk van pilot naar productie glijdt. In plaats van dat het van dat soort harde landingen zijn. Van die blokken die je vooruit doet. Ja precies ja. Ja. Zo een ladend rollen. Ja. Dat klinkt natuurlijk wel heel makkelijk. Hou het klein. Hou het simpel. Het zijn allemaal zaken waar je eigenlijk. Eigenlijk een soort van no brainers. Maar om dat toch te blijven vasthouden. In je proces. Of vanuit de techniek. Of vanuit de passie. Of van de zaken die er mogelijk zijn. Is natuurlijk ook gewoon heel moeilijk. Er zijn zoveel technoten bij Info Support. Die willen het ook mooi maken. En dat soort zaken. En hetzelfde geldt voor de business. Die wil nieuwe zaken. Willen ze gelijk gaan opzetten. Dus ja. Het klinkt heel makkelijk. Nee daar heb je helemaal. Daar heb je echt helemaal gelijk in. Wat we wel doen. Is we hebben onze. AI experimenten canvas. Waar je heel duidelijk in vastlegt. Van we gaan hier. We gaan met dit onderwerp aan de slag. Dit zijn de kaders. Dit is onze hypothese. Die we willen bewijzen. En daarmee zou je constant kunnen toetsen. Van ja als we dit doen. Draag dat bij. Aan uiteindelijk het toetsen van de hypothese. En beïnvloeden we nog steeds. Zeg maar de dingen. Ja bijvoorbeeld de klanttevredenheid. Of de winst. Waar we voor gekozen hebben. Dat we zeggen van ja. Maar dat wil je met zoveel procent. Wil je dat verbeteren ofzo. En als dat het antwoord nee is. Moet je daar ook direct met die activiteit stoppen. Dat is een manier om het echt goed te kaderen. Ja en inderdaad gewoon goed kaderen. En continu eigenlijk bijna bij de dagelijkse stand-up. Zijn we nog met de juiste zaken bezig. Of hebben we gisteren een sidestep gedaan. En dan gelijk inhaken erop. En dan doorpakken inderdaad. Ja maar het is wel een groeie wat jij zegt. En misschien kunnen we die doornemen. Na onze derde deel van de podcast. AI in de praktijk. Kunnen we eens eventjes kijken van. Hoe hebben we dat groeipad nou ook in de praktijk gezien. Volgens mij hebben we twee leuke cases. Dus laten we daar even naar kijken. Zeker. Ja dus hoe houden we het eenvoudig in de praktijk. Hoe zorgen we nou dat we van pilot naar productie kunnen. Volgens mij heb jij een leuke case Niels. Waar jij aan gewerkt hebt. Bij Westford. Ja zeker. Dat is een case waar we een paar maandjes geleden. Of misschien al iets langer mee gestart zijn. En goed om te weten is. We hadden één groot voordeel hierbij. Namelijk geen persoonsinformatie. Het gaat namelijk. Westford is een slachterij. En het gaat dus om varkens. En wat we daar gestart zijn. Is eigenlijk gewoon één use case bepaald. Gekeken van wat is de business value die we eruit halen. En wat is er voor nodig om te toetsen. Of we dat hiermee ook bereiken. En dat was eigenlijk een heel progmatie. Samen met een business team en een development team. Zijn we daar aan de slag gegaan. En hebben gewoon. Ja hands on camera opgehangen. Model getraind met de eerste paar foto's die gemaakt zijn. En vervolgens dat stukje. Eigenlijk teruggegeven aan de business. En gezegd van goh is dit nou goed. Wat voor waarde halen we eruit. En gaan we hiermee door. Of gaan we hier niet mee door. Zoals mensen passie hebben voor IT. Hebben mensen pas voor hun vak. En dat was echt te zien. Want we hadden de demo al klaar gezet. En ja die varkens komen dus op de slaglijn. Komen die voorbij. En nou ja. De mensen waren eigenlijk niet meer naar mij aan het luisteren. Ze waren gewoon aan het kijken naar de video stream. Waar de klassificatie op plaats vond. En ik heb me op een gegeven moment uit moeten zetten. Want de waarde was zo mooi om te zien. Dat ze eigenlijk meer daarna bleven kijken. Dan was ze naar mij over de presentatie. En over de business value die we eruit konden halen. Ja dat is mooi om te zien. En als we naar de technische kant kijken. Want ik zei ook van. Hou het daar ook eenvoudig. Hoe hebben jullie het daar eenvoudig gehouden? Ja ik ben zelf van het principe van een soort van taakmodel. Er zijn al heel vaak de services die je kan gebruiken. De Microsoft, de Amazon. Die hebben gewoon al diensten voor objectherkenning. En ook image recognition. Eerst kijken of het daarmee op te lossen is. Nou dat was het niet. Dan gaan we een stapje lager de diepte in. Wat kon die niet dan bijvoorbeeld? Ja letterlijk het geslacht herkennen van een varken. Wat we graag wilden doen. Ja dat zat er gewoon niet in. Hij kon wel herkennen dat het misschien een varken was. Maar voor de rest konden we niet bereiken wat we ermee wilden bereiken. Dus ja helaas. De service aanroepen alleen was niet voldoende. Dus we zijn een stapje dieper in gegaan. En ook niet dieper dan nodig was. Want eigenlijk bij de tweede laag. Dat is de custom AI. En dat is eigenlijk het gebruik maken van de bestaande modellen. En die voeden met nieuwe data. En vervolgens dus daar de klassificatie ook aan meegeven. En ook nog gewoon binnen dezelfde service. Met wat extra model additions. Dus eigenlijk het geslacht kunnen herkennen van die plaatjes. Was in dit geval al voldoende. Dus we hoefden geen eigen modellen te gaan maken. We konden gewoon de service met een paar additions extra. Konden we de oplossing al gaan realiseren. Ja maar dat is een service. Het is een bestaand model. Waarbij je met het uploaden van eigen foto's. En labels die aan de foto's kan hangen. Een extra stukje kan trainen. Dat je zegt van dit is A en dit is B. En zie dat van elkaar te onderscheiden. Ja klopt. Dus in dit geval was het Custom Vision AI oplossing van Microsoft. En wat hij doet is hij houdt gewoon de eerste modellen. Die houdt hij allemaal. Maar hij plakt er extra lagen aan vast. Om eigenlijk die eindclassificatie nog steeds naar jouw classificatie toe te brengen. Dus daarmee maak je wel heel veel gebruik van de herkenning in de foto's. Van de bestaande modellen. Ja dus zelfs. Dus ik zei net van als je plaatjes hebt. Neurale netwerken. Maar eigenlijk was ik daar ook alweer te snel. Nee maar je kan met bestaande modellen. Kun je uitbreiden. Die al worden aangeboden. En dan is het nog eenvoudiger. Waar foto's eigenlijk uploaden. Waarschijnlijk uit allerlei verschillende hoeken. Met verschillende belichtingen ofzo. Klopt. Dus je hebt wel een flinke set aan gegevens nodig denk ik. Ja daar zat ook wel wat tijd in. Je moet er al even de data goed verzamelen. Ook goed classificeren. Dus daar heb je echt even de domeinkennis van nodig. Waar herken je het nou aan? Wat zijn de kenmerken? En vervolgens dus die hele data set weer gaan aanbieden. Ja. En hebben zij het in productie genomen? Ja zeker. Er hangt nu gewoon een camera die de software aanroept. En continu de klassificatie aan het doen is. Het was ook eigenlijk een kleine stap. Wat maakt het een kleine stap voor hen om dan wel van pilot naar productie te komen? We hebben het echt gewoon zo klein kunnen houden. We hadden genoeg andere use cases die naar boven kwamen. Met andere zaken die we konden gaan herkennen. Uitbreidingen op te doen. Maar eerst maar eens gewoon bewijzen dat dit goed blijft werken in productie. Want ja, zo'n pilot fase dan heb je foto's. Je hebt een daadzaak, je hebt een paar tests. Maar laat het maar eens een paar keer draaien. Laat het maar eens dagen vol gaan doen. En blijf maar eens kijken of die accuracy zo blijft zoals je hem tijdens je pilot fase hebt. Dus eigenlijk ook weer gewoon het bewijsdrang van werkt het zoals we willen. Voordat we met de volgende oplossing al aan de slag gaan. Ja precies. En wat was hun impact dan op hun doelen? Wat leverde uiteindelijk het systeem op? Het systeem leverde meer inzicht op die klassificatie. Die klassificatie gebeurt ook nog steeds naast het model door de mensen die aan de lijn staan. Dus het is eigenlijk een extra vastlegging van de klassificatie. En die kan je dus gewoon meenemen gedurende de hele levensduur van het product. In plaats van voor dat moment moet je weten is het een of de ander. En dan kan er aan de slaglijn anders gehandeld worden. Maar daarna was de data eigenlijk niet meer beschikbaar. En wat we hiermee verzorgd hebben is dat die data dus continu vastgelegd wordt. Bij de producten die voorbij komen. Zodat je dus altijd terug kan. En dit zorgt voor betere logistiek. En betere klanttevredenheid. Want als je het verkeerde klassificeert en je geeft het verkeerde product. Dan krijg je dus het verkeerde product geleverd bij de klant. Dan moet je zorgen dat logistiek weer terugkomt. Dan moet natuurlijk financieel wat vergoed worden. Dus zo zie je dat klanttevredenheid en proces optimalisatie toch echt een stuk beter kan worden. Met toevoeging van nieuwe data. Ja, en ik neem aan dat er ook minder fouten worden gemaakt. Waardoor je uiteindelijk ook een procesverbetering hebt. Ja, zeker weten. En dat is ook het doel geweest inderdaad. Om ook de mensen te ondersteunen bij hun werk. Ja, cool. Maar goed Joop, dat was een voorbeeld uit mijn koker en mijn sector. Waar ik actief in ben. Ik ben wel nieuwsgierig geworden. Wat is jouw voorbeeld voor deze keer? Ik heb een voorbeeld uit de financiële wereld. Bij een grote banker zijn wij bezig. En zij delen, ze hebben een grote kennisbank. Die zij niet alleen onderling met de medewerkers kennis uitdelen. Maar ook met grote klanten. Die zitten daar op. En wat je natuurlijk niet wil, is dat er gevoelige informatie gedeeld wordt. En dat kan beursgevoelige informatie zijn. Maar dat kunnen ook persoonsgegevend zijn. En in dit geval om het klein te houden en het heel concreet te maken. Hebben we vooral gekeken of er geen gebruikersnamen en wachtwoorden worden gedeeld. Want dat zou natuurlijk heel erg slordig zijn. Maar je moet je voorstellen dat er zo'n tot 10.000 edits per dag plaatsvinden. Op dat platform. Dus dat betekent dat je dat als mens eigenlijk die volumes niet meer aankan. Om dat na te kijken en bij te houden van. Waar wordt eventueel dit soort gegevens worden die gedeeld. Nee, daar zou je zo niet veel van worden. Nee toch? Dus wij hebben een model ontwikkeld. Die ook daarna op zoek is. Dus bij iedere aanpassing van die kennis. Na gaat van, wordt hier een gebruikersnaam, wachtwoord, wordt dat gedeeltje af? Ook daar zijn wij aan de technologie kant zijn we klein begonnen. Dus we hebben eerst gekeken van kunnen we dat vrij eenvoudig eruit halen. Wat we gedaan hebben is ook gebruik gemaakt van Azure Services. Dus we hebben gebruik gemaakt van LUIS, de Language Understanding Service. Wat je daarmee kan doen is intent detectie. Dus we hebben eigenlijk eerst gekeken van kunnen we de intentie van het delen van gevoelige. Nou ja, niet gevoelige informatie van username, wachtwoord. Kunnen we dat eruit halen uit een hele zin? Want je kan natuurlijk niet alleen maar gewoon zoeken op staat er ergens username dubbele punt of password dubbele punt. Dat kan wel, maar daar haal je niet alles eruit. Dus we kijken eigenlijk zin voor zin van wordt hier ja, is hier de intentie om dat te delen? Zo ja, dan pluizen we uiteindelijk. Mijn Siri die gaat meedoen van de iPad. Ik ben gastspreker voor vandaag. Siri moet even de mond houden. Dus we hebben net een tweeën gehakt. Dus eerst eigenlijk kijken per zin van ja, wat is de intentie van de zin? En daarna ga je het helemaal uitpluizen van wat staat er precies in die zin? Dus wat wij gedaan hebben is eigenlijk het probleem opgehakt in twee kleine probleempjes. Die aan elkaar geknoopt en zo eigenlijk best een heel complex vraagstuk toch eenvoudig opgelost. Om er met Loewis aan de slag te gaan en dat met 10.000 veranderingen. Maar dat betekent dus eigenlijk meer dan 10.000 zinnen. Dus dan heb je het misschien wel over 50.000 zinnen. Dat is toch een beetje een dure oplossing. Maar we hadden daarmee wel aangetoond dat het kon. Maar we zeggen ja, maar als we het naar deze schaal op moeten brengen, dan is het echt te duur. Toen hebben we gekozen voor een open source tooling. Om te kijken van, nou daar kunnen we ook ongeveer dezelfde functionaliteit uithalen. En zo hebben we het model in ieder geval ook weer kostenefficiënt gemaakt. Want daar moet je natuurlijk ook naar kijken als je met de cloud aan de slag gaat. Dat is echt super, geweldig. Je hebt zoveel tot je beschikking. Maar het moet uiteindelijk wel kostenefficiënt zijn. Maar het zorgde er wel voor dat we heel snel konden bewijzen dat het kon. En daarna hebben we daar iets langer over moeten doen om het over te bouwen. Maar we wisten in ieder geval dat het daarna ook zou werken. Ja, en een vraag die bij mij opkomt. Hoe zijn de business mensen? Dus de mensen met de domeinkennis aangehaakt in dit verhaal. Want het is toch best wel een technisch vraagstuk? Ja, niet. Wat we hier hebben is, het platform wordt echt door een platformteam onderhouden. En de product owner van het platformteam, die was betrokken in het traject. Want het is ook voor de gebruiker zelf, is dit onzichtbaar? Die kan uiteindelijk door beheerders gemeld worden. Van, hier heb jij informatie gedeeld, haal dat eraf. Ik weet niet eens uiteindelijk hoe ze dat geïmplementeerd hebben. Het kan ook zijn dat het beheerteam zegt van, ja, maar dan halen we die content eraf. En je krijgt als gebruiker een seintje. Maar voor de gebruiker is wat daar helemaal achter gebeurde echt onzichtbaar. Dus het bleef bij het platformteam. Die krijgen ook de melding van, op deze pagina is mogelijk. Want we zeggen nog niet eens heel hard. We zeggen mogelijk is hier gebruikersnaam of een password is hier gedeeld. Zij kunnen dan handmatig dat nakijken. En dan heb je het echt over een handje vol van dit soort gebeurtenissen per dag. Dus dat kan prima door mensen bekeken worden. En die zegt dan ook uiteindelijk van, oh ja, het was correct of niet correct. En die data die kan ook weer terug het model in, zodat je dat weer beter kan trainen. Dus dat past zich ook weer veel beter aan. En het voordeel is ook inderdaad dat je ook dat stukje, dat aspect klein hebt kunnen houden binnen het platformteam. Dat scheelt natuurlijk ook wel met veel afstandswerkzaamheden. En ik kan nooit stoppen om over na te denken waar zij er nog meer kunnen toepassen. Want dit klinkt als een best wel generieke oplossing die op meer plekken, waar dit soort kennis met derden wordt gedeeld, zou kunnen toepassen. Dus het bruikprijs is ook heel groot. En nog mooier is voordat je zegt publish, dat die dan eigenlijk al een waarschuwing gaat geven natuurlijk. Ja, dus wij kunnen ook inprikken. Het hangt een beetje af van de platform wat je gebruikt. Op het moment van inprikken kan je dat nog veel beter daarvoor zijn. Daar heb je helemaal gelijk in. Ja, mooi voorbeeld daar. Ik denk dat we best een hele hoop besproken hebben voor vandaag. Ik vond het erg leuk. Leuk dat je meedoet Niels. Heerlijk zo, kletsen over kunstmatige intelligentie. Gaan we de aankomende periode meer doen, toch? Zeker, ik zeg laten we de volgende gelijk weer inplannen. Want we hebben nog genoeg stof volgens mij om over te hebben. Dat gaan we doen. Is goed. Dankjewel. Hoi, hoi. Leuk dat je luisterde naar de AIToday Live Podcast. Abonneer je nu op Spotify of andere streamingdiensten om ons te volgen. En kijk voor meer interessante informatie over kunstmatige intelligentie op AIToday.ai. Dankjewel voor het luisteren. Tot de volgende keer. Ondertitels ingediend door de Amara.org gemeenschap