S02E06 - Interpretable AI vs Explainable AI

In deze aflevering bespreken we de verschillen en overeenkomsten tussen Interpretable AI en Explainable AI. Transparantie van AI en ML modellen wordt steeds belangrijker en hoe kunnen deze technieken daar bij helpen?

Verder in deze aflevering:

• 01:56 - AI in het Nieuws: het 100-jarig onderzoek naar AI iedere 5 jaar een rapport, robots die in de praktijk ingezet worden.
• 10:12 - AI in de Enterprise: Wat is Interpretable AI en wat is er anders aan dan Explainble AI? Wat kun je met Interpretable AI en waar moet je opletten.
• 33:26 - AI in de praktijk: Hoe pas je dit toe in de praktijk.

Links:

• 100-jarig onderzoek naar AI: https://ai100.stanford.edu/2021-report/gathering-strength-gathering-storms-one-hundred-year-study-artificial-intelligence

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Chapters

• 1:56 AI in het Nieuws
• 10:12 AI in de Enterprise
• 33:26 AI in de Praktijk

Transcript

0:00

Maar dat betekent dus dat je door middel van een nieuw algoritme, artificial intelligence, ervoor zorgt dat die zoveel kunnen rekenen, dat ze uiteindelijk bij een antwoord komen waar wij mensen waarschijnlijk veel langer over hadden gedaan als ze het al überhaupt hadden gevonden. Dat gaat ons helpen om nog grotere problemen te gaan oplossen. Denk maar aan een computer die zelf kan leren. Waar ik aan denk bij kunstmatige intelligentie is dat het door de mens gecreëerd is, dus het is door de mens bedacht. Bij kunstmatige intelligentie denk ik aan data. Zo, kunstmatige intelligentie. Eerlijk gezegd weet ik niet wat dat is. Hi, je luistert naar de podcast AIToday Live van Imageaboard. Iedere aflevering kijken we naar wat is er in het nieuws over AI, AI in the enterprise en AI in de praktijk. Welkom bij alweer de zesde aflevering van het tweede seizoen van de AIToday podcast live. Vandaag zijn we weer met z'n tweetjes, Niels. Ja, we gaan even, nou, denk en terugkijken naar wat we besproken hebben in best wel veel afleveringen hiervoor over explainable AI. Explainable AI, af en toe moeilijk woord. Maar we voegen daar interpretable machine learning of interpretable AI aan toe. Zoals dat ook al gezegd wordt. En we gaan vooral kijken naar, nou, wat zijn overeenkomsten, verschillen? Ja, wat, wanneer kies je voor het een, wanneer kies je voor het andere? Dat is eigenlijk het idee voor vandaag, om dat dus even goed door te spitten. En nou ja, hopelijk kunnen we wat inzicht geven van onze luisteraars, toch? Dat is wel het doel van deze podcast. Dus laten we proberen dat te bereiken. Ja, toch, maar altijd zoals normaal, we gaan eerst even kijken van wat is ons opgevallen in het nieuws? Jij, was jou wat opgevallen? Ja, ik had een aantal artikelen bij elkaar verzameld, totdat vandaag vanochtend ineens eentje voorbij kwam. Ik dacht van nou, laat de rest maar zitten. Dit wordt hem. Deze ga ik noemen in de podcast. Namelijk de AI 100 Years Report, die voor september 2021 net live gezet is. Een paar dagen staat hij online schijnbaar. Dat was bij mij niet verwacht te komen. Maar ze hebben weer allemaal findings opgeschreven. En dat is een honderd jaar durend onderzoek. Iedere vijf jaar publiceren ze een rapport over de zaken die spelen op AI-gebied. Ik ken hem nog niet. Nee? Oh, je staat sowieso op LinkedIn. En natuurlijk plaats hem even bij de podcast. Je moet er wel even voor gaan zitten, want het is een flinke epistel. Oké. Met goede teksten erbij. Dus ook sommige teksten moet je nog wel even extra goed doorlezen. Daar had ik zelf in ieder geval wel last van. Maar het is echt een mooi uitgebreid rapport. En het gaat eigenlijk over, ja, wat zijn de grote kansen op AI-gebied? Maar wat hebben we de afgelopen jaren bereikt? Welke challenges komen eraan? Eigenlijk aan de hand van twaalf vragen en twee workshops hebben ze eigenlijk gekeken naar de staat van AI. En wat zijn de kansen, risico's, en wat zijn de ontwikkelingen? En dat door een panel van experts. Ja. Oh, interessant. Heb je daar ook al een kans uitgehaald, gelezen? Nee, want ik ben hem aan het doorscannen geweest. En ik dacht, ga ik een highlighter uithalen? Nee, dat kan ik nog niet. Ik moet hem echt even helemaal goed doorlezen, inderdaad. Maar de vragen die gesteld worden, die kan ik wel even kort een paar noemen. Wat zijn de grootste, grote problemen die we gaan tegenkomen met AI? Zaken als interpretability, explainability, ethics, data quality, allemaal van dat soort zaken die voorbij komen. Dus geen begrippen die we de afgelopen sessies ook niet voorbij hadden horen komen. Maar hier nog een keer extra belicht. Maar ook, wat zijn de pressing dangers? Maar ook, wat is de impact van AI op de society? Dus wat gaat het met de samenleving doen en hoe kijken we er tegenaan? Dat zijn vraagstukken die ze hierin dus bespreken. En daarnaast ook diep ingaan op de technische improvements binnen AI. Oh ja. Interessant. Dus heel divers, heel uitgebreid. Ik zal even kijken. Er zit zo'n 75 pagina's groot rapport met kleine lettertypen. Oh ja. Nou, interessant. Ik ga hem in ieder geval ook even doorsplitten. Leuk. En Joop, goed gezien. Wat is jou opgevallen? Nou, ik had twee dingen. Eén is dat eigenlijk, nou ja, we zijn bezig. Dat heb ik natuurlijk al wel vaker genoemd in de podcast. Om samen met de Radboud Universiteit en Radboud UMC gaan wij aan een geweldig research project beginnen. In het gebied van Parkinson. Maar zojuist, nou zojuist, dat klinkt wel heel erg urgent. Twee dagen geleden is er uitgekomen, in ieder geval nieuwsbericht, dat zij, en zij is dan Radboud, hebben een investering gekregen van het NWO van 95 miljoen voor research op het gebied van AI. En dat is dan wel heel breed, zeg maar, voor de gezondheidszorg. En daaronder zitten, ik geloof dat wel 17 labs, waarvan 8 echt helemaal gericht zijn op de gezondheidszorg. En het Radboud leidt dan 5 van die 8 labs. Dus dat is echt wel, nou ja, weet je, het feit dat daar zoveel geld in wordt geïnvesteerd, denk ik dat dat wel wat mooi nieuws is. Ja, zeker. En de ander is iets heel anders, in een hele andere context en sfeer. Ik had gelezen over de Beachbot. En de Beachbot is een Nederlandse vinding, waarbij ze met een rijdende robot, sigaretten peuken, gaan opsporen op het strand. En in eerste instantie, toen ik dat las, dacht ik sigaretten peuken, weet je, is dat niet iets anders wat je... Maar dat schijnt, ja, dan denk je, waarom nou juist sigaretten peuken? Maar dat was geloof ik de tweede meest vervuilende, wat je op het strand hebt. En die eerste ben ik natuurlijk vergeten, dat lijkt onhandig. Plastic, zo'n feit toch? Microplastics, daar zit er heel veel in. En het gaat over een aantal, dat is echt onwaarschijnlijk. Dus dat vond ik echt wel heel gaaf. Het is relatief eenvoudig. Wat ze ook doen, is ze willen gebruikmaken van Microsoft Trove. En dat is een applicatie waarbij je als particulier foto's kan maken. Dus zij willen eigenlijk dat als jij op het strand loopt, dat je een fotootje maakt, je ziet een peuk. En zo kan jij bijdragen aan trainingsmateriaal voor die robot, zodat hij steeds beter die peuken leert herkennen. Het enige jammere is, want ik denk, ik ga natuurlijk die Trove-app meteen downloaden. Daar wil ik aan meedoen. Maar helaas is die nog niet in de Nederlandse appstore beschikbaar. Dus dat is zeker jammer. Maar het idee vond ik echt heel cool. En in het verlengde daarvan, gisteravond had ik een zakelijke bespreking over AI. En we zaten in een restaurant. En daar werden we gedeeltelijk bediend door een bedieningsrobot. Een bediende robot. Oh? Ja, daar stond ik eigenlijk toch wel van te kijken. En het is geen robot zoals je voor ogen hebt. Het is niet een Ober of zo, maar dan in peppervorm of zo. Dus dat je echt een robot met handen en voeten hebt. Maar het was eigenlijk een rijdende tree. Dus eigenlijk met meerdere dienbladen onder elkaar. En die werd dan uit de keuken gereden tot de rand van de, laten we zeggen, de zaal, waar er gegeten werd. En daar pakten de serveerders en serveersters de spullen en brachten die naar de tafel. En het scheen als het wat rustiger was, kon die echt helemaal per tafel uit serveren. Dus ik vond het wel grappig om te zien. Ik weet nog niet wat ik ervan vind, maar ik vond het grappig om te zien. Je had vragen die bij mij dan opkomen inderdaad. Waar gaat dit bij helpen? Dat stukje van de keuken naar het begin van de zaal? Hier was die afstand best wel groot. Dus ik kan me voorstellen, weet je, voor degene die in de bediening zitten. Dat dat heel veel geschouw en heel veel lopen scheelt naar de keuken en terug. En een van de gasten die aan tafel zat, die zei van als ze echt tot aan je tafel laten komen, dan kan je daar zelf wat afpakken. En dan loopt er een serveerster mee en die maakt dan een praatje aan tafel. Die kan wat uitleggen over het eten. Er is meer ruimte voor menselijke interactie in plaats van alleen maar het uitserveren van de spullen. Dus echt de ondersteuning en wel de persoonlijk contact kunnen blijven behouden en daar meer tijd voor hebben. Dat klinkt wel als een... Als het uiteindelijk ook daarbij blijft. Dan moet je wel allemaal maar weer zien waar het naartoe beweegt. Ja, de Tesla bot die aan de drinker kon brengen. Dat had ik nog even gezien op basis van je tip. Fantastische presentatie was dat zeg. Ik ben erg benieuwd wat daaruit voort gaat komen qua ontwikkeling. Ja, heel bijzonder. Zullen we het hierbij laten, want we hebben best wel een flink onderwerp te behandelen. Dat we kijken naar ons hoofdonderwerp. Jazeker, laten we naar het hoofdonderwerp toe gaan. Artificial Intelligence in the Enterprise Ja, het hoofdonderwerp. Ik pak het er even bij. Interpretable Machine Learning en Explainable AI. Hoe zullen we beginnen? Ik denk eerst maar even kort toeleggen van wat is eigenlijk het verschil of wat zijn de overeenkomsten. Want Interpretable AI, Explainable AI, is dat niet hetzelfde? Maar liggen ze in het verlengde van elkaar? Of horen ze elkaar? Hoe moeten we dat gaan zien? Ja, als je kijkt naar definities, dat is natuurlijk sowieso een probleem binnen het hele gebied van kunstmatige intelligentie. Daar word je een beetje gek van. Maar er is een groep die vindt dat Interpretable Machine Learning, dat dat hoort. Dat het onderdeel is van Explainable AI. Anderen zeggen weer nee, het is echt iets heel anders. Nou, zeg maar wat het nou precies is. Nee, nee, over die definitie, daar wil ik me niet over uitspreken. Wat het precies is, is denk ik veel belangrijker. Ja, waar we het plaatsen, dat is inderdaad minder van belang. Maar wat is het? Ja, nou laten we beginnen met dat Explainable AI. Daar hebben we het best wel vaak over gehad. En dus wat je daar hebt, is dat je een Black Box model hebt. Dus of je hebt dat model gekregen en je kan daar, het is een getraind model, dus je kan er niet in kijken. Of je hebt hem zelf getraind, maar je hebt het aan de hand van een algoritme gedaan, waar gewoon inherent een Black Box model uitkomt. Wat je daar gaat doen, is een manier verzinnen om erachter te komen van buitenaf, hoe het model redeneert. Dus je gaat uiteindelijk een soort van inschatting maken, dat je ziet van, oh, maar als we dit soort input geven, dan redeneert die ongeveer zo tot de uitkomst. Dat is wat je met Explainable AI doet, in grove termen. Ja, dus het blijft ook een benadering van wat we verwachten dat het model doet. Ja, en de grap is ook, je bent vaak ook een model ernaast aan het trainen, die probeert te beredeneren hoe dat andere model werkt. En je bent eigenlijk een model ernaast aan het trainen. Dat is ook de reden waarom het altijd een benadering zal zijn, want als je dat model één op één zou kunnen trainen, interpreterbaar, wat er in dat Black Box model zit, dan heb je dat Black Box model niet meer nodig. Dan is het geen Black Box, dan is het een transparante box geworden. Ja, toch? Want dat nieuwe model, die geeft jou de uitleg. En als jij nou een model maakt waar die uitleg al in opgesloten zit, dat is een model kan zelf uitleggen hoe die redeneert, hoe die tot zijn uitkomst is gekomen, dan spreken we over interpreteerbaar, dus interpretable ML. Er is dus een heel erg verschil met explainable AI, probeer je van buitenaf chocola van te maken, bij interpretable machine learning kun je echt in het model kijken, komt de redenering uit het model zelf. Die levert het model eigenlijk mee. Het model heeft zijn eigen uitleg die die meebrengt. Ja, en één van de meest eenvoudige die we kennen is de decision tree. De decision tree die maakt allerlei besluiten. Nou, en als die boomstructuur die eruit komt, als die maar niet te diep en te complex wordt, kun je die in ieder geval visualiseren en dan kun je echt precies zien dat die zegt van, stel je hebt het over huizenprijzen, dat die zegt van, nou ja, als er bijvoorbeeld ergens een scheidingslijn is qua oppervlakte of naar de buurt, nou zo zijn er een aantal features waar je besluiten op zou kunnen nemen, kan je helemaal doorredeneren wat die dan een voorspelling maakt op de huizenprijs voor de verkoop. Ja, en wil je dat als gebruiker weten van waarom kom ik nou hier op uit, is het kwestie van goed visualiseren van die boom en aangeven welke stappen je links en rechts gemaakt hebt en dan zou iedereen dat moeten kunnen begrijpen. Ja, dat is echt een van de hele eenvoudige manieren. Lineaire regressie heb je dat natuurlijk ook, dan kan je gewoon een lijntje trekken en zeg je van, ja, weet je, hij zit zo dicht op die lijn, dat is eigenlijk de reden waarom we tot deze voorspelling komen. Maar goed, er zijn natuurlijk heel veel algoritmes waar dat niet bij kan. En ja, de vraag is, wat doe je dan? Hoe ga je daarmee om en hoe zorg je ervoor dat mensen het toch gaan snappen en dat je het kan onderbouwen en dat je eigenlijk ook, waarschijnlijk ook wat in de wetgeving moet, verantwoording kan gaan afleggen waarom we tot die uitkomst zijn gekomen. Ja, en als je dan kijkt naar die wetgeving, dan zie je van dat bij die nieuwe regels, daar hebben we het ook al vaker over gehad, we hebben de nieuwe regelgeving die eraan lijkt te komen van de Europese Unie, daar moeten we wel heel goed kijken, want daar hebben ze het wel over, hoog risicomodellen, waar ze dit van gaan eisen. Maar ik denk dat heel veel modellen die wij in ieder geval in het bedrijfsleven tegenkomen, dat die niet heel snel onder die hoogste risicoklasse gaan vallen. Kunnen we een beeld geven van wanneer is het een hoog risicogeval? Ja, dat vraag je me zo, maar dat gaat bijvoorbeeld over, stel je wil dingen over reclassering of dat iemand terugvalt, hoe noem je dat, dat die in ieder geval weer snel uiteindelijk criminaliteit gaat plegen, dat zijn systemen die daar binnenvallen, op juridisch vlak, in de gezondheidszorg zal het ook nog niet eens zozeer. Dus het gaat heel veel over justitie, ik kan hem even... Ja, het is wel handig, laten we hem toch even bijpalen, want het is wel belangrijk. Dat zijn echt wel risicovolle projecten, maar dan zou je denken, waarom zouden we het dan uiteindelijk wel nodig hebben? Dus we hoeven niet altijd vanuit de wet, een beetje die nieuwe Europese wet te doen, je hebt nog steeds de AVG, daar staat ook een fors deel in, waarin je echt wel uitleg moet geven, als het uiteindelijk impact op jouw levenssfeer heeft, en dat hebben we wel al heel snel. Dus heb je bijvoorbeeld een kreditaanvraag, een hypotheekaanvraag, zelfs even buiten de financiële wereld? Nee, maar tegenwoordig zie je ook heel veel modellen van, moeten we deze persoon in dienst nemen, op basis van gezichtsherkenning, en dat soort zaken, en dat heeft ook enorme impact op de mensen. Ja, cv-selectie, als je allemaal dat soort dingen zou doen, heeft dat effect op jouw levenssfeer, en dan heb je al het recht om de uitleg over te vragen, over hoe iets tot stand is gekomen, en dan is de uitleg van, dit is het antwoord uit een model, uit een machinelearning model, is niet voldoende, gelukkig. Dus er zijn meerdere redenen waarom je dit wil, dus die AVG is ook wel een hele belangrijke, maar je wil natuurlijk ook dat je fouten kan vinden, dus waar gaat je model, komt hij met niet juiste voorspellingen, of met juiste uitkomsten? We hebben het al eens gehad over dat herkennen van astma, nee, longontsteking was het, van herkennen van longontsteking, en dat ze erachter kwamen dat juist astma patiënten,- Laag risico hoor. - Ja, heel laag risico werden ingedeeld, juist omdat ze al zo goed behandeld worden daarvoor. Ja, dat soort dingen wil je natuurlijk niet. Dus je wil heel goed kijken of het juiste gedrag, ja, vertoond wordt door jouw model. Ja, wat dan bij mij naar boven komt als ik het hoor zeggen, is eigenlijk vertrouwen. Vertrouwen hebben in hetgene wat we erin stoppen, hetgene wat eruit komt, maar ook het vertrouwen om het te kunnen begrijpen. Dus ja, vertrouwen. Precies, en dat is een belangrijke factor, het vertrouwen. Ja, en je weet hoe het gaat met vertrouwen, het komt te voet, het gaat de paard, en dat blijft hier ook weer, je moet continu eigenlijk, dat zien we zodra je ook met data en met modellen aan de slag gaat, dat moet je continu blijven monitoren en als je het in de data niet uitlegbaar maakt. Precies, en dat betekent dus, ja, wij zetten remote hè, dus af en toe stoort het een beetje en dan hoor ik je niet helemaal, dus vandaar misschien af en toe even dat ik wat langzamer reageer. Ja. Nee, zeker, dus dat betekent ook dat je heel goed na moet denken over van, ja, weet je, welke vragen moet je uitleg nou beantwoorden? Dus aan de ene kant heb je natuurlijk verschillende stakeholders, aan wie geef je de uitleg, daar moet je over na gaan denken, maar ook welke vragen moet, ja, uiteindelijk, weet je, als je uitleg geeft, dan moet daar een vraag onder liggen. Dus er kan, nou ja, de meest voor de hand liggen is natuurlijk van, waarom voorspelt het model deze uitkomst? Maar je hebt natuurlijk ook van, welke factoren spelen uiteindelijk een significant rol op het besluit? En wat wel fijn zou zijn in heel veel gevallen, is van, ja, maar wat zou je moeten veranderen om tot een ander besluit te komen of tot een andere voorspelling? Ja, vroeg maar of is dat niet hetzelfde als weten welke factoren er spelen? Of zit er toch een verschilling? Ja, want het ligt er bijvoorbeeld aan, je kan wel hebben dat je weet welke factor uiteindelijk best wel een rol heeft gespeeld, maar in hoeverre moet je die factor zeg maar gaan veranderen? Zodat dan een besluit ook daadwerkelijk anders wordt. Dus als er wordt gezegd van bijvoorbeeld, nou ja, het volume van jouw huis, de inhoud van jouw huis, heeft belangrijke rol gespeeld in de bepaling van jouw huisprijs. Maar waar ligt dan de scheidslijn dat er echt een significant bedrag erbij komt of er af gaat van die prijs? Dat is wel een heel erg praktisch voorbeeld. Ik zat gelijk wel aan aanbouw te denken inderdaad. Hoe goed moet de aanbouw worden om er meer voor te kunnen vragen? Maar dan maak je wel heel mooi tastbaar inderdaad. Wat zijn de boundaries van die factoren wanneer die echt gaan spelen? Want dat zegt natuurlijk ook heel veel over hoe het model potentieel beïnvloedbaar is door de data die wordt aangeleverd. En ook in de uitleg, we hebben het vaak over de financiële dingen omdat dat zo makkelijk is en duidelijk uitlegbaar. Stel, jij vraagt een hypotheek aan en je zou alleen maar terugkrijgen van ja, sorry, maar de hoogte van je salaris heeft een belangrijke impact gespeeld, een negatieve impact op de keuze dat we je de hypotheek niet gaan verstrekken. Ja, wat moet je daarmee als ontvanger? Weet je, wat je wil horen is van, ja, je hebt minstens dit salaris nodig en daarmee kunnen we je de hypotheek wel verstrekken. Zo moet je die factoren uit kunnen drukken in termen van wanneer is die verandering dan wel mogelijk. Ja, en ook weer wanneer heeft dat impact bij de ontvanger of voor wie het gemaakt is. Ja, precies. Ja, en die ontvangers, want dat is echt wel, daar zitten natuurlijk niveaus in. Je hebt de data scientist, die heeft zeg maar zo zijn uitleg nodig en dat is vaak veel technischer dan weer, nou ja, misschien je product owner in je project, die heeft weer andere zaken nodig, die mensen aan de business kant, die het model gaan gebruiken. Je hebt misschien iets van een eindgebruiker. En wat we niet moeten vergeten is dat je, als jij in een bedrijf, in een sector zit waar vaak audits bijvoorbeeld worden gedaan, ja, dan moet uiteindelijk die uitleg en je model moet ook auditable zijn. Dus daar kom je ook niet weg met alleen maar van ja, nee, weet je, van de computer 6.0. Nee, zeker niet. En als je zo ook opnoemt, is dat eigenlijk wel een heel breed gebied van verschillende expertise's die je daarin dekt. Dus dat klinkt toch ook wel als flinke effort die je erin moet steken. Ja, nee, absoluut. Dit is niet even een toeltje draaien en dan ben je er. Dus je moet inderdaad heel goed nadenken. Dus die stakeholders, je gaat nadenken over van ja, wat voor uitleg heb je nodig? Er zal heel veel usability testing plaats moeten vinden, zeker als het richting business eindgebruikers gaat. Dus hoe goed snappen zij de uitleg? Als we het hebben over dat vertrouwen, weet je, hoe weet je dat het bij gaat dragen aan dat vertrouwen? Nou, dan moet je op de ene of andere manier moet je dat gaan testen. En zowel explainable AI als interpretable AI geeft uiteindelijk die uitleg. Dus daar heb je uiteindelijk met dezelfde problematiek te maken aan de uitleg kant. Vanaf de uitleg die je gekregen hebt, is het niet heel veel anders. Hoe je tot die uitleg komt, dat is denk ik ook de essentie van deze podcast. Daar zit een groot verschil in. Als die uit het model komt, dan zou je denken van ja, maar waarom kies je daar niet altijd voor zo'n interpretable model? Ja, als je daar alles mee zou kunnen oplossen. Maar kunnen we daar alles mee oplossen? Ja, helaas niet. Nee, de vraag stellen is een beantwoorden. Wat ik net al aanhaalde, soms krijg je ook gewoon een model. Dus of je neemt hem af van de leverancier. Het kan ook bijvoorbeeld die van Microsoft zijn of van in AWS, Amazon, Google. Ja, daar kan je wel gaan vragen om interpreteerbaarheid. Maar ik denk niet dat je die krijgt. Ja, weet je, als je op die manier een model ontvangt, dan ontkom je daar dan ook niet aan. Maar er zijn andere keuzes, want uiteindelijk het maken van een interpretable machine learning model is al wat complexer dan de explainable AI. Of je moet zeg maar met een algoritme uitkomen die inherent interpreteerbaar is. Waar we het net over hadden, decision tree, lineaire regressie, zo zijn er nog een aantal. Dus het advies zou ik in eerste instantie zijn, begin daar. Zeker hoe hoger de risico's, als je met zo'n model uiteindelijk uitkomt. En dat is vaker dan dat je denkt. Maar het probleem met een decision tree is echt wel, ik zei net heel makkelijk tussen neus en lippen door. Ja, hij moet niet te groot of te breed worden. Dus daar moet je ook weer extra effort in steken. Maar vaak met hele goede feature engineering kom je een heel eind. En wat je natuurlijk hebt is dat die de techniek om uiteindelijk, als jij bijvoorbeeld deep learning gebruikt, om die interpreteerbaar te maken, wordt die heel model specifiek. Het is met explainable AI, dat is ook model, vaak model agnostic. Dus dat wil zeggen dat het niet uitmaakt wat voor model je hebt. Dan ga je met dezelfde technieken daar naar kijken. Maar stel dat je nou heel veel modellen hebt, kan het heel logisch zijn om te zeggen van ja, dan kies ik toch voor de explainable AI variant, want dan kan ik al die modellen, kan ik op dezelfde manier, kan ik die behandelen om daar uitleg uit te krijgen. Want als je van al die modellen, allemaal model specifieke, interpreteerbaarheid van zou moeten maken, dan kan gewoon een kostenafweging zijn, dat kan een complexiteit afweging zijn, dat kunnen allerlei afwegingen zijn die zeggen van ja, misschien is het beter, maar niet handiger. Ja, maar die complexere modellen, er zijn vaak grote modellen die je niet zomaar even maakt in de interventie van interpretable AI om in de situatie te stoppen. Dat zijn wel zware processen. Daar ligt dan denk ik ook een risico. Dat zal best wel wat tijd kosten om iedere prediction of de prediction die je doet te verklaren. En bedoel je bij het interpretable stuk of bij explainable? Bij het explainable stuk, want daar zit juist die complexiteit, dat is de black box, daar probeer je gewoon helden te krijgen en een benadering te hebben van ja, wat als ik dit geef, wat is dan de uitkomst en waarom is dat de uitkomst? Maar je hebt nogal wat varianten die je daar op los kan laten, dus is dat ook niet heel erg kosten? Ja, dat is heel resource-rekenintensief is dat. Dus dat is inderdaad wel wat je mee moet wegen. Dat is een hele goeie van jou, want je moet dan voor iedere uitkomst, voor iedere voorspelling, ga je die berekeningen uitvoeren en wat je gaat doen is eigenlijk iedere keer onder water dat model ga je beïnvloeden om daarachter te komen van hoe die geredeneerd heeft. Dus je probeert een plaatselijk stukje uit zo'n model, daar probeer je achter te komen. Die performance, dat kan echt oplopen tot seconden. Dus daar moet je wel heel erg rekening mee houden. En dat het dan rekenintensief is qua kosten misschien, maar inderdaad ook nog eens een keer qua performance. Pas dat ook binnen het proces wat je aan het doen bent? Ja, dat viel bij mij ook onder koste inderdaad. De kosten van tijd en inderdaad de mensenkracht en de rekenkracht en wat er voor nodig is om niet misschien wel een deal mis te lopen of een gebruiker die weggaat of dat soort zaken. Kan dat anders nou genoeg? Nee, dat is absoluut waar. En je moet ook kijken van hoe exact moet je uitleg zijn? En dat hangt natuurlijk weer af van de context waarin je je model hebt. Dus als we kijken naar bijvoorbeeld, je rekken maar deze die je krijgt bij Spotify of Netflix. Die hoeven niet zo heel exact te zijn. Dus als je zegt van ja, omdat jij deze film hebt gekeken, 9 van de 10 keer geloof je het wel. En als dat een beetje een gekke combi is, dan stap je daar ook wel overheen. Misschien dat je eens een keer een wenkbrauw optrekt, maar dat is het wel. Maar dus hoe exacter, dus als je heel exact de uitleg moet hebben die echt past bij het besluit dat genomen is, moet je meer bewegen richting de interpreteerbaarheid. En als het wat minder exact hoeft te zijn, kun je ook wat makkelijker kiezen voor de explainable variant. Toch wel flink verschil inderdaad tussen die twee, ondanks dat ze best wel dicht op het spectrum bij elkaar voelen, als je het zo leest. - Ja, juist omdat je uiteindelijk krijgt je uitleg, maar de vraag is uiteindelijk, hoe kom je tot die uitleg? Ik vind ook wel dat je echt moet, ja, ik wil het benadrukken, dus hoe hoger uiteindelijk het risico is, dat je de uitkomsten hebben op de impact van levens van mensen, hoe meer je naar die interpreteerbaarheid moet gaan kijken en minder naar die explainability. Maar waar dat omslagpunt ligt, ja, dat is echt wel lastig. En dat scheelt, is dat, nou ja, wat we in ieder geval gedaan hebben, is een checklist hebben we beschikbaar, waarin je gewoon nadenkt over, ja weet je, welke kant moet je op gaan? Want er zijn zoveel afwegingen, daar komt niet zomaar, weet je, dus niet optellen en aftrekken en zeggen van, oh ja, als ik zoveel punten heb, dan moet je interpretable machine learning gebruiken en dan moet je explainable AI gebruiken. Maar dat zijn in ieder geval vragen waarin je getriggerd wordt om overal van allerlei aspecten na te denken, die je hopelijk dan leiden naar een goed besluit van, ja, wel interpreteerbaar of juist explainable. Ja, heb je een paar voorbeelden voor de luisteraars van die vraagstukken? Nou, de eerste is al van weten we wat de interpreteerbaarheid, transparantie, verwachtingen en eisen zijn in onze sector of domein? Dat klinkt natuurlijk heel makkelijk, maar daar moet je wel even heel goed over nadenken. Je spreekt er zo uit, maar je zegt dat dat makkelijk, maar volgens mij is dat gewoon gelijk al een hele moeilijke vraag om te beantwoorden. Ja, en dat is geen ja/nee, daar moet je ook wel voor een deel onderzoek naar doen. Van wat zijn inderdaad die verwachtingen, wat zijn die eisen? Die auditors, niet te vergeten, die hebben we toch best wel in een hoop sectoren. Neem je die mee, dan heb je die echt wel helder op je netvlies. Wat gaan zij vragen? Het andere is, dat slaat ook op die ontvangers, bij het kiezen van het AI-model, hebben we rekening gehouden met het specifieke type toepassing en de impact van het model op de ontvangers van de beslissing. Ik zal er nog eventjes eentje uit pikken, die misschien wat helder is. O ja, dit is wel een hele mooie. We hebben een overzicht, een inzicht van elke keer dat het model wordt bijgewerkt, hoe elke versie is gewijzigd en hoe dit de uitvoer van het model beïnvloedt. Het is niet alleen maar je eerste keer en dat je daar de uitleg of je explainability bij hebt, maar wat nou als het model wijzigt, wat heeft dat voor invloed op die uitlegbaarheid? Hoe ga je daarmee om en hoe zorg je dat die wijzigingen, als dat impact uiteindelijk heeft op de gebruikers, hoe je die kenbaar maakt dat daar veranderingen in plaatsvinden? Dat is een hele mooie inderdaad, die zou je snel ook over het hoofd zien. Dat betekent dus ook dat je het echt mee moet nemen in je hele DevOps voor AI, om daar eigenlijk continu, als je daar ontwikkeling op doet, dat weer even tegen het licht aan te houden. Dat is natuurlijk niet alleen de verantwoordelijkheid van de engineers, maar eigenlijk van de hele organisatie die werkt met die modellen. Ja, en de hele organisatie is meteen niemand. Dus dat is ook een van de punten die erin zat, is het duidelijk wie binnen die organisatie verantwoordelijk is voor het valideren van de uitlegbaarheid van het AI-systeem? Ja, en dan wordt het interessant inderdaad, want dat is ook wat we zien in de ontwikkeling op het gebied van data en data management. Het governance verhaal komt hier eigenlijk om de hoek. Wie is er verantwoordelijk of wie kunnen we aanspreken die dit monitort en in de gaten houdt? En dat is in veel organisaties echt nog inderdaad een struggle die in uitvoering is, of nog gestart moet gaan worden inderdaad. Ja, dat zal inderdaad een flinke struggle zijn. Ja, zover zijn we nog niet. We zijn al blij dat de eerste projecten er zijn, maar ook daadwerkelijk explainable AI wordt toegepast. En nou is de volgende slag, hoe onderhoud je dit? Ja, we zeiden het vorige keer al, dit is iets wat in de genen moet zitten van degenen die ermee gaan werken. Waaronder ook de engineers die het gaan bouwen. Maar dit moet gewoon in de way of working van AI oplossingen moet gewoon fair AI en deze varianten inderdaad gewoon aan de basis liggen. Ja, zeker. Dus denk ik ook een mooi bruggetje naar het volgende, dus AI in de praktijk. Hoe zien we dit nou in de praktijk terugkomen? Ja. Hoe zien we dit in de praktijk terugkomen bij de klanten waar we nu zoal bezig zijn, Joop? Ja, dat is wel in verschillende vormen. Dus die interpreteerbaarheid moet ik zeggen dat ik dat nog niet heel erg ben tegengekomen. Ik weet niet of jij dat gezien hebt. Ja, kijk, de decision trees die komen we tegen. Niet alleen in AI modellen, maar ook in rapportagevorm wordt gewoon de decision tree wel regelmatig gebruikt omdat die gewoon zo lekker leesbaar is. Maar ik zie het nog niet van nature dat het ook verder gecommuniceerd wordt dan puur die ene doelgroep die je hebt voor dat inzicht. En dat het hele spectrum daarbij benaderd wordt. Dus daar zit echt nog wel een stap die gemaakt moet worden in de markt. Ja, en dan zie je denk ik tot aan de data scientists. Want wat ik dan eigenlijk weinig zie, dat is wat ik bedoel, eigenlijk richting business en eindgebruiker. De explainable AI wel. Dus dat er echt wel mooie overzichten worden gemaakt waarbij visueel gemaakt wordt van welke features hebben nou heel veel impact gehad. Zelfs ook wat-if scenario's. Dus dat je ook de plekken, de features, kan aanpassen en kan kijken van waar zitten dan omslagpunten. En dat kan natuurlijk de medewerker helpen om met een klant dingen te bespreken. En waar we zelf in ieder geval heel erg mee bezig zijn, is op het gebied van images. Wat je daar nu heel veel ziet qua explainability, explainable AI, is dat je van die overlays krijgt, van die heatmaps. Dat de explainable AI aangeeft van ja, maar hier, naar dit stukje kijk ik. En daarom vind ik dat er een hond op de foto staat. Er zijn nu echt technieken beschikbaar waarin je die uitleg echt uit je model laat komen. Gezegd wordt, hé, maar dit stukje in het plaatje komt overeen met bepaalde referentieplaatjes. En omdat bijvoorbeeld kleur, textuur, verzadiging, kleurverzadiging, contrast, omdat dat overeen komt, komt zo erg overeen. En we hebben zoveel van dit soort stukjes, wat met allemaal referentieplaatjes overeen komen, dat dit een hond is. Dat we uit kunnen leggen van, daarom is het een hond. Dus dan krijg je ook dat je zelf kan zien, van klopt dat ook? Dus dat die zegt dan, ik zie dit stukje van een oor, lijkt op dit stukje van een oor. En als dat heel erg afwijkt, dan kan je ook zelf besluiten, die zegt van ja, maar deze uitleg, daar neem ik geen genoegen mee. Deze uitkomst, die vertrouw ik niet. Daar ga ik niet mee akkoord. Je verlegt het bij dat je de uitleg moet gaan vertrouwen. Want uiteindelijk is het met explainability, is het verschuiven van dat vertrouwen naar de uitleg. Dat je zelf kan gaan snappen of de uitleg die je gekregen hebt, of jij die kunt vertrouwen. Dus als daar zegt van, ja maar dit oor lijkt op een stuk gras, wat op de achtergrond is. Dan denk je, ja, ammohula, dat heeft niks met elkaar te maken. En als hij zo een aantal van dat soort punten pakt, en op geen enkele wijze heeft dat iets met elkaar te maken. Hij pakt de neus van een hond en een referentie, een snavel van een vogel. En zegt, ja, als al dat soort dingen niet overeen komen, dan kan ik die uitkomst niet vertrouwen. Dus dan heb ik ook niks aan de voorspelling of het advies van het model. Hij kan het je ook gewoon negeren. Ja, dat is inderdaad ook weer een mooi voorbeeld. Eigenlijk geef je dus een beetje de context mee hoe er gehandeld wordt. Als je het over verwoordt inderdaad. En ik denk dat dat wel heel belangrijk is. Is inderdaad de context meekrijgen waarin er een bepaalde keuze wordt gemaakt. Zodat je het zou kunnen bedenken als je het zelf zou moeten doen. Want daarvoor zitten onder water nog heel veel zaken die je zelf niet zou kunnen bedenken. Maar als je dan met de uitkomsten komt en daar de referentie in de context geeft, zodat je het zelf zou kunnen behappen, zijn hele mooie ontwikkelingen inderdaad. In plaats van dat vierkantje, die pixels die zorgen ervoor. Ja, want anders krijg je een vlek over een foto. En het blijkt al, we hebben zo ook een onderzoek nagedaan, van hetzelfde plaatje. Dus dan deden ze een foto van, even uit mijn hoofd, een hond ook echt. En er zat zeg maar zo'n heatmap bij. En dat ging ook over de kop van de hond en dat zag er best heel goed uit. Dat was dan de uitleg van, daarom classificeer ik dit als hond. Maar eigenlijk zo'n gelijke heatmap, voor ons op het oog nauwelijks afwijkend. Zij die van, maar nou classificeer ik het als dwarsfluit. Dus daarmee zag je van, ja maar dat je eigenlijk aan die heatmaps niet voldoende hebt. Dus die kan je niet voldoende vertrouwen, dat daarmee de juiste classificatie kwam. Dus uiteindelijk, hond, zo'n vlek eroverheen en de classificatie hond, ja die snappen we. Maar als er zo'nzelfde eruit komt en ik kan er een dwarsfluit van maken, ja dan wordt het dan wel een stuk lastiger. Ja, dan heb je toch echt wel even de context nodig van, hoe kom je in de hele oognaam aan een dwarsfluit hier. Ja, als je dat dan nog eens kan aangeven, ja dan heb je inderdaad wel van, nou dan moeten we dus of wat aan het model doen, of inderdaad die voorspelling kan ik niet vertrouwen, er moet nog wat gebeuren. Ook heel goed voor testing klinkt dit. Dus dat je dit continu kan toepassen en weer kan valideren. Je zou je ook weer hele mooie testcases omheen kunnen maken. Ja, en daarmee ook je uitleg testen, van je uitleg valideren, van komt het in voldoende mate overeen met die uitkomst. Ja, en dat is wel een mooie ontwikkeling, want het is nog niet heel recent natuurlijk dat deze toolingen en functies beschikbaar zijn. Hiervoor waren we al blij met die heatmap. Dus het is goed dat alle andere perspectieven nu ook in ontwikkeling zijn. En je ziet daar wel een enorme boost in mensen die hier oplossingen voor aan het bouwen zijn in de communities. Dus ik denk dat we wel de goede kant op zijn, maar volgens mij hebben we ook nogal langer weg te gaan om dit goed met elkaar te gaan doen. Ja, precies. Dus wat mij betreft sluiten we af in de zin van interpretable AI en explainable AI zijn twee heel belangrijke onderwerpen. En als jij professioneel bezig bent op dit vlak, moet je hier voldoende kennis van hebben om hiermee aan de slag te gaan. Ik geloof ook echt dat AI niet meer zonder uitleg kan. Als je het hebt over dat je met persoonsgegevens in zijn algemeenheid werkt, dan ontkom je er niet aan om ook richting business eindgebruikers en zo te werken. En voor de rest, voor ieder ander model, ook als je met sensoren werkt of geen privacygevoelige gegevens of whatsoever, heb je het op zijn minst nodig. Als data scientist binnen je project weet je zeker dat je model ook goed redeneert. Ja, gewoon professional development voor data science. Ja, exact. Dat klinkt als een mooie afsluiter van deze editie. Ja toch? Zeker![Muziek] Leuk dat je luisterde naar de AIToday Live Podcast. Abonneer je nu op Spotify of andere streamingdiensten om ons te volgen. En kijk voor meer interessante informatie over kundsmaatreligentie op AIToday.ai Dankjewel voor het luisteren. Tot de volgende keer![Muziek]