S03E11 - Eerlijke algoritmes met Daniel Kapitan

In een extra lange aflevering spreken we met Daniel Kapitan, een data scientist die al lang in het vak zit en die nieuwe data scientists opleidt aan JADS (Jheronimus Academy of Data Science - JADS). We hebben zoveel met Daniel te bespreken en gaan in op de volgende onderwerpen:

• Wat is een eerlijk algoritme?
• Helpt het Impact Assessment Mensenrechten en Algoritmes (IAMA) van de Rijksoverheid hierbij?
• Nieuwe wetgeving vanuit Europa en trustworthy AI
• Welke rol speelt Explainable AI hierbij en kies je voor Black Box of White Box modellen?

Daniel klimt tijdens het gesprek geregeld op de zeepkist en vertelt wat hij vindt. 

Links

• Lees het volledige artikel van Daniel op de site van Sociale Vraagstukken.

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

0:00

Welkom bij een nieuwe aflevering van de podcast AIToday Live. Vandaag met een speciale gast, Daniel Kapitan. En we zitten hier met zijn drieën in een prachtige locatie. Voor ons is het de eerste keer op locatie. We kijken uit op het Centraal Station Rotterdam. En we zijn heel benieuwd, want we gaan het vandaag hebben over eerlijke algoritmes. Leuk dat je luistert. Daniel, dankjewel dat je onze gast wil zijn. Zou je aan de luisteraar en aan ons willen vertellen wie je bent, wat je doet en wat je expertise is op het gebied van AI? Natuurlijk, en dank voor de uitnodiging. Voor mij een thuiswedstrijd, want ik woon en werk vooral ook veel in Rotterdam. Ik woon hier op 15 minuten afstand. Getrouwd, twee zoons, allebei middelbare school. En wat mij een beetje typeert als persoon, jullie kennen ze waarschijnlijk allemaal al een beetje. Die ene klasgenoot die altijd van die absurde hoge cijfers voor wisse natuurkunde had. Die eigenlijk al vanaf kind af aan dus ook bijles wisse natuurkunde gaf. Zo'n soort type persoon ben ik. Tenminste, daar was ik mee begonnen. Inmiddels werk ik nu volgens mij 23 jaar in wat nu dan data science heet. Voorheen was dat gewoon data analyst of business analyst. En een rode draad in mijn carrière is dat ik echt wel de liefde voor het vak, voor die cijfertjes, in heel veel verschillende vormen heb mogen toepassen. Allereerst in een studie natuurkunde, daarin ook gepromoveerd. Dus daar maakte ik al modellen. Het vak, je kon geen master data science halen. Zoals je ziet, mijn generatie van professionals die hebben vaak een econometrie of natuurkunde achtergrond. Zo heb ik dat dus ook mezelf aangeleerd. En uiteindelijk ben ik in het bedrijfsleven eerst vooral in de high tech en telecom terechtgekomen. Lang gewerkt voor een aantal adviesbureaus, met veel plezier bij T-Mobile Nederland, waar ik ook de sales intelligence afdeling heb mogen leiden. Toen kwam de term data science op. En bij T-Mobile waren we daar toen mee bezig met de bekende applicaties van klantwaardemodellen, het voorspellen van churn, dat soort toepassingen. En ongeveer elf jaar geleden dacht ik van nou, na zoveel high tech en telecom, wat nog steeds wel echt mijn liefde is, naarmate ik wat ouder word wellicht, dat ik dacht van nou, misschien kan ik het ook in andere sectoren toepassen, datgene waar ik goed in ben. En zo ben ik uiteindelijk in de non-for-profit gestapt en werk ik nu vooral voor zorginstellingen en non-for-profit instellingen. Ik heb net een hele mooie opdracht bij de gemeente Rotterdam mogen afronden, ruim twee jaar. En dat is een beetje wat ik doe. Ja, mooi. Daarnaast onderwijs je ook, toch? Dat klopt. En dat is in die zin een beetje allemaal in COVID-tijd gebeurd. En ik weet niet of dat toevallig is of dat het toch op met een of andere manier met elkaar verbonden is. Ik had ook wel wat frustraties, met name nadat ik ongeveer zeven jaar lang in de zorg had gewerkt. Ik had een start-up samen met oud-collega's van mij die nog steeds in de adviessector werken. Goebda, Goebda Strategist. En het ging mij eigenlijk niet snel genoeg. Het ging niet eens zozeer om de snelheid, maar toch wel de... Snelheid waarvan? Om überhaupt open te staan voor ideeën wat je nou met data zou kunnen doen. Dus in 2014 zat ik al aan tafel bij hartchirurgen, bij orthopeden, om wat we dus nu met die predictiealgoritmes omtrent. Hoe zou je beter kunnen diagnosticeren bijvoorbeeld? En dat als onderdeel van je primaire processen. Dat heet dan nu samen beslissen, met de patiënt, et cetera. Dat je dat allemaal als extra tools inzet, uiteindelijk om die arts te helpen of om die verpleegkundige te helpen. Maar toen het is wel minder geworden, voelde ik toch echt wel een hele grote angst. Je gaat mijn werk overbodig maken, dan komt weer zo'n wiskid die de les gaat lezen. Echt letterlijk, echt best wel vervelende gesprekken. Dus daar was ik op een gegeven moment wel een beetje metaalmoe van, om het zo te zeggen. Ik had bij verschillende bedrijven gewerkt en ik ben mijn carrière begonnen als consultant. En toen dacht ik van nou, ik heb nu gewoon eenmaal de luxe dat ik al best wel wat ervaring heb. Ik denk dat ik ook wel goed ben in mijn vak. En ik heb altijd lesgeven heel leuk gevonden. En een beetje mijn doel toen ik weer voor mezelf ging beginnen, was een beetje, kan ik nou in de driehoek tussen onderwijs, toegepast onderzoek en als adviseur, dat ik me toch een iets andere rol toemeet ten opzichte van adviesbureaus of agencies. Omdat ik ook denk, daar kan ik ook een vrije rol spelen, daar kan ik ook een beetje wat meer de kritische luis in de pels zijn. Ik kan gewoon zeggen wat ik vind, want als mensen dat niks vinden, dan ben ik degene die er last van heeft. Maar vooral vanuit mijn intentie van, toch een beetje de knuppels in de hoeken gooien, een beetje dat verhaal. En eigenlijk het grootste cadeautje wat ik heb gekregen van Edgar van der Poel, want we hebben elkaar heel vaak al in de sector zijn we tegengekomen. Die vroeg mij ongeveer drie jaar geleden, zou je aan boord willen komen bij JETS, Johannes Academy of Data Science, om daar les te geven? Waarop mijn antwoord was, is dat een vraag? En nu zijn we dus tweeënhalf jaar later, ik geef nu al ruim twee jaar les op JADS, volwassen educatie, om het enorme tekort aan data scientists, maar eigenlijk veel bleder, niet alleen de hardcore machine learners, maar ook de data engineers en de analytics translators. En in die hoedanigheid, om toch een beetje de spreekwoordelijke brug te slaan tussen de academie en het bedrijfsleven, dat ligt mij erg goed. Ja mooi is dat, en die brug die moet ook geslagen worden. Precies wat je zegt, academie, bedrijfsleven, dat is nog een gapend gat. Niet alle onderzoek druppelt zomaar even door. Dus mooi dat je dat bent gaan doen. Ja, het is vooral leuk dat ik dat mag en kan doen. En sinds februari dit jaar ben ik in die zin een beetje terug naar mijn echte technische route. Want JETS is een samenwerking tussen Tilburg en Eindhoven. In het Eindhovense cluster gebeurt natuurlijk ook ontzettend veel op het gebied van AI. En heb ik dus ook nu een deeltijd aanstelling bij het AI-instituut daar. Om ook in een hele vrije rol na te denken van, oké wat zijn nou de grotere barrières om AI, zoals ook het WRR rapport dat zegt, het moet uit het lab en in het veld gaan komen. En ik denk dat we daar nog best wel lang mee bezig zijn. Ja, er wordt heel snel gezegd dat we dat stadium voorbij zijn, maar ik geloof dat ook helemaal niet. Er zijn nog heel veel bedrijven die überhaupt nog niet begonnen zijn en die ook wel een ander deel, wat gewoon heel erg in dat labomgeving blijft maar hangen, testen. En niet de stap maken naar daadwerkelijk professioneel ontwikkelen van AI-machinelearning systemen. Nee, en dat herken ik dus heel erg. En zonder het meteen in details, maar een beetje het gevoel dat ik had toen ik dus ook met mijn huidige baas, zo werken we niet, maar Wim Nuiten, hij is scientific director van het AI-instituut, zegt letterlijk, Wim, kan ik aan boord komen? Want wat ik gewoon voor mij zie is als ik mij richting mijn klanten richt van, zouden we dit eens kunnen doen met machine learning? Of met data of met knowledge management, whatever you name it, maar data heeft in elleval een belangrijke rol in. Dan krijg ik toch best wel vaak te horen van, ja dat is echt een beetje te ver weg voor ons. Dan draai ik me om en dan ga ik in mijn netwerk leuren voor toegepaste onderzoekstrajecten en dan zeggen de onderzoekers, bijvoorbeeld bij de TUE, ja maar dat is wel echt heel erg toegepast. Daar is weinig mileage in. En het enige wat ik dan kan constateren is, daar zit nog iets tussen wat moet gebeuren. Ja, heb je enig idee, want ik voel helemaal met je mee. Heb je enig idee wat we daar als experts aan zouden kunnen doen? Nou ja, kijk dan praat ik gewoon even heel makkelijk het W&R rapport na. Volgens mij hadden we vijf opgaves, van de opgave AI. En de eerste is demystificeren. Dus als ik dus nu ook van die inspiratie sessies geef, of hoe je het noemen wilt, gewoon om mensen wat meer in contact te brengen. Dan begin ik dus ook met het, ik had wat mooie plaatjes gevonden. Het is een systeemtechnologie, vergelijk het bijvoorbeeld met toen elektriciteit werd uitgevonden. We konden toen echt niet bevroeden of voorspellen met wat voor ontwikkelingspad de maatschappij in zou gaan. Nou ja, dat zijn mensen vergeten, maar dat vind ik als techneut wel een mooi stuk techniek geschiedenis. En dat is ook een van de dingen die we in het begin van de tijd ook heel erg moesten doen. En dat soort voorbeelden, met ook referenties naar bijvoorbeeld Frankenstein, Mary Shelley. Elektriciteit was uitgevonden, men had het elektron nog niet eens ontdekt. En men dacht, misschien is het wel de essence of life, als je met een batterijtje op een dood kikkerpootje gaat zitten. En dat pootje gaat bewegen, en iedereen dacht van dat is leven en zie daar het boek Frankenstein. Eigenlijk is dat wel het mooie, want dat zien we nu natuurlijk richting de AI ook. Als daar iets zich, laten we zeggen, intelligent gedraagt, dus eigenlijk die kikkerpootje die beweegt, dan worden daar allerlei karakteristieken aan toegekeken. Ik moet me echt inhouden, voordat ik weet stik ik echt op mijn zeepkist. Maar ook van die quotes van een of andere, of het nou Google of iemand anders, daar gaat het mij niet om. Maar sentient algorithms, echt, come on guys. Echt, werkelijk. Wat zouden we praktisch met elkaar hier kunnen bedenken, waar we dit toch een stukje vooruit kunnen brengen? De missed ervaring die Daniel noemt, daar herken ik ook. Dus als ik trainingen geef, of dat nou AI for management is, product owners, architecten, inspiratiesessies, wat jij zegt. Het allereerste waar ik mee begin, is dat ik zeg van, ik hoop dat je aan het eind van de sessie de deur uit loopt en je denkt, is dit nou alles? Het wordt zo groot, zo moeilijk gemaakt en dat zorgt denk ik ook voor een bepaalde terughoudendheid, op zijn minst. Want bij de elektriciteit, bij de implementatie, of tenminste de adoptie ervan, was er natuurlijk ook terughoudendheid. Dat zag je ook bij bijvoorbeeld de adoptie van treinen. Als je daar de oude artikelen van leest, daar zouden vrouwen en kinderen niet in mogen, want de snelheid zou te snel zijn. Daar zouden de lichamen van vrouwen en kinderen niet tegen kunnen. Je kan het zo gek niet verzinnen, dus bij de introductie van een nieuwe technologie, die ingrijpt op ons leven, krijgen we blijkbaar te maken met dit soort krachten. Dus die missed evaring is denk ik wel een hele belangrijke. Om daarop aan te haken, echt uit mijn hart gegrepen, als ik dus ook introductiecolleges geef, of een masterclass van een half of een hele dag, dan zeg ik, begin ik altijd gewoon met ijs AX+B. En ik ga gewoon een puntenrol tekenen en ik laat zien, kennen we R² nog? Wie van jullie heeft nog een trauma van wiskunde? Dat gaat altijd ongeveer een kwart van de handen gaan omhoog. Maar daar begint die ook. En die formule noem je, voor de luisteraar die het misschien niet weet, dat is gewoon de formule die in de neuron zit van een neuron. Nee, nog simpeler. Gewoon een lineaire lijn vergelijken, wat je op middelbare school krijgt. En daar kan je ook een R² op loslaten, als zijnde de fout. Als ik een rechte lijn probeer te fitten door een aantal punten, met één input en één output. En dat simpele principe kan je heel ver doorvoeren, als een, zeg maar, natuurlijk versimplificeerd, maar dat mensen zich realiseren, maar wacht eens even. Het is dit, ja, maar dan in honderdduizend dimensies. Ja, dat klopt. Maar dat is het. En dat maakt het zeg maar handig. Want dat krijgen wij niet in ons hoofd. Dat krijgen we niet in ons hoofd, nee. Maar ik heb laatst ook een stukje geschreven, weet je, van niemand is bang voor een rekenmachine, die ook supersnel kan rekenen, beter, sneller dan wij. Maar op de een of andere manier, zeg maar, misschien komt het ook door de term, en wat er allemaal bij verzonnen wordt, wordt het in één keer spannender, als we die wiskunde vanuit die computer laten komen of zo, zoiets. Ja, het is ook een beetje in de wens van de gedachte, of een beetje filosoferen en de toekomst in een negatieve inzien, vaak al. Ja, en bij die negativiteit hoort misschien ook van dat mensen bang zijn dat het niet eerlijk wordt. We krijgen natuurlijk ook wel via media allerlei berichten van waar het misgaat. Nou, zo kwamen wij eigenlijk ook met elkaar in contact. Ik had jouw artikel gelezen, ik had dat ook meteen naar Niels gestuurd, van 'Nou, moet je eens lezen, weet je, dat is heel erg interessant.' Over 'Hoe brengen we eerlijke algoritmes onder bij de overheid?' Dat was ongeveer de titel, hè? Ja. En om daarmee te beginnen, want ik denk dat dat ook helpt bij het overstappen van de drempel, is dat we in ieder geval ook daar duidelijkheid in kunnen geven, wanneer heb je nou eerlijke algoritmes? Dan reist natuurlijk wel meteen de vraag, wat is eerlijk? Nee, nee, nou, wat is eerlijk, laten we dat niet doen, dat is misschien iets te filosofisch. Maar wat is dan een eerlijk algoritme volgens jou? Nou, die vraag, ik heb gisteren met mijn nieuwe collega's bij de TUE letterlijk een onderzoeksvoorstel ingediend, echt multidictionair, dus daar zitten ook filosofen in en ook database experts. En als we gewoon helemaal bovenaan beginnen, dan wel binnen de context van Europa, mensen realiseren zich niet wellicht, er komen iets van zeven nieuwe wetten aan, en elke wet is net zo groot als de GDPR. Dat gaat er dus gewoon aankomen, dat is een kwestie van tijd. En een heleboel van die wetten zijn dus gebaseerd op wat wij in Europese landen toch wel een beetje fijn vinden, hoe wij willen wonen en werken, en dat zijn dus ethische principes. Dus je hebt de high-level expert group on trustworthy AI. Nou, daar begint al het eerste probleem. Trustworthy, want wat is dat dan? En als je de stukken erop naleest, nou, we kunnen hier echt heel lang over doorgaan, dus ik zal even een bruggetje kiezen voor dit gesprek. Kijk, trust, uiteindelijk, dat heb ik letterlijk van mijn filosoof-collega Philip Nicol inmiddels geleerd, in de klassieke filosofie bestaat er alleen maar trust tussen mensen. Omdat je een bepaalde manier van wederkerigheid en discretie daarin hebt. Met andere woorden, wij als mens vinden het heel moeilijk om te accepteren dat ik iets ga vertrouwen wat heel zwart-wit is. Want zelfs als ik mijn belang of iets wat mij heel dierbaar is aan jou toevertrouw, daar zit veel meer alleen achter van ik vertrouw jou toe en dat je daar met regeltjes dat gaat doen, maar dat je met een bepaalde wederkerigheid en met bepaalde discretie daar omgaat en discretie kan zijn. Ik besluit bewust bijvoorbeeld om van regels af te wijken, omdat ik gewoon gevoel heb dat dat beter het belang dient van Daniel. Dat is de klassieke filosofische standpunt. Daar zijn filosofen het overigens niet mee eens. Zeker niet in de technologiehoek, want als we dat blijven hanteren dan wordt het een beetje een doodlopend spoor. Maar vervolgens ga je zeggen, oké, maar welke elementen van vertrouwen of vertrouwenswaardig kunnen we dan op algoritmes loslaten? Nou, dat is nog maar zeer de vraag. Maar we weten in elk geval dat ten minimale wij moeten kunnen reproduceren hoe het is getraind, met welke data dat is, dat die data representatief is, dat die niet een bias heeft, ofwel in een selection bias, of op zoveel niveaus. Maar dat is een soort bare minimum. En als we dat al niet hebben, dan kan je al het andere sowieso vergeten. Maar het perspectief en de vraag is ook, er komen dus nieuwe wetten aan. Letterlijk, in Europa proberen we dus trustworthy AI, vertrouwenswaardig data, of machine learning algoritmes te maken. En als allereerste stap laten we dat dan vooral transparant, uitlegbaar en reproduceerbaar doen. En dat alleen al is een enorme taak. Dat is zeker een enorme taak. En zeker de transparantie en de uitlegbaarheid, dat gaat ons heel erg aan het hart. Als je onze playlist van de podcast nakijkt, ik denk dat er minstens de helft van de zaken heeft daarmee te maken. Dus ik kan het niet meer met je eens zijn dan dat. Maar waarom we het er ook zo vaak over hebben, is dat het namelijk net zo vaak wordt vergeten. We zien gewoon in de markt dat er modellen worden gemaakt waar het helemaal niet duidelijk is wat je met de uitkomst überhaupt kan. Stel je hebt een model en er komt uit dat je een hoog risico hebt op overlijden, maar je weet niet waarom dat model tot die conclusie is gekomen, dan heb je er gewoon helemaal niets aan. En dat wordt zo vergeten. En dat is alleen nog maar de bruikbaarheid. Laat staan waar jij het nu over hebt, dat je aan wetgeving voldoet, dat het transparant is, dat je fouten eruit kan halen. Allemaal dat soort zaken. Ja, mijn persoonlijke ervaring, en Joop kan dat ook wel onderschrijven, is ook vaak dat AI op dit moment wordt ingezet in een pilot, los dat er echt een goede business case aan vast ligt. Want heel veel kan je terugvertalen naar de business case. Waarom doen we dit? Wat is de context? Wat is de impact? En eigenlijk die hele rudimentaire vraagstukken, die zijn vaak niet goed gesteld bij de eerste implementaties. Ja, en hoe komt dat nu terug in de opleiding die je geeft? Wordt daar aandacht aan besteed aan explainability, interpretability? Jazeker. Dus als je de volledige opleiding van één jaar volgt bij JETS, dan zeg ik even voor het gemak, dat is een MBA met een data science house. En de laatste vier maanden daarvan word je onder begeleiding van mij en mijn andere collega's, ga je echt een project doen bij de organisatie waar je werkt. Maar in de aanloop daarnaartoe, dus in die andere acht maanden, hebben we twee fases. We hebben een foundation fase en we hebben wat we noemen level 1. En college 6 gaat al over explainability. En we trekken dat helemaal naar voren, dus dat is één ding. En het andere is dat wij juist inderdaad veel meer een beetje een pragmatische route kiezen met zaken zoals ondernemerschap, en alle klassieke vakken die je normaal ook bij een MBA zou krijgen over innovatie management. Maar dat veel meer dus in de context van een data science project. En wij blijven echt heel lang hangen bij die voorkant, namelijk business understanding, wat dan in het Christian model wordt gebruikt. En daar gooien we ook allemaal bestaande technieken tegenaan, tot en met design thinking en personas, wat er uit agile komt. Maar vooral om het scherp te krijgen. En wij proberen ook mensen op het hart te drukken. Ga niet te snel de vlucht voorwaarts van dat je het gevoel hebt dat je niks aan het doen bent, als je niet aan het programmeren bent. Dat heb ik overigens ook hoor, maar dat is meer omdat ik het leuk vind. Hoe langer je daarmee met je stakeholders en met de probleemeigenaar gaat praten, hoe beter eigenlijk. Ja, dat is een hele goede tip. En pas daarna helemaal, pas daarna als je echt zeker weet en na vijf keer 'why' doorvragen, dan pas die enorme kostbare tijd insteken, niet alleen van jezelf, maar ook van je ontwikkelteam, om überhaupt iets te bouwen. En sterker nog, als we ook mensen begeleiden die dus met een eigen project bezig zijn, dan zie ik nog steeds regelmatig dat mensen bijna met een soort schaamtegevoel naar me toe komen en zeggen,'Mag ik gewoon een BI-achtig project doen, want ik heb het gevoel dat wij daar nog als organisatie nog niet eens klaar voor zijn, en dat we dat eerst moeten voordat we dat andere gaan doen.' Dan denk ik van, nou ja, die heeft echt goed opgelet. Ja, dat is wel herkenbaar. En goed dat hij dat dus ook durft te zeggen, want heel vaak durven mensen, teams, organisaties niet te zeggen,'Ik ben hier eigenlijk nog niet rijp voor. Ik moet nog even de evolutie door om tegen de problemen aan te lopen met mijn data-huishouding, met mijn architectuur, met mijn teams, met mijn mentale toestand, om klaar te zijn inderdaad om dat goed in te vliegen.' Ik wil natuurlijk niet zeggen dat je daar niet al wel rekening mee moet houden. Nee, natuurlijk. En in het beste geval zou je zeggen, doe vooral een bulk daarvan dat je bijvoorbeeld bronssysteem X, Y, Z ontsluit, dat je beter snapt, wat zou ik er mee willen doen, dat je met die bril ook, want dan ga je ook anders een data warehouse traject in, om maar eens iets te noemen. En tegelijkertijd wel een beetje de uitdaging en de icing on the cake. Nou ja, en we kunnen wel alvast zo'n soort model gaan proberen en kijken wat eruit komt. En dat je ook de techniek pakt, die hoort bij het probleem. Ja. Het is niet een klamertje. Ja, en jij zegt net zelfs van er wel of niet klaar voor zijn, net alsof machine learning AI de heilige graal is. Nou, absoluut niet. Het is één van de middelen die je hebt en bekijk het ook al zodanig. Wij propageren ook altijd, als je het met traditionele software kan oplossen, regelgebaseerd, doe dat alsjeblieft, goedkoper, makkelijker, simpeler, beter te onderhouden. Wat jij zegt, BI, rapporten maken, dat soort zaken. Kies gewoon de oplossing die past bij je businessprobleem en probeer inderdaad geen cirkeltjes en ronde dingen in vierkante openingen te stoppen. En durf daarom hulp te vragen. Wat is hierbij een passende oplossing? Probeer het niet allemaal zelf uit te denken, maar kijk in de sector, in de markt, waar zijn bedrijven al mee bezig? En haal daar inspiratie vandaan en probeer het niet allemaal zelf te bedenken. Dat is ook nogal wat je vaak tegenkomt. Wat ik zelf dan wel problematisch vind, want dat komt dan in me op als ik jullie reacties hoor, ook weer terug naar die Europese wetgeving. In annex 1 van die nieuwe wetgeving over de AI-act, want iedereen begint ook altijd met de vraag, maar wat is AI nu toch? Wat is het in vredesnaam? In de voorgestelde Europese wet, dan moet je dus naar bijlage 1, daar wordt het dus uitgespeld in een half A4'tje. Daar kan je natuurlijk van alles van vinden, dat hoor je ook al aan mijn stem. Maar daar zit dus bijvoorbeeld rule-based ook in. Dus alle software die we sinds 19-tig hebben ontwikkeld met if-then-else regels, vallen dus nu ook zo dadelijk onder de AI-wet. En als het dus een hoog risico toepassing is, wat vaak het geval is voor non-for-profit en duur maar om aan dat je privéleven binnenkomt. Dus al die software gaat onder high-risk vallen. Nou echt, ik kan het nog niet in mijn hoofd krijgen wat dan gaat gebeuren. Nee, ze hebben uiteindelijk natuurlijk gezegd van ja, als er beslisbomen ofzo in zitten, dan noemen we het een algoritme. En algoritmes vallen onder AI en daarmee is het helemaal afgedekt. Ja, en daar vind ik dus inhoudelijk al iets van en niet zozeer dat ik daarin gelijk wil krijgen ofzo. Maar daar zou ik tenminste een debat over willen voeren. Want als ik dan weer terug ga naar demystificeren, als ik een high-risk toepassing heb, laten we dan even het voorbeeld van fraude-detectie nemen. Stel, ik ben een willekeurige overheidsinstelling. En of je nou de belastingdienst bent of de gemeente of weet ik, het doet er niet toe. Het gaat even, we proberen iets wat potentieel echt heel vervelend is, tussen een overheidsinstantie en de burger. En stel, ik ga dat dus maken op basis van IF-THAN-ELSE regels. Nou, er is één, als je dat doet, dan kan je in elk geval het uitleggen. En twee, het is volledig deterministisch, ervanuitgaande dat de basisdata wel op orde is, dat daar niet ook weer allemaal dingen in zitten. Want dat is een beetje ook het punt van Marlies van Ek, ja maar zelfs die data klopt niet die erin gaat, zeg ik fair point, maar dat is een andere discussie. Want die hele keten moet kloppen, dus vanaf een bepaald moment kan ik er pas iets mee. Maar stel dat de basis, zeg maar, hygiënefactoren van die data goed zijn, dan kan ik gewoon uitleggen, het zijn IF-THAN-ELSE regels, het is letterlijk een bestisboom. Kan je voor de rechter uitleggen, je kan een verhaal halen, et cetera. Het is dus, ja, wat ik noem deterministisch. Er zit weinig, het is niet echt gebaseerd op statistiek. Maar het wordt dus op dezelfde hoop gegooid als statistische machine learning, waarbij we met kansen omgaan. Wij als mens zijn notoire slecht in het interpreteren van kansen, maar daarmee zit je dus ook in een heel ander vreemd te denken van wanneer is nou een algoritme eerlijk of niet. Maar alleen al dat onderscheid maken, dat ik denk van joh, wat gaan we hier doen dan? En wat ik ook in dat artikel probeer aan te geven is, het vergt veel meer discussie. Dus ook met de etici en de politici en de bestuurders. Want het is niet zo zwart-wit. Nee, en die kansen die lijken heel snel heel mooi. Stel, je hebt een algoritme die 99 procent, weet je, laten we inderdaad iets heel ernstigs nemen. Dat je wel of niet eerlijk behandeld wordt door de overheid. En dat algoritme doet het voor 99 procent goed. Ik denk dat heel veel mensen dan denken van zo, dat is heel wat. Maar die 1 procent die dan oneerlijk wordt geraakt, dat zijn bijvoorbeeld, je bent daardoor toeslag ouder. Word je daarmee, nou dan is dat effect enorm. En dat is wel inderdaad wat jij zegt, het omgaan met kansen. Dat vinden we heel erg moeilijk. Ja, ik waag dus ook te betwijfelen. En gaandeweg, moet ik in alle eerlijkheid zeggen, ik was tot een paar jaar geleden misschien ook iets meer een technologie-optimist. Wanneer het dus op dit soort toepassingen kwam, vooral dus voor overheden. En daar ben ik wel een beetje van teruggekomen. Dat ik denk van, is dat nou echt wel, laat ik het bij mezelf houden, op dit moment de beste manier hoe ik een bijdrage kan leveren. Maar de aardigheid is denk ik, wat mij betreft ligt dat niet aan de technologie. Dus jij schrijft volgens mij in dat artikel ook van, het heeft te maken met mystiek, onbekendheid, vooral bij bestuurders, beslissers. En daar moeten we wel wat aan gaan doen. Want daar worden mogelijk verkeerde keuzes gemaakt, waardoor uiteindelijk de negatieve effecten vergroot worden. Terwijl we kunnen met de technologie, kunnen we waanzinnige dingen doen en kunnen we het juist heel eerlijk maken als we ons daarvoor inzetten. Als ik zo van afstandje weer even meeluister, dan hoor ik eigenlijk, de techniek is niet het probleem. De techniek maakt het mogelijk. De problemen zitten er omheen, die zitten om de impact, de sensitiviteit, wie wordt er bij betrokken, begrijpen we het überhaupt. Dus wat dat betreft, als ik het zo begrijp, zitten de verkeerde mensen aan die ronde tafel om met elkaar gesprekken te voeren. Namelijk technici die het willen gaan implementeren, omdat het ook technisch heel mooi is. Hoe zorgen we er nou voor? Wat zijn dan die rollen die we kunnen zien in de sectoren, die hier weet van moeten hebben? Ik krijg vaker te horen een translatorrol, een AI translator, een data translator. Wat zijn die rollen? Daar ben ik wel echt nieuwsgierig naar. Hoe zie jij daar? Nou, ik geloof heel erg dat het, voor mij begint het altijd wel bij de probleemhouder/de domeinexpert. Want alles wat wij kunnen of willen maken met machine learning is uiteindelijk een vertaalslag, een encode of algoritmesvatten van uiteindelijk heel veel mensenkennis en heel veel ervaring. Want dat ligt aan de grondslag van alles. Variërend van het aanleggen van datasets, tot het misschien expliciet uitmodelleren van die regels. En volgens mij zit de crux erin, dat is eigenlijk, statistiek is zo oud als de wereld, we zijn er heel slecht in. Dus als we bijvoorbeeld statistische modellen gaan maken, en hopelijk hebben we daar iets meer gevoel van gekregen na tweeëneenhalf jaar covid, wat de impact gaat zijn van false negatives versus wat de impact gaat zijn van false positives. En volgens mij begint het daarmee dat de probleemeigenaar een voldoende notie heeft van de onderliggende statistische principes, dat hij of zij zelf die afweging kan maken. En dat moet je niet aan de data scientist overlaten. Nee, want een false positive bijvoorbeeld in de marketing is iets heel anders dan een false positive in de gezondheidszorg. Voilà. Toch? Ja. Of je reclame voor je neus krijgt, of je krijgt een verkeerde diagnose, daar hebben we het over toch? Ja. En het is letterlijk, dat is dan college 6 ook, in parallel met die trainable AI, we vergeten heel vaak, want het zit helemaal aan het eind van de route, wat is de drempelwaarde, vanaf welke kans krijg je het labeltje 0 of krijg je het labeltje 1? Ja. En letterlijk met die drempelwaarde spelen is het allerbelangrijkste van alles wat we in het voorwerk hebben gedaan met data cleaning en modellen trainen, etc. En dat is bijna als een soort, dat vergeten, dat moet ook nog, laat maar op 0,5 staan. Ja. Nou, daar gaan we al. Ja. Maar daar begint het. En daar moet je dus echt tijd in spenderen. En in die zin vind ik het dus ook goed dat bijvoorbeeld de NL-AI-coalitie, die heeft het over een, wij noemen dat gekscherend het zwemdiploma voor AI, dat je daar voldoende notie van hebt, het maakt eigenlijk niet uit met wat voor beroep, maar als je in jouw werk als domeinexpert, als probleemeigenaar, daarmee te maken krijgt, dat je zelf mee kan doen in die discussie. Dat, maar ook, kijk jij noemde het straks, AI is een systeemtechnologie net als de elektriciteit. Als ik, zeg maar, mijn meterkast moet laten vervangen, thuis, A, begin ik er niet aan, B, is het gewoon wettelijk verplicht dat daar iemand komt die gediplomeerd is om met een dusdanig krachtige technologie aan de slag te gaan. Het gekke is, vind ik zelf, dat iedereen, zeg maar, met AI aan de slag mag, zonder dat je inderdaad een bekwamen van, hoe zeg je dat? Certificering. Ja, zonder dat je certificering hebt, want je kan hier uiteindelijk daadwerkelijk, je kan heel veel goede dingen doen, maar als je de verkeerde keuze maakt, kan je ook daadwerkelijk schade aanbrengen. Helemaal eens, ik denk dat we dus in die zin nog een beetje in de goldrush jaren zitten van ons vakgebied. Toevallig sprak ik gisteren een collega van de Erasmusacademie, verbonden aan de Erasmus Universiteit, hadden we het ook over precies hetzelfde, gewoon een beetje ervaringen uitwisselen. Voor wat voor type rollen zijn we nou aan het opleiden? Het is toch meer dan alleen maar het hardcore technische? Ja, natuurlijk is het veel meer dan alleen dat. Ja, maar #hoedan? En ik denk gewoon, het is echt heel simpel, we moeten echt met elkaar, en hoe sneller hoe beter, naar certificeringen toe, op alle niveaus. Dus te beginnen bij zwemdiploma A, tot en met dat als je daadwerkelijk een hardcore machine learner of een data engineer bent, die dus high risk toepassingen in productie gaat krijgen, dat mag dezelfde zwaarte krijgen als een accountant of als een actuariaat die premies doorrekent. Want dat wordt echt op grote schaal geautomatiseerd. En net als met een duikbrevet, als je lang niet vaak genoeg je punten haalt, dan verloopt het ook weer. Maar ja, dan moeten we dat ook met elkaar doen. Want ik geloof ook niet dat we daar dan zeg maar oneerbiedig gezegd op de overheid hoeven te wachten voordat dat gaat komen. Nee, ik denk dat we daar als sector zelf mee aan de slag moeten. Absoluut. Ja, helemaal mee eens. Ik heb nog eentje die ik uit je artikel meenam, en ik wist gewoon, die moet ik vragen. Die triggered mij zo, en het was een quote die er zat. Het was "om discriminatie door een algoritme tegen te gaan, is het zaak om alle gevoelige variabelen mee te nemen." En dat vond ik wel een hele mooie, toen ik je artikel zat te lezen, en die bleef mij hangen. En ja, vroeg me eigenlijk af, wat zie je daarvan in de praktijk? Nee, dus dat artikel was deels uit frustratie, in alle eerlijkheid, maar ik probeer het dan wel op een constructief kritische manier te formuleren. En ik kom zelf overigens, dat is even dan als een soort disclaimer, ik kom heel erg uit de natuurkunde, modelmatige wetten, first principles, en ik heb mezelf meer de programmeerkant dan eigen gemaakt. Maar ik laat mij dus het afgelopen jaar met veel plezier met Jeroen de Mast, inmiddels aan de Amsterdam Business School, en die komt echt uit de statistiekhoek, dus daar heb ik vooral veel vanuit de statistiek geleerd. En we weten gewoon uit de statistiek dat variabelen die cross-correleren, dat werkt gewoon niet zo lekker met algoritmes. Dat is al heel lang bekend, en daar moet je dus iets voor vinden. En als je dus nu kijkt naar hoog risico voorspelmodellen, vaak van dat soort risicovoorspelmodellen, waar dan het subject een persoon is, dan heb je het dus per definitie over persoonskenmerken, want we gaan iets voorspellen over het subject zijn een persoon, dus we hebben het over persoonskenmerken. Iets anders kan ik er niet van maken. Dat gaan we dan doen, en we hebben allemaal netjes gedaan wat we moeten doen om überhaupt zo'n project te starten. En wat je dus ziet is, in een heleboel van die fraudediscussies, dat wordt dan zo politiek beladen, en dan gaan mensen zeggen, ja maar, nationaliteit mag geen input variabelen zijn, of iets anders mag geen input variabelen zijn. Dus die ga je dan aan de voordeur eruit halen. En dat is eigenlijk echt het allerslechtste wat je kan doen, want als je zegt van nee, we willen juist de variabelen waarvan we eigenlijk bijvoorbeeld ook vanuit de domeinexpertise weten, dat we een heel groot input hebben, dan is het eigenlijk een heel groot input, want we weten dat we een heel groot input hebben, maar we weten ook dat we een heel groot input hebben, en dat is het allerleukste wat je kunt doen. En dat is het allerleukste wat je kunt doen, en dat is het allerleukste wat je kunt doen. En dat is het allerleukste wat je kunt doen, en dat is het allerleukste wat je kunt doen. En dat is het allerleukste wat je kunt doen, en dat is het allerleukste wat je kunt doen. En ik had dus een ander artikel waar een collega mee op geweest, die zei ook van dit is eigenlijk al heel oud, want als ik dus bijvoorbeeld nationaliteit, een gevoelige variabelen neem, dan is het beste wat je kunt doen, laat die erin, die vangt dan als het ware alle correlaties, en dat die niet bijvoorbeeld gaat zitten in welke wijk woont die persoon, omdat toevallig dan in die wijk veel mensen met een bepaalde nationaliteit wonen, want die correlatie gaat echt naar nul. Dus dat kenmerk wordt gewoon niet meegenomen in het model, dus alles wordt gevangen in nationaliteit, en vervolgens voordat je het model gaat gebruiken, dan maskeer je die variabelen. Dus dan gebruik je hem dus niet. Ja, en dan kan hij daar niet mee redeneren, dus moet hij het op basis van andere dingen doen. En als je dit nou ook nog namelijk koppelt aan die uitlegbaarheid van je model, kan je het zelfs heel goed testen. Je kan heel goed kijken, als je dan je testset er overheen draait, heeft hij bij een bepaalde nationaliteit, is uiteindelijk de predictie die eruit komt, is die uitverband, uit de distributie van waar je uiteindelijk op getraind hebt. En het maakt het alleen maar makkelijker om dat soort problemen eruit te halen als je die data ook gebruikt. En dat is echt het pleidooi, en ook daar denk ik, het is best wel oud, want dat artikel dateert uit de jaren 1980. Niet jouw artikel hè? Nee, niet mijn artikel, maar waar ik aan refereer. Zo lang ben ik ook weer niet mee bezig. En dat is daar toegepast voor recidive risico, voor de rechtspraak. Als iets een high risk is, op basis daarvan, dat werd als input meegewogen of mensen wel of niet een bepaalde straf kregen. Of voor de zwaarte van de strafmaat. Ja, dan heb je dat systeem in Amerika, Compas, waar gewoon die bias keihard in zit, waarbij wetenschappelijk is aangetoond dat het er ook in zit, en ze gebruiken het gewoon. Dat ken ik niet. Dat is echt verschrikkelijk. Ik heb laatst nog weer een filmpje gezien, ze hebben daar wel een deel van het dataset kunnen gebruiken van Florida. En wat je dan ziet is dat vooral de Native American, daar zie je gewoon het verschil tussen de daadwerkelijk, wat er aan recidive voorspellingen uitgekomen is ten opzichte van, ik moet het goed uitleggen. Dus wat de voorspellingen zijn, weten ze, en wat natuurlijk de werkelijke recidive is. Dat hebben ze ten opzichte van elkaar gezet. Ik geloof dat de voorspelling voor Native Americans het bijna dubbele van wat het daadwerkelijk is. En diezelfde bias, maar dan de andere kant op, zie je natuurlijk bij andere bevolkingsgroepen. Dat is echt verschrikkelijk. Als je dat ziet, je wordt al boos als je naar de grafiekjes kijkt. Ik denk dan weer alleen maar data, data, data. Ga daarna kijken, wat zit erin, wat wel, wat niet. Dat is maar de vraag Niels, want uiteindelijk weten ze het. Ik denk dat het probleem weer zit bij degene die de keuze maakt, de onbekendheid. Misschien interesseert het ze niks daar, daar heb je ook nog de kans op. Maar ik denk dus dat het veel meer zit in, hoe ga je er mee om? Dus Daniel schrijft ook in zijn artikel, het moeten eerlijk algoritmes zijn. Daar kom je op een bepaalde manier aan. Ik denk dat dat gewoon niet wordt toegepast. Dat data dan wel een onderdeel is van het demystifyen waar we het net over hadden, om wel te laten zien wat zit er ten onder. Misschien is dat een discussie die we zelf voor later in het traject, als je hem zo noemt, dat eerst die discussie bij degene die verantwoordelijk is of die keuzes maakt, die moet gevoerd worden. Maar ik denk, wil je die goed voeren, dan moet je ook wel de bagage daaronder kunnen laten zien, als die interesse er eenmaal is. Ik heb zo'n proces in mijn hoofd, wat een best wel lang proces is. En ik denk inderdaad, het begint inderdaad al bij de data, want alleen al bij het aanleggen van de data of zelfs bij het secundair hergebruik van data, dat is echt een aanname waar we heel snel overheen stappen. Wij kunnen de data secundair hergebruiken en het is accuraat genoeg voor datgene wat we willen doen. Daar gaan we dus steeds sneller en vaker van terugkomen. Maar zelfs als je dat dan hebt gedaan, dan zitten er dus nog andere buizen in met hoe je die ML-algoritmes gaat trainen. En wat ik ook in dat college over explainable AI naar verwijs, dat is inmiddels december 2020, dus na de eerste twee lockdowns, 40 engineers van Google, dus tegen hun eigen commerciële belang in zou je bijna kunnen zeggen, die zeggen van, een heleboel modellen die nu in productie zijn, die kloppen gewoon niet. En ze hebben er zeven uitgeplozen. En een van de voorbeelden is bijvoorbeeld dus een FDA-approved huidkanker detectie. En ik ben van Indonesische komaf, ik heb skin type 3, dat is iets donkerder dan dat van jullie. Nou, die kwam er gewoon het slechtste uit. En niet een klein beetje, maar inderdaad ordegrote, drie, vier keer zo slecht vergeleken met de andere producties. Bizar. En dat is dan door al het hele proces heen gegaan. Die heeft gewoon een stempel en een vinkje. Dus ook daar is de enige conclusie die ik kan trekken, er is nog heel veel werk te doen. Ja, want de FDA wordt gezien als, als je daar doorheen bent, dan heb je alles voor elkaar. Ja, bizar. Echt bizar. En jij noemt ook de IAMA, die we nu zeg maar een beetje als een soort van, ja wat is het eigenlijk? Een richtlijn of zo is het? Een procesbegeleider. Een procesbegeleider voor de overheid, waarbij als er nu systemen binnen de overheid gemaakt worden, moeten ze die procesbegeleider daar langs leggen. En dat is vooral een document met een set van vragen. Daar had je volgens mij een redelijk duidelijke mening over ten opzichte van of dat nou helpt, ten opzichte van de eerlijkheid waar we het over hebben. Nou, dankjewel. Ik ga nu gewoon op mijn zeepje staan. Kijk, ten eerste, en dan zwak ik het een beetje af, het is sowieso nodig om dat te doen. Want wat dat IAMA-proces, de collega's van de Universiteit Utrecht hebben daar ook echt jaren in zitten om tot een goede procesbegeleiding te komen. Maar mijn standpunt is dat is niet voldoende. Ik heb vaak direct of indirect ook met dat soort discussies aan tafel gezeten. En dan heb ik even de rol van de machine learning expert, naast een eticus of wat dan ook. En het staat of valt met de diepgang van de discussie die je daar met elkaar kan voelen. En wat kan je een voorbeeld geven van waar de IAMA naar vraagt, bijvoorbeeld? Nou, dus waar de IAMA naar vraagt, is wat ik net als voorbeeld noemde. Wat zijn de potentiële risico's op verkeerde voorspellingen? Exacte vraag weet ik even niet uit m'n ogen. Nee, maar zoiets. Ik ook niet hoor, ik bedoelde... Dat denk ik, nou, dat is een hele wezenlijke vraag. Ik zou hem nog specifieker zetten. Dus we gaan nu een discussie hebben, even dan in technische termen. Wat is de impact op verschillende threshold-waardes die we kunnen kiezen? Hoe vertaalt dat zich in vals negatives en vals positives? En hoe gaan we het proces voor elk van die categorieën, hoe ziet het proces er bijvoorbeeld uit? Een burger of een patiënt zit toevallig in een vals negative en wil daar toch aanspraak over maken of transparantie. Dus daar moet een proces achter. Of het burger is een vals positief en we gaan dingen doen die we eigenlijk beter niet hadden kunnen doen. En hoe gaan we daar dan een proces voor inrichten? Die discussie moet gewoon veel diepgaander, veel wezenlijker, omdat daar gewoon de... Ik ben geen filosoof, dus ik laat mij ook graag... Of ethicus. Ik laat me dan graag ook door de ethici in positieve zin de les lezen van... Waar sturen jullie dan op? En ik kan dan teruggeven, ja, maar dit is waar ik op stuur. Want hier is het een belangrijk bezitspunt. En ik denk dat we in veel meer van dat soort trajecten, dat we dat ook echt vast moeten leggen. Bijvoorbeeld in de vorm van actieonderzoek of toegepast onderzoek. Daar zit het echte werk, denk ik. En dat is ook het werk wat heel tijdrovend is. Het zijn vaak panels, you name it. Het is zo subjectief als het maar zijn kan. Het is echt vormgeven hoe willen we dit in de maatschappij een plek geven. En misschien niet is ook een antwoord. En niet ondertijdselijk zeggen, oh ja, maar we zitten nu hier. We zitten inmiddels in week vier van een project die sowieso maar twintig weken mocht duren. Nou ja, we gaan weer verder. Dan denk ik van ja, dan kan je het proces ineens goed niet doen. En ik denk dat dat niet alleen bij de overheid is. Ik zie dat ook bij implementatie bij organisaties, dat die discussies daar ook gewoon gevoed moeten worden. Hoe sta je er als organisatie in om dit in de markt te willen zetten? En moet ik het wel in de markt willen zetten? Daar hebben we het vaker over gehad in de podcast natuurlijk. Soms kunnen dingen, maar moet je het niet willen? Als ik echt één heel mooi voorbeeld mag noemen. Ik heb met ASKOM een aantal workshops. ASKOM is leverancier van domotica. Voor toezichthouden domotica. Dus denk aan verpleegde huizen. Inmiddels met de reorganisaties van het zorgstelsel. Voordat je in een verpleegde huis komt, dan kan je echt niet meer voor jezelf zorgen. Dat kan je van me aannemen. En we weten ook, dat hebben mijn collega's van Groepda ook inmiddels weer uitgerekend. We kunnen het gewoon niet aan. We hebben veel te weinig handen aan de bed. Alleen al even het simpele voorbeeld. Die verpleeghuizen moeten ook 's avonds bemand worden. We hebben niet eens genoeg personeel om het standaard rondje te lopen. Gewoon, gaat het wel goed met alle inwoners? Dan kan je zeggen, oké, toezichthouden domotica. We gaan met sensoren, met valsensoren, met camera's, et cetera. Enorme discussies, jaren aan de gang geweest. Van, willen we dit wel? En, wil de cliënt het, wil de patiënt het? Zou mijn moeder dat willen? Maar misschien net zo belangrijk of nog belangrijker. Zou ik het willen als kind van mijn ouder die dan zo zit? Echt talloze discussies. En ook daar geen goed of fout. Maar ik heb echt verhalen gehoord hoe ik ook ten positieve gebruikt kon worden. Omdat ineens duidelijk werd wat voor impact een onrustige cliënt had op een partner of op een kind. Omdat dat nu voor het eerst meetbaar werd gemaakt. Maar uiteindelijk, na een heel veel vijfen en zessen, vooral dus de ethische discussie, willen we wel, met toch een redelijk zware infringement op de privacy, continu van die camera's. Bij de laatste workshop waar ik was, sprak ik dezelfde mensen van een zorginstelling die drie jaar geleden hiermee begonnen waren. En die zeggen, ja, wij vertrouwen het nu. Wij vertrouwen het nu zo erg, dat wij onze nachtbewaking misschien wel kunnen halveren. Dan denk ik, nou, de vlag mag uit. Ja, absoluut. Wauw. En dat is dus niet drie jaar lang programmeren. Want dat model is, met alle respect, dat is het probleem niet. Je moet het wel kunnen, maar het is drie jaar lang praten met de verpleegkundigen, met de ouders, met de kinderen van de ouders, met de beroepsgroep. Hoe gaan we hiermee om? Ja, mooi. Mooi verhaal. Om af te sluiten, Daniel, wat zou je nou, ik denk dat de gemiddelde luisteraar van ons zit in dit vakgebied van kunstmatige intelligentie. Wat zou je ze als tip mee willen geven van hoe zij hun algoritmes zo eerlijk mogelijk kunnen maken? Waarmee moeten ze, als we deze podcast afsluiten, over gaan dromen vannacht? Ik zou eigenlijk twee dingen mee willen geven, waarbij ik ook het gedachtegoed van andere mensen onder de aandacht wil brengen. Wat ik vooral uit mijn gemeentewerk heb geleerd, is het werk van Ronald Damhof, hij heeft inmiddels een woord voor, de dataschuld. Dat is namelijk dat we vanuit, in dit geval, in het geval van overheid, vanuit wetgeving, het echt helemaal door moeten accesseren naar semantische analyse, welke data leg je vast, et cetera. En pas helemaal aan het eind de data engineers en machine learning engineers aan de gang gaan. Dus mijn eerste oproep zou zijn, laten we met elkaar eerst de dataschuld in alvel ten dele oplossen, want we zijn op drijfzand aan het bouwen. En ik denk dat dat geldt ook dus voor niet-overheidsinstellingen. Zeker. En daarmee dus ook het vak van de kennismanager, of noem het de knowledge scientist, om er maar een hipper woord aan te geven, dat moet echt nieuw leven in geblazen worden. We zijn gewoon sloppy geworden, we hadden gewoon veel te veel storage en computing power, dat we niet eens meer nadenken, wat doen we nou eigenlijk met al deze data. Dus dat is de ene kant van het verhaal. Dus data op orde brengen, huishouden op orde. Ja, eerst je data huishouden op orde. En ten minimale met de dataset. Die komt binnen hoor, die komt binnen. Dat heb je kippenvel. Ja, bekende namen allemaal. Zeker, helemaal mereens. En als je in ieder geval een gedeelte van die dataschuld bij de kop hebt gepakt, dat je een betrouwbaardere dataset hebt waar je machine learning op kan doen, dan zou ik inderdaad voor pleiten, dat hadden we voordat we begonnen ook al even over, ik denk dat we veel meer met whitebox-modellen moeten en kunnen werken. Dus vergeet die blackbox-modellen nou, als er echt zo'n overtuigende use case is die gewoon niet door whitebox-modellen kunnen. Denk bijvoorbeeld aan beeldherkenning, maar dat wordt ook in toenemende mate problematisch. Zeker. Omdat je ziet dus dat adversarial attacks, die dingen, die kunnen gewoon echt helemaal van het paadje gevesteerd worden, of zeg maar kapot gemaakt worden. Dus ik neig echt in die zin naar meer whitebox-modellen. Dus ik ben wat conservatiever geworden. Maar gelukkig gaat de techniek van de algoritmie nu zo hard, dat je dus heel ver met whitebox-modellen kan. Ja, helemaal meeens. In die zin whitebox eerst, glassbox eerst. Boven blackbox. En ik zie in ieder geval aan de onderzoekskant dat er ook heel veel gekeken wordt, zeker ook voor computer vision en dat soort zaken, om het veel meer naar een glassbox te krijgen. En daar moeten we ook naar toe. Je kan niet inderdaad gewoon een antwoord krijgen uit een zwarte doos, en dan maar hopen dat je daar weer vanaf de buitenkant de redenatie daaruit probeert te pulken, wat dan ook weer niet helemaal klopt. Ja, dat is precies het. Nou, ik denk dat dat een hele mooie……cirkel rond is. Dan komen we eigenlijk weer bij het vertrouwen en de filosofie van vertrouwen alleen in mens. Dan komen we toch weer bij terug. Mooi, mooie afsluiter. Daniel, hartstikke bedankt. Ik denk dat Niels en ik weer heel veel wijzer zijn geworden. Zeker op het gebied van eerlijkheid. Dank je wel dat je onze gast wilde zijn. Heel graag gedaan. Dank je wel dat je wilde luisteren naar deze aflevering met als gast Daniel Kapitan. Wil je niks missen van de podcast, abonneer je dan in je favoriete podcast-app. En hopelijk tot de volgende keer ook.[Muziek]