S03E01 - AI & Geautomatiseerde ketenbesluiten (met Marlies van Eck)

We hebben in de eerste aflevering van het seizoen een prijswinnaar als gast! Marlies van Eck is jurist bij Hooghiemstra & Partners en is geeerd met de Hermesdorf prijs voor haar onderzoek naar algortimes.

Ze heeft een geweldig proefschrift geschreven die we bespreken en vooral wat we kunnen leren uit haar onderzoek voor het ontwerpen en bouwen van AI-systemen.

Links:

• Marlies van Eck over de Hermesdorf-prijs voor onderzoek naar algoritmes
• Proefschrift Geautomatiseerde ketenbesluiten & rechtsbescherming

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

0:00

Hoi, leuk dat je luistert naar deze aflevering van de AIToday Live Podcast. Vandaag hoor je onze gast Marlies van Eck vertellen over haar proefschrift over geautomatiseerde ketenbesluiten. Malice is juriste bij Hoog Hiemstra & Partners en vertelt ons wat geautomatiseerde ketenbesluiten zijn. Nog belangrijker, wat dit betekent voor het ontwerpen en bouwen van AI-systemen. Mijn naam is Joop Snijder, ik ben hoofd van het Info Support Research Center AI en samen met mijn collega Niels Naglé, chapter lead data en AI, duiken wij in iedere aflevering in de wereld van professionele AI. Nou ja, we zijn begonnen met seizoen drie. Dit is de eerste aflevering van seizoen drie, dus heel erg leuk dat je onze gast wil zijn in deze podcast. Malice, misschien kan je jezelf eerst even voorstellen aan de luisteraars, dan weten zij ook naar wie ze aan het luisteren zijn. Ja, mijn naam is Marlies van Eck, ik ben jurist en ik houd me bezig met het gebruik van technologie. Gevolgen daarvan en met name vanuit het perspectief van de relatie overheid-burger. Ja, en we hadden begrepen dat je ook een best wel hele mooie prijs gewonnen hebt. Zou je daar iets over kunnen vertellen? Ja, ik werk als adviseur, ben net partner geworden bij Hoog Hiemstra & Partners, maar daarnaast ben ik ook verbonden aan de Radboud Universiteit in Nijmegen, waar ik ook gestudeerd heb. Dus het voelt wel echt een beetje als thuiskomen, dat ik daar nu mag zitten. Ik kreeg de Hermesdorf-Velenprijs uitgereikt in 2021. En dat is heel bijzonder. Hermesdorf was een rector in de Tweede Wereldoorlog en hij is eigenlijk een van de lokale helden. Hij heeft ervoor gezorgd dat toen de bezetters vroegen om verklaringen van studenten, dat ze het eens waren, dat ze loyaal waren aan de bezetters. Hij heeft de rector gezegd, ik ga dat niet aan mijn studenten vragen. En die heeft besloten dan de universiteit maar te sluiten. En dus Hermesdorf staat symbool voor lev hebben en voor je principes staan. En ineens vond de bestuur dat ik daar als talent ook onder viel. En dat is echt ongelofelijk mooi, want zeker in het begin dat ik mijn onderzoek deed, dat is in 2013 of zo ben ik begonnen met het studeren van geautomatiseerde uitvoering van taken bij de overheid. Daar was echt niemand geïnteresseerd. En zeker juristen niet. Die dachten ja, dat doen computers, dat zit allemaal wel goed. Er zit wel snor en ik breek me daar in ieder geval de bek niet over. Echt twisting, ga ik mijn hoofd niet overbreken? Dus ik ben er heel erg blij mee. Ja, het lijkt me een fantastisch compliment dat je dat krijgt. Ja, leuk. En we gaan het vandaag ook al hebben over je proefschrift, over geautomatiseerde ketenbesluiten. Ontzettend interessant proefschrift, moet ik zeggen. Ik was begonnen aan het proefschrift met het idee van, nou, ik lees de samenvatting en dat moet voldoende zijn voor de podcast. Maar ik kon eerlijk gezegd niet stoppen met lezen, omdat er kwamen steeds meer vragen naar boven. Dus ik heb hem nog niet helemaal uit, maar ik ben behoorlijk geforderd. Ja, het is in die zin wel echt een aanrader voor mensen die iets met dit onderwerp te maken hebben om het wel te lezen. Dus voor mij was het echt, ja, ik werd daarin gezogen en ik hoorde net Niels, voordat wij begonnen, hoorde ik jou ongeveer ook zoiets zeggen. Ja, hetzelfde. Kijk, we praten er in de podcast de afgelopen seizoen over en de impact die je kan maken. Maar ook, ja, hoe moet je er nou echt mee omgaan? Hoe hoor je er mee om te gaan? Wat nemen we voor lief? Ja, echt, het trekt je letterlijk in het artikel. Misschien zitten we lichter bij ons met onze achtergrond erin, maar het is heel fijn om te lezen. Ik werd eigenlijk al getriggerd door een stukje inleiding, hoe die ook geschreven is. De schrijfstijl beviel me ook heel erg, moet ik zeggen. Ik ben wel van die stoffige pillen gewend, waar je dan doorheen akkert. En dit las bijna als een boek. Zo heb ik hem gelezen. Echt, ja. Daar heb ik ook een strijd over gevoerd, omdat ik wilde natuurlijk, of natuurlijk, ik wilde dat mijn proefschrift te begrijpen was voor andere mensen, zeg maar. En een onderdeel toch wel van de wetenschappelijke traditie is het dat je dingen zo ingewikkeld mogelijk opschrijft. Ja, wat dus heel erg uitsluitend werkt, want niemand leest dat dan nog voor zijn plezier of doet alsof ze het voor hun plezier lezen. Terwijl wetenschap moet echt voor iedereen zijn en iedereen moet daar de vruchten van kunnen plukken. Dus ik heb vrij snel wel gezegd tegen mijn promotoren van, ik ga niet schrijven zoals de gemiddelde jurist schrijft. En daar maak ik een halzaak van. Kijk, heel veel dingen moet je gewoon luisteren natuurlijk. Maar hier wil ik wel ruzie over maken als het nodig is. Maar dat was niet nodig en uiteindelijk ben ik er echt heel blij mee. Ja, dat was ook heel duidelijk dat het heel goed leesbaar is. Normaal gesproken behandelen we eigenlijk het AI en het nieuws en dat soort zaken. Maar omdat ik heb zo ontzettend veel vragen, wil ik eigenlijk de tijd gewoon wil gebruiken om het te hebben over je proefschrift als je dat goed vindt. En eens te kijken van, wat heeft dat nou te maken met de huidige stand van de techniek rondom artificial intelligence, machine learning. Je schrijft heel veel ook over algoritmes. Dat is niet alleen maar natuurlijk als besluit in de geautomatiseerde ketenbesluiten. Maar voor ons is dat wel een heel interessant onderdeel daarvan. Ik wilde je vragen om in ieder geval eerst eens even aan te geven van, wat is nou uiteindelijk een geautomatiseerd ketenbesluit? Dat we dat in ieder geval duidelijk hebben. Ja, nou een geautomatiseerd ketenbesluit, dat is een besluit wat geautomatiseerd tot stand is gekomen. Dus op dat moment zelf zit er niet een ambtenaar te wikken en te wegen en een handtekening te zetten, maar de computer die neemt het besluit. En het is een ketenbesluit omdat het besluit van de overheid genomen is op basis van data die niet alleen bij die overheid beschikbaar zijn, maar ook bij andere overheden. Dus door alle basisregistraties en het hergebruiken van informatie is het zo dat eigenlijk geen één overheidsorgaan op zijn eigen gegevens uitsluitend kan bouwen. Moet daar ook allerlei andere databases voor aanroepen. Nou dat is dan een ketenaspect. En het tweede ketenaspect is dat als het besluit is genomen, ook het doorwerkt als gegeven van een gegeven in een database bij andere organisaties van de overheid. En op die manier ontstaat er een keten van beslissingen die eigenlijk bouwen op elkaar en dan ontstaat er een geheel aan rechten of lichten voor burgers. Ja, heb je daar een concreet voorbeeld van? Ja, nou bijvoorbeeld, ik vind het zelf een leuk voorbeeld. Dat is een meneer, daar werd een hennepkwekerij gevonden, dacht men, bij zijn woning. Vervolgens gaat dan een strafzaak lopen, maar komt ook de belastingdienst in beeld. De belastingdienst die gaat kijken hoeveel belasting er valt om te halen. Het mag natuurlijk niet, maar als je dan toch bezig bent, dan moet ook de schatkist daarin geconcuteerd. Dat is het algemene beeld. Nou, dan wordt het inkomen geschat, wat iemand heeft bereikt met al die plantjes. En dan krijg je de aanslag, aanslag inkomstenbelasting. En in dit geval wordt dan dat gegeven ook meteen weer in een basisregistratie inkomensgegevens geplaatst. En dan werkt het alweer verder door. En deze meneer die zei, ik heb helemaal geen plantjes gehad, ik heb al helemaal geen opbrengsten en ik kan dit allemaal niet betalen. En ik heb hulp nodig, juridische hulp, om deze aanslag van tafel te krijgen. Dus ik heb een advocaat op toevoegingsbasis nodig. En dan ga je naar de raad voor de rechtsbijstand en die moet dan gebruikmaken van de basisregistratie inkomensgegevens. En daarin stond dat meneer heel erg vermogend was. Dus hij kreeg toen ook geen advocaat. Dat soort voorbeelden zijn ketenbesluiten. Je hebt zelf kinderbijslag bijvoorbeeld en in bepaalde omstandigheden krijg je dan kindgebonden budget. In Nederland werken we heel erg veel op die manier. Als je bij de ene instantie bekend bent en je hebt daar een bepaald vinkje, dan kan je ook naar de andere instantie gaan. Ja, heel duidelijk. Er zitten natuurlijk ook heel veel voordelen aan de automatisering. Want ik denk dat we het zo direct best wel gegaan hebben over nadelen, wat kan er allemaal gebeuren. Maar er zitten natuurlijk ook voordelen neem ik aan, aan die automatisering. Ja, de voordelen zijn echt gigantisch. En dat hoor ik met name als ik praat met studenten uit andere landen. Bijvoorbeeld Duitsland, waar er nog heel veel op papier is, waar je echt heel veel loketten langs moet om iets te regelen als je gaat verhuizen. En bij ons is dat echt zo, ja we zien het nauwelijks, maar daarachter, verborgen gebeurt er zoveel. Als je krijgt een auto, binnen no time heb je nieuw kentekenbewijs, thuis liggen, dingen gaan wat dat betreft echt heel makkelijk. Vanuit het idee dat als de overheid eenmaal gegevens heeft, dat ze dan niet elke keer bij jou opnieuw mogen opvragen. En dat principe, dat is natuurlijk een heel mooi principe waar we allemaal heel veel profit van hebben. Niet elke keer naar de bekende weg gevraagd wordt. Dus we hebben er heel erg veel voordeel van als je kijkt naar de loonaangifteketen. Dat is de keten die ervoor zorgt dat er ontzettend veel belastingen automatisch in de schatjes komen. En de premies voor allerlei verzekeringen ook in de schatjes komen en dus gebruikt kunnen worden voor de fondsen en voor de uitkeringen. Dat is ongeveer 60% van ons totale budget als land. Dat gaat allemaal geautomatiseerd. Zo, wat had je dan verwacht. Wat me daar meteen in opviel, is omdat wat je net al zei, van zo'n geautomatiseerd besluit houdt nu in dat er geen ambtenaar aan te pas komt. Ik heb altijd geleerd vanuit de AVG dat als er een besluit wordt genomen over jou en dat heeft een significante impact, dat het dan niet geautomatiseerd gedaan mag worden. Hoe zit dat? Ja, dat is echt een misverstand. Dat komt een beetje door het volgende. Het geautomatiseerde besluit, daar mocht je niet aan worden onderworpen als burger. Volledig geautomatiseerde besluiten. Maar Nederland zag het natuurlijk op een gegeven moment heel laat, vind ik. Want dit stond al jaren in de teksten van de AVG. Maar ineens dacht Nederland, oe, dat is voor ons problematisch, want wij doen niet anders dan geautomatiseerde besluiten afgeven vanuit de overheid, maar toch ook in het bedrijfsleven heel veel. En dan biedt de AVG de mogelijkheid om een uitzondering daarop te maken. En dat heeft Nederland ook gedaan. En dat moest echt met bloedspoed, dat moest echt op 25 mei 2018 ingevoerd worden. Want anders dachten ze, wat moeten we dan met al onze boetes, alle geautomatiseerde besluiten die we hebben, zouden dan een probleem worden. Dat kan natuurlijk ook niet. En wat de Nederlandse wetgever heeft gedaan, die heeft de UAVG, de uitvoeringswet AVG, gemaakt. Daar een uitzondering voor gecreëerd voor dit soort beslissingen. Maar niet voor profiling. Dus het is nog steeds wel zo dat je geen volledig geautomatiseerde beslissing op basis van een profiel mag nemen. Maar een volledig geautomatiseerd besluit langs rekenregels. Dus echt een individuele toepassing op jouw situatie, waar dan heel veel van zijn. Dat mag wel. Oké. En dat geldt ook voor het bedrijfsleven? Ja, dat geldt ook voor het bedrijfsleven. Bij het bedrijfsleven staat er dan bij, of voor de overheid geldt, nou ja, je moet natuurlijk wel gaan over kwesties waar je altijd van in bezwaar en in behoed kan gaan. Je kan altijd naar de richter. Nou, ik heb dan in mijn onderzoek aangetoond dat dat niet zo heel veel toevoegt. Dat is het idee van de wetgever geweest. En voor het bedrijfsleven geldt dat dat mag. En daar moet dan het recht op om je te kunnen verdedigen. En dan moet er ook een mens tussen zitten. En die mens is dus pas in de tweede instantie. Oké. Ja, dat was echt nieuw voor mij. Dus dat nemen we in ieder geval alvast mee vanuit deze context. Ja, ik doe op dit moment een onderzoek naar de wetsevaluatie van de UAVG. Dus ik ben dan met name natuurlijk geïnteresseerd in 22 AVG en dan 40 UAVG. En voor 40 UAVG ben ik ook aan het informeren hoe gaat het nou in andere landen. In Noorwegen, ik gebruik heel vaak Noorwegen als voorbeeld, in Noorwegen hebben ze gewoon specifieke wetten gemaakt. Dus de wet waar de Sociaal Verzekeringsbank tot slot aan het werk wordt gezet, in die wet staat dan, jullie mogen geautomatische beslissingen nemen. In de Belastingwet staat dat ook. En in Nederland is dat gewoon in een grote wet opgenomen. Oh ja, duidelijk. Ja, interessant. Nou, we hadden het net over de voordelen gehad. In je proefschrift heb je het ook over een aantal fouten die je ziet. Je gaf net al een voorbeeld. Een toeslagenaffaire is daar denk ik ook wel een voorbeeld van. Wat mij opvalt is van, als je dat dan hebt, dat er eigenlijk best wel, er zouden allerlei, hoe moet je dat zeggen, context omheen moeten zijn waardoor je beschermd zou zijn als burger. Dus als, zeker als het geautomatiseerd of straks een machine learning algoritme een besluit voor jou neemt. Maar in de toeslagenaffaire hebben we natuurlijk gezien dat dat niet eens werkt. Wat is jouw beeld daarbij? Dat heeft echt verschillende oorzaken. Ik denk de belangrijkste oorzaak is dat niemand meer in Nederland het overzicht heeft. En dat betekent niet het overzicht zoals je dat als burger ervaart. Dus als je vanuit de Belastingdienst kijkt en je denkt, nou, iemand heeft niet op tijd stukken ingediend, we gaan het nu even allemaal stopzetten. Nou, dan is dat een deelprocesje. Maar vervolgens kan iemand bepaalde dingen niet meer betalen. Dan wordt dat ook weer een deelproces. Dus we hebben helemaal geen overzicht meer van alle regelingen, hoe die ingrijpen op burgers. Want het grote verschil met landen zoals Amerika is dat in Nederland een heel groot percentage echt afhankelijk is van financiële ondersteuning van de overheid. Dus we hebben echt een sociale welvaartsstaat. Dus toen Amerikanen kwamen over de toeslagenaffaire, ja, dat vind ik vrij ongemakkelijk. Want dan denk ik, ja, jongens, maar wij hebben uitkeringen. En ja, dat is al echt een groot verschil. Dat betekent ook dat mensen dus enorm afhankelijk geworden zijn van de overheid. En ik denk dat we daar heel weinig oog voor hebben gehad. Omdat iedereen vanuit zijn deelproces kijkt. En het tweede is dat ook rechters en ambtenaren ook vaker denken, en zo stap ik zelf ook in elkaar, dat iemand anders er wel over zou hebben nagedacht. Dus je ziet gevolgen van iets en je denkt, nou, kan toch haast niet de bedoeling zijn. Maar dan denk je, ja, wie ben ik om hier anders over te denken? Dat is ook mijn privéopvatting. En als iedereen zo denkt en dat het ook niet van elkaar weet, dan houd je met elkaar iets in stand wat eigenlijk niet meer voldoet aan wat je had bedacht of wat je belangrijk vindt. Dus ja, we zijn heel erg doorgeschoten. Het is super ingewikkeld geworden en niemand overziet het nog. Dus het is eigenlijk heel pijnlijk. Het is een spinnenweb geworden eigenlijk van data die vloeit eigenlijk van het een naar het ander. Waar weer misschien zelfs allerlei transformaties op plaatsvinden. Waar besluiten op worden genomen. Die besluiten die jij al zei, die gaan weer door als nieuwe data naar volgende systemen. Ja, en wat mensen ook, wat ook lastig is, kijk, bestuursorganes, dus de overheid, dat werd vroeger fabrieken genoemd, besluitenfabrieken, beschikkingenfabrieken. En nu worden het dus informatieraffinaderijen genoemd. Omdat ze eigenlijk informatie aan het opwerken zijn, letterlijk aan het verrijken zijn. Dus de focus ligt heel erg op informatie en productie. Dus alles moet gewoon doorgaan. En mensen moeten natuurlijk niet te lang op hun geld wachten. Dus de productie en informatie. En dan komt het ervoor dat soms gegevens in de database zitten waarvan men denkt, oh, maar dat is handig. Dat moet vast naar die andere, verderop in de keten. Dan gebeurt het ook. Terwijl de burger zelf nog geen beslissing heeft gehad. Juridisch is het dan dus nog niks. Want het is pas iets als ik beslissing heb gehad en er zes weken voor lopen, zeg maar, voor de zekerheid. Maar als je werkt vanuit het idee dat het toch data zijn, dan is het natuurlijk heel verleidelijk om te zeggen, oké, doorzetten die data. En dan kom je als een burger echt in een juridisch geheel wereldsvreemd land. Want je gaat dus procederen terwijl er juridisch nog niks is gebeurd. Maar je moet dan wel geld betalen. Dat is heel raar. Vreemd eigenlijk. Ja, lastige dingen. Er komt zo direct nieuwe wetgeving vanuit de EU, zeker op het gebied van artificial intelligence. Daar ligt een concept tekst in ieder geval. Gaat dat hier enigszins invloed op hebben? Gaan we iets verbeteren hierin? Nou, niet specifiek denk ik voor het onderwerp van de proefschrift. Ik denk, ik heb heel goed naar de vorming gekeken, je ziet wel dat dingen zoals wat nu al niet mag. Dat is wat we gehoord hebben recent over de FSV, dus de gouden lijst bij de Belastingdienst. Dat als je daar op stond, dat je niet alleen een probleem had bij de Belastingdienst, maar een tal van andere velden, zeg maar, bij de overheid. Dat zou je kunnen opvatten als social scoring, wat niet meer de verboden praktijk is om de AI-verordening. Opvallend is wel dat alles wat te maken heeft met geautomatiseerde uitvoering van uitkeringen, terugvorderingen, dat soort zaken, komt als een hoog risico te staan in de verordening. Maar de oplossing is natuurlijk heel erg gericht op het product. Waar moet het product dan aan voldoen? Richting CE-markering en NEN-normen. Maar wat er dus niet in de verordening zit, is rechten van burgers. Wat kan je er tegen doen? Hoe kan je het tegen verweren? Waar ligt eigenlijk de grens? Hebben we met elkaar afgesproken wat wel of wat niet mag op het gebied van geautomatiseerde uitvoeringen? Zijn er voorbeelden te verzinnen waarvan je zegt, dat laten we even gewoon nooit aan de computer over. Dat zouden ook vragen kunnen zijn die beantwoord kunnen worden in zo'n verordening. Maar dat is niet gebeurd. En heel opvallend is dat de belastingdiensten daar buiten vallen. De software voor belastingdiensten hebben ze niet onder de verordening geplaatst. Het heeft er mee te maken dat belasting de soevereiniteit van een lid staat. En wapens vallen er ook niet onder. Dus de meest gevaarlijke AI-verplassingen zijn de killer robots. Die vallen er niet onder. En uiteraard omdat ook de verdeling van je land een soeverein kwestie is. Ja, precies. En wat zouden voor jou dan systemen zijn waarvan je zegt, dat zouden we dan eigenlijk niet moeten doen. Als je dat onder die verordening en wat je hebt uitgezocht, zegt van ja maar in die context, daar zouden we eigenlijk niet aan moeten beginnen. Wat ik denk is dat er veel meer bijzaken waarvan je echt weet dat het een uithuisplaats is. Het is een enorme terugvoering. Dus een enorm bedrag waarvan je denkt, dit kan echt een ontwrichtend gevolg hebben. Een hele hoge aanslag opleggen voor de inkomstenbelasting. Dus allerlei bandbreedtes waarvan je denkt, we weten gewoon dat als je deze brief krijgt onder die omstandigheden, dan heb je echt een heel groot probleem. En dat kan zijn. Je kan daar willen ze weten zijn terechtgekomen zijn. En je kan ook een boel gevlesd hebben. Of je bent daar per ongeluk in. Maar die afweging zou je dus bij een mens willen neerleggen. Dus dat je ergens een grens hebt. Dat je zegt van vanaf dat moment ben je niet meer data in een database, maar word je een case die gewoon door een mens moet worden afgehandeld. Ja, dat het gevolg zo ontwrichtend zou kunnen zijn. Dus er staat zoveel op het spel. Dat dat een voorbeeld zou zijn waarvan je zegt, oké, we gaan eerst het voornemeen kenbaar maken. Dus het verdedigingsbeginsel is in andere landen heel gebruikelijk. Dan moet de overheid gewoon eerst laten zien, dit zijn er van plan. Praat maar terug. En daardoor voorkom je dat het dus al gaat werken. Dus dan geef je eerst de gelegenheid om terug te praten. Wat zegt het u? Wat gaat het betekenen? En dan heb je zes weken soort bedenktijd voordat je hem dus weer verder in de keten gaat gooien. Ja, en dan houd ik. Oh, sorry Niels. Het klinkt eigenlijk gewoon als je het erover hebt eigenlijk heel redelijk toch? Dat je dat zou implementeren zoiets. Het is eigenlijk. Ik zit gewoon een beetje zo met mijn gezin mee te luisteren. Eigenlijk is waarom is het er niet? Vraag ik me af. Nou, dat is een hele goeie vraag. Het voelt zo vanzelf. Ja, dat is ook heel bijzonder. Dat dit recht, het verdedigingsbeginsel en dat je van tevoren een voornemeen te zien krijgt, dat is ook iets Europees. Bij bepaalde vormen moeten we dat dus in Nederland doen. Zoals bij het vreemdelingrecht. Dan moet je van tevoren laten zien. Oké, dit gaan we doen. Bij bestemmingsplannen ook. Nou is er een wet, algemeen wet bestuursrecht en die is uit '94. En daar is een uitzondering gemaakt voor financiële besluiten, omdat toen de gedachte was ja, financieel kan je altijd herstellen. Je hebt een keer te veel betaald, je krijgt geld en het is weer oké. Een kapvergunning kan je nooit herstellen. Als die gekapt is, is het gewoon weg. Dus vanuit dat idee werd gedacht, nou voor die financiële besluiten hoeven we dit niet in te voeren. Maar inmiddels weten we dat er natuurlijk zulke ongelooflijk veel connecties zitten, ook in de financiën. Dat als het ene bordje wegvalt, in welke problemen je verder kan komen. Tot aan, nou ja, zoals bij de toeslagaffaire. Kinderen die uit huis geplaatst worden, omdat er gewoon geen geld meer was. Omdat iemand dus ook uit huis geplaatst was. Dus geld is niet iets wat je heel gemakkelijk kunt herstellen. Dus het zou belangrijk zijn als dat wijzigt. En hoe zou je, want uiteindelijk we hebben het net gehad over dat web. Dat is natuurlijk heel complex en moeilijk geworden. Hoe zouden we dat terug, want laat ik er nog aan toevoegen. Ik denk dat dit probleem namelijk niet alleen voor de overheid, specifiek is voor de overheid, maar dit is in het bedrijfsleven natuurlijk precies zo. Ook daar hebben we te maken met ketens. Maar zelfs binnen, bijvoorbeeld misschien een bank of verzekeraar of wat voor bedrijf dan ook, kunnen ook dat soort structuren ontstaan. Dat als er op een gegeven moment ergens besluiten worden genomen, dat je niet meer weet waar de bron zit en hoe je dat zou moeten herstellen. Heb jij daar een idee van hoe we dat zouden kunnen gaan oplossen? Waar zouden ontwerpers van dit soort ketensystemen rekening mee moeten gaan houden? Ik denk met goed vastleggen welke stromen er zijn. En elke keer proberen vast te leggen, oké, we maken gebruik van die en die data, omdat we de definities enigszins vergelijkbaar vinden. Dus je gaat heel veel annoteren bij jouw proces, zodat je niet alleen kunt terugkijken wat was de bedoeling, maar dat je ook naar die concrete set van data kunt kijken. Ik vergelijk dat wel met hoe bijvoorbeeld de dingen in de fabriek geregeld zijn. Je weet dat de processen in de fabriek netjes zijn en goed op elkaar aansluiten, maar er kan altijd iets verkeerds gebeurd zijn in de pijpleidingen, waardoor je in dat één geval ook nog terug moet. Dus je moet eigenlijk beide kanten goed voor elkaar hebben. Dus hoe het hoort in wat je hebt opgebouwd, het ontwerp, welke gegevens, wat zijn de kwaliteitseisen, waar wordt het op gebruikt en waar niet. En dan vervolgens kan je het ook in een individueel geval weer terug gaan. Wat we nu zien is dat eigenlijk in individueel geval wordt heel vaak tegen de burger gezegd van ja, maar ga dan even regelen dat die gegevens goed staan. Dat is heel vaak niet eens het antwoord, dat er dus iets verkeerd is gegaan in het overbrengen van die gegevens. Laatst was er zo'n artikel wat ik gelezen had in de krant van zo'n meisje die een abonnement geweigerd werd bij de NS, waarbij een vorige bewoner een schuld had, waardoor zij uiteindelijk dat abonnement niet kreeg en waarbij de NS uiteindelijk ook verwezen zegt ja, ga maar naar degene waar wij de kredietwaardigheid van jou opvragen. Probeer daar maar je data veranderd te krijgen. Dat doet me hier heel erg aan denken. Dat is een stomheid reactie, dus is ook een prachtig voorbeeld van iemand die de auto parkeerde, gebruik maakte van zo'n parkeerapp om keurige parkeergelden te betalen. Vervolgens kreeg zij een boete. Ze heeft hierover geprocedeerd tot aan de hoger raad, want het was een professor, dus het was haar vakgebied. Dus ze dacht nou, wat is dit? Maar zij had gewoon betaald en toen zei de gemeente ja, nee, u had een dagpas moeten kopen en zij had gewoon gebruik gemaakt van de parkeerapp dat je per gebruikte uur betaalt. Nou, en zij zegt nou, dat is heel raar, want ik zet gewoon die app aan en die gaf dat aan. Nou, wat bleek hele oude regels in het belastingrecht zijn van voor automatisering. Dat als je je auto parkeert, dan moet je uitstappen en dan moet je om je heen kijken of een paar honderd meter lopen om te vergewissen of er geen bord staat. Iedereen zei natuurlijk, ja, hoezo moet ik hier belastingen betalen? Dus de rechter heeft uiteindelijk gezegd, beste, parkeer daar, uitstappen, om je heen kijken. Wat anders is voor gemeente niet te doen. Maar inmiddels is natuurlijk alles gedigitaliseerd. Dus de professor zei van ja, ik mag vertrouwen op de app, want ik hoef niet om me heen te kijken. Ook nog eens een keer. Nou, de gemeente haalde alles uit de kast. Die zei van ja, wat is dit voor? U maakt gebruik van de app, dat is uw eigen verantwoordelijkheid. U had ook naar de apparaat kunnen lopen. Dus toen had, nou, vervolgens zeiden ze dat de appbouwer de verkeerde kaart had ingevoerd. En die kaart was niet rechtstreeks van de gemeente gekregen, maar ook nog van een parkeerbedrijf, wat daar in de parkeergelden inde. Dus inmiddels waren er drie of vier andere partijen hadden een probleem, behalve de gemeente. En dat is wel echt heel kenmerkend hiervan. En zij heeft het dus in tal van publicaties al opgeschreven. Dus ze zag dat nu in het echt gebeuren, dat iedereen zich dan terugdekt. Ja, maar dat is niet ons probleem. Ja, eigenlijk zouden we ook dat soort misschien wel verplichtingen moeten hebben, zoals ze dat in de voedselindustrie hebben. Dat als we ergens een slecht stukje vlees hebben, dat we helemaal terug naar de bron kunnen herleiden van waar kwam dat vandaan. Ik vind zeg maar, wij zijn automatiseerders, AI experts, data experts in het geval van Niels. Je zou in ieder geval als ontwerper en bouwer van dit soort systemen dit als onderdeel moeten maken van je professionaliteit. Maar dat garandeert natuurlijk helemaal niets. Wat zou je denken inderdaad, zouden dat soort dingen te verplichten kunnen zijn? Ja, ik vind dat inderdaad heel erg lastig, want als jurist denk je in het begin nog van je werkzame leven, ja het is toch al een regel in de wet, dus waarom luistert er niemand? En dan blijkt dat er iets moet weer nodig zijn om tot gewenst gedrag over te gaan. Ik vind dat heel erg moeilijk, want een aantal basisdingen zijn toch wel van dat het ook jezelf overkomen en je wil toch ook zelf dat het netjes gaat. Dus waarom neem je dat soort gedachten niet mee als je bezig bent met het maken van een systeem of het opwerpen van een systeem? Dat vind ik al lastig. Soms denk je dat, ik weet vanuit de praktijk, dat wij soms niet eens weten dat je onderdeel bent van een keten. Je krijgt natuurlijk dat je een probleem moet oplossen, een bepaald bedrijfsprobleem. Die wordt natuurlijk zo aan jou gepresenteerd. Dat je misschien de data nog uit een andere bonde krijgt, dat wordt wel heel moeilijk om dat niet te herkennen. Maar of jouw uitkomsten ook nog eens een keer gebruikt worden in een andere keten en vooral eigenlijk de impact van voor tot achter van jouw deeltje in de keten. Ik denk dat dat ontzettend lastig is als ontwerpenbouwer om dat daadwerkelijk goed te overzien. Ja en dan heb je ook nog, stel dat je dat hebt en je hebt het overzien. Bijvoorbeeld je hebt een uitgebreide DPIA gedaan waarbij je helemaal vaststelt wat is de impact van deze verwerking op het leven van de persoon of om wie ze persoonsgegevens het gaat. Dan nog heb je het risico dat eenmaal in gebruik iets totaal anders gebruikt wordt. En dan zeggen ze, heb jij dat? Wat handig, dat kan ik ook nog wel gebruiken. Dat is echt heel handig. Je hebt ook heel moeilijk, je hebt ook allerlei onderdelen bij de overheid die ook werken met allerlei formulieren dat je echt moet instaan voor het feit dat je ze echt alleen gebruikt voor dat waarvoor je ze kreeg. Ja en dan moet je maar hopen dat iedereen zich daaraan houdt en niet allerlei alternatieve oplossingen ervoor verzint. Dat is één ding. Volgens mij bij de data lab zijn ze daar al best wel heel ver mee. Dus dat zou een optie kunnen zijn. Maar de voedselvergelijking vind ik ook heel interessant. Omdat de AI-verordening is heel erg op productveiligheid gebaseerd. En een product is een product, dan is het gewoon klaar. Een lamp bijvoorbeeld. Maar bij AI is dat natuurlijk niet zo. En bij heel veel producten waar AI in zit is het ook niet zo dat je kunt zeggen, oké het is nu op de markt gebracht, het is nu klaar, het is voortdurend geoptimaliseerd en lijkt het dus veel meer op voedsel. Ja want het is altijd in beweging. Het kan zelfs. Ja bij derven. Ja bij derven inderdaad. Er kan gewoon rot in zitten. Dat je zegt, het werkte een aantal maanden geleden. Je kan je voorstellen, daar hebben we alles vaker behandeld. Stel je hebt een of ander model die gaat over gedrag voorspellen van mensen en corona is langsgekomen. Dat model is gewoon zo bedorven dat het niet eens meer houdbaar is. Daar wil je helemaal niks meer mee. Want die wereld heeft zo'n knik gekregen dat je daar iets anders mee moet. Die is misschien nog wel redelijk te herkennen. Maar als dat een langzame verschuiving is, daar moet je ook mee aan de slag. Daar zijn technieken voor. Dat noemen ze data drifting. Zelf kunnen we dat oplossen. Maar wat dat dan weer betekent in de keten, daar heb ik zelf eigenlijk ook nooit mee nagedacht. Jij Niels? Ja ik heb wel met ketenorganisaties te maken gehad. En daar leeft gewoon inderdaad, je weet dat je onderdeel bent van de keten. Maar je hebt geen invloed op verderop in de keten. Dus je kan wel alles meegeven, erover nadenken en zelf de ambitie hebben het goed te doen. Maar op een gegeven moment geef je het uit handen. En de keten samen is eigenlijk verantwoordelijk voor het eindresultaat. En dan heb je geen invloed op. En dan kan je er nog zo goed over nadenken. Maar als er niks gereden is. Daarom zou je ook dat van die voedselketen moeten hebben. Dat je eigenlijk weer forensisch terug kan gaan. Zeggen van als daar iets mis gaat. En dan helemaal terug spoelen. En dan zeggen van ja hier gaat het mis. Het opvallende van ketens is ook dat mensen dus samenwerken. En we weten uit onderzoek dat ketens vooral heel goed werken als bestuurders elkaar mogen. En ook wat gunnen. En anders dan kan je het gewoon shaken. Nou uiteindelijk heb je dus zo'n keten. En dan heb je allemaal vergaders structuren en overleggen met elkaar. Bijna altijd ontbreekt dan een tafel of een werkoverleg. Gevallen die niet goed gaan. En dan echt individuele gevallen. Bij ketens zie je dat dan iedereen weer zich terug trekt op zijn eigen eilandje. Dus waar die samenwerking, waar het allemaal mee begonnen is. In goede tijden werkt het heel goed. Zodra er dus iets gedoe is. Dan trekt iedereen zich weer terug. Ja. Benieuwd naar het vervolg? We hebben met Malice nog langer gesproken. En in deel 2 praten we verder met haar over hoe om te gaan met AI en geautomatiseerde keten besluiten. Abonneer je op deze podcast in je favoriete podcast app en mis geen aflevering. Dank je wel weer voor het luisteren. Tot de volgende keer. Ondertitels ingediend door de Amara.org gemeenschap(Muziek)