S03E06: HBO Data Science & Zwarte lijsten

Niels Naglé en Joop Snijder bespreken in een bite-sized aflevering het nieuws dat ze is opgevallen. 

Links

• Kamerbrief bij PwC-rapporten FSV: MKB en query's aan de Poort

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

0:00

Deze aflevering is weer een bite-sized aflevering. Lekker kort. Niels en ik bespreken wat ons is opgevallen in de nieuws. Veel plezier. Zo, zijn we weer Joop. Tijd voor een nieuwe bite-sized aflevering. Ja toch? Weer even lekker kort, maar wel over het nieuws wat ons is opgevallen. Wat was jou opgevallen Niels? Ja wat mij opgevallen was dat er steeds meer hoogscholen en universiteiten starten met studies op data science en artificial intelligence. Ik was gisteren op een conferentie met een collega waar we een stukje over data ops hebben mogen presenteren en daar was ook in dit geval hoogschool Rotterdam aanwezig met een leuke talk over ethiek en dat meenemen in de oplossingen bij data science en machine learning. En ook daar zijn ze bezig met het opzetten van een studie waar ook het hele stukje responsibility en ethiek, ja dat wordt dat wordt gewoon gemeengoed in de opleiding. Dus dat is wel heel erg goed nieuws dat dat steeds meer in Nederland plaatsvindt. Dat is zeker goed nieuws. Ja dus ik was erg blij om dat online te zien en ook in de presentaties ook naar voren kwam. Ja dat die diversiteit, die responsibility en dat de studenten dus opgeleid worden, of het nou wel of niet in hun rol of vakgebied, of een rol misschien in het begin is, om die ethische vraag te blijven stellen van god er wordt mij nu gevraagd om een bepaald model te gaan maken. Om daar met de verschillende pattern op en perspectieven te kunnen, de sessies te gaan organiseren. Moeten we dit willen? Zo ja hoe? Wat is de impact? Om dat eigenlijk mee te nemen in de opleiding. Ja wat ik ook verheugend vind is dat je ook zegt dat het een hogeschool is, HBO. Ja. Wat we natuurlijk in het verleden veel hadden zijn masterstudenten die van universiteiten afkomen. Maar het feit zeg maar dat het nu zo belangrijk gemeengoed wordt, dat het ook in HBO studies naar voren komt. Ja daar ben ik heel blij om weet je. Aan de ene kant hebben we de research heel erg nodig, maar hebben we ook de praktijk nodig. De HBO's zijn iets meer op de praktische invulling. Die combinatie is goud. Ja ja en dan pakken ze ook gelijk nog een stukje in de studies mee over data engineering. Zodat ook dat soort zaken en hoe ga je met CI/CD en de software kanten van. Ja echt een stap waar we in de uitvoer dat als basiskennis mee gaan krijgen de komende jaren. Het is natuurlijk even wachten of ze ook de lichtingen eruit gaan rollen. Maar ja als dat nu niet gebeurt dan zijn we al te laat. Eigenlijk zijn we nu al te laat, maar het is goed dat het nu gebeurt. Ja fijn fijn. Ik weet dat ze in Den Bosch hadden ze al een opleiding hiervoor. Ik heb ook gehoord dat Den Haag gaat starten als ik het goed heb. Rotterdam er nu bij. Wie weet welke hogescholen er nog meer bij dit soort initiatieven aansluiten. Ja alleen maar goed nieuws. Zeker. Heerlijk heerlijk nieuws. Echt top. En jij Joop wat is jou opgevallen in het nieuws? Nou ik heb iets dan iets minder gezellig en leuk nieuws. Er is een brief gekomen van de staatssecretaris van Financiën, Marnix van Rij, als ik het even uit mijn hoofd doe. Die heeft een brief geschreven aan de Tweede Kamer na aanleiding van de rapporten die PwC heeft opgesteld. Ook weer over de zwarte lijsten die er nu zijn bij de Belastingdienst. Mensen zijn ongewild op zwarte lijsten gekomen. Daar was het ook niet duidelijk van dat ze erop stonden. Laat staan hoe ze erop zijn gekomen. Met grote consequenties. En onze gast Marlies van Eck van een aantal afleveringen geleden die postte daar ook over. Zij heeft een scriptie natuurlijk geschreven over geautomatiseerde besluiten binnen de overheid. En zij had hier ook al vragen over gesteld. Waarbij ze heel vaak het antwoord kreeg van de bedrijfsjuristen van de achteren. Dit is toch maar eenvoudige machine learning. Oftewel weet je, wat kan er misgaan? En als je dan in die... Ja, eigenlijk moeten we er niet op lachen natuurlijk. Eigenlijk moeten we erom huilen. Maar goed, we kunnen er maar beter om lachen. Het is echt dramatisch. En dan echt waar, op de eerste pagina van de brief. En ik ga het je gewoon letterlijk voorlezen. Dat ik het niet verkeerd weergeef. Is, daar zegt de staatssecretaris, die zegt, voordat ik in deze brief nader inga op de conclusies van PwC, hecht ik er aan te benadrukken dat de Belastingdienst alleen die gegevens in zijn selectieprocessen dient te gebruiken die aan toonbaar relevant en objectief gerechtvaardig zijn om te kunnen controleren of de fiscale wet en regelgeving op de juiste manier is toegepast. Voor de Belastingdienst geldt hier als overheidsorganisatie een hoge norm. Selectie kan nooit plaatsvinden op karakteristieken van de belastingbeplichtigingen die niet relevant zijn. Wat zij gevonden hebben, ik sla een heel klein stukje over, zijn vermeldingen van nationaliteit en handleidingen. En een daderprofiel vindt die onacceptabel en moreel verwerpelijk. Het blijkt dus dat ze dingen hebben meegenomen als nationaliteit. Of jij wel of niet een gift hebt gedaan aan een moskee. Er zitten allerlei data, zeg maar is er gekozen als features voor de modellen, die gewoon een garantie zijn op discriminatie. We hebben verschillende podcasten gehad over hoe je bias detecteert, wat je er mee moet, hoe je aan fairness komt. Luister ze terug zou ik zeggen. Maar één van de dingen is, hier is gewoon een keuze gemaakt om te discrimineren zou ik zeggen. Dat is bijna mijn conclusie, dat staat er niet. Maar dit is garantie. Je neemt dingen mee waarvan je weet dat het problemen gaat opleveren. En ik blijf dan te hopen dat het onbewust onbekwaam is. En dat het niet bewust onbekwaam is. Want anders dan zijn we wel ver van het padje. Maar blijkbaar hebben we nog niet de gebruikersgroep aan de podcast gekozen in Sint-Joop. Dus we hebben daar nog wat werk te doen om ook die mensen te bereiken. Dat is echt heel erg. En jij bent dan optimistischer blijkbaar dan ik, maar ik iets minder. En ik wil je nog twee stukjes voorleggen. Dit gaat over maken van keuzes. In onze vorige podcast zeggen we, weet je, in je ontwerp moet je heel goed nadenken waar wil je op optimaliseren? Wat wil je ermee bereiken? Wat is je doel? Allemaal dat soort zaken. Dat kan je niet automatiseren. Dat past in geen enkel proces. Dat heeft te maken met je cultuur en normenwaarde. Ja, toch? Dat soort zaken. Maar goed, komen we bij de volgende twee punten. En dan laat ik het er ook bij. Ik ben boos genoeg. Een van de conclusies is beslisregels en de handelswijze van de Belastingdienst waren niet vastgelegd, niet gearchiveerd, niet herleidbaar en niet reproduceerbaar. Dat is een van de redenen waar we het in onze vorige podcast over hebben gehad met MLOps, dat dat gewoon onderdeel van je geautomatiseerd proces is. Ik bedoel, dit is bijna een keuze om amateuristisch aan de slag te gaan. Ja, maar hoe kan je dit niet afleveren? Onze vorige aflevering is professionaliseren van machine learning modellen met MLOps en dan zeggen we, dit hoort er allemaal bij. Als je professioneel bezig bent met machine learning, horen dingen erbij als herleidbaarheid, reproduceerbaarheid en dat je gewoon de beslissingen vastlegt. Dus hier zeggen we eigenlijk, het is gewoon onprofessioneel gedrag. Onprofessioneel uitgevoerd. Dit is gewoon niet goed omgaan met de technologie. En dan echt de laatste. Er staat een reconstructie van de selectiegronden en motivatie binnen queries en analyse aan de poort. Valt volgens PwC niet te maken. Toegepaste selectieregels zijn in werking niet meer op sluitende wijze te reconstructeren. Hier zeggen ze ook eigenlijk, er zijn besluiten genomen. We weten niet op basis waarvan. We kunnen niet herleiden welke regels daaraan de grondslag hebben gelegen. Welke versie van de regels en of dit, zeg maar, menselijke besluiten zijn geweest, geautomatiseerde besluiten en op basis van welke data. Nou, dan heb je zeg maar je traceerbaarheid op alle punten niet in orde. Ja, als we dan toch weer terugkijken naar de vorige aflevering over MLOps. Datgene wat wij verstaan van professioneel MLOps en professionele development is dat gewoon een necessity onderdeel van het product wat je oplevert. Zijn al die punten die hier eigenlijk ontbreken. Ja. Ja, je zei net optimistisch, maar ja, ik ben eigenlijk een rasoptimist. Ik probeer altijd wat positief aan te zien, maar ik word hier toch richtelijk negatief van. Ik ga de rest van het rapport ook niet lezen. Weet je wat, ik ga hem wel lezen. Ik wil het toch weten. Maar ja, vrolijk ga ik er niet van horen als ik het zo hoor. We zullen in ieder geval eventjes de brief opnemen in de beschrijving van de podcast. Dan kun je dat inderdaad even nalezen dat ik dat op de juiste manier heb voorgelezen. Ja, nog een vraag die ik dan heb. Staat hier ook in wat ze eraan gaan veranderen? Nou, het is vooral eigenlijk inderdaad allerlei acties en maatregelen. Een van de eerste maatregelen blijkbaar die ze genomen hebben is dit systeem uit productie, dat die uit productie is gehaald. Maar ik ben bang zeg maar dat dit natuurlijk, weet je, dit gaat verder dan alleen maar maatregelen nemen op het toepassen van deze technologie. Ik bedoel, de technologie is wat mij betreft niet het probleem. Hoe zijn ze hiermee omgegaan? Weet je, jij noemde het nog onbewuste keuzes. Ik denk welke bewuste keuzes hebben ze gemaakt? Zeg van, nou ja, hier willen we op selecteren en daar gaan we mee aan de slag. En dat er niemand ergens bedacht heeft van, ja, maar we zullen toch ergens uitleg moeten kunnen geven waarom iemand op een zwarte lijst is komen te staan. Ja, dat zegt iets over de cultuur. Nou ja, ik zat er niet in. Daar moet je eerst maar eens mee begonnen worden, toch? Ja, we hebben het de vorige aflevering ook gezegd. Het zit zoveel in de cultuur en elkaar die vragen stellen en elkaar kritisch de vragen durven te stellen. Inderdaad, hoe gaan we dit verantwoorden? Wat vinden we van deze kwaliteit? Ja, dus kijk, er zitten dingen in als een interne dialoog, dat gebruik van nationaliteit op dit soort dingen niet meer mag. Verdere compliance in de processen, documentatie, allemaal dat soort dingen. Maar ik denk uiteindelijk dat het gaat over mindset en toezicht. Volgens mij horen ze formeel, maar goed, dan geef ik me een beetje op een glad ijs. Maar volgens mij hoort er formeel wel toezicht opgehouden te worden. En als dat ook niet gebeurt, dan maakt het ook allemaal niet uit wat er gedaan wordt. Ja, en mijn persoonlijke ervaring is in dit soort veranderingen bij data ops en ops, waarbij cultuur een belangrijk onderdeel is, is het dus dat het stukje educatie echt een ondergeschoven kindje is. Gewoon met elkaar de kennis opdoen van hoe moeten we hiermee omgaan? Ja, dat wordt gewoon te weinig gedaan en er wordt ook te weinig tijd voor gepakt. Alsjeblieft, educeren, educeren. Ja, en om even naar een wat hoger niveau te tillen, want ik wil niet bashen op de op de belastingdienst, want dat is heel makkelijk. Dit gebeurt gewoon… Is een voorbeeld. Ja, je loopt makkelijk in deze valkuil, dat je denkt van ja, we willen een model, die moet dit probleem oplossen. We gaan ermee aan de slag. En je vergeet eigenlijk alle zaken die er omheen gedaan moeten worden om dit op een goede manier en op een moreel verantwoorde manier aan te pakken. Dus het is echt niet… Het is heel makkelijk om nu te schieten op de belastingdienst. Zij hebben de tussen aanhalingstekens pech dat het heel zichtbaar is en de mensen die dit treft hebben een nog veel grotere pech dat ze daar ontzettend veel last van hebben. Maar dit gebeurt ook ongezien bij andere bedrijven, misschien net zo grote schaal of kleinere schaal. Dus dat professionaliseren is gewoon een heel belangrijk punt. Wat ik in ieder geval mee wil geven aan onze luisteraars, denk eraan en denk vooral niet van, ja, weet je, het model doet het. Daar gaat het om. We hebben even wat in elkaar gesleuteld. Bij professioneel machine learning bouwen horen al dit soort aspecten. Ja, het gaat verder dan de techniek. We moeten even naar buiten kijken. Wat was de impact die we maken? Technisch zijn we heel blij als die af is, maar dan is het nog niet af. Dan hebben we iets waar we de dialoog over kunnen aangaan en vervolgens moeten we overheen itereren om dat professioneel in te kunnen zetten. We moeten nu inderdaad die volgende stap met elkaar moeten maken om van de techniek wat dan werkt door te gaan naar een continue ontwikkeling. Ja, en als we dan draaien naar goed nieuws, dan is het in ieder geval dat door dit soort dingen die naar buiten komen er hopelijk ook echt een bittere noodzaak ontstaat om dit gewoon beter aan te pakken. Ja, volgens mij hebben we dit soort verhalen ook nodig om elkaar te zeggen van "hé, maar we willen dat niet hier hebben, want als we dit soort voorbeelden niet hebben, dan zien we ook de verandering niet. Dus het is noodzakelijk dat we het hier wel met elkaar over hebben zonder dat de bedoeling is om te blijven bashen inderdaad. Ja, precies. Mooi! Dat was hem. Tot de volgende! Yo! Hoi hoi! Tot de volgende keer!..