S05E14 - Kijkje achter de schermen van het Algoritmeregister

In deze aflevering duiken we in het Algoritmeregister, een initiatief om algoritmes binnen de overheid inzichtelijk en toegankelijk te maken voor het publiek.  Roos Labberton-Groenenveld, UX/CX Designer neemt ons mee in haar zoektocht naar de beste gebruikerservaring van het register.

We bespreken de doelgroepenanalyse, het gebruikersonderzoek en de uitdagingen en kansen binnen dit project om meer transparantie en controle te bieden aan burgers, politiek-bestuurlijke partijen en andere betrokken stakeholders.

Luister mee en ontdek hoe dit initiatief zich blijft ontwikkelen om beter in te spelen op de behoeften van de samenleving en het belang van transparantie en toegankelijkheid van algoritmes binnen onze maatschappij.

Links

• Algoritmeregister van de Nederlandse Overheid - Het Algoritmeregister is een initiatief om algoritmes zo goed mogelijk inzichtelijk te maken en te verzamelen zodat ze publiekelijk toegankelijk zijn. 

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,000 --> 00:00:09,000
Hoi, leuk dat je weer luistert naar een nieuwe aflevering van de EOTD Live.

2
00:00:09,000 --> 00:00:14,000
Vandaag hebben we te gast Roos Labberton-Groeneveld. Leuk dat je aanwezig bent.

3
00:00:14,000 --> 00:00:17,000
Mijn naam is Joop Snijder, CTO bij Aigency.

4
00:00:17,000 --> 00:00:21,000
En mijn naam Niels Naglé, Chapter Lead Data & AI bij Info Support.

5
00:00:21,000 --> 00:00:23,000
Ja, leuk.

6
00:00:23,000 --> 00:00:25,000
Ja Roos, leuk dat je er bent.

7
00:00:25,000 --> 00:00:29,000
Zou je jezelf even kunnen voorstellen aan de luisteraars?

8
00:00:29,000 --> 00:00:40,000
Ja, zeker. Mijn naam is Roos. Ik woon in Utrecht met mijn gezin en ik ben al een jaar of 15 bezig met informatieanalyse en gebruikerservaring.

9
00:00:40,000 --> 00:00:49,000
En in die rol ben ik nu ook werkzaam als UX-designer en UX-researcher, oftewel gebruikerservaringsdeskundige.

10
00:00:49,000 --> 00:00:59,240
Ja, en misschien vragen onze kijkers zich nu af van wat doet een UX, gebruikerservaringstestkundige in deze podcast over AI?

11
00:00:59,240 --> 00:01:03,640
Nou, dat kan ik uitleggen, want ik had namelijk een heel interessant artikel van jou gelezen, Roos,

12
00:01:03,640 --> 00:01:08,280
over hoe jij gekeken hebt naar het algoritmeregister.

13
00:01:08,280 --> 00:01:15,240
Ik denk dat de meeste luisteraars van ons dat wel kennen, maar zou jij misschien uit kunnen leggen wat het algoritmeregister is?

14
00:01:15,240 --> 00:01:25,240
Ja, zeker. Het algoritmeregister is een van de drie trajecten die op dit moment worden uitgevoerd vanuit de werkbrief Digitalisering.

15
00:01:25,240 --> 00:01:35,240
Waarbij bij het algoritmeregister het traject het doel is om algoritmes zo goed mogelijk inzichterlijk te maken en in beeld te brengen en te verzamelen.

16
00:01:35,240 --> 00:01:38,240
Zodat het publiekelijk toegankelijk is.

17
00:01:38,240 --> 00:01:47,240
En jij als deskundige juist op het gebied van het gebruik, hebt daar naar gekeken toch?

18
00:01:47,240 --> 00:01:52,240
Zeker, eigenlijk is het niet alleen kijken, nou vooral niet kijken trouwens.

19
00:01:52,240 --> 00:01:59,240
We zijn in 21 december 2022 live gegaan met het register.

20
00:01:59,240 --> 00:02:07,240
En daarbij hebben we eigenlijk gezegd, we gaan nu alvast live, terwijl dat register nog heel erg in ontwikkeling is.

21
00:02:07,240 --> 00:02:15,880
Sterker nog, dit is de eerste versie, maar we vinden het heel belangrijk dat we dat open en transparant beschikbaar maken.

22
00:02:15,880 --> 00:02:24,520
Juist met het idee, ook met de boodschap, we zijn open aan het ontwikkelen en we willen dat algoritmeregister vanaf nu doorontwikkelen.

23
00:02:24,520 --> 00:02:36,120
En vanaf die slag ben ik gaan meekijken naar waar liggen kansen en waar liggen mooie stukken die we kunnen doorontwikkelen,

24
00:02:36,120 --> 00:02:38,120
of die we willen aanpassen.

25
00:02:38,120 --> 00:02:41,120
Dus dat is dan echt al zo vroeg mogelijk live gegaan...

26
00:02:41,120 --> 00:02:44,120
om de feedback cycle al een beetje op te kunnen starten?

27
00:02:44,120 --> 00:02:51,120
Ja, zeker om de aller verschillende gebruikers die we hebben te betrekken.

28
00:02:51,120 --> 00:02:55,120
En ook omdat we, net als de meeste mensen weten,

29
00:02:55,120 --> 00:02:59,120
je kan niet in één keer iets neerzetten wat perfect is of wat af is.

30
00:02:59,120 --> 00:03:02,120
En we willen ook niet waterval ontwikkelen.

31
00:03:02,120 --> 00:03:08,480
Dus dat je zegt van nou we werken een jaar lang aan de hele visie die we hebben voor het jaar erna ofzo.

32
00:03:08,480 --> 00:03:12,120
En dan zetten we een groep ontwikkelaars drie maanden aan het werk en dan is het klaar.

33
00:03:12,120 --> 00:03:14,960
Nee, want dan ben je gewoon niet in contact met je gebruikers.

34
00:03:14,960 --> 00:03:18,360
En wie zijn de gebruikers van het algoritme register?

35
00:03:18,360 --> 00:03:20,760
Ja, dat is een hele goede vraag.

36
00:03:20,760 --> 00:03:24,560
Daar begon eigenlijk ook mijn vraag en mijn werk.

37
00:03:24,560 --> 00:03:29,560
Hoe kunnen we nou dat algoritme register zo goed mogelijk maken?

38
00:03:29,560 --> 00:03:31,720
de beste versie maken van dat register.

39
00:03:31,720 --> 00:03:35,400
Dat doe je door de link te maken naar de gebruikers.

40
00:03:35,400 --> 00:03:37,000
Voor wie doe ik het eigenlijk?

41
00:03:37,000 --> 00:03:40,700
En omdat daar heel veel antwoorden op kwamen van wie zijn mijn gebruikers,

42
00:03:40,700 --> 00:03:43,940
om me heen hebben we gezegd vanuit het projectteam

43
00:03:43,940 --> 00:03:46,200
van we willen eigenlijk een doelgroepenanalyse.

44
00:03:46,200 --> 00:03:50,800
Dus wie zijn de beoogde doelgroepen voor deze applicatie?

45
00:03:50,800 --> 00:03:53,800
En die analyse hebben we vrij uitgebreid gedaan.

46
00:03:53,800 --> 00:03:58,000
En daar zijn een stuk of negen hoofddoelgroepen uitgekomen.

47
00:03:58,100 --> 00:04:05,100
Denk aan de burgers, maar ook aan politiek-bestuurlijke partijen, maar ook aan de toezichthouders,

48
00:04:05,100 --> 00:04:10,500
een groep journalisten, een groep specialisten, een groep maatschappelijk betrokken organisaties.

49
00:04:10,500 --> 00:04:14,100
Dat is nogal een diverse groep aanbieden.

50
00:04:14,100 --> 00:04:16,500
Die burger had ik natuurlijk wel bedacht.

51
00:04:16,500 --> 00:04:23,100
De toezichthouder ook wel, maar die anderen die zaten niet direct op mijn radar inderdaad.

52
00:04:23,100 --> 00:04:27,700
Nee, ik kon nog wel even doorgaan, maar ik vind dit inderdaad, dat geeft wel een beetje gevoel van.

53
00:04:27,700 --> 00:04:30,700
En die doelgroepen overlappen natuurlijk ook voor een deel.

54
00:04:30,700 --> 00:04:35,200
En waar we dan heel erg naar kijken ook is, heeft het nog zin om het verder te gaan specificeren?

55
00:04:35,200 --> 00:04:40,200
Of zijn het eigenlijk eenzelfde soort gebruikers die eenzelfde soort informatiebehoeften hebben?

56
00:04:40,200 --> 00:04:46,000
Ja, en wat ik me dan gelijk afvraag is, bij die analyse is de informatiebehoefte bekeken,

57
00:04:46,000 --> 00:04:49,800
maar ook hoe mensen zich die informatie kunnen consumeren.

58
00:04:49,800 --> 00:04:52,600
Misschien dat de ander het andere consumeert dan de ander, is dat meegenomen?

59
00:04:52,600 --> 00:04:56,600
Zeker, zeker. Ja, even kijken.

60
00:04:56,600 --> 00:05:00,560
Ja, het gaat dan bijvoorbeeld om...

61
00:05:00,560 --> 00:05:05,320
Als je een algoritmeomschrijving hebt, dan zit daar best wel veel metadata achter, noemen we dat.

62
00:05:05,320 --> 00:05:09,320
Dus verschillende velden die omschrijven wat voor algoritme wij naar kijkt.

63
00:05:09,320 --> 00:05:12,840
Dus wat is het doel van dat algoritme? Wat is het inzet?

64
00:05:12,840 --> 00:05:16,200
Wat is het juridische kader? Wat is de wettelijke grondslag?

65
00:05:16,200 --> 00:05:19,280
En ga zomaar 35 termen door, zeg maar.

66
00:05:19,280 --> 00:05:21,440
Dus dat gaat heel erg over die informatie consumeren...

67
00:05:21,560 --> 00:05:27,760
En daarover zijn we heel erg nu aan het kauwen van hoe kun je dat nou behapbaar maken voor die verschillende groepen.

68
00:05:27,760 --> 00:05:34,920
En dat is eigenlijk gekoppeld aan wie zijn dan je doelgroepen vervolgens weer.

69
00:05:34,920 --> 00:05:40,640
En je kan het heel erg plat slaan door te zeggen je hebt burgers aan de ene kant, die praten niet zo technisch.

70
00:05:40,640 --> 00:05:44,320
En je hebt een specialist aan de andere kant en die weten waar ze het over hebben, zeg maar.

71
00:05:44,320 --> 00:05:44,920
Ja.

72
00:05:44,920 --> 00:05:46,440
Heel plat is dat.

73
00:05:47,520 --> 00:05:52,280
Nou, en ik was vooral getriggerd door jouw onderzoek juist bij die burgers.

74
00:05:52,280 --> 00:05:56,440
Dus ik denk dat de specialisten weten wel redelijk hun weg te vinden.

75
00:05:56,440 --> 00:06:01,160
Die kunnen misschien ook omgaan met wat moeilijkere termen.

76
00:06:01,160 --> 00:06:07,000
Je had een onderzoek, twee keer een gebruikersonderzoek gedaan met burgers, toch?

77
00:06:07,000 --> 00:06:14,600
Ja, zeker. Dat was in een fase van het onderzoek doen eigenlijk, waarin je je empathize,

78
00:06:14,600 --> 00:06:16,600
Je gaat je inleven in je gebruikers.

79
00:06:16,600 --> 00:06:19,600
Dus je wilt eigenlijk alles weten over een specifieke doelgroep.

80
00:06:19,600 --> 00:06:23,600
Dus uit die negen doelgroepen die ik net een soort van opzwomde, daarvan zeiden we van

81
00:06:23,600 --> 00:06:25,600
nou de burger, daar willen we mee beginnen.

82
00:06:25,600 --> 00:06:28,600
We hebben ook een aantal die we heel snel daarna willen.

83
00:06:28,600 --> 00:06:31,600
Dus maatschappelijke organisaties en de toezichthouder.

84
00:06:31,600 --> 00:06:35,600
Maar die burger, dat was er eentje waarvan we zeiden van nee, je moet in elk geval voor een burger

85
00:06:35,600 --> 00:06:38,600
een gebruiksvriendelijke duidelijke website hebben.

86
00:06:38,600 --> 00:06:40,600
Dus die moet aansluiten bij je burger.

87
00:06:40,600 --> 00:06:49,240
En dan ga je, als je gaat inleven in je gebruiker, dan ga je dus heel erg kijken naar welke behoeften

88
00:06:49,240 --> 00:06:52,880
heeft hij of zij, welke vragen heeft hij, wat is het kennisniveau.

89
00:06:52,880 --> 00:07:01,280
Even kijken, ja, hoe kan ik, ja, dus eigenlijk van wat speelt er bij die gebruiker, welk

90
00:07:01,280 --> 00:07:04,960
probleem zit daar, of welke vraag, zodat je kan aansluiten met je applicatie.

91
00:07:04,960 --> 00:07:06,960
En dan kan je dus gaan aanpassen daarnaar.

92
00:07:06,960 --> 00:07:09,960
En hoe ben je aan de burgers gekomen?

93
00:07:09,960 --> 00:07:14,960
Ja, daar hebben we over nagedacht. Wat is nou een goede locatie om mensen te gaan opzoeken?

94
00:07:14,960 --> 00:07:20,960
Je kan het heel groot aanpakken met een respondentenbureau en een groot UX-onderzoek opzetten, zeg maar.

95
00:07:20,960 --> 00:07:24,960
Dat kost heel veel tijd en heel veel geld, denk ik ook.

96
00:07:24,960 --> 00:07:28,960
En wij hebben gezegd van, nou, we willen eigenlijk gewoon informatie ophalen,

97
00:07:28,960 --> 00:07:32,960
want we weten nog heel weinig over de burger in relatie tot het algoritmeregister.

98
00:07:32,960 --> 00:07:34,960
Dus we gaan dat heel erg kwalitatief onderzoek doen.

99
00:07:34,960 --> 00:07:38,960
Dus dat is gewoon naar de mensen toe en daar naar ze luisteren.

100
00:07:38,960 --> 00:07:41,960
Vertel, wat weet jij over algoritmes?

101
00:07:41,960 --> 00:07:43,960
Weet jij eigenlijk wel wat een algoritme is?

102
00:07:43,960 --> 00:07:45,960
- Ja, en wat was het antwoord?

103
00:07:45,960 --> 00:07:47,960
- Nou, mensen weten dat lang niet altijd.

104
00:07:47,960 --> 00:07:50,960
En als ze het weten, zeggen ze ja, wat YouTube doet.

105
00:07:50,960 --> 00:07:52,960
En dat is eigenlijk wat iedereen ongeveer zegt.

106
00:07:52,960 --> 00:07:56,960
Dus ja, Facebook, YouTube, ik zit in een kanaal of ik zit in een tunnel, zeg maar.

107
00:07:56,960 --> 00:07:57,960
- Oh ja.

108
00:07:57,960 --> 00:08:01,960
- Maar we hebben dus dat gebruiksonderzoek gedacht van we willen de burger benaderen.

109
00:08:01,960 --> 00:08:08,960
En ons leek de bibliotheek een goede plek, want daar komen veel mensen van allerlei soorten herkomst.

110
00:08:08,960 --> 00:08:13,960
Die tijd hebben vaak, ze zijn niet gehaast, zoals op een centraal station ofzo.

111
00:08:13,960 --> 00:08:14,960
Ja, dat is leuk.

112
00:08:14,960 --> 00:08:21,960
Ja, en het was winter dus we willen ook gewoon binnen zijn en niet op straat mensen aanvragen.

113
00:08:21,960 --> 00:08:25,960
Ja, en daar hebben we dus mensen aangesproken eigenlijk.

114
00:08:25,960 --> 00:08:27,960
Heb je heel even de tijd?

115
00:08:27,960 --> 00:08:34,960
Wat waren de reacties op dat algoritme gisteren? Tenminste op de website. Je laat ze de website bekijken toch?

116
00:08:34,960 --> 00:08:41,560
Ja, we doen eerst gewoon even een praatje maken met mensen. Ze zijn toch vaak een beetje zenuwachtig.

117
00:08:41,560 --> 00:08:45,960
Of hebben het gevoel van, je gaat mij testen. Wat is mijn kennis over algoritmes?

118
00:08:45,960 --> 00:08:46,960
Ja, dat is een goede.

119
00:08:46,960 --> 00:08:51,360
Ja, dus dan wil je echt vooral zeggen van, we testen niet jou. We interviewen niet jou.

120
00:08:51,360 --> 00:08:54,960
Maar we zijn heel benieuwd naar hoe jij je verhoudt tot een onderwerp.

121
00:08:54,960 --> 00:08:56,960
In spreektaal.

122
00:08:56,960 --> 00:09:03,640
Ja, eigenlijk vinden ze het dan vervolgens heel erg leuk dat er 20 minuutjes of een half uur naar iemand geluisterd wordt.

123
00:09:03,640 --> 00:09:12,240
En als je iemand hebt die een beetje niet zo spraakzaam is, dan vraagt dat van mij als onderzoeker juist weer heel erg de skills van

124
00:09:12,240 --> 00:09:14,240
hoe krijg ik diegene wel aan het praten?

125
00:09:14,240 --> 00:09:16,240
Ja.

126
00:09:16,240 --> 00:09:22,520
Dan ga je een beetje vertellen of hum, of een beetje geluidjes maken of herhalen wat ze net zeiden, zeg maar.

127
00:09:22,520 --> 00:09:28,880
En zo probeer je van elke burger, van elke mens die je dan spreekt, informatie in haar voren te krijgen.

128
00:09:28,880 --> 00:09:32,880
Je vroeg naar wat ze dan reageren op het afgesloten gisteren.

129
00:09:32,880 --> 00:09:37,880
We doen het dan eerst gewoon praten, van waar sta je eigenlijk, hoe digivaardig ben je?

130
00:09:37,880 --> 00:09:39,880
Dat probeer je dan te achterhalen als onderzoeker.

131
00:09:39,880 --> 00:09:46,880
Maar ook, wat is je kennis van de politiek een beetje, van algoritmes, hoe technisch ben je?

132
00:09:46,880 --> 00:09:49,320
maar ook hoe wereldwijs. Nee, dat zeg ik niet goed.

133
00:09:49,320 --> 00:09:52,440
Hoe kritisch ben je op techniek eigenlijk?

134
00:09:52,440 --> 00:09:55,660
Hoe bewust ben je van de gevaren en zo?

135
00:09:55,660 --> 00:10:00,620
Ja, dus die dingen. Dan heb je een beetje contact gemaakt met iemand

136
00:10:00,620 --> 00:10:03,940
die heeft van alles verteld. En dan maak je op een gegeven moment de overstap naar

137
00:10:03,940 --> 00:10:06,940
"Ik heb een paar schermen voor je, zou je eens willen meekijken?"

138
00:10:06,940 --> 00:10:11,940
En dan zeg je van "Zou je eens alles wat je denkt hardop willen meedenken?"

139
00:10:11,940 --> 00:10:15,980
Dat vraagt wel wat van iemand, om hardop te denken.

140
00:10:16,000 --> 00:10:19,000
Want ook dan weer, zeg ik niet iets doms.

141
00:10:19,000 --> 00:10:26,000
En moeten ze dan zeggen wat ze zien, wat ze begrijpen?

142
00:10:26,000 --> 00:10:28,000
Ze zien zo'n scherm.

143
00:10:28,000 --> 00:10:31,000
Ja, dan zeg ik, nou vertel eens, waar kijk je naar?

144
00:10:31,000 --> 00:10:35,000
Dan zeggen ze, nou ik zie hier heel duidelijk een zoekbalk. Wat fijn is dat?

145
00:10:35,000 --> 00:10:36,000
Bijvoorbeeld.

146
00:10:36,000 --> 00:10:40,000
Of, ja ik vind het heel overzichtelijk, er staat niet heel veel.

147
00:10:40,000 --> 00:10:43,000
Ja, je laat ze echt hard op denken eigenlijk.

148
00:10:43,000 --> 00:10:47,000
En als ze dan niet echt iets zeggen, zeg je nou, vertel eens wat zie je.

149
00:10:47,000 --> 00:10:55,000
Wat me wel lastig lijkt, is omdat je de mensen heb je, nou ja, niet letterlijk van straat getrokken, maar...

150
00:10:55,000 --> 00:11:05,000
zij zijn op zich, ze zijn wel potentiële gebruikers, maar zijn niet misschien op dat moment per se op zoek naar een uitleg over een algoritme.

151
00:11:05,000 --> 00:11:09,000
Ja, daar heb je een heel goed punt, zeg maar.

152
00:11:09,000 --> 00:11:13,000
Dus dan heb je een, we hebben de zoekbalk en daar staat de tekst in.

153
00:11:13,000 --> 00:11:14,000
Waar ben je nou op zoek?

154
00:11:14,000 --> 00:11:18,000
En dan krijgen we dat ook wel terug van twee mensen van ja, maar ik ben niet op zoek naar iets.

155
00:11:18,000 --> 00:11:25,000
Dus wat een UX designer, wat vanuit mijn vakgebied zeg maar, moet je heel erg nadenken van op welk moment,

156
00:11:25,000 --> 00:11:30,000
uit welke situatie komt iemand in dit scherm terecht?

157
00:11:30,000 --> 00:11:36,000
En ja, dat is eigenlijk onderdeel van een grotere puzzel, waarbij we binnen het project bijvoorbeeld

158
00:11:36,000 --> 00:11:40,000
bijvoorbeeld, probeerde de verbanden te leggen naar...

159
00:11:40,000 --> 00:11:43,280
Eigenlijk is het scenario waarschijnlijk dat een burger...

160
00:11:43,280 --> 00:11:46,200
thuis een besluit krijgt van een bepaalde organisatie...

161
00:11:46,200 --> 00:11:48,200
en dat hij zich afvraagt of zij van...

162
00:11:48,200 --> 00:11:51,800
welke gegevens over mij zijn gebruikt om tot deze keuze te komen...

163
00:11:51,800 --> 00:11:53,760
of welke...

164
00:11:53,760 --> 00:11:58,400
Hoezo hebben ze mijn uitkering gekort, ik zeg maar iets.

165
00:11:58,400 --> 00:12:01,920
En hoe kom je dan op dat algoritmeregister terecht?

166
00:12:01,920 --> 00:12:04,200
Want dan heb je een hele specifieke vraag...

167
00:12:04,320 --> 00:12:08,120
naar die van de gemeente Rotterdam over, nou ja, ik weet niet wat.

168
00:12:08,120 --> 00:12:13,480
Dus die slag willen we heel graag maken, maar het gaat ook zo hard als het gaat.

169
00:12:13,480 --> 00:12:17,480
We hebben ook een specialist voor linked data,

170
00:12:17,480 --> 00:12:20,880
dus we proberen echt een link te leggen naar andere bronnen, zeg maar.

171
00:12:20,880 --> 00:12:25,200
Je hebt besluiten van overheid, je hebt regels met overheid.

172
00:12:25,200 --> 00:12:30,680
Je hebt heel veel sites, daar willen we naar linken en verbinding leggen.

173
00:12:31,760 --> 00:12:36,220
Ik heb echt duizenden en een vragen in mijn hoofd.

174
00:12:36,220 --> 00:12:38,220
We beginnen met nummer één.

175
00:12:38,220 --> 00:12:50,340
Waar ik benieuwd naar ben, de mensen die je geïnterviewd hebt, kwamen die ook uit een gemeente die al bijvoorbeeld in het algoritmeregister genoemd wordt?

176
00:12:50,340 --> 00:12:52,960
En kwamen ze die dan ook tegen?

177
00:12:52,960 --> 00:12:57,960
Nee, ja en nee.

178
00:12:57,960 --> 00:13:02,960
De gemeente Utrecht heeft zeker wel algoritmes in het algoritmeregister.

179
00:13:02,960 --> 00:13:05,960
Van de gemeente Den Haag, dat is erg, maar ik weet het niet uit mijn hoofd.

180
00:13:05,960 --> 00:13:09,960
Ik heb net gekeken, daar zit in ieder geval, nu zit daar wel wat voor.

181
00:13:09,960 --> 00:13:11,960
Hoeveel zijn dat er? Ik weet het niet.

182
00:13:11,960 --> 00:13:15,960
Oh nee, het was als nieuw toegevoegde zag ik hem staan, gemeente Den Haag.

183
00:13:15,960 --> 00:13:19,960
Ik had er straks nog even gekeken op het algoritmeregister.

184
00:13:19,960 --> 00:13:25,120
Het was niet voor het eerst trouwens hoor. - Nee, het is echt wel een goed initiatief dat het er is...

185
00:13:25,120 --> 00:13:27,640
en dat we daar steeds meer op kunnen vinden. - Zeker.

186
00:13:27,640 --> 00:13:32,000
En besef hebben van wat er al is en wat er al gebruikt wordt. Wat vaak denk ik ontbreekt ook.

187
00:13:32,000 --> 00:13:35,560
Ja, daar hoor ik graag na de uitzending meer over.

188
00:13:35,560 --> 00:13:38,240
Wat je daarvan allemaal dacht.

189
00:13:38,240 --> 00:13:43,680
De mensen die we aanspraken, die waren inderdaad niet op zoek.

190
00:13:43,680 --> 00:13:46,720
Dus die hadden ook niet zoiets van ik wil iets weten over mijn eigen gelieten.

191
00:13:46,720 --> 00:13:48,960
Dus daar is niet in het bijzonder op gezocht.

192
00:13:48,960 --> 00:13:52,400
Wat er wel bijvoorbeeld naar voren kwam, was iemand die zocht,

193
00:13:52,400 --> 00:13:54,960
ik wil dan weten of de belastingdienst erin staat.

194
00:13:54,960 --> 00:13:56,960
Dus die typt in de zoekbalk belastingdienst.

195
00:13:56,960 --> 00:13:57,960
Ja logisch.

196
00:13:57,960 --> 00:13:59,960
Ja, maar dan krijg je nul resultaten.

197
00:13:59,960 --> 00:14:01,960
Oh, spannend.

198
00:14:01,960 --> 00:14:04,960
De belastingdienst is daar wel mee bezig, ook om aan te sluiten in het algoritmeregister.

199
00:14:04,960 --> 00:14:08,960
Maar bijvoorbeeld de toeslagenafferen komen vanuit de dienst toeslagen.

200
00:14:08,960 --> 00:14:13,960
Dus dit vakgebied is ook zo dat je gaat zorgen dat dingen die voor een mens logisch zijn,

201
00:14:13,960 --> 00:14:20,960
Dat is een op een. Dat dat in de applicatie dan ook wordt gekoppeld aan elkaar.

202
00:14:20,960 --> 00:14:23,960
Dus ze stonden het ook echt in als dienst toeslagen?

203
00:14:23,960 --> 00:14:27,960
Ja, dat is namelijk gewoon de organisatie heet zo.

204
00:14:27,960 --> 00:14:29,960
O, zo ja, natuurlijk ja.

205
00:14:29,960 --> 00:14:34,960
De synonyme en dat soort zaken die zijn wel van belang om het gebruikersgemak daarin te vrogen.

206
00:14:34,960 --> 00:14:39,960
We hebben het in deze podcast ook nog wel eens over de toeslagenaffaire.

207
00:14:39,960 --> 00:14:43,040
Maar dan hebben we het inderdaad over de belastingdienst.

208
00:14:43,040 --> 00:14:44,040
Ja, inderdaad.

209
00:14:44,040 --> 00:14:47,920
Ja, dan weet je bij deze niet helemaal...

210
00:14:47,920 --> 00:14:48,920
Ja, correct.

211
00:14:48,920 --> 00:14:49,920
Rechtificatie.

212
00:14:49,920 --> 00:14:50,920
Ja, ja.

213
00:14:50,920 --> 00:14:55,400
Maar zo komen uit dat onderzoek dus wel heel veel communicatieve wensen.

214
00:14:55,400 --> 00:14:59,920
Dus ze hebben bepaalde inhoudelijke vragen die dan door de mens worden gesteld.

215
00:14:59,920 --> 00:15:02,280
Maar ook functionele wensen komen ervoor.

216
00:15:02,280 --> 00:15:06,040
Zoals die belastingdienst koppelen aan de dienst toeslagen.

217
00:15:06,040 --> 00:15:10,040
Ja, dat kan je dan met text bijvoorbeeld oplossen.

218
00:15:10,040 --> 00:15:18,240
Zo komen er wat mensen, gaven ook aan, twee mensen gaven aan van het zou mooi zijn als ik op mijn eigen regio kan zoeken.

219
00:15:18,240 --> 00:15:21,480
Of als ik kan kijken in mijn straat, wat speelt hier allemaal?

220
00:15:21,480 --> 00:15:26,400
Mooi inderdaad. Welke data wordt er gebruikt voor mijn regio?

221
00:15:26,400 --> 00:15:30,200
Wat voor algoritmes zitten daar weer die gebruik van maken van die data van mijn regio?

222
00:15:30,200 --> 00:15:32,200
Maakt je wel heel tastbaar inderdaad.

223
00:15:32,200 --> 00:15:36,800
Ja, en dat kan een mooie manier zijn om mensen te betrekken bij je applicatie.

224
00:15:36,800 --> 00:15:42,800
Zijn het allemaal AI-machine learning algoritmes die hierin genoemd worden?

225
00:15:42,800 --> 00:15:48,040
Nee, het zijn zelflerende algoritmes en regelgebaseerde algoritmes.

226
00:15:48,040 --> 00:15:49,440
Die ook? - Ja.

227
00:15:49,440 --> 00:15:52,320
O. - Maar ja, dus allebei die twee dingen.

228
00:15:52,320 --> 00:15:54,320
En combinaties daarvan. - O ja.

229
00:15:54,320 --> 00:15:59,880
Ja, dat maakt het natuurlijk voor mensen ook wel lastig om te begrijpen precies wat een algoritme is.

230
00:15:59,880 --> 00:16:04,040
Er wordt inderdaad al heel snel gedacht dat dat gaat over zelflerend.

231
00:16:04,040 --> 00:16:08,520
Maar ik denk dat er inderdaad een heel groot gedeelte niet zelflerend is.

232
00:16:08,520 --> 00:16:09,520
Klopt.

233
00:16:09,520 --> 00:16:14,240
En dat laat ook zien waar we als project ook nu mee bezig zijn.

234
00:16:14,240 --> 00:16:15,240
Wat is eigenlijk de scope?

235
00:16:15,240 --> 00:16:19,040
Welke type algoritmes zetten we wel en niet in het register?

236
00:16:19,040 --> 00:16:22,440
Gelukkig ga ik daar niet over als UX-onderzoeker.

237
00:16:22,440 --> 00:16:31,440
Impactvol of hebben ze invloed op een burger of is het ook voor bedrijven en semi-overheid.

238
00:16:31,440 --> 00:16:35,440
Dus ja, welk type algoritmes en wie zijn de bronhouder van die algoritmes?

239
00:16:35,440 --> 00:16:38,440
Dat soort vragen worden nu heel erg uitgepuzzeld.

240
00:16:38,440 --> 00:16:48,440
Ja, en er is best wel, want dit gaat natuurlijk ook over transparantie, het algoritmeregister.

241
00:16:48,440 --> 00:16:53,320
Welke, misschien is het duidelijke vraag waar je het antwoord niet op weet hoor,

242
00:16:53,320 --> 00:16:58,720
maar heb je een idee zeg maar over wat voor type transparantie we hier over hebben?

243
00:16:58,720 --> 00:17:04,680
Wordt het algoritme uitgelegd? Wordt er ook uitgelegd welke data er gebruikt wordt?

244
00:17:04,680 --> 00:17:06,880
Wordt er ook uitgelegd wat de uitkomsten zijn?

245
00:17:06,880 --> 00:17:13,320
Er zijn natuurlijk allerlei verschillende manieren waarop je kan zeggen, dit is transparant.

246
00:17:13,320 --> 00:17:18,320
Ja, dat klopt. In het projectteam zitten gewoon een boel specialisten.

247
00:17:18,320 --> 00:17:22,320
En er zit ook één iemand bij die echt alles weet over die metadata die geselecteerd wordt.

248
00:17:22,320 --> 00:17:26,320
Die metadata is ook aan verandering onderhevigd.

249
00:17:26,320 --> 00:17:29,320
Het wordt nog steeds bijgesteld en scherper neergezet.

250
00:17:29,320 --> 00:17:32,320
En velden gaan er af die toch niet zoveel toe doen bijvoorbeeld.

251
00:17:32,320 --> 00:17:34,320
De velden komen erbij.

252
00:17:34,320 --> 00:17:39,320
Transparantie zal denk ik eigenlijk voor elke gebruiker weer een andere betekenis hebben.

253
00:17:39,320 --> 00:17:41,320
Misschien is dat je antwoord.

254
00:17:41,320 --> 00:17:47,680
Maar inderdaad, elke algoritmeomschrijving heeft wel een veld voor echt van hoe wordt dit toegepast?

255
00:17:47,680 --> 00:17:52,400
Welke risico's zijn er hier? Is hier een mensenrechtentoets gedaan of niet?

256
00:17:52,400 --> 00:17:55,120
Wat is de wettelijke grondslag?

257
00:17:55,120 --> 00:18:00,480
Ja, dat zijn hele belangrijke karakteristieken, toch?

258
00:18:00,480 --> 00:18:04,240
Ja, welke data wordt gebruikt is zeker ook één van de bronnen.

259
00:18:04,240 --> 00:18:06,920
Ja, mooi. En ook waar de data dan vandaan komt?

260
00:18:06,920 --> 00:18:09,960
Ja, daar is ruimte voor om dat in te vullen.

261
00:18:09,960 --> 00:18:13,520
Maar wat dat betreft zie je ook wel dat het nog een heel erg algoritme, register...

262
00:18:13,520 --> 00:18:16,760
Of ja, hoe zeg je dat, dat veel van de omschrijvingen zijn ook nog echt in ontwikkeling...

263
00:18:16,760 --> 00:18:19,960
en niet alle velden zijn allemaal ingevuld, bijvoorbeeld.

264
00:18:19,960 --> 00:18:22,360
Nee, maar je moet ergens beginnen. - Ja.

265
00:18:22,360 --> 00:18:23,360
Ja.

266
00:18:23,360 --> 00:18:25,840
Ja, mooi initiatief. - Ja, zeker.

267
00:18:25,840 --> 00:18:28,160
Ik denk heel erg belangrijk dat die goed gevuld wordt...

268
00:18:28,160 --> 00:18:31,440
en dat die niet beperkt blijft met wie je hem gaat vullen...

269
00:18:31,440 --> 00:18:34,240
maar dat het eigenlijk belangrijk is dat er gewoon eigenlijk heel veel zaken...

270
00:18:34,240 --> 00:18:37,640
die de maatschappijen raken, erin komen te staan.

271
00:18:37,640 --> 00:18:41,640
Ja, inderdaad. En ook de vulling moet gewoon echt nog op mogen.

272
00:18:41,640 --> 00:18:46,240
We hebben nu 109 algoritmes en dat moet echt een heel stuk meer worden,

273
00:18:46,240 --> 00:18:48,240
zodat het nog meer meerwaarde gaat bieden.

274
00:18:48,240 --> 00:18:53,640
En wat misschien ook wel leuk is, is dat een aantal van de burgers die ik sprak,

275
00:18:53,640 --> 00:18:58,640
zeiden ook van, ja, ik wil niet per se als burger dat algoritmeregister gaan onderzoeken

276
00:18:58,640 --> 00:19:00,640
en gaan testen, want wat weet ik er nou van?

277
00:19:00,640 --> 00:19:05,640
Ik wil juist dat specialistische organisaties namens mij kritisch kijken naar

278
00:19:05,640 --> 00:19:08,120
maar hoe zit het met die transparantie?

279
00:19:08,120 --> 00:19:12,140
Je kan zeggen, daar ligt een rol voor de journalisten en voor de maatschappelijke organisaties...

280
00:19:12,140 --> 00:19:15,820
om namens de burger, zeg maar, heel kritisch te kijken...

281
00:19:15,820 --> 00:19:19,120
en dingen te kunnen vergelijken en aan de kaak te kunnen stellen.

282
00:19:19,120 --> 00:19:22,700
Dus dat is een mooie soort van secondaire bron.

283
00:19:22,700 --> 00:19:26,580
En stel, ik ben als burger, ik ga naar het register...

284
00:19:26,580 --> 00:19:31,420
en ik zie een algoritme die mij raakt, in welke hoedanigheid dan ook.

285
00:19:31,420 --> 00:19:34,700
Staat dan ook bij met wie ik contact op kan nemen...

286
00:19:34,720 --> 00:19:39,160
Als je ergens niet mee eens bent of misschien uitgesloten wil worden of een actie wil ondernemen.

287
00:19:39,160 --> 00:19:42,680
Ja, dat is leuk dat je het zegt met dat uitgesloten worden.

288
00:19:42,680 --> 00:19:45,080
Maar eerst wil ik antwoord geven op je vraag.

289
00:19:45,080 --> 00:19:49,620
Ja, bij elk algoritme staat wie de eigenaar is van dat algoritme,

290
00:19:49,620 --> 00:19:53,720
maar ook waar het algoritme vandaan komt, dus de producent van het algoritme.

291
00:19:53,720 --> 00:19:58,440
Dat is natuurlijk een stukje informatie, we zeggen dat, ICT, software.

292
00:19:58,440 --> 00:20:01,420
Maar er staat ook welke afdeling.

293
00:20:01,440 --> 00:20:07,280
Dus je kan op die manier de route vinden waar je kan klagen.

294
00:20:07,280 --> 00:20:09,220
Of kan vragen. - In ieder geval vragen.

295
00:20:09,220 --> 00:20:11,400
Kan een loket hebben waar je terecht kan.

296
00:20:11,400 --> 00:20:13,860
Het hoeft niet alleen om te klagen. - Het kan ook positief zijn, toch?

297
00:20:13,860 --> 00:20:18,280
Ja, ik ben heel blij met mijn... Nee, dat kan ook zeker.

298
00:20:18,280 --> 00:20:23,080
Dat was uitsluit. - Ja, het uitsluit.

299
00:20:23,080 --> 00:20:26,560
Wat heel leuk was vanuit die burgers, was dat redelijk veel mensen zeiden...

300
00:20:26,560 --> 00:20:30,840
"Oh, groet maar gister. Oh, net zoiets als het Belmen niet registeren."

301
00:20:30,860 --> 00:20:33,600
Dat is echt een begrip geworden.

302
00:20:33,600 --> 00:20:37,220
Omdat ik denk dat het voor heel veel mensen irritant is en speelt.

303
00:20:37,220 --> 00:20:38,940
Dus dan denk je, nou dat ga ik gebruiken.

304
00:20:38,940 --> 00:20:42,400
En vervolgens word je nog steeds wel eens gebeld door bepaalde organisaties.

305
00:20:42,400 --> 00:20:46,520
Want er zitten allemaal natuurlijk, hoe zeg je dat, halletjes onder het gras.

306
00:20:46,520 --> 00:20:49,480
Als je ergens op bel op reageert, mag je weer gebeld worden enzo.

307
00:20:49,480 --> 00:20:53,040
Maar die koppeling naar het Belmen niet-register is wel mooi,

308
00:20:53,040 --> 00:20:58,720
omdat het aangeeft van die burger die wil echt op zijn eigen persoon zeg maar,

309
00:20:58,720 --> 00:21:07,720
invloed hebben op de besluiten die over hem worden genomen of op de algoritmes die op hem worden losgelaten.

310
00:21:07,720 --> 00:21:20,320
Ja, dus wat mensen verwachten, een aantal mensen die ik sprak verwachten dat je hier, je kan inloggen met je DGD en dat je dan kan zeggen

311
00:21:20,320 --> 00:21:22,600
Ik wil niet meer gevolgd worden door de overheid.

312
00:21:22,600 --> 00:21:29,720
Of ik wil niet meer dat de parkeeralgorithmes mij volgen.

313
00:21:29,720 --> 00:21:30,720
Ja.

314
00:21:30,720 --> 00:21:32,320
Ja.

315
00:21:32,320 --> 00:21:35,720
Aan de ene kant eigenlijk wel logisch die associatie.

316
00:21:35,720 --> 00:21:38,520
Ja, de ene register, andere register.

317
00:21:38,520 --> 00:21:40,720
Ik had het zelf niet gelegd, maar nu je het zo zegt eigenlijk.

318
00:21:40,720 --> 00:21:45,120
En ook wel weer logisch, want je wil enigszins invloed hebben op wat gebeurt met mijn data.

319
00:21:45,120 --> 00:21:48,800
En daar iets over willen kunnen zeggen, of je daar recht bij hebt of niet.

320
00:21:48,800 --> 00:21:49,800
Dus een tweede.

321
00:21:49,800 --> 00:21:52,960
Maar daar wil je wel invloed op kunnen hebben inderdaad.

322
00:21:52,960 --> 00:21:54,180
Ja, mooi.

323
00:21:54,180 --> 00:21:54,900
Ja.

324
00:21:54,900 --> 00:21:58,980
Nou Roos, ik denk dat we heel veel geleerd hebben over het algoritmeregister.

325
00:21:58,980 --> 00:22:02,800
Zeker, wat ik zo mooi vind, is dat...

326
00:22:02,800 --> 00:22:07,440
Wij maken bijvoorbeeld dit soort type modellen.

327
00:22:07,440 --> 00:22:09,160
Maar er zit heel veel omheen.

328
00:22:09,160 --> 00:22:12,960
En juist de transparantie is zo belangrijk.

329
00:22:12,960 --> 00:22:15,440
En ik denk dat dit een grote bijdrage kan leveren.

330
00:22:15,720 --> 00:22:23,320
Maar ook hier weer, wat jij doet, een heel belangrijk onderzoek van hoe is het gebruik daarvan?

331
00:22:23,320 --> 00:22:28,760
En kunnen mensen ook daadwerkelijk wat je aanbiedt, kunnen ze dat ook vinden, begrijpen, benutten?

332
00:22:28,760 --> 00:22:31,240
Mooi inzicht. - Ja, zeker weten.

333
00:22:31,240 --> 00:22:33,240
Dank je wel. - Ja, graag gedaan.

334
00:22:33,240 --> 00:22:40,360
Leuk dat je weer luisterde naar een aflevering van EETD Live.

335
00:22:40,360 --> 00:22:44,360
Dankjewel Roos dat je te gast was bij ons.

336
00:22:44,360 --> 00:22:46,360
Mis geen aflevering.

337
00:22:46,360 --> 00:22:49,360
Abonneer je via je favoriete podcast app.

338
00:22:49,360 --> 00:22:51,360
En tot de volgende keer.

339
00:22:51,360 --> 00:22:53,360
TV Gelderland 2021