S07E39 - AI Act Roadmap: huidige regels en toekomstige verplichtingen voor bedrijven

Bart Schermer, partner bij Considerati en hoogleraar Privacy & Cybercrime, bespreekt de nieuwe Europese AI Act in deze aflevering van AIToday Live. De wet maakt onderscheid tussen aanbieders en gebruikers van AI-systemen, met strengere eisen voor aanbieders.

Hoog-risico AI-systemen moeten voldoen aan strenge veiligheidseisen en menselijk toezicht. Organisaties dienen te bepalen in welke categorie hun AI-systemen vallen.

De wet treedt gefaseerd in werking, met 2 augustus 2026 als belangrijke datum voor hoog-risico systemen. Goede data governance is essentieel voordat bedrijven met AI beginnen.

Onderwerpen

• Invoering en fasering van de AI Act
• Verplichtingen voor aanbieders en gebruikers van AI-systemen
• Eisen voor hoog-risico AI-systemen
• Impact op innovatie en conformiteitstoets
• Belang van data governance

Links

• Podcast: AIToday Live podcast
• Organisatie: Considerati
• Onderwijs: Universiteit Leiden - Privacy & Cybercrime
• Wetgeving: AI Act
• Document: Medical Device Regulation
• Organisatie: AI Office
• Kaartspel: AI Game Changer - Generative AI editie

Genoemde entiteiten: Considerati - Universiteit Leiden

Aigency
Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support
Info Support is de specialist in maatwerk software en leidend in kunstmatige intelligentie (AI).

Outvie
Outvie verbindt professionals met events en opleidingen rond actualiteit en strategie.

Disclaimer: This post contains affiliate links. If you make a purchase, I may receive a commission at no extra cost to you.

Schrijf je in voor onze nieuwsbrief en ontvang exclusieve toegang tot nieuws, blik achter de schermen en meer!

Transcript

1
00:00:00,000 --> 00:00:07,400
Hartelijk welkom bij deze live keynote op het Nationaal Congres AI Governance & Compliance

2
00:00:07,400 --> 00:00:14,040
van Outvie. Met vandaag in de hoofdrol de AI Act. De wet die grote impact heeft op bedrijven

3
00:00:14,040 --> 00:00:19,480
in Nederland en Europa. En onze gast Bart Willem Schermer die geeft kleur aan een fundamentele

4
00:00:19,480 --> 00:00:25,959
vraag binnen deze wetgeving. Ben je aanbieder of gebruiker van AI? Een ogenschijnlijk eenvoudige

5
00:00:25,959 --> 00:00:32,759
kwestie met verstrekkende gevolgen. Dus luisteraar, spits je oren, publiek in de zaal, ga op het

6
00:00:32,759 --> 00:00:37,480
puntje van je stoel zitten want vandaag zal je zien hoe snel dit misgaat en welke verwarring

7
00:00:37,480 --> 00:00:43,200
op de loer ligt. Daarom zijn we blij met de perfecte gids door dit juridische labyrinth

8
00:00:43,200 --> 00:00:50,000
Bart Schermer. Hij is partner en oprichter van Considerati en hoogleraar Privacy & Cybercrime

9
00:00:50,000 --> 00:00:55,680
aan de Universiteit Leiden. Met zijn expertise in AI Legal & Governance gaat hij ons vandaag

10
00:00:55,680 --> 00:00:59,599
de weg wijzen. Dus laat je horen voor Bart Schermer!

11
00:01:00,259 --> 00:01:05,399
Zo, eerst even een belangrijk punt van aandacht. We hebben namelijk maar 35 minuten, dus we gaan direct de diepte in.

12
00:01:05,399 --> 00:01:11,559
Let op, de diepte in. Dus we gaan gelijk beginnen. Na de keynote zal Bart jullie vragen beantwoorden en die zijn te horen in de podcast.

13
00:01:11,559 --> 00:01:17,699
En vergeet dus niet je vraag tijdens deze sessie even op te schrijven en aan ons mee te geven, zodat we die kunnen stellen.

14
00:01:17,699 --> 00:01:21,819
En we zullen ook nog drie vraagstellers verrassen met een mooi AI-verrassingspakket.

15
00:01:21,819 --> 00:01:24,559
Laten we snel beginnen met de eerste vraag.

16
00:01:25,039 --> 00:01:30,499
Bart, wat ik wel verwarrend vind is dat de AI-act officieel is aangenomen, maar nog niet alle verplichtingen zijn meteen van kracht.

17
00:01:30,499 --> 00:01:36,699
Hoe zit dat precies met de huidige verplichtingen en kun je wat meer vertellen over het tijdspad van de AI-act en welke mijlpaal eraan aankomen?

18
00:01:36,699 --> 00:01:43,619
Klopt, ja de AI-act is in werking getreden, maar dat betekent nog niet dat die rechtstreeks van toepassing is.

19
00:01:43,619 --> 00:01:49,499
Dus bij Europese wetgeving is meestal een periode van 1, 2, 3 jaar voordat de wetgeving in werking traint.

20
00:01:49,499 --> 00:01:52,079
Zoals bijvoorbeeld ook bij de AVG, dat was het 2 jaar.

21
00:01:52,819 --> 00:02:00,879
Bij de AI-act is er een getrapt systeem waarbij delen van de AI-act al van toepassing zijn sinds 2 februari van dit jaar.

22
00:02:00,879 --> 00:02:02,459
Dus de AI-geletterdheid.

23
00:02:02,459 --> 00:02:07,839
Maar andere bepalingen nog in werking moeten treden, dus rechtstreeks van toepassing moeten raken.

24
00:02:07,839 --> 00:02:11,179
De belangrijkste datum is 2 augustus 2026.

25
00:02:11,179 --> 00:02:14,339
Dan gaan de regels voor hoog risico AI-systemen gelden.

26
00:02:14,339 --> 00:02:16,819
Dat is eigenlijk de hele AI-act zou je kunnen zeggen.

27
00:02:17,599 --> 00:02:22,279
Dus die datum moet iedereen in zijn agenda zetten, want dan is de belangrijkste datum.

28
00:02:22,279 --> 00:02:25,819
En dan is er nog de datum van 2 augustus 2027.

29
00:02:25,819 --> 00:02:33,779
Dan gaan de regels voor hoog risico AI-systemen gelden waarvoor een derde conformiteitstoetsing verplicht is.

30
00:02:33,779 --> 00:02:39,779
Dus dat moet een derde controleren hoe jouw systeem werkt en of dat aan de eisen van de AI-act voldoet.

31
00:02:39,879 --> 00:02:45,559
Daar moet een heel systeem voor worden opgetuigd met partijen die aanwijzen wie die toetsingen moeten doen en mogen doen.

32
00:02:45,559 --> 00:02:48,779
En die partijen moeten zich nog laten keuren, et cetera.

33
00:02:48,779 --> 00:02:54,179
Dus daar heeft de EU een jaar extra gegeven aan de lidstaten te beginnen.

34
00:02:54,179 --> 00:02:57,119
En je noemde net al hoogrisicofactor.

35
00:02:57,119 --> 00:03:01,199
Kun je toelichten waarom het risico gebaseerde karakter van de AI-act zo'n gamechanger is?

36
00:03:01,999 --> 00:03:07,139
Ja, wat de Europese Unie heeft gedaan is eigenlijk productregulering genomen.

37
00:03:07,139 --> 00:03:09,999
Dus dat geldt, dat hebben we nu al voor allerlei producten.

38
00:03:09,999 --> 00:03:12,799
De kabelbaaninstallatie, gastoestellen, et cetera.

39
00:03:12,799 --> 00:03:20,959
En dat zegt eigenlijk van op het moment dat jij een product op de Europese markt brengt wat een risico kan vormen als het niet goed is.

40
00:03:20,959 --> 00:03:23,499
Dan moet dat aan allerlei eisen voldoen.

41
00:03:23,499 --> 00:03:27,999
Zodat we alleen hoogwaardige kwalitatieve producten die veilig zijn op de Europese markt krijgen.

42
00:03:28,119 --> 00:03:33,579
Dus vandaar dat in de AI-act de zogenaamde hoogrisicocategorieën zijn.

43
00:03:33,579 --> 00:03:40,479
En dat zijn allemaal producten die dus, of eigenlijk AI-systemen, als je ze niet goed ontwikkelt en niet goed gebruikt, een risico kunnen vormen.

44
00:03:40,479 --> 00:03:41,459
Oh ja.

45
00:03:41,459 --> 00:03:47,099
En wat betekent dat dan als je in die hoogrisicocategorie valt?

46
00:03:47,099 --> 00:03:48,319
Dat je aan de beurt bent.

47
00:03:48,319 --> 00:03:49,219
Voor?

48
00:03:49,219 --> 00:03:57,919
Nee, wat dat betekent is dat de EU zegt eigenlijk van nou, als je hoogrisico AI-systemen bouwt en gebruikt,

49
00:03:57,919 --> 00:04:00,919
dan moet je aan allerlei verplichtingen voldoen.

50
00:04:00,919 --> 00:04:05,859
Dan hangt het dus af of je aanbieder bent van zo'n AI-systeem of wat ze noemen gebruiksverantwoordelijker.

51
00:04:05,859 --> 00:04:08,619
Dus de afnemer, de gebruiker van die AI-systemen.

52
00:04:08,619 --> 00:04:14,599
En die producten, die AI-systemen moeten goed en veilig zijn, moeten goed gecontroleerd worden.

53
00:04:14,759 --> 00:04:22,759
Dus als je een hoogrisico AI-systeem gebruikt of levert, dan moet je aan alle verplichtingen van de AI-act voldoen.

54
00:04:22,759 --> 00:04:25,539
De AI-act gaat eigenlijk alleen maar over hoogrisico.

55
00:04:25,539 --> 00:04:28,659
Dus het is een enkele bepaling voor overige AI-systemen.

56
00:04:28,659 --> 00:04:31,519
Maar het gaat primair over die hoogrisico AI-systeem.

57
00:04:31,519 --> 00:04:35,379
En wat zijn er ook AI-systemen die niet onder de wet vallen?

58
00:04:37,199 --> 00:04:39,719
Ja, dat is een interessante vraag.

59
00:04:39,719 --> 00:04:43,599
Je valt niet onder de wet als je geen AI-systeem bent.

60
00:04:43,599 --> 00:04:46,479
Dus de AI-act gaat alleen over AI-systemen.

61
00:04:46,479 --> 00:04:49,319
Dan is vervolgens de vraag, wat is dan een AI-systeem?

62
00:04:49,319 --> 00:04:52,319
Daar is een definitie van.

63
00:04:52,319 --> 00:04:55,099
Alleen die definitie is dusdanig ruim en vaag.

64
00:04:55,099 --> 00:04:58,979
Dat nog steeds vrijwel alles eronder kan passen.

65
00:04:59,199 --> 00:05:09,919
Nu zit er een overweging in de AI-act die zegt eigenlijk van, of bij de AI-act, die zegt van regels die puur door natuurlijke personen, dus door mensen zijn geprogrammeerd.

66
00:05:09,919 --> 00:05:11,339
If-then-achtige regels.

67
00:05:11,339 --> 00:05:15,039
Dat soort simpele algoritmen, die vallen buiten de AI-act.

68
00:05:15,039 --> 00:05:21,059
Maar alles wat een zeker inferentievermogen heeft, dat valt er wel onder.

69
00:05:21,059 --> 00:05:23,559
Dan moet je met name natuurlijk denken aan machine learning en dergelijke.

70
00:05:25,559 --> 00:05:33,679
AI-office, dus dat is de organisatie die de Europese Commissie helpt om de wet te interpreteren en compliance te organiseren.

71
00:05:33,679 --> 00:05:41,239
Die heeft een soort van richtsnoer geschreven van twaalf pagina's om dat nader te duiden.

72
00:05:41,239 --> 00:05:43,259
Ik ben er niet heel veel wijzer van geworden.

73
00:05:43,259 --> 00:05:50,499
Het is nog steeds niet heel veel helderder voor mij waar nou de scheidslijn zit van, dit is een AI-systeem en dit is geen AI-systeem.

74
00:05:50,499 --> 00:05:53,139
Ja, en dan heb je het over hoog en de buitenvallen.

75
00:05:53,639 --> 00:05:56,899
Ja, de eerste vraag is, heb je een AI-systeem?

76
00:05:56,899 --> 00:05:59,859
Dus gebruik je een AI-systeem of bied je een AI-systeem aan?

77
00:05:59,859 --> 00:06:04,899
Als je niet onder die definitie van een AI-systeem hebt, houdt het daarop.

78
00:06:04,899 --> 00:06:06,339
Dan is de AI-act niet van toepassing.

79
00:06:06,339 --> 00:06:12,999
Maar als er een AI-systeem is, dan ga je vervolgens kijken van, is dit een hoogrisico AI-systeem?

80
00:06:12,999 --> 00:06:18,079
Nou, als die twee voorwaarden voldaan zijn, dan moet je dus aan al die regels gaan voldoen.

81
00:06:18,559 --> 00:06:30,279
En als je er nu van uitgaat dat je een hoogrisicosysteem hebt, hoe kan je je dan voorbereiden op zo'n direct als dat deel van die wet geactiveerd wordt?

82
00:06:30,279 --> 00:06:37,779
Ja, het eerste wat je eigenlijk moet vaststellen is of je aanbieder bent van zo'n AI-systeem of zo'n gebruiksverantwoordelijke.

83
00:06:38,079 --> 00:06:43,419
En dat heeft allemaal te maken met het juridisch systeem wat gekozen is, dat is productregulering.

84
00:06:43,419 --> 00:06:50,359
Dus net als voor recreatievoertuigen, kabelbaaninstallaties en gastoestellen.

85
00:06:50,359 --> 00:06:52,819
Dat zijn allemaal producten die door de EU gereguleerd zijn.

86
00:06:52,819 --> 00:07:00,239
Eigenlijk het idee is van, dat zijn potentieel gevaarlijke producten, dus die moeten goed veilig zijn, die moeten goed werken.

87
00:07:00,239 --> 00:07:02,979
Dus die logica hebben ze ook losgelaten op AI.

88
00:07:03,099 --> 00:07:10,199
Dus eerst moet je bekijken, ben ik aanbieder, fabrikant als het ware, van zo'n AI-systeem of ben ik de afnemer, de gebruiksverantwoordelijke.

89
00:07:10,199 --> 00:07:14,019
En op basis daarvan krijg je dan de verplichtingen.

90
00:07:14,019 --> 00:07:17,659
En daar is mijn advies, ga nu alvast aan de slag.

91
00:07:17,659 --> 00:07:21,999
Want zeker als je aanbieder bent, dan heb je een hoop te doen en te regelen.

92
00:07:21,999 --> 00:07:24,939
Ja, wat heb je dan zoal te regelen voor een aanbieder?

93
00:07:24,939 --> 00:07:34,799
Aan de aanbiederkant, eigenlijk de hoofdregel is dat je systemen accuraat, robuust en veilig moeten zijn.

94
00:07:34,799 --> 00:07:41,119
En om dat eigenlijk te bewerkstelligen, worden er allerlei eisen gesteld aan de AI-systemen zelf.

95
00:07:41,119 --> 00:07:44,539
En jouw manier van AI voortbrengen.

96
00:07:44,539 --> 00:07:48,079
Dus als je kijkt naar de AI-systemen zelf, die moeten accuraat, veilig en robuust zijn.

97
00:07:48,599 --> 00:07:53,099
Maar je moet ook zorgen dat die systemen met de juiste data zijn getraind.

98
00:07:53,099 --> 00:07:58,399
Dus dat die data accuraat is, representatief is compleet, geen bias bevat, et cetera.

99
00:07:58,399 --> 00:08:02,019
De systemen moeten logging mogelijkheden hebben.

100
00:08:02,019 --> 00:08:06,219
Dus eigenlijk zeggen van nou, dit is de input die erin is gegaan met deze versie van het model.

101
00:08:06,219 --> 00:08:08,479
Dit is de output die eruit is gekomen.

102
00:08:08,479 --> 00:08:11,959
Die systemen moeten menselijk toezicht mogelijk maken.

103
00:08:11,959 --> 00:08:17,579
Dus dat betekent dat de gebruiksverantwoordelijke moet kunnen kijken van werkt dit systeem zo als het moet werken?

104
00:08:17,779 --> 00:08:22,899
Of vliegt het uit de bocht en dan kan die gebruiksverantwoordelijke aan de bel trekken?

105
00:08:22,899 --> 00:08:28,239
Transparantie moet interpreteerbaar zijn.

106
00:08:28,239 --> 00:08:30,259
Dus je kan niet zeggen een soort van black box.

107
00:08:30,259 --> 00:08:33,558
En al dat samen, dat zijn dus eisen aan het systeem.

108
00:08:33,558 --> 00:08:39,919
Daar moet je dus een kwaliteitsmanagement systeem en een riskmanagement systeem omheen bouwen.

109
00:08:39,919 --> 00:08:48,239
Zodat jij vanaf het voortbrengen tot en met het daadwerkelijk in gebruik nemen van het model of het systeem moet ik zeggen.

110
00:08:48,719 --> 00:08:50,959
Dat allemaal goed en netjes doet.

111
00:08:50,959 --> 00:08:54,799
Dus dat is serieuze eisen aan je AI-straat.

112
00:08:54,799 --> 00:08:55,359
Zeker.

113
00:08:55,359 --> 00:08:59,179
En je noemt accuraat, veilig en robuust.

114
00:08:59,179 --> 00:09:00,079
Nou, de eerste twee.

115
00:09:00,079 --> 00:09:01,839
Ik denk dat de mensen daar wel een idee bij hebben.

116
00:09:01,839 --> 00:09:04,619
Maar wat betekent eigenlijk een robuust AI-systeem?

117
00:09:05,439 --> 00:09:08,539
Moet je met name bedenken aan continuïteit.

118
00:09:08,539 --> 00:09:10,419
Dat het systeem blijft draaien.

119
00:09:10,419 --> 00:09:13,079
En dat heeft natuurlijk ook weer met die hoogrisicocategorieën te maken.

120
00:09:13,079 --> 00:09:17,239
Dus een van de hoogrisicocategorieën is kritieke infrastructuren.

121
00:09:17,239 --> 00:09:19,519
Ja, daar wil je niet dat je AI-systeem uitvalt.

122
00:09:19,519 --> 00:09:22,959
Dus er moeten eisen worden gesteld aan de robuustheid.

123
00:09:22,959 --> 00:09:26,559
Hangt ook weer samen met die veiligheidseisen, met die cyberveiligheid.

124
00:09:26,559 --> 00:09:30,619
Dus als een model wordt aangevallen, een systeem wordt aangevallen, moet het niet meteen omvallen.

125
00:09:30,619 --> 00:09:34,619
Nee, dus dat betekent heel veel voor technologie, maar eigenlijk nog meer voor de organisatie.

126
00:09:34,619 --> 00:09:42,319
Ja, aan de aanbiederskant dus alles regelen om die systemen zo te ontwerpen dat ze aan al die vereisten voldoen.

127
00:09:42,319 --> 00:09:48,699
En aan de gebruiksverantwoordelijke kant is de voornaamste verplichting dat je die systemen moet monitoren.

128
00:09:48,699 --> 00:09:52,659
Dus het menselijk toezicht, dat de verplichting daartoe ligt aan de gebruiksverantwoordelijke kant.

129
00:09:52,659 --> 00:09:57,819
En die moet dus monitoren van, is die output nog wel binnen de bandbreedte?

130
00:09:57,819 --> 00:10:00,279
Functioneert het systeem zoals het zou moeten?

131
00:10:00,279 --> 00:10:02,099
En dus ook ingrijpen.

132
00:10:02,339 --> 00:10:05,699
En dat kan tot en met op een rode stopknop drukken zijn als het misgaat.

133
00:10:05,699 --> 00:10:05,979
Ja.

134
00:10:05,979 --> 00:10:09,779
En je hebt het over aanbieder en gebruiker.

135
00:10:09,779 --> 00:10:13,699
Hoe weet ik of ik een aanbieder ben?

136
00:10:13,699 --> 00:10:16,379
Want ik heb die wet ook doorgelezen.

137
00:10:16,379 --> 00:10:19,939
Daar word je af en toe niet vrolijk van, van die teksten.

138
00:10:19,939 --> 00:10:23,659
Hoe weet ik nou dat ik aanbieder ben van een systeem?

139
00:10:23,719 --> 00:10:27,679
Want daar zitten best wel heel wat verplichtingen aan vast als ik een aanbieder ben.

140
00:10:27,679 --> 00:10:36,359
Ja, je bent aanbieder op het moment dat je het systeem binnen de Europese Unie aanbiedt op de marktplaats.

141
00:10:36,359 --> 00:10:41,279
Dus bijvoorbeeld te koop aanbiedt en gebruikers dat kan laten afnemen.

142
00:10:42,339 --> 00:10:46,139
Maar ook op het moment dat je voor jezelf een systeem bouwt.

143
00:10:46,139 --> 00:10:49,219
Dus je zegt van nou, ik kan in de markt geen deugdelijk systeem vinden.

144
00:10:49,219 --> 00:10:50,359
Ik ga het zelf bouwen.

145
00:10:50,359 --> 00:10:51,899
Als organisatie, als bedrijf.

146
00:10:51,899 --> 00:10:52,279
Als organisatie.

147
00:10:52,279 --> 00:10:54,299
En je gaat het voor jezelf gebruiken.

148
00:10:54,299 --> 00:10:55,839
Dan ben je ook aanbieder.

149
00:10:55,839 --> 00:10:58,179
Maar heb je ook de gebruiksantwoordelijke verplichtingen erbij.

150
00:10:58,179 --> 00:10:59,619
Oh, dan is het gewoon dubbel op.

151
00:10:59,619 --> 00:11:00,579
Dan heb je dubbel op.

152
00:11:00,579 --> 00:11:01,979
Want dan maak je het systeem.

153
00:11:01,979 --> 00:11:03,879
En als je dat in de hoog risicocategorie doet.

154
00:11:03,879 --> 00:11:06,139
Ja, of je dat nou koopt of je neemt het van iemand af.

155
00:11:06,139 --> 00:11:07,319
Dat systeem moet veilig zijn.

156
00:11:07,319 --> 00:11:10,979
Dus als je hem zelf dan maakt voor eigen gebruik.

157
00:11:10,979 --> 00:11:12,139
Dan ben je ook aanbieder.

158
00:11:12,139 --> 00:11:13,239
En er staat.

159
00:11:13,239 --> 00:11:15,799
En daar zal nog wel wat interpretatie komen.

160
00:11:15,799 --> 00:11:16,639
Verwacht ik.

161
00:11:16,639 --> 00:11:18,439
Er staat ook in de AI.

162
00:11:18,439 --> 00:11:20,679
Als je een systeem laat ontwikkelen.

163
00:11:20,679 --> 00:11:22,019
Dat je ook aanbieder bent.

164
00:11:22,019 --> 00:11:23,499
En als ik dat lees als jurist.

165
00:11:23,499 --> 00:11:25,619
Dan denk ik van nou, ik ben een ziekenhuis.

166
00:11:25,619 --> 00:11:28,899
Ik laat een systeem voor mij ontwikkelen door een aanbieder.

167
00:11:28,899 --> 00:11:32,099
Maar als ik het laat ontwikkelen.

168
00:11:32,099 --> 00:11:33,399
Dan ben ik aanbieder als ziekenhuis.

169
00:11:33,399 --> 00:11:36,639
En jij hebt als ziekenhuis juist niet de expertise.

170
00:11:36,839 --> 00:11:37,479
Om dat goed te doen.

171
00:11:37,479 --> 00:11:39,019
Want daarvoor huur je juist iemand in.

172
00:11:39,019 --> 00:11:39,979
Dat is best bijzonder.

173
00:11:39,979 --> 00:11:41,099
Dus de interpretatie daarvan.

174
00:11:41,099 --> 00:11:42,139
Daar ben ik ook nog wel benieuwd naar.

175
00:11:42,139 --> 00:11:42,479
Ja.

176
00:11:42,479 --> 00:11:47,239
En hoe gaat dat zo direct lopen dan?

177
00:11:47,239 --> 00:11:49,599
Komt er straks ergens een case of zo.

178
00:11:49,599 --> 00:11:52,859
Waarbij dan er meer duidelijkheid komt.

179
00:11:52,859 --> 00:11:56,539
Want ik neem niet aan dat de wet tekst wordt aangescherpt.

180
00:11:56,539 --> 00:11:57,279
Zomaar.

181
00:11:57,279 --> 00:11:59,939
Nee, ik denk dat ze deze wet voorlopig even niet aanraken.

182
00:11:59,939 --> 00:12:01,639
Wat je wel ziet.

183
00:12:01,639 --> 00:12:03,699
Er zijn eigenlijk twee parallele stromen.

184
00:12:03,799 --> 00:12:09,939
De eerste is dat richting die datum van 2 augustus 2026 en 2 augustus 2027.

185
00:12:09,939 --> 00:12:12,639
Er een standaardisatie traject is.

186
00:12:12,639 --> 00:12:17,079
Waarbij voor allerlei verplichtingen uit de AI act er Europese standaarden komen.

187
00:12:17,079 --> 00:12:19,059
Dat is altijd bij productregulering.

188
00:12:19,059 --> 00:12:20,939
Zodat je ook weet als bijvoorbeeld zo'n aanbieder.

189
00:12:20,939 --> 00:12:23,119
Wat je nou precies moet doen.

190
00:12:23,119 --> 00:12:26,339
Dus daar zal veel meer duidelijkheid komen is de verwachting.

191
00:12:27,439 --> 00:12:29,539
Alleen de vraag of die standaarden op tijd af zijn.

192
00:12:29,539 --> 00:12:32,259
Ik heb daar mijn twijfels bij, laat ik het zo zeggen.

193
00:12:32,259 --> 00:12:36,899
En het andere is, wat ik eerder al noemde, die AI office.

194
00:12:36,899 --> 00:12:40,299
Die helpt bij de interpretatie van bepaalde begrippen.

195
00:12:40,299 --> 00:12:44,339
Dus die hebben bijvoorbeeld al gekeken naar wat is een verboden systeem.

196
00:12:44,339 --> 00:12:45,919
Dat is ook een categorie in de AI act.

197
00:12:45,919 --> 00:12:49,379
Nu die interpretatie van de definitie van een AI systeem.

198
00:12:49,779 --> 00:12:55,119
Dus er zullen richtsnoeren komen en best practices en dergelijke in de komende twee jaar.

199
00:12:55,119 --> 00:12:58,619
Maar ik laat het zo zeggen, als ik organisaties een tip mag geven.

200
00:12:58,619 --> 00:12:59,839
Ga daar niet op wachten.

201
00:12:59,839 --> 00:13:04,059
Nee, want kijk, 2026, 2027 klinkt heel ver weg.

202
00:13:04,059 --> 00:13:07,939
Dus ik denk dat er best wel heel veel mensen denken, oh dat kan wel even duren.

203
00:13:07,939 --> 00:13:10,299
Niet wachten, wat ga je doen?

204
00:13:10,299 --> 00:13:13,059
Nou, aan de slag.

205
00:13:13,059 --> 00:13:22,619
Wat ik als eerste doe, wat wij ook organisaties aanraden, is inventariseer waar je binnen je organisatie nu al AI systemen gebruikt.

206
00:13:22,619 --> 00:13:28,699
Zeker als je overheid bent, want dan moet je ook voor de bestaande systemen uiteindelijk aan alle AI act regels gaan doen.

207
00:13:28,699 --> 00:13:34,459
Maar inventariseer waar ga je AI gebruiken en waar gebruik je AI al.

208
00:13:34,459 --> 00:13:40,379
En beoordeel voor elk van die systemen of systemen die je wilt gaan gebruiken.

209
00:13:41,039 --> 00:13:45,759
Ben ik daar nou aanbieder van of ben ik daar gebruiksverantwoordelijke voor of ben ik alle twee.

210
00:13:45,759 --> 00:13:50,379
En bepalen basis daarvan, wat zijn dan de regels.

211
00:13:50,379 --> 00:13:54,419
Dus voor aanbieders artikel 16, voor gebruiksverantwoordelijke artikel 26.

212
00:13:54,419 --> 00:13:57,859
Lijstje A tot en met L met al je verplichtingen.

213
00:13:57,859 --> 00:13:59,439
En dan kan je aan de slag.

214
00:13:59,439 --> 00:14:02,039
Dat is als het ware je to-do list.

215
00:14:02,039 --> 00:14:03,439
Ja, lekker concreet.

216
00:14:03,439 --> 00:14:04,619
Lekker praktisch inderdaad.

217
00:14:04,619 --> 00:14:08,199
Ik had nog een klein vraagje over aanbieder, gebruiker.

218
00:14:08,199 --> 00:14:12,099
Maar er zijn ook termen die voorbij komen als distributeur, importeur.

219
00:14:12,099 --> 00:14:14,659
Hoe houden die verband tot elkaar?

220
00:14:14,659 --> 00:14:18,339
Ja, dat is een heikelpunt met de AI act.

221
00:14:18,339 --> 00:14:20,259
Zoals ik al zei, het is productregulering.

222
00:14:20,259 --> 00:14:25,259
Wat eigenlijk betekent van je hebt een aanbieder van een product.

223
00:14:25,259 --> 00:14:27,739
En dat zet als het ware dat product in het schap.

224
00:14:27,739 --> 00:14:29,439
Dus je maakt een broodrooster als aanbieder.

225
00:14:29,439 --> 00:14:32,719
Die zet je in het schap en iemand neemt dat ding uit het schap.

226
00:14:32,819 --> 00:14:38,159
In de fysieke wereld heb je daar vaak de figuur van een importeur en distributeur bij.

227
00:14:38,159 --> 00:14:39,759
Dus je importeert het uit China.

228
00:14:39,759 --> 00:14:42,699
Of je bent distributeur voor een systeem.

229
00:14:42,699 --> 00:14:44,999
Dat geldt ook voor de AI act.

230
00:14:44,999 --> 00:14:49,959
Ik denk dat dat wat minder relevant gaat zijn in de context van AI systeem.

231
00:14:49,959 --> 00:14:54,539
Omdat veel van die systemen toch als een soort van SaaS-achtige oplossingen aangeboden worden.

232
00:14:54,539 --> 00:15:00,779
Of ergens specifiek voor een organisatie ontwikkeld worden en on-prem gedraaid worden.

233
00:15:00,779 --> 00:15:02,979
Dus importeur, distributeur relevant.

234
00:15:02,979 --> 00:15:12,559
Maar wat denk ik nog relevanter is om naar te kijken, zeker als je aanbieder bent, is wat voor componenten van anderen gebruik ik.

235
00:15:12,559 --> 00:15:17,099
Dus gebruik ik bijvoorbeeld open source modellen, gebruik ik tools, wat haal ik van GitHub.

236
00:15:17,099 --> 00:15:19,119
Al dat soort aspecten.

237
00:15:19,559 --> 00:15:22,479
Want dat speelt ook mee in je rol als aanbieder.

238
00:15:22,479 --> 00:15:24,979
Hoe je je moet verhouden tot weer die derde partij.

239
00:15:24,979 --> 00:15:26,419
Wat voor rol dan?

240
00:15:26,419 --> 00:15:29,039
Wat speelt erbij als je open source in zou zetten in je oplossing?

241
00:15:29,039 --> 00:15:33,959
Nou eigenlijk, en dat is een beetje een soort van verborgen aspect.

242
00:15:33,959 --> 00:15:35,879
Verborgen parel moet je het misschien niet noemen.

243
00:15:35,879 --> 00:15:43,339
Maar artikel 25 van de AI act die regelt eigenlijk de rollen in de AI waardeketen.

244
00:15:43,339 --> 00:15:45,339
Ze hebben eigenlijk die productregulering genomen.

245
00:15:45,339 --> 00:15:46,459
Dat is echt een fysiek ding.

246
00:15:46,799 --> 00:15:49,519
En we zijn nu toegepast op software en dat matcht eigenlijk niet.

247
00:15:49,519 --> 00:15:56,359
Dus dat artikel 25 dat regelt een beetje hoe die partijen zich onderling tot elkaar moeten verhouden.

248
00:15:56,359 --> 00:16:01,919
En dat betekent bijvoorbeeld dat als jij een aanbieder bent die componenten gebruikt van een derde.

249
00:16:01,919 --> 00:16:04,599
Dat je schriftelijke afspraken moet maken met die derde.

250
00:16:04,599 --> 00:16:06,879
Nou, is de vraag of die derde er überhaupt op zit te wachten.

251
00:16:06,879 --> 00:16:10,359
En bijvoorbeeld voor open source componenten is daar een uitzondering voor.

252
00:16:10,359 --> 00:16:15,719
Maar uiteindelijk ben je als aanbieder wel verantwoordelijk voor een deugdelijke AI systeem.

253
00:16:15,719 --> 00:16:17,939
Dus neem een beetje een metafoor van een auto.

254
00:16:17,939 --> 00:16:23,219
Als jij een motor pakt, een open source motor pakt, en die stop je in een auto.

255
00:16:23,219 --> 00:16:26,479
Als die auto ontploft, omdat die motor niet goed was, kun je niet zeggen.

256
00:16:26,479 --> 00:16:27,919
Ja, maar ik heb die motor genomen.

257
00:16:27,919 --> 00:16:28,779
Die was van iemand anders.

258
00:16:28,779 --> 00:16:29,199
Precies.

259
00:16:29,379 --> 00:16:33,639
Dus jij bent de aanbieder van die auto, dus jij bent ook verantwoordelijk voor het eindproduct.

260
00:16:33,639 --> 00:16:37,879
Zelfs als alle individuele componenten, wat ze nou noemen CE, gekeurd zijn.

261
00:16:37,879 --> 00:16:40,419
Jij bent nog steeds verantwoordelijk voor de som der delen.

262
00:16:40,419 --> 00:16:44,339
En dat is iets denk ik wat veel organisaties, veel aanbieders nu onderschatten.

263
00:16:44,339 --> 00:16:49,019
Die pakken een willekeurig model van internet, of dat nou Lama is, of DeepSeq, of whatever.

264
00:16:49,699 --> 00:16:53,019
En bouwen daar een mooie interface omheen.

265
00:16:53,019 --> 00:16:54,059
Prompten dat slim.

266
00:16:54,699 --> 00:16:57,059
En hebben een AI-systeem.

267
00:16:57,059 --> 00:17:02,179
Ja, dan moet je wel snappen hoe die grote modellen werken, die foundation models.

268
00:17:02,179 --> 00:17:03,419
Het is de vraag of je dat kan.

269
00:17:03,419 --> 00:17:08,638
En betekent dat je eigenlijk van gebruiker, eindgebruiker, verschuift naar aanbieder?

270
00:17:08,638 --> 00:17:10,479
Dat kan ook, ja.

271
00:17:10,479 --> 00:17:17,858
Dus als jij zegt, ik ben een ziekenhuis, of ik ben een retailer, en ik ga voor mijn eigen toepassingen een chatbot ontwikkelen.

272
00:17:17,858 --> 00:17:22,799
En die chatbot gaat in een hoog risicocategorie aan de slag.

273
00:17:23,239 --> 00:17:27,539
Dus ik heb al een gemeente gehoord die ChatGPT gebruikte voor het beantwoorden van bezwaren.

274
00:17:27,539 --> 00:17:30,299
Nou, ik denk dat je dan wel richting hoog risico kan gaan.

275
00:17:30,299 --> 00:17:33,619
Maar zelf, dat doe je.

276
00:17:33,619 --> 00:17:37,739
Dan kun je op dat moment aanbieder worden voor die toepassing.

277
00:17:37,739 --> 00:17:43,859
Omdat jij eigenlijk zo'n ChatGPT gebruikt, wat ze dan in de AI noemen een systeem voor algemene doeleinden.

278
00:17:43,859 --> 00:17:49,979
Als je zo'n AI-systeem voor algemene doeleinden, wat dus per definitie niet hoog risico is, omdat het voor alles gebruikt kan worden.

279
00:17:50,239 --> 00:17:57,279
Als je zo'n systeem inzet in een hoog risicocategorie, dan staat ook in hetzelfde artikel 25, dan verschiet je van kleur.

280
00:17:57,279 --> 00:17:59,559
Dan word je aanbieder voor dat systeem.

281
00:17:59,559 --> 00:18:01,799
En ik denk dat een hele hoop partijen zich dat niet beseffen.

282
00:18:01,799 --> 00:18:05,899
Want iedereen is nu natuurlijk bezig met Copilot en ChatGPT en noem het allemaal maar op.

283
00:18:05,899 --> 00:18:07,039
Hartstikke mooi.

284
00:18:07,039 --> 00:18:11,999
Maar als je dat in zo'n hoog risicocategorie doet, dan kan het best zijn dat je aanbieder wordt.

285
00:18:12,579 --> 00:18:17,699
En hoeveel moet je zelf toevoegen aan het generieke model wat je gebruikt om die aanbieder te worden?

286
00:18:17,699 --> 00:18:24,679
Het enkele gebruik van het model, zonder dat je er iets aan verandert in een hoog risicocategorie, dan verschiet je al van kleur.

287
00:18:24,679 --> 00:18:26,719
Oeh, dat is best pittig.

288
00:18:26,719 --> 00:18:31,939
Ik verschiet ook even van kleur van dit antwoord.

289
00:18:32,619 --> 00:18:37,399
En dat heeft gewoon te maken met dat ze die productregulering hebben gekozen.

290
00:18:37,399 --> 00:18:41,859
En die productregulering is eigenlijk niet geschikt voor AI in mijn optiek.

291
00:18:41,859 --> 00:18:45,559
Ik weet ook niet per se wat een beter systeem had geweest.

292
00:18:45,559 --> 00:18:51,979
Maar je zit daar met eigenlijk de legacy van wetgeving die voor de fysieke wereld is geschreven.

293
00:18:51,979 --> 00:18:55,239
Die je toepast op een heel nieuw dynamisch product zoals AI.

294
00:18:56,139 --> 00:19:02,919
En als je nou een zelf open source ontwikkelt en je stelt dat ter beschikking, ben je dan ook aanbieder?

295
00:19:02,919 --> 00:19:06,899
In het beginsel wel, maar dan val je grotendeels buiten de AI.

296
00:19:06,899 --> 00:19:16,399
Dus als jij tools of modellen echt open source publiceert, dan ben je niet aanbieder van dat model.

297
00:19:16,399 --> 00:19:22,659
Maar op het moment dat een aanbieder die pakt, dus een ander bedrijf zegt, ik pak Lama en dan ga ik mee aan de slag.

298
00:19:23,019 --> 00:19:24,799
Die wordt dan aanbieder voor dat model.

299
00:19:24,799 --> 00:19:28,079
En die moet dus heel goed weten wat die doet.

300
00:19:28,079 --> 00:19:32,459
Die moet weten wat voor tool, welke motor die in zijn auto bouwt als het ware.

301
00:19:32,459 --> 00:19:33,299
Ja, precies.

302
00:19:33,299 --> 00:19:35,639
Heftig bij zelf.

303
00:19:35,639 --> 00:19:36,919
Zeker heftig inderdaad.

304
00:19:36,919 --> 00:19:37,879
En hoe snel inderdaad.

305
00:19:37,879 --> 00:19:40,259
Ja, kijk, en het is ook heel...

306
00:19:40,259 --> 00:19:47,779
Daar zijn natuurlijk al de discussies, zeker in dit geopolitiek tijdsgewricht, naar aanleiding van het Draghi rapport.

307
00:19:47,779 --> 00:19:51,499
Er zijn al veel klachten over dat we niet AI moeten overreguleren.

308
00:19:51,499 --> 00:19:54,539
Dus ik ben benieuwd hoe heet de soep wordt opgediend.

309
00:19:54,539 --> 00:19:58,459
Maar de regels in de AI-act zijn wat dat betreft helder.

310
00:19:58,459 --> 00:20:06,519
En denk ik ook goed, als jij een product bouwt en gaat gebruiken, je gaat Europa daar en de mensen, de burgers daar aan blootstellen.

311
00:20:06,519 --> 00:20:07,939
Ja, dan moet je wel weten dat het goed werkt.

312
00:20:07,939 --> 00:20:13,499
En er is nu best wel wat te doen rondom Amerika en Europa.

313
00:20:15,259 --> 00:20:25,499
Voorzie jij dat vanuit, zeg maar, wat de huidige ontwikkelingen zijn, dat deze wet misschien nog onder de druk van wat er nu gebeurt, best wel fundamenteel wordt aangepast?

314
00:20:26,779 --> 00:20:31,039
Nou, ik denk niet aangepast, want dat zijn grote wetgevende trajecten.

315
00:20:31,039 --> 00:20:39,499
Dat duurt jaren en dan moeten de verschillende instituties van de EU, dus het parlement en de raad en de commissie, dan moeten er allemaal weer samenkomen.

316
00:20:39,499 --> 00:20:42,799
Dus een aanpassing van de wet verwacht ik niet zo snel.

317
00:20:43,579 --> 00:20:47,359
Maar, ja, kijk, wetgeving kun je natuurlijk op honderd manieren interpreteren.

318
00:20:47,359 --> 00:21:00,019
En ik denk wel dat in de interpretatie misschien een aantal bepalingen wat afgezwakt zullen worden onder druk van die geopolitieke ontwikkelen en eigenlijk de wapenwetloop waar we nu in zitten.

319
00:21:00,019 --> 00:21:03,099
Dat is ook wel een beetje wat het Draghi-rapport natuurlijk zegt.

320
00:21:03,099 --> 00:21:08,439
Dus wij moeten, nou, het is wat kort door de bocht door, maar minder reguleren, meer innoveren.

321
00:21:08,439 --> 00:21:09,879
En hoe kijk je daar zelf naar?

322
00:21:12,399 --> 00:21:17,079
Ik vind het belangrijk dat AI niet dicht gereguleerd wordt, niet kapot gereguleerd wordt.

323
00:21:17,079 --> 00:21:25,299
En je ziet nu al bijvoorbeeld de eerste reactie, bijvoorbeeld het nieuwste model, Lama 4 van Meta, open source model.

324
00:21:25,299 --> 00:21:31,679
Daar staan gewoon in de algemene voorwaarden staat dat het bepaalde toepassingen niet in de EU mag worden gebruikt.

325
00:21:31,679 --> 00:21:38,019
Het mag niet door EU, residents en EU bedrijven worden gebruikt.

326
00:21:38,019 --> 00:21:40,419
Ja, dat is natuurlijk best wel zorgelijk.

327
00:21:40,819 --> 00:21:56,319
Tegelijkertijd hoop ik niet dat we deze wetgeving gaan afzwakken, omdat het hele idee achter de wetgeving dat we goed werkende AI, veilige AI willen die ons ten dienste in als mens in Europa hebben.

328
00:21:56,459 --> 00:22:01,239
Daar vind ik die regulering, het idee achter de regulering in ieder geval, vind ik wel goed.

329
00:22:01,339 --> 00:22:06,339
Want het hele idee van een wapenwedloop is een race to the bottom.

330
00:22:06,339 --> 00:22:18,619
En voor je het weet zitten we met allemaal verschrikkelijke AI systemen die allemaal vergissingen maken, waardoor wij als mensen vermorzeld worden door verkeerde beslissingen van AI.

331
00:22:19,019 --> 00:22:27,979
Heeft Meta niet eigenlijk gewoon een stempel op dit model gezet van het is onveilig, kwalitatief niet genoeg, want het voldoet niet aan de EU-wetgeving?

332
00:22:27,979 --> 00:22:30,959
Ja, ik denk dat dit gewoon een stuk lobby ook is.

333
00:22:30,959 --> 00:22:38,499
Kijk, enerzijds dekken ze zich natuurlijk juridisch in door te zeggen van nou kijk, als je ons model gebruikt, dan wij vallen niet onder die EU-regels.

334
00:22:38,699 --> 00:22:43,939
Met de nieuwe Trump-regering zitten die big tech partijen natuurlijk sowieso iets anders in de wedstrijd.

335
00:22:43,939 --> 00:22:47,759
Die zijn wat minder geneigd zoals vroeger om compliant te zijn met de EU-wetgeving.

336
00:22:47,759 --> 00:22:59,879
Maar ik denk dat dit ook een onderdeel is van de lobby richting Europa, met name de Europese Commissie en de landen, om te zeggen van zwak die wetgeving maar wat af, want anders krijg je onze mooie spullen niet.

337
00:22:59,879 --> 00:23:03,819
Ja, interessante wedlopen inderdaad die daar gaande is.

338
00:23:03,819 --> 00:23:07,439
Ik wil hem even pakken naar het stukje van, goh, we willen dit goed doen binnen de EU.

339
00:23:07,439 --> 00:23:12,739
En dat betekent dat we ook afspraken moeten maken met leveranciers, met wie we de AI-producten inzetten.

340
00:23:12,739 --> 00:23:17,139
Hoe kunnen organisaties daarmee omgaan om het praktisch in te gaan richten om dit goed te doen?

341
00:23:17,139 --> 00:23:30,599
Ja, ik denk wat ik eigenlijk nu zie met de AI-act, als ik kijk naar organisaties, wij komen heel veel organisaties binnen die dus nu zich afvragen wat moeten we doen met de AI-act.

342
00:23:30,599 --> 00:23:37,999
En op boordniveau zie je steeds meer eigenlijk de discussie ontstaan van buy or build.

343
00:23:37,999 --> 00:23:45,659
Dus de AI-act door die productregulering dwingt je eigenlijk in een van die twee rollen, of aanbieden of gebruiksantwoordelijken of misschien allebei.

344
00:23:46,359 --> 00:23:53,259
Dus voor organisaties heb je eerst een fundamentele keuze te maken van, ga ik bouwen of ga ik kopen?

345
00:23:53,259 --> 00:23:58,119
Want op het moment dat je zegt ik ga bouwen, dan krijg je al die aanbiedersverplichtingen erbij.

346
00:23:58,119 --> 00:24:04,619
En dat betekent eigenlijk dat je een AI-ontwikkelstraat moet hebben met de juiste tools, juiste mensen, resources, expertise.

347
00:24:05,379 --> 00:24:07,519
En dat is best wel een fundamentele keuze.

348
00:24:07,519 --> 00:24:15,739
Dan is het, wij hebben een bedrijf geweest, dat was een zorgpartij, die zei van zijn wij een zorgpartij die AI gebruikt?

349
00:24:15,739 --> 00:24:19,619
Of zijn wij een AI-partij die in de zorg opereert?

350
00:24:19,619 --> 00:24:20,659
Een fundamentele vraag.

351
00:24:20,659 --> 00:24:26,099
Dat is echt een fundamentele strategische vraag, denk ik, die veel organisaties zich moeten afvragen.

352
00:24:27,099 --> 00:24:28,979
Dus daar begint het denk ik bij.

353
00:24:28,979 --> 00:24:35,139
En zeker als je toch zegt van, joh, ik ga voor een buy-strategie, dan is het wat makkelijk.

354
00:24:35,139 --> 00:24:38,139
Maar je zegt van, ik ga voor een beeldstrategie omdat ik mij wil onderscheiden.

355
00:24:38,139 --> 00:24:45,819
Of, en dat is met name bijvoorbeeld in overheidslands het geval, er is voor mij geen aanbieder, want ik heb een hele specifiek niche-proces.

356
00:24:45,819 --> 00:24:51,279
En er is niet een soort van aanbieder die voor dat specifieke niche-proces een AI-systeem ontwikkelt.

357
00:24:51,279 --> 00:24:53,479
Kijk, voor HR-systeem is het makkelijk.

358
00:24:53,479 --> 00:24:56,439
Dus iedereen heeft HR, dus daar kun je wel iets met AI doen.

359
00:24:56,539 --> 00:25:05,339
Maar als jij een specifiek proces hebt wat echt niche is en je dus eigenlijk gedwongen bent tot beeld, dus zelf aanbieder worden.

360
00:25:05,339 --> 00:25:09,239
Ja, dan moet je wel gaan kijken naar je organisatie qua inrichting.

361
00:25:09,239 --> 00:25:12,359
En dat begint met data en data governance.

362
00:25:12,359 --> 00:25:21,579
Dus AI maakt eigenlijk, wat mij de AI acten, überhaupt AI maakt veel duidelijker dat organisaties veel gestructureerder moeten omgaan met hun data.

363
00:25:21,579 --> 00:25:28,639
Dus elke organisatie die data en data governance niet op orde heeft, die hoeft geen AI te gaan gebruiken.

364
00:25:28,639 --> 00:25:30,179
Dat is dan de volgende stap.

365
00:25:30,179 --> 00:25:30,779
Ja, precies.

366
00:25:32,159 --> 00:25:38,839
Ik heb ook nog een vraag over wat nu best wel een hot topic is en dat is de AI geletterdheid.

367
00:25:38,839 --> 00:25:39,259
Ja.

368
00:25:39,259 --> 00:25:43,939
Die is ingegaan 2 februari van dit jaar.

369
00:25:43,939 --> 00:25:46,079
Iedereen is ook al compliant in deze zalen.

370
00:25:46,079 --> 00:25:46,919
Ja?

371
00:25:46,919 --> 00:25:50,979
Maar hoe weten we dat eigenlijk, dat zij compliant zijn?

372
00:25:51,439 --> 00:25:57,999
Ja, kijk, het is die AI geletterdheid, dus sowieso dit soort congressen dragen daar natuurlijk ook aan bij.

373
00:25:57,999 --> 00:26:05,419
Wat de AI act zegt, dat zowel voor de aanbieder als gebruiksverantwoordelijke moeten de mensen binnen de organisatie AI geletterd zijn.

374
00:26:05,419 --> 00:26:15,879
En dat betekent wat meer specifiek dat men voldoende moet snappen van AI om de risico's en kansen daarvan op waarde te schatten.

375
00:26:16,599 --> 00:26:20,959
En dat is heel verschillend voor verschillende mensen binnen een organisatie.

376
00:26:20,959 --> 00:26:27,419
Het is de AI geletterdheid bij de data science afdelingen, daar hoef je misschien wat minder zorgen om te maken.

377
00:26:27,419 --> 00:26:34,839
Maar degene die uiteindelijk achter de knoppen zitten, dus bijvoorbeeld de arts die een AI systeem gebruikt en die de uitkomst moet interpreteren,

378
00:26:34,839 --> 00:26:36,519
is dat misschien een ander verhaal.

379
00:26:36,519 --> 00:26:43,359
Of de beleidsmaker of de beslisser binnen het bedrijfsleven die een keuze moet maken voor de inzet van AI.

380
00:26:43,359 --> 00:26:50,639
Dus er zijn allerlei verschillende niveaus van kennis die je nodig hebt binnen een organisatie om AI geletterd te zijn.

381
00:26:50,639 --> 00:26:55,699
Dus wat mij betreft komt er stiekem best wel wat weg achter die AI geletterdheid.

382
00:26:55,699 --> 00:27:02,859
En kom je er denk ik niet met wat veel organisaties natuurlijk nu doen, is even snel een AI e-learning inkopen en dan heb je wel geregeld.

383
00:27:02,859 --> 00:27:04,099
Dan heb je je vinkje.

384
00:27:04,099 --> 00:27:04,939
Dan heb je je vinkje.

385
00:27:05,319 --> 00:27:13,759
Toch even over die data scientist, want ik heb het vermoeden dat je daar te makkelijk overheen stapt.

386
00:27:13,759 --> 00:27:18,019
Want volgens mij moet je als data scientist juist heel veel weten.

387
00:27:18,019 --> 00:27:25,239
Je hebt het over transparantie volgens die wet, je hebt het over bias zo min mogelijk erin.

388
00:27:25,639 --> 00:27:27,199
Er zijn eigenlijk heel veel eisen.

389
00:27:27,199 --> 00:27:32,519
Wat we natuurlijk tot nu toe gezien hebben, is dat er best wel heel veel systemen zijn die gebouwd zijn.

390
00:27:32,519 --> 00:27:34,259
Ook vanuit overheidswegen.

391
00:27:34,259 --> 00:27:35,919
Die er helemaal niet aan voldoen.

392
00:27:35,919 --> 00:27:39,319
Waar wel data scientists aan gewerkt hebben.

393
00:27:39,319 --> 00:27:39,619
Ja.

394
00:27:40,539 --> 00:27:48,059
Dus ik denk dat volgens mij hoe verder je komt, laten we zeggen hoe dieper je komt in de technologie, hoe meer er uiteindelijk van je gevraagd wordt.

395
00:27:48,059 --> 00:27:54,619
Ja, het is even de vraag of dat van de data scientist gevraagd wordt.

396
00:27:54,619 --> 00:28:00,479
Hoe wij het zien is dat dit is een multidisciplinair vraagstuk, multidisciplinair probleem.

397
00:28:00,479 --> 00:28:07,379
Dus risico's inschatten, dat ligt misschien meer in de hoek van de juristen en de compliance medewerkers.

398
00:28:07,379 --> 00:28:10,719
Maar die moeten wel wat snappen van AI om die inschatting te kunnen maken.

399
00:28:10,719 --> 00:28:13,299
En daar hebben ze de data scientists voor nodig.

400
00:28:13,299 --> 00:28:17,479
Net zoals dat de data scientists de juristen nodig hebben.

401
00:28:17,479 --> 00:28:23,819
Dus ik denk dat de sleutel voor de oplossing ligt hier echt in multidisciplinaire samenwerking.

402
00:28:23,819 --> 00:28:25,599
Om die risico's goed in te kunnen schatten.

403
00:28:25,599 --> 00:28:27,839
En om uiteindelijk een goed systeem te bouwen.

404
00:28:29,239 --> 00:28:31,879
Ter verdediging van de data scientists.

405
00:28:31,879 --> 00:28:36,099
Er zit daar natuurlijk heel veel druk op organisaties.

406
00:28:36,099 --> 00:28:38,539
Zeker vanuit het management van we moeten iets met AI gaan doen.

407
00:28:38,539 --> 00:28:39,119
Ja, zeker.

408
00:28:39,119 --> 00:28:41,899
Ik denk ook dat het eigenlijk begint juist bij management.

409
00:28:41,899 --> 00:28:44,459
En bij de business om het maar zo te noemen.

410
00:28:44,459 --> 00:28:46,159
Of het beleid binnen een overheid.

411
00:28:46,159 --> 00:28:48,739
Waar willen we AI voor gaan gebruiken?

412
00:28:48,739 --> 00:28:51,439
Iedereen heeft nu last van het shiny object syndrome.

413
00:28:51,439 --> 00:28:52,639
We moeten AI gebruiken.

414
00:28:52,639 --> 00:28:54,399
Ja, we weten niet welk probleem we ermee gaan oplossen.

415
00:28:54,399 --> 00:28:55,339
Maar we moeten het wel gaan doen.

416
00:28:55,339 --> 00:28:58,739
Het begint bij de vraag van welk probleem ga ik oplossen?

417
00:28:58,999 --> 00:29:00,719
Welk proces ga ik automatiseren?

418
00:29:00,719 --> 00:29:02,419
Of welk proces ga ik verbeteren?

419
00:29:02,419 --> 00:29:07,759
En wat is de juiste vorm van AI die ik daar eventueel bij kan gebruiken?

420
00:29:07,759 --> 00:29:11,639
Dus ik moet een beetje denken aan de tovenaarsleerling.

421
00:29:12,519 --> 00:29:15,319
Iedereen pakt nu de meest heftige modellen.

422
00:29:15,319 --> 00:29:17,559
Ga daarmee hobby.

423
00:29:17,559 --> 00:29:20,819
Hebben geen idee wat ze aan het doen zijn.

424
00:29:20,819 --> 00:29:22,499
Maar het wordt wel live gebracht.

425
00:29:22,499 --> 00:29:26,639
Dat is iets wat de AI, dat is ook denk ik goed van de AI, wat de AI aan het doen is.

426
00:29:26,639 --> 00:29:29,379
Die zegt van het hobby tijdperk is over.

427
00:29:29,379 --> 00:29:32,639
Als jij AI gaat inzetten in een hoog risicocategorie.

428
00:29:32,639 --> 00:29:33,979
Dan ga je al deze dingen doen.

429
00:29:33,979 --> 00:29:35,939
En dan ga je zorgen dat het veilig is.

430
00:29:36,019 --> 00:29:37,979
En dat is denk ik een goede zaak.

431
00:29:37,979 --> 00:29:41,959
Want we hebben het over hoog risico.

432
00:29:43,339 --> 00:29:46,859
Als je ze zo direct in die risicoclasse daaronder valt.

433
00:29:46,859 --> 00:29:49,239
Wat moet je daar dan voor doen?

434
00:29:49,239 --> 00:29:51,039
Ja, dat is eigenlijk de AI.

435
00:29:51,039 --> 00:29:53,839
Ik noem het niet zo, maar dat zou je dan de laag risicocategorie noemen.

436
00:29:53,839 --> 00:29:56,799
Dat zijn eigenlijk de overige AI systemen.

437
00:29:56,799 --> 00:29:58,279
Dat zijn eigenlijk.

438
00:29:58,959 --> 00:30:01,579
Daar zijn wat transparantieverplichtingen voor.

439
00:30:01,579 --> 00:30:02,239
Voor de liefhebbers.

440
00:30:02,239 --> 00:30:03,999
Met name artikel 50.

441
00:30:03,999 --> 00:30:06,439
En daar staan wat aparte dingen in.

442
00:30:06,439 --> 00:30:09,039
Dat op het moment dat jij deepfakes maakt.

443
00:30:09,039 --> 00:30:11,599
Dat je moet aangeven dat je deepfakes maakt.

444
00:30:11,599 --> 00:30:15,059
Dan denk ik meteen van ja, die oplichter die gaat dat natuurlijk zeker erbij zetten.

445
00:30:15,059 --> 00:30:19,539
Maar ja, voor die overige AI systemen.

446
00:30:19,539 --> 00:30:21,419
Voor die laag risicocategorie.

447
00:30:21,419 --> 00:30:23,779
Gelden geen specifieke regels van de AI.

448
00:30:23,779 --> 00:30:27,779
Wat wel nog goed is voor iedereen in de zaal en de luisteraars thuis.

449
00:30:28,299 --> 00:30:31,399
Is dat naast de AI act geldt gewoon onverkort.

450
00:30:31,399 --> 00:30:34,199
Alle andere Europese en Nederlandse wetgeving.

451
00:30:34,199 --> 00:30:38,219
Dus ga niet juichen als je geen hoog risico AI systeem bent.

452
00:30:38,219 --> 00:30:40,199
Of ga je daar niet uitwurmen.

453
00:30:40,199 --> 00:30:42,659
Want daarnaast is de AVG van toepassing.

454
00:30:42,659 --> 00:30:46,299
Voor de overheid is de algemene wetbestuur zegt gewoon van toepassing.

455
00:30:46,299 --> 00:30:48,399
Dus er zijn allerlei andere wetten.

456
00:30:48,399 --> 00:30:51,679
Die ook voor die laag risico AI systemen gewoon gelden.

457
00:30:51,679 --> 00:30:54,679
Ja, en stel we willen gaan voorbereiden.

458
00:30:54,679 --> 00:30:56,959
Want het is zo 2026.

459
00:30:56,959 --> 00:30:57,679
Het is zo 2027.

460
00:30:57,679 --> 00:31:04,879
Wat voor rol spelen de compliance afdelen, de legal teams binnen de organisaties om hier die stappen in te gaan zetten?

461
00:31:04,879 --> 00:31:07,379
Ja, dit vraag je aan een jurist.

462
00:31:07,379 --> 00:31:11,159
Dus die gaat zeggen dat het het allerbelangrijkste is natuurlijk om een jurist te betrekken.

463
00:31:11,159 --> 00:31:12,859
Nee, wat ik eerder eigenlijk zei.

464
00:31:13,399 --> 00:31:16,879
Ik zie het met name in die multidisciplinariteit.

465
00:31:16,879 --> 00:31:21,359
Dus juristen die moeten wat van AI snappen.

466
00:31:21,359 --> 00:31:23,339
Ik ben jurist dus ik mag dat zeggen.

467
00:31:23,339 --> 00:31:26,059
Maar ik ben met een ruime boog om statistiek heen gegaan.

468
00:31:26,059 --> 00:31:28,419
Op de middelbare scholen op de universiteit.

469
00:31:29,219 --> 00:31:30,119
Eigenlijk kan dat niet.

470
00:31:30,119 --> 00:31:32,899
Dus je moet echt als jurist verdiepen in de technologie.

471
00:31:32,899 --> 00:31:35,179
Je hoeft geen modellen zelf te gaan maken.

472
00:31:35,179 --> 00:31:37,899
Maar je moet wel een beetje snappen hoe machine learning werkt.

473
00:31:37,899 --> 00:31:38,839
Welke rollen er zijn.

474
00:31:39,039 --> 00:31:41,639
Hoe die modellen op hoofdlijnen werken.

475
00:31:41,639 --> 00:31:43,519
Zodat je ook die risico's kan inschatten.

476
00:31:43,519 --> 00:31:46,599
En het gesprek aan kan gaan met de data scientist.

477
00:31:46,599 --> 00:31:50,319
Net als de data scientist andersom over de eigen schaduw heen moet snappen.

478
00:31:50,319 --> 00:31:54,559
En wat van die vage term als proportionaliteit en subsidiariteit moet gaan begrijpen.

479
00:31:54,559 --> 00:31:58,299
En ik denk dat daar het begin zit.

480
00:31:58,299 --> 00:31:59,499
Voor nu.

481
00:31:59,499 --> 00:32:01,579
Leer elkaar kennen.

482
00:32:01,579 --> 00:32:06,199
Ga samen kijken hoe je de compliance kunt inrichten.

483
00:32:06,839 --> 00:32:11,039
En de volgende stap is eigenlijk wat de AI-act noemt een kwaliteitsmanagementsysteem.

484
00:32:11,039 --> 00:32:12,679
Dat is met name relevant voor aanbieders.

485
00:32:12,679 --> 00:32:15,019
Maar ook voor gebruiksverantwoordelijken zou ik daar zeker naar kijken.

486
00:32:15,019 --> 00:32:19,119
En dat is eigenlijk hoe gaan we die hele compliance inrichten.

487
00:32:19,119 --> 00:32:22,279
Vanaf het idee vormen tot en met het deployment.

488
00:32:22,279 --> 00:32:23,119
Alles daartussen.

489
00:32:23,119 --> 00:32:24,819
Wie is waarvoor verantwoordelijk.

490
00:32:24,819 --> 00:32:26,979
En wie moet wanneer zeggen ja of nee.

491
00:32:26,979 --> 00:32:27,499
Precies.

492
00:32:27,499 --> 00:32:28,839
Dus de rollen en verantwoordelijkheden.

493
00:32:28,839 --> 00:32:30,959
Je noemde al de AVG.

494
00:32:30,959 --> 00:32:34,359
Welke lessen kunnen we eigenlijk trekken uit de implementatie van de AVG?

495
00:32:34,359 --> 00:32:39,319
Dat we zeggen van laten we nou niet in die valkuilen trappen bij de implementatie van deze wet.

496
00:32:39,319 --> 00:32:39,979
Oeh.

497
00:32:39,979 --> 00:32:41,119
Een paar dingen.

498
00:32:41,119 --> 00:32:41,539
Eerste.

499
00:32:41,539 --> 00:32:42,699
Begin niet te laat.

500
00:32:42,699 --> 00:32:43,359
Ja.

501
00:32:43,359 --> 00:32:46,339
Ik heb bij de AVG.

502
00:32:46,339 --> 00:32:48,079
Het was hilarisch.

503
00:32:48,079 --> 00:32:51,499
De AVG begon iedereen veel te laat uiteindelijk.

504
00:32:51,499 --> 00:32:56,759
En dat was nota bene een wet die eigenlijk qua regels al bestond.

505
00:32:56,759 --> 00:32:59,759
Want we hadden de wet bescherming persoonsgegevens al gebaseerd op de Europese richtlijn.

506
00:32:59,759 --> 00:33:03,719
De AVG vroeg eigenlijk niet zo heel veel van de organisaties.

507
00:33:03,719 --> 00:33:04,559
Het was niet nieuws.

508
00:33:04,559 --> 00:33:09,019
Maar ik heb bij boards gezeten van grote multinationals.

509
00:33:09,019 --> 00:33:10,039
Echt miljardenbedrijven.

510
00:33:10,039 --> 00:33:14,259
Die zes maanden voordat de AVG van toepassing werd.

511
00:33:14,259 --> 00:33:15,759
Dus die hadden nog zes maanden.

512
00:33:15,759 --> 00:33:18,299
De CFO die vroeg aan mij van gaan we het halen?

513
00:33:18,299 --> 00:33:18,759
Ik zeg nou.

514
00:33:18,759 --> 00:33:20,839
Nee we gaan het niet halen.

515
00:33:20,839 --> 00:33:23,359
Op papier ga je compliant misschien zijn.

516
00:33:23,359 --> 00:33:25,299
Maar we gaan het niet halen.

517
00:33:25,299 --> 00:33:28,199
En toen vroeg je aan mij van ja maar wanneer zijn mijn peers dan begonnen?

518
00:33:28,199 --> 00:33:29,819
Ik zeg nou drie jaar geleden.

519
00:33:29,819 --> 00:33:31,739
Toen zat hij echt zo van oh jee.

520
00:33:31,739 --> 00:33:34,039
Dus begin op tijd.

521
00:33:34,039 --> 00:33:39,339
Ik heb ook hele leuke onderhandelingen gehad op 24 mei 2018 met de Amerikaanse bedrijven.

522
00:33:39,339 --> 00:33:41,539
Die nog snel een DPO moesten inschrijven.

523
00:33:41,539 --> 00:33:43,019
Heel leuk als consultant.

524
00:33:43,019 --> 00:33:44,639
Dan heb je een goede onderhandelingspositie.

525
00:33:44,639 --> 00:33:48,239
Dus mijn advies met die AI act.

526
00:33:48,239 --> 00:33:51,299
Omdat het ook veel meer van verschillende rollen binnen de organisatie gaat.

527
00:33:51,299 --> 00:33:52,539
Begin op tijd.

528
00:33:53,959 --> 00:33:54,959
Maar tegelijkertijd.

529
00:33:54,959 --> 00:33:57,759
En dat is misschien dan meer een advies aan de juristen.

530
00:33:57,759 --> 00:33:59,699
En ook de compliance medewerkers.

531
00:33:59,699 --> 00:34:04,519
Sla de ontwikkeling van AI niet dood.

532
00:34:04,519 --> 00:34:07,339
Ik zat laatst met een collega van mij.

533
00:34:07,339 --> 00:34:07,559
Bram.

534
00:34:07,559 --> 00:34:08,458
Zaten we bij een board.

535
00:34:08,458 --> 00:34:10,599
En daar zei de directeur.

536
00:34:10,599 --> 00:34:11,359
Die zei het heel mooi.

537
00:34:11,359 --> 00:34:13,079
Of zij zei van.

538
00:34:13,079 --> 00:34:15,859
Dit is anders dan privacy.

539
00:34:15,859 --> 00:34:17,018
En anders dan security.

540
00:34:17,018 --> 00:34:18,279
Want dat kost.

541
00:34:18,279 --> 00:34:19,059
Dat kost geld.

542
00:34:19,059 --> 00:34:22,458
Dus privacy en security zijn niet de business case.

543
00:34:22,918 --> 00:34:24,279
AI is wel de business case.

544
00:34:24,279 --> 00:34:27,319
Dat lijkt me echt een hele mooie afsluiter.

545
00:34:27,319 --> 00:34:29,458
We moeten helaas afsluiten.

546
00:34:29,458 --> 00:34:30,799
Is dat de one-liner?

547
00:34:30,799 --> 00:34:31,639
Ja precies.

548
00:34:31,639 --> 00:34:32,518
Niet eens van mezelf.

549
00:34:32,518 --> 00:34:34,399
Volgens mij hebben we dan ook heel mooi.

550
00:34:34,399 --> 00:34:38,099
Dus zorg dat je weet in welke risicoklasse je gaat vallen.

551
00:34:38,099 --> 00:34:41,679
Zorg dat je weet of je gebruiker bent of aanbieder bent.

552
00:34:41,679 --> 00:34:42,978
Begin vandaag.

553
00:34:42,978 --> 00:34:44,539
En zorg dat je waarde creëert.

554
00:34:44,539 --> 00:34:45,418
Zeg ik het zo goed?

555
00:34:45,418 --> 00:34:46,659
Ja dat is een hele mooie samenvatting.

556
00:34:46,659 --> 00:34:47,379
Hartstikke mooi.

557
00:34:47,978 --> 00:34:48,379
Bart.

558
00:34:48,379 --> 00:34:50,599
Hartstikke bedankt dat je onze gast wilde zijn.

559
00:34:50,599 --> 00:34:54,799
Geef een warm applaus voor alle inzichten die je gegeven heeft.

560
00:34:54,799 --> 00:34:58,659
En als luisteraar blijf even hangen.

561
00:34:58,659 --> 00:35:02,819
Want we gaan natuurlijk de vragen uit de zaal gaan we met jou doornemen.

562
00:35:02,819 --> 00:35:03,779
Dankjewel Bart.

563
00:35:03,779 --> 00:35:06,879
Zal ik met de eerste beginnen.

564
00:35:08,019 --> 00:35:14,219
Ik heb hier een vraag van Esmee van der Water.

565
00:35:14,219 --> 00:35:18,699
Zij is PMO-director van BNS International.

566
00:35:18,699 --> 00:35:19,919
En haar vraag is.

567
00:35:19,919 --> 00:35:24,679
Als je een externe AI oplossing integreert in je interne bedrijfsprocessen.

568
00:35:24,679 --> 00:35:26,019
Ben je dan een aanbieder?

569
00:35:26,019 --> 00:35:29,879
Ja het flauwe antwoord wat ik vaak ga geven is.

570
00:35:29,879 --> 00:35:31,599
Dat hangt af van de omstandigheden van het geval.

571
00:35:31,599 --> 00:35:32,759
Ik ben jurist dus ik mag dat.

572
00:35:32,759 --> 00:35:33,119
Het depends.

573
00:35:33,959 --> 00:35:36,539
Maar het hangt er wel echt vanaf.

574
00:35:36,539 --> 00:35:38,219
Namelijk hoe je die integratie doet.

575
00:35:38,219 --> 00:35:39,579
Dus op het moment dat je zegt.

576
00:35:39,579 --> 00:35:44,459
Ik neem bijvoorbeeld een ChatGPT-achtige toepassing.

577
00:35:44,459 --> 00:35:48,679
En ik ga die inzetten om mijn bedrijfsvoering te verbeteren.

578
00:35:48,679 --> 00:35:49,219
Dus bijvoorbeeld.

579
00:35:49,219 --> 00:35:52,579
Ik schrijf een e-mailtje of een brief.

580
00:35:52,579 --> 00:35:56,199
En ChatGPT verbetert dat door de spellingsfouten eruit te halen.

581
00:35:56,199 --> 00:35:57,799
Of een bericht dat op te leuken.

582
00:35:57,799 --> 00:35:59,759
Dat wordt niet gezien als hoog risico.

583
00:35:59,959 --> 00:36:04,879
Maar als je die ChatGPT bijvoorbeeld inzet in een hoog risico categorie.

584
00:36:04,879 --> 00:36:08,339
Dus bijvoorbeeld beoordelingen over medewerkers.

585
00:36:08,339 --> 00:36:12,759
Of beoordelingen van een persoon of ze in aanmerking komen voor een uitkering of iets dergelijks.

586
00:36:12,759 --> 00:36:17,219
Op dat moment zet je dat AI systeem voor algemene doeleinden in.

587
00:36:17,219 --> 00:36:19,159
In een hoog risico categorie.

588
00:36:19,159 --> 00:36:21,679
En daarmee word je op grond van dat artikel 25.

589
00:36:21,679 --> 00:36:23,679
Word je aanbieder van dat systeem.

590
00:36:23,679 --> 00:36:25,039
En moet je dus aan alle regels voldoen.

591
00:36:25,599 --> 00:36:28,019
Hetzelfde bijvoorbeeld geldt als je een AI systeem pakt.

592
00:36:28,019 --> 00:36:31,019
En je gaat daar dingen aan veranderen.

593
00:36:31,019 --> 00:36:37,019
Zover dat het wordt gezien door de Europese Unie als een substantiële wijziging.

594
00:36:37,019 --> 00:36:39,219
Vrij technisch gecompliceerd verhaal.

595
00:36:39,219 --> 00:36:43,639
Maar het komt erop neer dat waarvoor het systeem getoetst is als hoog risicosysteem.

596
00:36:43,639 --> 00:36:47,199
Jij gaat daar iets aan doen waarvoor het niet getoetst is.

597
00:36:47,439 --> 00:36:51,179
Neem het oude voorbeeld van de brommer.

598
00:36:51,179 --> 00:36:52,999
Dus je zet daar een zwaardere motor in.

599
00:36:52,999 --> 00:36:56,419
Of je verandert wat aan de remmen en dergelijke.

600
00:36:56,419 --> 00:36:59,439
De originele aanbieder heeft dat niet kunnen voorzien.

601
00:36:59,439 --> 00:37:02,619
Het product is daar dus ook niet op getoetst.

602
00:37:02,619 --> 00:37:06,419
En dat betekent dat jij dan aanbieder wordt voor dat product.

603
00:37:06,419 --> 00:37:08,599
Omdat jij die substantiële wijziging hebt doorgevoerd.

604
00:37:08,599 --> 00:37:09,399
Wat een goeie.

605
00:37:09,399 --> 00:37:13,959
Dus het hangt echt helemaal af van wat voor product of component je pakt.

606
00:37:13,959 --> 00:37:16,359
En wat je met dat product of component doet.

607
00:37:16,359 --> 00:37:20,039
En dat is iets wat eigenlijk veel organisaties zich nu niet beseffen.

608
00:37:20,039 --> 00:37:21,799
Die denken van ik gebruik Co-Pilot.

609
00:37:21,799 --> 00:37:24,879
Of ik pak ChatGPT of Cloth of DeepSeek of whatever.

610
00:37:24,879 --> 00:37:27,299
En ik ga dat toepassen in mijn organisatie.

611
00:37:27,299 --> 00:37:31,679
Maar daarmee kan je dus zomaar de aanbiedersverplichtingen op je hals halen.

612
00:37:31,679 --> 00:37:32,899
Wat jij eigenlijk zegt.

613
00:37:32,899 --> 00:37:34,259
En dan verschiet je van kleur.

614
00:37:34,259 --> 00:37:36,899
Van gebruiken naar aanbieder.

615
00:37:36,899 --> 00:37:40,499
Ja, ik had een vraag.

616
00:37:40,499 --> 00:37:41,639
Die ligt een beetje in de lijn.

617
00:37:41,639 --> 00:37:43,559
Dankjewel voor je vraag Loes.

618
00:37:43,559 --> 00:37:45,579
Excuses als ik je naam verkeerd uitspreek.

619
00:37:45,579 --> 00:37:47,599
Loes Roger.

620
00:37:47,599 --> 00:37:49,699
AI Governance Lead bij KPN.

621
00:37:49,699 --> 00:37:50,959
En ligt een beetje in de lijn.

622
00:37:50,959 --> 00:37:54,179
Waar ligt de grens tussen inzet van AI systeem.

623
00:37:54,179 --> 00:37:56,019
GPA systeem.

624
00:37:56,019 --> 00:37:58,199
Voor persoonlijke productiviteit.

625
00:37:58,199 --> 00:37:59,899
En inzet in een bedrijf in een proces.

626
00:37:59,899 --> 00:38:03,959
Als een recruiter een generatief AI systeem gebruikt.

627
00:38:03,959 --> 00:38:05,019
Voor persoonlijke productiviteit.

628
00:38:05,019 --> 00:38:06,879
Valt dit dan onder de AI wet.

629
00:38:06,879 --> 00:38:09,379
Ja, hele goede vraag.

630
00:38:09,379 --> 00:38:13,659
Dat valt onder de AI act.

631
00:38:13,659 --> 00:38:14,519
Dat valt onder de AI wet.

632
00:38:14,519 --> 00:38:17,839
Omdat er sprake is van de toepassing van een AI systeem.

633
00:38:17,839 --> 00:38:21,579
Het is de general purpose AI.

634
00:38:21,579 --> 00:38:23,479
De ChatGPTs, de Copilots van deze wereld.

635
00:38:23,479 --> 00:38:25,119
Dat zijn AI systemen.

636
00:38:25,119 --> 00:38:27,159
Dus ja, de AI act is daarop van toepassing.

637
00:38:27,159 --> 00:38:28,539
De volgende vraag is.

638
00:38:28,539 --> 00:38:29,879
Is het een hoog risicotoepassing?

639
00:38:29,879 --> 00:38:33,379
Dan komen we weer bij dat artikel 6.

640
00:38:33,379 --> 00:38:33,779
Dat zegt.

641
00:38:33,899 --> 00:38:35,959
Valt het onder bestaande productregulering?

642
00:38:35,959 --> 00:38:39,379
Of is het een veiligheidscomponent in een van die producten uit die productregulering?

643
00:38:39,379 --> 00:38:43,359
Bij persoonlijke productiviteit zal dat denk ik eigenlijk nooit het geval zijn.

644
00:38:43,359 --> 00:38:46,119
Dan kom je in 6-lid 2.

645
00:38:46,119 --> 00:38:47,099
Dat is die Annex 3.

646
00:38:47,099 --> 00:38:48,399
Dat is een lijst van producten.

647
00:38:49,559 --> 00:38:50,919
De EU heeft gezegd.

648
00:38:50,919 --> 00:38:53,759
Die toepassingsgebieden, die use cases zijn hoog risico.

649
00:38:53,759 --> 00:38:55,819
Daar kan.

650
00:38:55,819 --> 00:39:00,919
Dus als je persoonlijke productiviteit in die context toepast.

651
00:39:00,919 --> 00:39:02,139
Bijvoorbeeld in een HR context.

652
00:39:02,139 --> 00:39:03,759
Dan kan het hoog risico zijn.

653
00:39:03,759 --> 00:39:09,519
Maar dan moet je kijken naar de uitzonderingen die er zijn in 6-lid 2.

654
00:39:09,519 --> 00:39:09,799
Die zegt.

655
00:39:10,259 --> 00:39:12,059
Je zit dan in een hoog risico categorie.

656
00:39:12,059 --> 00:39:16,939
Maar als je bijvoorbeeld het AI-systeem alleen maar gebruikt voor voorbereidende taken.

657
00:39:16,939 --> 00:39:21,639
Of om de taak die aanvankelijk door een mens is uitgevoerd te verbeteren.

658
00:39:21,639 --> 00:39:23,339
Dan is het geen hoog risico.

659
00:39:23,339 --> 00:39:24,999
Dus dan val je nog wel onder die AI-act.

660
00:39:24,999 --> 00:39:27,079
Maar dan heb je niet zo heel veel verplichtingen.

661
00:39:27,079 --> 00:39:32,019
Die uitzondering is ter elfde uren nog ingefietst in de AI-act.

662
00:39:32,259 --> 00:39:35,599
Er is één overweging, overweging 53 voor de liefhebbers.

663
00:39:35,599 --> 00:39:39,619
Die uitlegt waar je dan aan moet denken.

664
00:39:39,619 --> 00:39:41,879
En daar gaan we nog heel veel interpretatie moeten krijgen.

665
00:39:41,879 --> 00:39:45,799
Dus bijvoorbeeld als het gaat om productiviteit van medewerkers.

666
00:39:45,799 --> 00:39:48,499
Dus bijvoorbeeld met behulp van ChatGPT je mails verbeteren.

667
00:39:48,499 --> 00:39:50,719
Ook al is dat in een hoog risico context.

668
00:39:50,719 --> 00:39:51,939
Zou ik zeggen van nee.

669
00:39:51,939 --> 00:39:55,199
Want dat is de taak die eerst door een mens is uitgevoerd te verbeteren.

670
00:39:55,199 --> 00:39:56,879
Wordt ook genoemd in de overweging 53.

671
00:39:56,879 --> 00:40:01,879
Maar bijvoorbeeld als je het hebt over preselectie voor medewerkers.

672
00:40:02,499 --> 00:40:06,939
Dus als je zegt van nou ik heb een classifier die dingen in bakje A of in bakje B stopt.

673
00:40:06,939 --> 00:40:08,799
En daar gaat de medewerker wel aan de gang.

674
00:40:08,799 --> 00:40:11,119
Ja dat kan best wel een impact hebben natuurlijk.

675
00:40:11,119 --> 00:40:12,639
Of je in bakje A of in bakje B komt.

676
00:40:12,639 --> 00:40:17,539
Dus daar zal die productiviteitstool misschien toch nog hoog risico zijn.

677
00:40:17,539 --> 00:40:19,959
In dat kader heb ik nog een eigen vraag.

678
00:40:19,959 --> 00:40:25,239
Weet je je ziet op social media van alles voorbij komen over AI geletterdheid.

679
00:40:25,239 --> 00:40:28,959
En één die me opviel is dat er dan wordt gezegd.

680
00:40:29,079 --> 00:40:30,719
En dat zijn natuurlijk typisch de trainers.

681
00:40:30,719 --> 00:40:31,979
Want die willen van alles verkopen.

682
00:40:31,979 --> 00:40:37,379
Die zeggen ja wist je omdat je een spam folder hebt in je mail.

683
00:40:37,379 --> 00:40:40,119
Dat is een machine learning systeem.

684
00:40:40,119 --> 00:40:40,479
AI.

685
00:40:40,479 --> 00:40:45,639
En daarmee moet je volgens de AI wet AI geletterd zijn.

686
00:40:45,639 --> 00:40:46,719
Klopt dat?

687
00:40:48,919 --> 00:40:51,439
Ja dat is een goede verkoopstrategie.

688
00:40:51,439 --> 00:41:01,499
Ja kijk de AI act zegt dat bestaande systemen die al draaien niet onder de regels van de AI act vallen.

689
00:41:01,499 --> 00:41:05,739
Tenzij je bij een overheid werkt dan moet je voor 2030 alsnog die systemen compliant krijgen.

690
00:41:06,799 --> 00:41:16,459
Formeel juridisch zou je inderdaad zeggen van zo'n spam filter dat is een classifier werkt met machine learning is een AI systeem.

691
00:41:16,459 --> 00:41:19,959
En afhankelijk van waar dat spam filter gebruikt wordt.

692
00:41:19,959 --> 00:41:24,039
Dus waar jouw mailbox staat als het ware wat jouw taak is.

693
00:41:24,039 --> 00:41:26,319
Kan het zijn dat dat hoog risico is.

694
00:41:26,319 --> 00:41:30,339
Maar dat is niet echt de intentie van de wetgever.

695
00:41:31,539 --> 00:41:39,799
Sowieso zal dat in de praktijk worden opgelost dat stel dat je mail aanbieder of dat nou Gmail is of iemand anders.

696
00:41:39,799 --> 00:41:41,619
Dat is dan de aanbieder.

697
00:41:41,619 --> 00:41:45,019
Die zal aan al die regels voldoen van de AI act.

698
00:41:45,019 --> 00:41:56,399
En die zal jou als gebruiksverantwoordelijke in de handleiding die je bij je mail applicatie zeggen van nou kijk af en toe eens in je spambox of iets in zit wat niet spam is.

699
00:41:56,399 --> 00:41:58,379
En daarmee is de kous af.

700
00:41:58,619 --> 00:42:05,499
Dus als gebruiksverantwoordelijke hoef je geen menselijk toezicht te gaan uitoefenen denk ik op het spam filter dat jouw aanbieder je gaat aanbieden.

701
00:42:05,499 --> 00:42:06,419
Dat is...

702
00:42:06,419 --> 00:42:07,579
De hele toepassing van de spam filter.

703
00:42:07,579 --> 00:42:11,519
Formeel juridisch zou dat kunnen, maar ik zie daar het probleem niet zitten.

704
00:42:11,519 --> 00:42:11,799
Nee.

705
00:42:11,799 --> 00:42:18,979
En persoonlijk, volgens mij met deze technologie is het sowieso verstandig om AI geletterder te worden als hele maatschappij.

706
00:42:18,979 --> 00:42:22,559
Ja, maar er zit een verschil tussen verkooppraatjes.

707
00:42:22,559 --> 00:42:22,999
Inderdaad.

708
00:42:22,999 --> 00:42:25,859
Ja, en het is ook wat AI geletterdheid is.

709
00:42:26,059 --> 00:42:34,739
Dus in geletterdheid, het idee is van je moet als organisatie en als mensen binnen de organisatie kansen en risico's op waarde kunnen schatten.

710
00:42:34,739 --> 00:42:40,519
Ja, voor een hele hoop mensen binnen een organisatie is dat helemaal niet zo heel relevant.

711
00:42:40,599 --> 00:42:43,319
Omdat ze niet of nauwelijks met AI in aanraking komen.

712
00:42:43,319 --> 00:42:54,319
Kijk, dat het management snapt wat er moet gebeuren en dat een product owner die een toepassing beheerst en laat maken dat die weet wat de kansen en risico's zijn.

713
00:42:54,319 --> 00:42:55,159
Uiteraard.

714
00:42:55,159 --> 00:43:01,639
Maar dat AI geletterdheid gaat voor heel veel mensen binnen een organisatie niet heel veel verder dan de eerder genoemde e-learning.

715
00:43:01,899 --> 00:43:02,499
Ja, precies.

716
00:43:02,499 --> 00:43:15,059
We hebben ook nog een hele mooie vraag namelijk over verplichtingen bij hoog risico van Robin Wienhans, information security officer, information security officer moet ik zeggen, gemeente Venlo.

717
00:43:15,059 --> 00:43:16,899
Hij schrijft heel netjes, dus het ligt aan mij.

718
00:43:16,899 --> 00:43:25,239
Zijn de verplichtingen met betrekking tot transparantierisico, je staat in artikel 50, ook van toepassing voor hoog risico AI?

719
00:43:25,719 --> 00:43:26,159
Ja.

720
00:43:26,159 --> 00:43:27,539
Juist toch?

721
00:43:27,539 --> 00:43:38,079
Ja, en voor, dus artikel 50 geldt voor alle AI systemen, maar dan specifiek de generatieve AI, dus en biometrische systemen bijvoorbeeld en chatbots.

722
00:43:38,079 --> 00:43:42,039
Er zijn eigenlijk een aantal soorten toepassingen genoemd in artikel 50.

723
00:43:42,039 --> 00:43:48,679
En die toepassingen, die zijn zowel hoog risico als laag risico, in een hoog risico laag context kun je die inzetten.

724
00:43:48,679 --> 00:43:52,479
Dus artikel 50 geldt eigenlijk voor alle AI systemen.

725
00:43:53,439 --> 00:44:04,619
En daarin boven geldt met name aan de aanbiederskant voor die hoog risico systemen, dat de gebruiksantwoordelijke moet snappen hoe het AI systeem werkt.

726
00:44:04,619 --> 00:44:07,939
Of in ieder geval wat de AI zegt, de output moet kunnen interpreteren.

727
00:44:07,939 --> 00:44:12,779
Dus er zit een aanvullende transparantieverplichting aan de kant van de aanbieder.

728
00:44:12,779 --> 00:44:16,399
Dus die moet het mogelijk maken om de output te interpreteren.

729
00:44:16,399 --> 00:44:20,759
Als dat met een complex machine learning model is met een explainer of iets dergelijks.

730
00:44:21,659 --> 00:44:23,859
Dus dat is een aanvullende transparantieverplichting.

731
00:44:23,859 --> 00:44:29,079
En als gebruiksantwoordelijke moet je ook transparant zijn richting de betrokken persoon.

732
00:44:29,079 --> 00:44:30,959
Dus de affected person, zoals we dat zeggen.

733
00:44:30,959 --> 00:44:33,739
Dus degene die geraakt wordt door AI.

734
00:44:33,739 --> 00:44:40,899
Die moet je allereerst aangeven als er hoog risico AI wordt gebruikt van dat hoog risico AI wordt gebruikt.

735
00:44:40,899 --> 00:44:42,539
In relatie tot die persoon.

736
00:44:42,539 --> 00:44:44,639
Dus bijvoorbeeld voor credit scoring of iets dergelijks.

737
00:44:45,479 --> 00:44:53,839
En ook op verzoek van die gebruiker moet je inzagen kunnen geven in welke rol de AI gespeeld heeft in de besluitvorming.

738
00:44:53,839 --> 00:44:54,279
Oh ja.

739
00:44:54,279 --> 00:45:01,079
Dus voor hoog risico AI zijn er nog meer transparantieverplichtingen dan dat artikel 50.

740
00:45:01,079 --> 00:45:04,719
En soms is transparantie wel een moeilijk begrip van wat er allemaal onder valt.

741
00:45:04,719 --> 00:45:04,919
Ja.

742
00:45:04,919 --> 00:45:06,899
Zeker met generatieve AI.

743
00:45:06,899 --> 00:45:09,759
Dus stel ik maak samenvattingen.

744
00:45:09,759 --> 00:45:10,699
Dus ik zit in een ziekenhuis.

745
00:45:10,699 --> 00:45:13,319
Maak samenvattingen van een patiëntgesprek.

746
00:45:13,319 --> 00:45:16,979
Wat valt dan onder die transparantie eis?

747
00:45:16,979 --> 00:45:22,039
Ja dat is een vraag waar het antwoord nog niet volledig duidelijk op is.

748
00:45:22,039 --> 00:45:23,559
Mooi.

749
00:45:23,559 --> 00:45:25,019
Dat is namelijk.

750
00:45:25,019 --> 00:45:27,219
Ik heb een promovendus.

751
00:45:27,219 --> 00:45:29,419
Die doet onderzoek naar AI in transparantie.

752
00:45:29,419 --> 00:45:31,239
En die noemt transparantie een weasel woord.

753
00:45:31,239 --> 00:45:34,539
Dat is een soort van wezel die zich in elk gesprek wurmt.

754
00:45:34,759 --> 00:45:38,099
En het lijkt een soort van oplossing maar niemand weet wat we daar nou echt mee bedoelen.

755
00:45:38,099 --> 00:45:42,379
Dus het hangt helemaal af van de context van de transparantie.

756
00:45:42,379 --> 00:45:44,459
Dus voor wie is de transparantie bedoeld?

757
00:45:44,459 --> 00:45:48,839
En wat is ook het handelingsperspectief vervolgens van die persoon of die organisatie?

758
00:45:48,839 --> 00:45:55,099
Dus je zou kunnen zeggen voor de samenvatting van een tekst is het richting de eindgebruiker helemaal niet relevant.

759
00:45:55,099 --> 00:45:59,379
Welke tokens zijn gebruikt en tot welke tokens die dat heeft geleid.

760
00:45:59,379 --> 00:46:01,339
En hoe dat helemaal de model werkt.

761
00:46:01,339 --> 00:46:02,499
Daar heeft niemand wat aan.

762
00:46:02,559 --> 00:46:05,459
Je moet gewoon weten dat die samenvatting goed en compleet is.

763
00:46:05,459 --> 00:46:11,399
Dus transparantie moet dan zitten in van hoe is dat ongeveer tot stand gekomen.

764
00:46:11,399 --> 00:46:14,779
En is dat dan voor mij bijvoorbeeld als gebruiker verifiëerbaar op de een of andere manier.

765
00:46:14,779 --> 00:46:19,599
Voor een toezichthouder is bijvoorbeeld transparantie weer iets heel anders.

766
00:46:19,599 --> 00:46:23,139
Die moet echt naar de werking van het systeem kunnen kijken.

767
00:46:23,139 --> 00:46:25,759
En zeggen van nou laat mij maar eens zien dat het allemaal klopt.

768
00:46:25,759 --> 00:46:26,559
En waarom het klopt.

769
00:46:26,559 --> 00:46:27,579
En hoe je dat getest hebt.

770
00:46:28,219 --> 00:46:29,519
Ik wil je modelcard zien.

771
00:46:29,519 --> 00:46:30,939
Ik wil je data cards wil ik zien.

772
00:46:30,939 --> 00:46:33,319
Ik wil weten hoe dat systeem gebouwd is.

773
00:46:33,319 --> 00:46:36,199
Wat zijn je regels die je hebt gebruikt voor validatie en testen.

774
00:46:36,199 --> 00:46:38,059
En hoe je je parameters getuned.

775
00:46:38,059 --> 00:46:39,819
En wat het allemaal mogen zijn.

776
00:46:39,819 --> 00:46:44,239
Dat is een hele andere vorm van transparantie dan richting een eindgebruiker.

777
00:46:44,379 --> 00:46:47,539
Die alleen maar moet weten van wat is de uitkomst en waarom is die uitkomst er.

778
00:46:47,539 --> 00:46:48,059
Precies.

779
00:46:48,059 --> 00:46:51,219
Dus dat vind ik een moeilijke vraag om te beantwoorden.

780
00:46:51,219 --> 00:46:55,739
Omdat de uitwerking van die transparantie gaat voor doelgroepen heel anders zijn.

781
00:46:55,739 --> 00:46:57,459
Maar daarom stelde ik hem ook.

782
00:46:57,459 --> 00:46:59,679
Omdat het zo'n lastig begrip is uiteindelijk.

783
00:46:59,679 --> 00:46:59,819
Ja.

784
00:46:59,819 --> 00:47:03,799
De volgende mooie vraag van Erik van Overveld.

785
00:47:03,799 --> 00:47:06,039
Data protection expert bij Essent.

786
00:47:06,039 --> 00:47:07,319
De vraag luidt.

787
00:47:07,319 --> 00:47:12,319
Maakt de AI Act AI veiliger en bruikbaarder voor consumenten en bedrijven?

788
00:47:12,479 --> 00:47:14,299
Of is er meer nodig of juist minder?

789
00:47:14,299 --> 00:47:20,319
Ik denk dat het zeker bijdraagt.

790
00:47:20,319 --> 00:47:22,099
Al is het alleen maar in de bewustwording.

791
00:47:22,099 --> 00:47:24,579
Dus wat ik eerder al noemde.

792
00:47:24,579 --> 00:47:27,979
Het hobby tijdperk is voor organisaties nu echt wel een beetje voorbij.

793
00:47:27,979 --> 00:47:31,399
Ik ben binnen bij een aantal organisaties geweest.

794
00:47:31,399 --> 00:47:33,019
En echt zonder overdrijven.

795
00:47:33,019 --> 00:47:37,359
Daar zijn studenten van de hogeschool of de universiteit een model gemaakt.

796
00:47:37,359 --> 00:47:40,059
En dat is vervolgens in productie gebracht omdat het werkte.

797
00:47:40,059 --> 00:47:41,899
En daar wordt voor de rest niet meer naar omgekeken.

798
00:47:42,099 --> 00:47:42,559
Ja, bizar.

799
00:47:42,559 --> 00:47:43,919
Dat gebeurt gewoon.

800
00:47:43,919 --> 00:47:45,039
En dat gebeurt nog steeds.

801
00:47:45,039 --> 00:47:50,639
De AI Act zet wel een soort van hele duidelijke streep in het zand nu.

802
00:47:50,639 --> 00:47:57,639
Als jij in deze context, in deze categorie, AI gaat gebruiken of aanbieden.

803
00:47:57,639 --> 00:48:00,099
Ja, dan moet je gewoon aan deze regels voldoen.

804
00:48:00,099 --> 00:48:03,039
En die regels, ook voor aanbieders.

805
00:48:03,039 --> 00:48:04,799
Het is heel veel en het is heel heftig.

806
00:48:05,259 --> 00:48:08,759
Tegenlijkheid zijn het wel ook allemaal hele logische dingen om te doen.

807
00:48:08,759 --> 00:48:13,479
Het is ook al die regels, als je op een zorgvuldige manier AI voortbrengt als organisatie,

808
00:48:13,479 --> 00:48:17,459
doe je een hele hoop al wat in die regels van de AI-act staat.

809
00:48:17,459 --> 00:48:21,459
Dus het is ook niet een soort van AI-aanbiederpesten of zo.

810
00:48:21,459 --> 00:48:25,039
Dus het zijn hele logische regels die erin staan.

811
00:48:25,899 --> 00:48:29,659
Dus ik denk voor dat deel gaat de AI-act echt wel een bijdrage leveren.

812
00:48:29,659 --> 00:48:33,099
Alleen in de perceptie is dat wel anders.

813
00:48:33,099 --> 00:48:38,299
En die perceptie zeker nu, we hebben het eerder gehad over de wapenwedloop die nu rondom AI is.

814
00:48:39,139 --> 00:48:43,599
De perceptie is nu gewoon wel dat Europa alle hele strenge regels heeft.

815
00:48:43,599 --> 00:48:49,379
En dat je daardoor beter als start-up of als aanbieder van AI-systemen naar het buitenland kan gaan.

816
00:48:49,379 --> 00:48:52,119
Omdat je dan niet van al die lastige regels hebt.

817
00:48:52,119 --> 00:48:55,219
En daar kun je van alles van vinden.

818
00:48:55,219 --> 00:48:57,759
Of dat wel of niet klopt of regelgeving een drempel is.

819
00:48:57,759 --> 00:48:59,659
Maar in ieder geval is dat zo in de perceptie.

820
00:48:59,659 --> 00:49:03,619
En dat heeft wel impact op AI-ontwikkeling in Europa.

821
00:49:04,259 --> 00:49:11,459
Terwijl als je gewoon heel professioneel bezig bent, zeg jij, dan voldoen je eigenlijk al heel snel een grote deel van deze wet.

822
00:49:11,459 --> 00:49:12,679
Ja, zeker.

823
00:49:12,679 --> 00:49:20,019
Kijk, het enige wat je erbij krijgt wat wel echt een ding is, uit productregulering, is die conformiteitstoets.

824
00:49:20,019 --> 00:49:22,899
Zeker als je dat door een derde partij moet laten doen.

825
00:49:22,899 --> 00:49:26,759
Dat gaat echt wel een impact hebben op innovatie.

826
00:49:26,759 --> 00:49:29,679
Maar goed, je zit daar ook in hoog risico.

827
00:49:29,679 --> 00:49:31,679
Dus je raakt ook uiteindelijk de maatschappij.

828
00:49:31,679 --> 00:49:35,019
Ja, zeker. Dat is ook absoluut geen gek idee.

829
00:49:35,019 --> 00:49:37,499
Dus bijvoorbeeld, we hebben de Medical Device Regulation bijvoorbeeld.

830
00:49:37,499 --> 00:49:39,619
Die reguleert medische toepassingen.

831
00:49:39,619 --> 00:49:41,399
Dus bijvoorbeeld insulinepompen.

832
00:49:41,399 --> 00:49:45,999
Als je een insulinepomp maakt, moet je dat door een derde partij laten toetsen.

833
00:49:45,999 --> 00:49:47,299
Of wat jij hebt gebouwd.

834
00:49:47,299 --> 00:49:48,319
Of dat echt wel goed werkt.

835
00:49:48,319 --> 00:49:52,299
Zou ik, vind ik, als ik een pacemaker krijg of een insulinepomp.

836
00:49:52,299 --> 00:49:53,739
Dat vind ik een hele fijne gedachte.

837
00:49:53,739 --> 00:49:54,139
Zeker.

838
00:49:54,139 --> 00:49:57,199
Een beetje te veel insuline betekent mogelijk dat je doodgaat.

839
00:49:57,199 --> 00:49:58,379
Daarom was ik het te noemen.

840
00:49:58,379 --> 00:50:04,659
En als bijvoorbeeld in die AI-systemen dan, of in die insulinepompen AI-component wordt gebruikt.

841
00:50:04,659 --> 00:50:10,359
Om bijvoorbeeld jouw bloedzuikerspiegel in te schatten op basis van jouw sportgedrag of iets dergelijks.

842
00:50:10,359 --> 00:50:13,439
Ik zeg van, nou, nu ga ik alvast meer of minder insuline afgeven.

843
00:50:13,439 --> 00:50:19,819
Ja, ik wil ook wel dat dat AI-systeem een beetje, dan wil ik niet dat dat een open source modelletje is in China.

844
00:50:19,819 --> 00:50:20,919
Waarvan niet weten hoe het werkt.

845
00:50:21,919 --> 00:50:24,099
Dus het is helemaal geen gek idee.

846
00:50:24,099 --> 00:50:29,419
Het matcht alleen niet heel goed met de innovatiecycli van AI.

847
00:50:29,419 --> 00:50:33,419
Want hoe zo'n derde conformiteitstoets werkt is van, daar gaat een derde partij naar toetsen.

848
00:50:33,419 --> 00:50:37,079
Bij die medische apparaten duurt dat nu ergens tussen de 12 en de 16 maanden.

849
00:50:37,079 --> 00:50:41,919
En die 12 en 16 maanden kan je dus geen wijzigingen doorvoeren aan je AI.

850
00:50:41,919 --> 00:50:46,139
Dus doortrainen en hertrainen van jouw systeem.

851
00:50:46,139 --> 00:50:50,699
Als dat systeem af gaat wijken van wat jij hebt ingediend ter toetsing.

852
00:50:50,699 --> 00:50:52,139
Ja, dat kan niet.

853
00:50:52,139 --> 00:50:53,459
Dan moet je opnieuw laten toetsen.

854
00:50:53,459 --> 00:50:54,499
Oh, daar heb ik nog wel geweten.

855
00:50:54,499 --> 00:50:59,959
Dat is wel een serieus vraagstuk, denk ik, met innovatie en AI.

856
00:50:59,959 --> 00:51:03,319
Van in hoeverre moet je stilstaan in je ontwikkeling.

857
00:51:03,319 --> 00:51:09,099
Dus de tempo waarmee AI wordt ontwikkeld, match niet met het tempo van conformiteitstoetsing.

858
00:51:09,099 --> 00:51:11,519
En al helemaal niet met conformiteitstoetsing door een derde partij.

859
00:51:11,579 --> 00:51:12,239
Ja, snap ik.

860
00:51:12,239 --> 00:51:15,319
En zie je daar wel ontwikkelingen om dat conformiteitstoets te versnellen?

861
00:51:15,319 --> 00:51:17,699
Nou, niet direct.

862
00:51:17,699 --> 00:51:22,279
Ik denk dat dat ook nog wat te vroeg is, nu de inkt van de AI-act net droog is.

863
00:51:22,279 --> 00:51:26,439
In de Medical Device Regulation heb je bijvoorbeeld verschillende categorieën van producten,

864
00:51:26,439 --> 00:51:30,939
waardoor je toch zegt van, deze hoeft niet door zo'n derde conformiteitstoets.

865
00:51:30,939 --> 00:51:35,659
Misschien gaat dat ook wel met de AI-act later gebeuren.

866
00:51:35,659 --> 00:51:40,939
Maar vooralsnog zit jij in een van die door de EU geregelde partijen,

867
00:51:41,239 --> 00:51:44,119
producten, dan moet je gewoon die conformiteitstoets doorlopen.

868
00:51:44,119 --> 00:51:47,679
En zoals gezegd, daar zijn ook hele goede redenen om dat te doen.

869
00:51:47,679 --> 00:51:51,399
Dus ik ben er niet per se tegen, maar qua innovatie gaat dat wel impact hebben.

870
00:51:54,059 --> 00:51:55,359
Nee, je hebt zo direct nog een vraag.

871
00:51:55,359 --> 00:51:56,439
De ene laatste vraag.

872
00:51:56,439 --> 00:51:58,959
John Koelewijn, product manager bij de ING.

873
00:51:58,959 --> 00:52:06,879
Moet men niet eerst de data kwaliteit beter op orde hebben voordat je met AI in zee gaat voor hoog risicosystemen?

874
00:52:07,199 --> 00:52:08,259
Ja, absoluut.

875
00:52:08,259 --> 00:52:08,739
Helemaal mee eens.

876
00:52:08,739 --> 00:52:16,459
Dus wat ik eerder zei, data en data governance en de kwaliteit van je data is gewoon een vereis.

877
00:52:16,459 --> 00:52:20,699
Dus artikel 10 van de AI, het gaat over data en data governance, zegt eigenlijk twee dingen.

878
00:52:20,699 --> 00:52:22,519
Gewoon een kwaliteitseis aan je data.

879
00:52:22,519 --> 00:52:30,759
Je data moet representatief zijn, moet passend zijn, moet zoveel mogelijk foutenvrij en correct zijn.

880
00:52:30,759 --> 00:52:34,439
En de eerste versie van de AI stond foutenvrij en dat is natuurlijk helemaal gek.

881
00:52:34,439 --> 00:52:37,679
De data is nooit foutenvrij, maar zoveel mogelijk foutenvrij.

882
00:52:37,679 --> 00:52:44,239
Dus eigenlijk is het gewoon de data waar jij mee gaat trainen, moet representatief zijn voor het probleem wat je wil oplossen.

883
00:52:44,239 --> 00:52:53,179
En dat is gewoon een algemene eis en daar zitten ook eisen rondom de inrichting van je hele data governance.

884
00:52:53,179 --> 00:52:58,219
Dus om aan die eis te voldoen, moet je vanuit de AI, dat artikel 10 tenminste, aan deze en deze,

885
00:52:58,299 --> 00:53:01,079
wat zijn je procedures voor het labelen van data?

886
00:53:01,079 --> 00:53:03,319
Wat zijn je procedures voor het verzamelen van data?

887
00:53:03,319 --> 00:53:05,019
Hoe schoon je de data op?

888
00:53:05,019 --> 00:53:08,319
Hoe valideer je modellen en hoe test je modellen?

889
00:53:08,319 --> 00:53:12,099
Al dat soort verplichtingen zit in dat data en data governance.

890
00:53:12,099 --> 00:53:16,959
En als je dat dus niet op orde hebt, momenteel al binnen je organisatie,

891
00:53:16,959 --> 00:53:20,419
dan moet je zeker geen hoog risico AI zelf gaan aanbieden.

892
00:53:20,419 --> 00:53:22,119
Want garbage in is garbage out.

893
00:53:22,119 --> 00:53:25,999
En als jij niet weet of je garbage hebt, dan wordt het lastig.

894
00:53:26,679 --> 00:53:28,559
En dat zie ik nu echt al binnen organisaties gebeuren.

895
00:53:28,559 --> 00:53:33,419
Iedereen denkt van oh, we halen ChatGPT binnen en we trainen dat op onze eigen knowledgebase.

896
00:53:33,419 --> 00:53:38,459
En volgens mij blijkt die hele knowledgebase totaal ongestructureerd en onduidelijk.

897
00:53:38,459 --> 00:53:39,639
En wat is nou wel die knowledge?

898
00:53:39,639 --> 00:53:40,259
Verhouder.

899
00:53:40,739 --> 00:53:48,599
Ja, daar moet je dus wel eerst mee aan de slag voordat je de potentie van AI kan ontsleutelen.

900
00:53:48,599 --> 00:53:49,259
Precies.

901
00:53:49,259 --> 00:53:52,159
Ja, dat doet me goed vanuit het data hart, moet ik zeggen.

902
00:53:52,159 --> 00:53:53,839
Dus ik word hier vrolijk van.

903
00:53:53,839 --> 00:53:55,479
En er zitten niet alleen de slechte regels.

904
00:53:55,479 --> 00:53:56,119
Nee, nee.

905
00:53:56,119 --> 00:53:56,999
Toen is wel over nagedacht.

906
00:53:56,999 --> 00:54:02,439
We hebben nog een vraag van Aad van Gils, FG, bij kwaliteit in bedrijf.

907
00:54:02,439 --> 00:54:05,239
En het is een denk ik een mooie, generieke afsluitende vraag.

908
00:54:05,719 --> 00:54:07,059
AI kost werkgelegenheid.

909
00:54:07,059 --> 00:54:09,219
Hoeveel werkgelegenheid leeft het op?

910
00:54:09,219 --> 00:54:14,799
Ja, voor juristen, compliance, medewerkers, data scientists,

911
00:54:14,799 --> 00:54:17,079
is het in ieder geval een heleboel met deze nieuwe AI act.

912
00:54:17,079 --> 00:54:19,159
Het oplevert neem ik aan, toch?

913
00:54:19,159 --> 00:54:20,119
Ja.

914
00:54:20,119 --> 00:54:20,479
Ja.

915
00:54:20,479 --> 00:54:20,539
Ja.

916
00:54:20,539 --> 00:54:21,619
Ja, kijk.

917
00:54:21,619 --> 00:54:26,579
En ik denk zee, de impact op de arbeidsmarkt, ik ben daar geen expert in,

918
00:54:26,579 --> 00:54:28,579
maar het gaat zeker een impact hebben.

919
00:54:28,579 --> 00:54:32,179
Ik zou niet zo snel nu tekstschrijver gaan worden, bijvoorbeeld.

920
00:54:34,079 --> 00:54:37,799
Tegelijkertijd denk ik wel, een baas van Google heeft dat ook gezegd,

921
00:54:37,799 --> 00:54:41,859
je moet je geen zorgen maken dat AI je baan gaat inpikken.

922
00:54:41,859 --> 00:54:46,899
Je moet je zorgen maken dat iemand je baan gaat inpikken die AI slim gebruikt.

923
00:54:46,899 --> 00:54:52,579
Dus ik denk dat er een concentratie van kennis gaat komen bij een kleinere groep

924
00:54:52,579 --> 00:54:57,339
die effectief AI kan aanwenden en überhaupt natuurlijk de middelen heeft om AI aan te schaffen.

925
00:54:57,339 --> 00:55:02,359
Dus daarvoor zie ik wel wat issues qua arbeidsmarkt.

926
00:55:02,359 --> 00:55:06,499
En tegelijkertijd met elke technologische innovatie komen er ook weer banen bij.

927
00:55:06,499 --> 00:55:09,559
Vroeger was er geen beroep prompt engineer.

928
00:55:09,559 --> 00:55:10,859
Dat is nu gewoon werk.

929
00:55:10,859 --> 00:55:15,939
Maar tekstschrijver of basis coderen in Python,

930
00:55:15,939 --> 00:55:19,379
daar kun je wel van afvragen of dat nog een goed toekomstperspectief is.

931
00:55:19,379 --> 00:55:20,319
Duidelijk.

932
00:55:20,319 --> 00:55:22,659
Dankjewel voor het beantwoorden van deze vragen.

933
00:55:22,659 --> 00:55:23,239
Graag gedaan.

934
00:55:23,639 --> 00:55:27,199
En alle gasten van het evenement voor het indienen van de vragen.

935
00:55:27,199 --> 00:55:27,859
Dus dankjewel.

936
00:55:27,859 --> 00:55:31,439
En voor drie van jullie komt er een mooi verrassingspakket naar jullie toe.

937
00:55:31,439 --> 00:55:35,219
Dankjewel weer voor het luisteren naar AIToday Live.

938
00:55:35,219 --> 00:55:38,779
Vergeet je niet te abonneren via je favoriete podcast app en misschien een aflevering.

939
00:55:38,779 --> 00:55:40,459
Tot de volgende keer.

940
00:55:40,459 --> 00:55:45,399
[Muziek]