Bijlage 2 - Quick Scan Algoritmes en AI - Rekenkamer Deventer

van KonnecteD44 vermelden dat

automatische gezichtsvergelijking niet.

gezondheidsgegevens verwerkt

43

kunnen worden. Beiden benoemen het gebruik van Dariuz Wegwijzer om de kans op werk in te schatten niet.

3.2 Onderzoeksrichting B – Risico’s, randvoorwaarden en compliance Op basis van ervaring van de onderzoekers met risico’s, randvoorwaarden en compliance van algoritmes en AI worden onderzoeksvragen 5-7 beantwoord. Op basis van interne bronnen gedeeld door de gemeente Deventer, bureauonderzoek en interviews zijn de onderzoeksvragen afgestemd op de context van de gemeente Deventer.

3.2.1 Onderzoeksvraag 5 Onderzoeksvraag 5:

“Wat zijn de risico’s en beperkingen van algoritmes en AI in de gemeentelijke context?” Antwoord onderzoeksvraag 5: Het gebruik van algoritmes en AI door gemeenten brengt diverse risico’s met zich mee die onder meer de effectiviteit en rechtmatigheid van overheidshandelen op de proef stellen. Fundamentele risico’s ontstaan door onduidelijke doelstellingen waarvoor de technologie gebruikt wordt en het gebrek aan aantoonbare

42 43 44

Understanding bias in facial recognition technologies | The Alan Turing Institute. Privacyverklaring Deventer. Privacyverklaring KonnecteD.

24

Quick scan algoritmes en AI – Algorithm Audit

effectiviteit, waarbij organisaties zich vaak meer richten op de veronderstelde voordelen van algoritmes en AI dan op de bijkomende risico’s en daadwerkelijke opbrengsten. Technische uitdagingen, zoals vooringenomenheid in trainingsdata en statistische modellen kunnen leiden tot discriminatoire uitkomsten, terwijl overmatig vertrouwen in algoritmes (automation bias) de professionele oordeelsvorming van gemeentemedewerkers kan ondermijnen. Externe afhankelijkheden van leveranciers vergroten de risico’s dat onvoldoende expertise binnen de gemeente aanwezig is over de ingezette technologie, en onduidelijkheden over rollen en verantwoordelijkheden. Daarnaast vormt compliance met bestaande en nieuwe wetgeving, zoals de AVG en AI-verordening, een uitdaging om te voldoen aan zowel juridische als technische vereisten. Een zorgvuldige afweging tussen kansen en risico’s, inclusief proportionaliteit en subsidiariteit van ingezette technologie, is essentieel voor verantwoord algoritme gebruik binnen de gemeente. Toelichting onderzoeksvraag 5: Inzet van algoritmes en AI brengt verschillende risico’s en beperkingen met zich mee. Vaak gelden deze risico’s ook bij inzet van andere IT-systemen. Deze risico’s dienen te worden afgezet tegen de risico’s die zich voordoen bij analoge alternatieven, waarbij ook menselijk handelen in de context gemeente-inwoner niet is gevrijwaard van risico’s.

Hieronder volgt een samenvatting van verschillende risico’s45 en hoe deze relevant zijn in de context van inzet van algoritmes en AI door gemeenten. In onderzoeksvraag 6 wordt aanvullend ingegaan op juridische en ethische aspecten. Waar relevant is per aspect een voorbeeld genoemd hoe dit risico zich manifesteert voor de onderzochte casussen. Deze voorbeelden zijn bedoeld de risico’s te illustreren en betekenen zeker niet in alle gevallen dat het respectievelijke risico zich in volledigheid voordoet voor deze casussen. Gebrek aan aantoonbare effectiviteit Een fundamenteel risico van de algoritmes en AI is het ontbreken van heldere doelstellingen op verschillende niveaus, zoals eenduidigheid over organisatiedoelen (welk probleem lost het op) en prestatiedoelen (wat zijn de technische prestatievereisten). Uit onderzoek van de Algemene Rekenkamer blijkt dat rijksoverheidsorganisaties vooral oog hebben voor kansen van AI, maar vaak niet toetsen of de systemen naar behoren werken.46 Ook bij gemeenten is het aannemelijk dat, onder druk om effectief te innoveren, nadruk wordt gelegd op de mogelijke voordelen van de inzet van algoritmes en AI, zonder dat getoetst kan worden of een algoritme daadwerkelijk een oplossing biedt voor een probleem. Bij de inzet van large language models (LLMs), zoals ChatGPT en Copilot, is het aantonen van de opbrengst van de toepassing vaak een uitdaging.

Voorbeeld: Voor Oribi is het onbekend of en hoe de gezichtsvergelijking-component het proces beter of effectiever maakt, geïnterviewden kunnen dit wel duidelijk benoemen voor de document-echtheidscanner. Voor Dariuz benoemen geïnterviewden dat gebruik van de toepassing veel tijd kost ten opzichte van de voordelen.

Als bronnen zijn hier gebruikt: Toestingskader algoritmes, Algemene rekenkamer; Onderzoekskader algoritmes, ADR; Algoritmekader versie 2.4; Ethische Richtsnoeren Voor Betrouwbare AI, EU. 46 Focus op AI bij de rijksoverheid, Algemene Rekenkamer Focus op AI bij de rijksoverheid | Rapport | Algemene Rekenkamer. 45

25

Quick scan algoritmes en AI – Algorithm Audit

Technische kwaliteit en prestaties Algoritmes maken fouten. De meeste algoritmes maken een inschatting, berekenen een score of een kans, hierin zit een zekere onzekerheidsmarge. Zelfs bij regelgebaseerde algoritmes bepalen aannames en interpretaties de uitkomsten. In op statistiek gebaseerde algoritmes en AI kunnen verkeerd gekozen hyperparameters en onjuiste statistische aannames resulteren in suboptimale prestaties en voorspelfouten. Een bijzonder risico vormt historische bias en (onbedoelde) vooringenomenheid in de data of het algoritme, wat kan leiden tot onwenselijke systematische afwijkingen en discriminatoire uitkomsten voor specifieke personen of groepen. Voorbeeld: Voor Oribi is het onbekend wat de door de gemeente Deventer gestelde prestatievereisten zijn. Welk foutpercentage van de tool is acceptabel? Overmatig vertrouwen in algoritmes Het gebruik van algoritmes kan leiden tot overmatig vertrouwen in de gebruikte technologie. Dit kan leiden tot automation bias, waarbij gemeentemedewerkers blind vertrouwen op de uitkomst van een algoritme of AIsysteem en hun eigen professionele oordeelsvermogen ondergeschikt maken aan de technologie. Het risico bestaat dat medewerkers hun vaardigheden en kennis om zelfstandig beoordelingen te maken geleidelijk verliezen door te sterk te worden beïnvloed door de uitkomsten van een algoritmisch systeem.

Daarnaast kan overmatig vertrouwen ertoe leiden dat fouten of beperkingen van het algoritme niet tijdig worden herkend, omdat resultaten onvoldoende kritische worden bevraagd. Overmatig vertrouwen is een van de grootste en belangrijkste risico’s bij de inzet van large language models, zoals ChatGPT en Copilot. Voorbeeld: Voor Oribi is het onbekend hoe vaak gemeentemedewerkers afwijken van het advies van het algoritmische systeem. Medewerkers drukken in interviews uit dat het onduidelijk is hoeveel vals-positieven het systeem geeft en hoe baliemedewerkers behoren te handelen in het geval van een vermoeden van een vals-positieve. Leveranciersketen en externe afhankelijkheden Organisaties hebben vaak onvoldoende eigen kennis om de technische prestaties en documentatievereisten over algoritmische systemen adequaat te beoordelen. Overheidsorganisaties moeten meestal blind vertrouwen op claims die leverancier maken over hun producten, zonder onafhankelijke verificatie van deze claims. Een bijzonder risico doet zich voor wanneer impactvolle algoritmes als “extraatje” bij grotere tools worden toegevoegd, waardoor ze onvoldoende aandacht krijgen. Onduidelijke verantwoordelijkheden tussen opdrachtgever en leverancier kunnen ertoe leiden dat kwaliteitsbewaking, compliance en risicomanagement tussen wal en schip vallen.

Voorbeeld: Oribi en Dariuz worden vertrouwd op de kwaliteit die de leverancier levert zonder dat dit geverifieerd is. Compliance met bestaande en nieuwe wetgeving De meeste wetgeving die relevant zijn voor algoritmes en AI, zoals non-discriminatierecht en privacywetgeving, zijn niet nieuw. Toch is het in de praktijk lastig om de werelden van de jurist en de techneut met elkaar te verbinden. Bij ontwikkeling en gebruik is kennis nodig van diverse wet- en regelgeving, en de gelaagde Europese rechtsorde van mensenrechten, de AVG, de nationale Awb en Abbb, plus context specifieke

26

Quick scan algoritmes en AI – Algorithm Audit

gemeentelijke wetgeving, zoals de Participatiewet. Ook komt doorlopend nieuwe jurisprudentie beschikbaar over hoe deze wetgeving in de context van algoritme moet worden uitgelegd, zoals bijvoorbeeld voor geautomatiseerde besluitvorming. In aanvulling op bestaande wetgeving, stelt grote nieuwe EU-wetgeving, zoals de AI-verordening, eisen aan de inzet van specifieke vormen van AI. Zie ook Onderzoeksvraag 6. Vertrouwen en relatie met inwoners Toenemend gebruik van algoritmes en AI kan het vertrouwen tussen gemeente en inwoners ernstig schaden wanneer inwoners het gevoel krijgen dat ze niet eerlijk behandeld worden of dat er niet naar hen geluisterd wordt. Gebrek aan transparantie over hoe algoritmes werken en welke gevolgen ze hebben, kan leiden tot wantrouwen en het gevoel dat besluitvorming ondoorzichtig en volledig geautomatiseerd is. Inwoners moeten in normaal taalgebruik kunnen begrijpen waarom bepaalde beslissingen over hen genomen worden en de mogelijkheid hebben om hun verhaal te doen en in bezwaar te gaan tegen een formeel besluit. Wanneer algoritmes te dominant worden in het besluitvormingsproces, bestaat het risico dat de menselijke maat uit het oog verloren wordt en inwoners zich gereduceerd voelen tot datapunten.47 Dit kan de legitimiteit van overheidshandelen ondermijnen en de democratische relatie tussen gemeente en inwoners beschadigen.

Voorbeeld: De gemeente Deventer heeft, in tegenstelling tot veel andere Nederlandse gemeenten, geen algoritmes of AI-systemen in het landelijke Algoritmeregister geregistreerd. Hier maakt de gemeente geen gebruik van kansen die transparantie biedt voor het vertrouwen van inwoners over algoritme gebruik door de gemeente.48 Afwegingen tussen kansen en risico’s Een struikelblok voor verantwoorde inzet van algoritmes en AI is een gedegen afweging tussen kansen en risico’s. Zonder een gedegen beeld van zowel kansen als risico’s kan geen goede afweging worden gemaakt of de voordelen van de toepassing daadwerkelijk opwegen tegen de nadelen. Dit kan leiden tot ondoordachte implementatie van algoritmes waar traditionele methoden wellicht meer geschikt zijn. Daarnaast bestaat het risico dat geen expliciete afweging wordt gemaakt met betrekking tot proportionaliteit en subsidiariteit. Hierbij moet worden beoordeeld of het gebruik van een algoritme proportioneel is ten opzichte van het nagestreefde doel: weegt de inbreuk op mensenrechten en ethische principes op tegen de praktische positieve impact van het algoritme. Bij subsidiariteit dient te worden nagegaan of het nagestreefde doel niet met minder ingrijpende middelen kan worden gerealiseerd. Om al deze plussen en minnen op een rij te zetten, zijn alle bovenstaande beschreven risico’s en randvoorwaarden relevant.

Voorbeeld: Voor Oribi en Dariuz zijn de voordelen en risico’s van de technologie onvoldoende in kaart gebracht en expliciet tegen elkaar afgewogen.

47 48

Een burger is geen dataset, Nationale Ombudsman (2021). Zie ook Onderzoeksvraag 7.

Quick scan algoritmes en AI – Algorithm Audit

27

3.2.2 Onderzoeksvraag 6 Onderzoeksvraag 6:

“Welke juridische en ethische aspecten spelen een rol bij het gebruik van algoritmes en AI?“ Antwoord onderzoeksvraag 6: Verschillende wet- en regelgeving die het handelen van de gemeente Deventer reguleren zijn altijd van toepassing, ook wanneer een algoritmisch systeem gebruikt wordt. Zo gelden bijvoorbeeld altijd Europese fundamentele rechten, zoals privacy en non-discriminatie, de AVG, het Nederlandse bestuursrecht en sectorale wetgeving, zoals de Participatiewet. Voor algoritmes zijn daarnaast een aantal juridische aspecten in het bijzonder relevant: de AVG, de AIverordening, het non-discriminatierecht en de Awb. In aanvulling op het juridisch kader staat ethiek stil bij de vraag wat het juiste en het goede is. Het gaat in op vragen die bestaande wet- en regelgeving overstijgen. Omdat ethiek erg persoonlijk is, laat het zich niet makkelijk beschrijven in algemene kaders. Vaak zijn ethische vraagstukken dilemma’s, waarbij er niet één evidente goede keuze is, maar er meerdere ‘goede’ antwoorden naast elkaar bestaan. Toelichting onderzoeksvraag 6: Er volgt een toelichting welke wet- en regelgeving relevant is wanneer gemeenten algoritmes en/of AI inzetten. Ook enkele ethische dilemma’s worden besproken. Gelijke behandeling en non-discriminatie Omdat algoritmes gebruik maken van historische data of van menselijke beoordeling, bestaat de kans op onbedoelde vooroordelen.

Niet-representatieve data waarop algoritmes getraind zijn, brengt het risico van discriminatie met zich mee. Dit is geen ethische, maar een juridische dimensie, omdat discriminatie wettelijk verboden is. Het discriminatieverbod is een fundamenteel recht dat verankerd is in verschillende verdragen en wetten, waaronder artikel 14 van het Europees Verdrag voor de Rechten van de Mens (EVRM) en artikel 1 van de Nederlandse Grondwet. Er bestaan twee verschillende vormen van discriminatie: >

Directe discriminatie: treedt op wanneer personen op basis van beschermde kenmerken (zoals ras, nationaliteit, religie en afhankelijk van de context geslacht en leeftijd) expliciet anders behandeld worden. In algoritmes kan dit voorkomen wanneer deze kenmerken direct als input voor een algoritme gebruikt worden om verschillende uitkomsten te genereren voor verschillende groepen.

>

Indirecte discriminatie: ontstaat wanneer ogenschijnlijk neutrale criteria of handelingen in de praktijk leiden tot een onevenredige benadeling van personen met bepaalde beschermde kenmerken. Bij algoritmes kan dit optreden door proxy-discriminatie, waarbij andere variabelen (zoals postcode of opleidingsniveau) sterk gecorreleerd zijn met beschermde kenmerken en daardoor tot discriminatoire uitkomsten leiden.

Directe discriminatie is vrijwel altijd verboden. Gelijkebehandelingswetgeving stelt dat zonder wettelijke uitzonderingen beschermde gronden niet gebruikt mogen worden als kenmerk in algoritmes of AI-systemen. Indirecte discriminatie kan worden onderzocht door te onderzoeken of de ene groep anders wordt behandeld ten opzichte van een andere groep. Groepen worden hierbij gekenmerkt door een wettelijke

Quick scan algoritmes en AI – Algorithm Audit

28

discriminatiegrond. Wanneer er sprake is van onderscheid tussen deze twee groepen, dan is er nog niet direct sprake van discriminatie. Onderscheid kan objectief gerechtvaardigd worden. Dit betekent dat het algoritme een legitiem doel moet hebben, dat inzet noodzakelijk moet zijn om het nagestreefde doel te behalen en dat de inzet van de technologie proportioneel moet zijn.49 AVG De verwerking van persoonsgegevens door algoritmes moet voldoen aan alle bepalingen van de AVG, waarbij met name aandacht moet worden besteed aan doelbinding en het hebben van een geldige verwerkingsgrond. Er is een aantal aandachtspunten dat specifiek voor gebruik van algoritmes relevant is: >

Artikel 9 AVG - bijzondere persoonsgegevens: verbiedt in principe de verwerking van bijzondere categorieën persoonsgegevens zoals ras, etniciteit, politieke opvattingen, religieuze overtuigingen, gezondheidsgegevens en biometrische gegevens. Voor overheidsorganisaties zijn er uitzonderingen mogelijk (bijvoorbeeld artikel 9 lid 2 onder g voor redenen van zwaarwegend algemeen belang), maar deze vereisen extra waarborgen en een zorgvuldige belangenafweging.

>

Artikel 22 AVG - geautomatiseerde besluitvorming: geeft betrokkenen het recht om niet onderworpen te worden aan volledig geautomatiseerde besluitvorming. Wanneer sprake is van betekenisvolle menselijke tussenkomst, dan is een besluit niet meer volledig geautomatiseerd en valt het niet onder dit verbod. Dit betekent dat er daadwerkelijk menselijke beoordeling moet plaatsvinden en dat de uitkomst van het algoritme niet automatisch wordt overgenomen.50

>

Artikelen 13, 14 en 15 AVG - transparantie: verplichten tot het verstrekken van informatie over de verwerking, inclusief specifieke informatie over profilering en geautomatiseerde besluitvorming. Betrokkenen hebben recht op informatie over de logica van de geautomatiseerde verwerking en de betekenis en verwachte gevolgen van deze verwerking. Dit kan uitdagend zijn bij complexe algoritmes waar de uitlegbaarheid beperkt is.

AI-verordening De Europese Unie (EU) heeft nieuwe wetgeving aangenomen die de ontwikkeling en gebruik van specifieke types AI-systemen reguleert. Deze wetgeving treedt in fases in werking. Veruit de meeste eisen gelden voor leveranciers (aanbieders) van hoog risico AI-systemen. Daarnaast gelden ook specifieke eisen voor gebruikers (gebruiksverantwoordelijken). De gemeente Deventer zal in de meeste gevallen alleen gebruiker zijn en heeft dan naast eisen aan de gebruiker ook de verantwoordelijkheid om na te gaan of de leverancier een conformiteitsbeoordeling heeft uitgevoerd en of een CE-markering verkregen is. Hieronder wordt een aantal belangrijke punten uitgelicht: >

Artikelen 6 t/m 24 - vereisten voor hoog risico AI-systemen voor de leverancier: De eisen laten zich samenvatten als gedocumenteerd en aantoonbaar risico- en kwaliteitsmanagement, datamanagement, testen en monitoren.

Zie voor meer duiding het Toetsingskader risicoprofilering, College voor de rechten van de mens. Hoewel dit kader is geschreven voor risicoprofiilering, laten de methoden in dit kader zich ook toepassen voor andere algoritmes. Toetsingskader risicoprofilering – Normen tegen discriminatie op grond van ras en nationaliteit | College voor de Rechten van de Mens. 50 Betekenisvolle menselijke tussenkomst bij algoritmische besluitvorming | Autoriteit Persoonsgegevens. 49

Quick scan algoritmes en AI – Algorithm Audit

29

>

Artikelen 26 en 27 - vereisten voor hoog risico AI-systemen: Gebruikers moeten de toepassingen gebruiken zoals voorgeschreven door de leverancier en zijn verantwoordelijk voor menselijk toezicht en monitoring. Ook moeten gebruikers in de publieke sector, zoals gemeentes, een Fundamental Rights Impact Assessment (FRIA) uitvoeren

>

Artikel 49 – registratie van hoog risico AI-systemen: Zowel leveranciers als gebruikers in de publieke sector zijn verplicht hun hoog risico AI-systemen te registreren in een publieke EU-database.51

>

Artikel 50 - transparantie vereisten voor generatieve AI: Het moet duidelijk zijn wanneer content (tekst, beelden en audio) is gegenereerd of gemanipuleerd met AI. Ook moet bij gebruik van chatbots het duidelijk zijn dat de gebruiker niet met een mens spreekt.

>

Artikel 4 – AI-geletterdheid: De gemeente Deventer moet zorgen voor een toereikend niveau van AIgeletterdheid bij het eigen personeel en andere personen die namens hen AI-systemen exploiteren en gebruiken.

Artikel 4 is al van kracht. De ander bovengenoemde eisen gelden vanaf augustus 2026. Om aan deze wetgeving te voldoen is eerst een compleet beeld van AI-systemen binnen de gemeente en hun bijbehorende categorisering nodig. Algemene wet bestuursrecht Op besluitvormingsprocessen van Nederlandse gemeenten is de Algemene wet bestuursrecht (Awb) van toepassing. Dit wettelijke kader ziet primair op kenbaarheid, motivering, transparantie en uitlegbaarheid van overheidshandelen richting inwoners en organisaties. De mogelijkheid om in bezwaar te gaan tegen een besluit van een overheidsorganisatie staat hierbij centraal. Bij de inzet van algoritmes en AI dienen onder meer de volgende Algemene beginselen van behoorlijk bestuur (Abbb) in ogenschouw te worden genomen: >

Verbod op vooringenomenheid - artikel 2:4 Awb;

>

Zorgvuldigheidsbeginsel - artikel 3:2 - 3:4 lid 1 Awb;

>

Motiverings- en rechtszekerheidsbeginsel - Artikel 3:2 - 3:4 lid 1 Awb.

Hierbij is het van belang dat een algoritme dat wordt gebruikt in de voorbereidende fase van een formeel besluit (Awb 1:3) ook moet voldoen aan de Abbb. In het bijzonder moet de werking van het algoritme, de bijdrage van het algoritme aan het besluitvormingsproces en hoe gegevens van personen en organisaties door de algoritmische toepassing worden verwerkt in natuurlijke taal kunnen worden uitgelegd aan betrokkenen. Problemen met de uitlegbaarheid van algoritmische systemen kunnen ertoe leiden dat een overheidsorganisatie wel ‘rechtmatig’ maar niet ‘behoorlijk’ handelt. Welke organisatorische en juridische waarborgen moeten worden toegepast om bij gebruik van algoritmes en AI te voldoen aan onder meer het behoorlijkheidsbeginsel en andere Abbb moet per context worden bepaald. Ethische aspecten In deze quick scan wordt onderscheid gemaakt tussen het volgen van de wet (compliance) en ethisch handelen. Wet- en regelgeving kan worden gezien als vastlegging van een gedeeld begrip van wat juist handelen is. Ethische afwegingen worden relevant wanneer een open juridische norm moet worden geïnterpreteerd of wanneer dilemma’s ontstaan. Dit laat zich illustreren aan de hand een instrument dat in het verleden door de 51

Deze database is nog niet beschikbaar, de database wordt voor augustus 2026 verwacht.

Quick scan algoritmes en AI – Algorithm Audit

30

Belastingdienst52 is gebruikt bij afwegingen rondom datagebruik: de WMK-toets, ofwel de Willen, Mogen, Kunnen toets. Mogen staat hier voor het volgen van de wet, Willen voor de afweging wat er gewenst is en Kunnen of het organisatorisch uitgevoerd kan worden. Ethische aspecten worden veelal gevangen in principes, die soms overlappen met juridische vereisten. Voorbeelden van veelgebruikte ethische principes voor algoritmes en AI zijn:53 1. Respect voor menselijke autonomie 2. Voorkomen van schade 3. Fairness (een eerlijk algoritme) 4. Uitlegbaarheid en transparantie. Ethische aspecten zijn bijzonder relevant wanneer sprake is van spanningen tussen juridische vereisten en ethische principes. Voorbeelden van dergelijke dilemma’s zijn: >

Privacy vs. non-discriminatie: Het verwerken van bijzonder categorieën persoonsgegevens, zoals afkomst en nationaliteit, om gelijke behandeling te onderzoeken. Om te analyseren of in een proces mensen met een migratieachtergrond anders behandeld worden, moeten herkomstgegevens verwerkt worden. Dit is in veel gevallen niet toegestaan onder artikel 9 van de AVG. Om deze spanning te beslechten, is in artikel 10 AI-verordening een uitzondering gemaakt wanneer de gegevens worden ingezet ten behoeve van onderzoek naar vooringenomenheid, mits aan randvoorwaarden wordt voldaan. Voor algoritmes, die geen AI-systeem zijn en niet onder de AI-verordening vallen, blijft dit een ethisch dilemma.54

>

Efficiënte processen vs. de menselijke maat: Automatisering en gestandaardiseerde processen zorgen ervoor dat gemeentelijke processen efficiënt verlopen. Daar tegenover staat dat meer automatisering er ook voor zorgt dat de er minder ruimte is voor uitzonderingen. Zo zorgen bijvoorbeeld geautomatiseerde parkeercontroles met behulp van scanauto’s ervoor dat gemeenten veel sneller veel meer wijken kunnen controleren, maar ook dat voor een persoonsgebonden gehandicaptenkaart (die achter de voorruit wordt getoond) minder makkelijk een uitzondering bij een controle kan worden gemaakt.55

Een belangrijk aspect voor de verantwoord inzet van algoritmes en AI is het herkennen van ethische dilemma’s, de situaties waarin regelgeving of beleid niet duidelijk voorschrijft wat de “juiste keuze” is. In dat geval kan een vaste structuur voor besluitvorming over deze ethische dilemma’s uitkomst bieden, waarin ook escalatie van dilemma’s in de verantwoordingslijn is uitgedacht.

Zie bijvoorbeeld Kamerstukken II 2020-21 31066, nr. 803. Deze principes zijn geïntroduceerd in de Ethische Richtsnoeren Voor Betrouwbare AI, EU en ingebed in het Toetsingskader algoritmes, Algemene Rekenkamer. 54 Er kan ook gebruik gemaakt worden van de gegevens die het CBS ter beschikking heeft. Dit is bijvoorbeeld toegepast in. 55 Algoritmegebruik door overheden en het verschuiven van werk: door de ogen van een gehandicapte algoritme-expert | LinkedIn. 52 53

Quick scan algoritmes en AI – Algorithm Audit

31

3.2.3 Onderzoeksvraag 7 Onderzoeksvraag 7:

“Hoe kan de transparantie, eerlijkheid en beheersing van ethische risico’s bij algoritmes en AI worden gewaarborgd?“ Antwoord onderzoeksvraag 7: Transparantie, eerlijkheid en beheersing begint met een intern overzicht welke algoritmes en AI binnen de gemeente worden gebruikt. Dit is het startpunt voor het inrichten van waarborgen en de mogelijkheid om verantwoording te afleggen. Publicatie van algoritmische systemen in het landelijke Algoritmeregister biedt een mogelijkheid voor de gemeente Deventer om betrokkenen proactief te informeren wanneer algoritmes van invloed zijn geweest op individuele beslissingen. Eerlijkheid kan worden gewaarborgd door discriminatie en betekenisvolle menselijke tussenkomst te onderzoeken, en door helderen bezwaar- en beroepsprocedures in te richten. Ethische risico’s kunnen worden beheerst door duidelijk beleid op te stellen, gebruik te maken van bestaande externe ethische kaders en deze in processen van de gemeente Deventer te verankeren. Wanneer dilemma’s ontstaan kunnen die worden voorgelegd aan de gemeenteraad en/of een nader op te richten ethische commissie. Toelichting onderzoeksvraag 7: Bij transparantie wordt vooral gedacht aan publieke transparantie door middel van algoritmeregisters. Transparantie kent echter verschillende dimensies. Transparantie heeft een interne en een externe component en kan proactief en op verzoek worden verschaft.

Transparantie speelt een belangrijke rol bij behoorlijk bestuur en bevordert het vertrouwen in de overheid.56 >

Interne transparantie door middel van overzicht en vastlegging: Een voorwaarde om transparantie te kunnen verschaffen is dat correcte en relevante informatie beschikbaar is om te delen met betrokkenen. Een eerste stap richting transparantie over algoritmes is daarom een volledig en accuraat intern overzicht van algoritmes en AI, en vastlegging van doelen, afwegingen en beheersmaatregelen.

>

Uitlegbaarheid van algoritmes en beslissingen: Om intern en extern transparantie te kunnen verschaffen wanneer nodig, moet duidelijk zijn hoe de uitkomsten van een algoritme tot stand komen en welke factoren daarop invloed hebben. Dit betekent dat gebruik moet worden gemaakt van technologie die in natuurlijke taal uitlegbaar is en dat verantwoordelijk medewerkers van de gemeente zelf begrijpen hoe de algoritmes een uitkomsten voortbrengen. Zo kan op verzoek invulling worden gegeven aan transparantievereisten wanneer nodig. >

Wanneer algoritmes invloed hebben op een formeel besluit, dan is de gemeente verplicht proactief transparant zijn over de gemaakte keuzes en de besluitvormingsprocedure.57

>

Transparantie in de verantwoordingslijn: Wanneer binnen de gemeente een goed overzicht beschikbaar is van gebruikte algoritmes en AI, en risicobeheersmaatregelen zijn ingeregeld en vastgelegd, dan kan de gemeenteraad op het juiste moment, proactief en met de juiste informatie betrokken worden bij besluitvorming over ethische- en risicoafwegingen. Er moet duidelijk intern beleid zijn bij welke situaties en op welk moment de juiste rollen (informatiemanager, applicatiebeheerder, wethouder, gemeenteraad etc.) betrokken moeten worden.

56 57

Kamerbrief 2025-0000322141 Analyse opbrengst internetconsultatie reflectiedocument algoritmische besluitvorming en de Awb. Dit volgt onder meer uit motiveringsbeginsel, zoals gecodificeerd in de Awb en het recht op uitleg volgend uit de AVG.

Quick scan algoritmes en AI – Algorithm Audit

32

>

Transparantie aan toezichthouders: De gemeente moet aan toezichthouders verantwoording kunnen afleggen of wordt voldaan een wettelijke verplichtingen. Transparantie naar toezichthouders beslaat het kunnen aantonen dat relevante wetgeving, (interne) beleidskaders en algemene erkende best practices worden gevolgd. Hiervoor is een zorgvuldige verslaglegging van werkprocessen nodig. Transparantie naar toezichthouders wordt in de meeste gevallen niet proactief verschaft, maar reactief op verzoek gehonoreerd.

>

Publieke transparantie: Publieke transparantie gaat om transparantie en uitlegbaarheid naar inwoners en organisaties: zijn zij op de hoogte van de algoritmes waaraan zij worden onderwerpen door de gemeente? Hebben zij inzicht in de werking van deze systemen en hoe deze besluitvorming van het openbaar bestuur beïnvloeden?58 Publieke transparantie is geen doel op zichzelf, maar draagt bij aan het vergroten van het vertrouwen in de het openbaar bestuur, en de controleerbaarheid van handelen van de gemeente Deventer. Het belang van deze publieke transparantie wordt kernachtig samengevat in de Handreiking Algoritmeregister: “Wanneer de overheid open is over algoritmes en hun toepassing, kunnen burgers, organisaties en media haar kritisch volgen en controleren of ze de wet en de regels volgt”. >

De gemeente kan invulling geven aan publieke transparantie door algoritmische systemen die worden gebruikt, te registreren in het landelijk Algoritmeregister. Wanneer sprake is van de inzet van hoog risico AI-systemen is registratie van het AI-systeem in de EU-database verplicht.59

>

Daarnaast kan publieke transparantie worden ingevuld door aan te sluiten bij bestaande transparantie mechanismes voor de AVG, zoals een privacyverklaring. In dergelijke privacyverklaring kan worden opgenomen dat gegevens worden verwerkt in een algoritmische toepassing.

>

Ten slotte kan transparantie op de meest directe manier gerealiseerd worden door individuele inwoners, bijvoorbeeld tijdens communicatie en brieven, actief te informeren wanneer gebruik wordt gemaakt van algoritmische toepassingen.60

Om bovenstaande vormen van transparantie in te richten moet transparantie een integraal uitgangspunt zijn van het nader op te zetten algoritmebeleid van de gemeente Deventer en bijbehorende processen (zie Onderzoeksvraag 8). Naast transparantie vormt eerlijkheid een cruciaal element voor de verantwoorde inzet van algoritmes en AI. Eerlijkheid omvat onder anderen gelijke behandeling in gelijke gevallen (non-discriminatie) en procedurele rechtvaardigheid,61 dat onder meer volgt uit betekenisvolle menselijke tussenkomst en de mogelijkheid tot bezwaar en beroep. >

Non-discriminatie: Gelijke behandeling in gelijke gevallen kan worden geborgd door systematische vooringenomenheid en discriminatie in alle fasen van het ontwikkel- en implementatieproces van een algoritme te onderzoeken. Zie ook Onderzoeksvraag 6. Wanneer een algoritme niet door de gemeente zelf is ontwikkeld, moet worden nagegaan hoe de ontwikkelaar non-discriminatie in de ontwikkeling heeft gewaarborgd. Daarnaast moet de gemeente zelf nagaan of het gebruik van algoritmes leidt tot

Kamerbrief 2025-0000322141 Analyse opbrengst internetconsultatie reflectiedocument algoritmische besluitvorming en de Awb. Artikel 49 AI-verordening. 60 Zoals voorgesteld in de aangenomen motie van de leden Kathmann en Six Dijkstra en door verschillende partijen geadviseerd in aan de regering in de consulatie over de Wet versterking waarborgfunctie Awb, zie Kamerbrief 2025-0000322141 Analyse opbrengst internetconsultatie reflectiedocument algoritmische besluitvorming en de Awb. 61 Code Goed Digitaal Openbaar Bestuur (CODIO) Handleiding Het CODIO-instrument. 58 59

Quick scan algoritmes en AI – Algorithm Audit

33

ongewenste uitkomsten die bepaalde groepen inwoners kunnen benadelen op basis van beschermde kenmerken zoals afkomst, geslacht, leeftijd of sociaaleconomische status. >

Betekenisvolle menselijke tussenkomst: Een fundamenteel uitgangspunt voor de eerlijke inzet van algoritmische systemen is procedurele rechtvaardigheid en dat beslissingen niet zonder betekenisvolle menselijke tussenkomst in besluitvormingsprocessen die inwoners raken worden genomen. Dit houdt in dat medewerkers getraind moeten zijn om uitkomsten van algoritmes kritisch te beoordelen, te interpreteren en waar nodig bij te stellen, inclusief de mogelijkheid om af te wijken van het advies van een algoritme. Menselijke tussenkomst moet meer zijn dan een formaliteit: de betrokken ambtenaren moeten daadwerkelijk de competentie en bevoegdheid hebben om afwijkende beslissingen te nemen wanneer de situatie daarom vraagt. Dit vereist adequate training van medewerkers in zowel de technische werking van de algoritmische toepassing als de ethische afwegingen die daarbij komen kijken.62

>

Bezwaar en beroep: Tot slot moet eerlijkheid worden gewaarborgd door adequate mogelijkheden voor bezwaar en beroep. Inwoners moeten het recht hebben om beslissingen waarbij algoritmes zijn gebruikt aan te vechten en het moet duidelijk zijn hoe dit proces verloopt. Dit vergt niet alleen heldere communicatie over deze rechten, maar ook interne processen die ervoor zorgen dat bezwaren adequaat worden behandeld door medewerkers die door algoritmes ondersteunde besluitvormingsprocessen kunnen beoordelen of er sprake is van betekenisvolle menselijke tussenkomst en indien nodig herzien. Daarnaast moeten signalen van de inwoners over de mogelijke onjuiste werking van het algoritme worden gesignaleerd en onderzocht. De gemeente moet kunnen aantonen dat bezwaar- en beroepsprocedures effectief functioneren en dat lessen uit ingediende bezwaren worden gebruikt om algoritmes en processen te verbeteren.

Beheersing van ethische risico’s kan allereerst worden ingevuld door beleid en werkprocessen. Dit beleid moet niet alleen algemene ethische principes bevatten, maar ook praktische handvatten bieden voor dagelijkse besluitvorming. Het moet duidelijke criteria bevatten voor wanneer algoritmes wel of niet ingezet mogen worden, welke risico-afwegingen gemaakt moeten worden en wie verantwoordelijk is voor verschillende aspecten van het proces. Een goed beleidskader en uitwerking in processen zorgt ervoor dat ethische overwegingen niet ad-hoc worden gemaakt, maar structureel onderdeel zijn van alle algoritme-gerelateerde activiteiten. Verankering vereist ook dat medewerkers worden getraind in het maken van ethische afwegingen. Beleid gericht op ethische risico’s is het meest effectief als het integraal onderdeel is van ander beleid dat ziet op verantwoorde inzet van algoritmes, zoals kwaliteitskaders63 en implementatie van wettelijke vereisten. Gebruik voor het maken van ethische afwegingen bestaande instrumenten, zoals Code Goed Digitaal Openbaar Bestuur (CODIO), De Ethische Data Assistent (DEDA) en de Aanpak Begeleidingsethiek. Voor situaties waarin ethische dilemma’s complex zijn of waarbij verschillende waarden en belangen tegen elkaar moeten worden afgewogen, kan advies van de gemeenteraad en/of een ethische commissie uitkomst bieden.

Deze commissie, samengesteld uit diverse expertise (juridisch, technisch, maatschappelijk), kan fungeren als adviesorgaan voor moeilijke beslissingen en kan helpen bij het ontwikkelen van beleid voor nieuwe situaties. Een ethische commissie moet echter niet worden gezien als vervanging voor werkprocessen

62 63

Handvatten betekenisvolle menselijke tussenkomst, Autoriteit Persoonsgegevens (2025). Zoals al in ontwikkeling, zie onderzoeksvraag 3.

Quick scan algoritmes en AI – Algorithm Audit

34

en trainingen voor medewerkers, maar als aanvullend instrument voor de meest complexe vraagstukken. Per kwestie dient een afweging te worden gemaakt of de vraag thuishoort bij de gemeenteraad of een ethische adviescommissie. Observaties onderzoeksvragen 5-7: >

Er bestaan nog geen beleid of richtlijnen voor interne vastlegging van informatie over algoritmes binnen de gemeente Deventer. Geïnterviewden over de casussen konden zo nu en dan wel mondeling toelichting geven over eerlijkheid en ethische afwegingen, maar ondersteunende documentatie was niet beschikbaar. Er is daarom onvoldoende sprake van transparantie in verantwoordingslijnen en naar toezichthouders en de gemeenteraad.

>

Op dit moment is er nog geen publieke transparantie over algoritmegebruik door de gemeente Deventer. Er zijn nog geen algoritmes opgenomen in het landelijke Algoritmeregister en algoritmes worden niet genoemd in relevante privacyverklaringen.

>

Er is nog geen beleid over eerlijke algoritmes binnen de gemeente Deventer. De gemeente voert geen onderzoek uit naar discriminatie. Afwegingen over procedurele rechtvaardigheid worden door geïnterviewden wel zo nu en dan opgemerkt voor specifieke casussen,64 maar hiervoor bestaat geen organisatiebrede werkwijze. Wel is er een werkgroep ethiek die zich mede richt op algoritmes.

>

Ethische afwegingen zijn nu nog slechts impliciet deel van bestaande werkprocessen, bijvoorbeeld middels het uitvoeren van een DPIA. De werkgroep ethiek onderzoekt hoe morele afwegingen kunnen worden uitgewerkt.

3.3 Onderzoeksrichting C – Toekomststrategie en aanbevelingen 3.3.1 Onderzoeksvraag 8 Onderzoeksvraag 8:

“Welke stappen moet de gemeente ondernemen om algoritmes en AI verantwoord in te zetten?“ Antwoord onderzoeksvraag 8: Om algoritmes en AI verantwoord in te zetten moet de gemeente Deventer beginnen met het ontwikkelen van een gedeelde visie en beleid voor algoritmegebruik, gevolgd door een complete inventarisatie en classificatie van alle algoritmes die de gemeente gebruikt. Het bepalen van kansen en risico’s die de technologie voortbrengt moet hierbij centraal staan. Voor generatieve AI zijn specifieke richtlijnen nodig omdat veel medewerkers deze technologie uit eigen beweging gebruiken. Risicobeheersing moet worden geïntegreerd in alle fasen van de levenscyclus van algoritmes en AI, van inkoop tot monitoring. Bestaande algoritmes moeten worden aangepast aan bestaand beleid, waarbij prioriteiten worden vastgesteld op basis van impact en risico. De opbouw van interne expertise is cruciaal voor succesvolle implementatie van beleid en processen. Er wordt aanbevolen om alle stappen in een integraal project te combineren met een concreet actieplan en urenbegroting.

Voor Dariuz Wegwijzer benoemen geïnterviewden bijvoorbeeld de ruimte van consulenten om af te wijken van de uitkomsten en het belang dat de klant het eens is met het voorgestelde plan.

64

35

Quick scan algoritmes en AI – Algorithm Audit

Toelichting onderzoeksvraag 8: Algoritmes en AI zijn niet meer weg te denken uit de werkprocessen van de gemeente Deventer. Weldoordacht gebruik van deze technologie helpt de gemeente haar inwoners effectiever ten dienste te zijn en publieke middelen effectief te besteden. Vanuit het oogpunt van goed bestuur en compliance met wet- en regelgeving heeft de gemeente Deventer nog stappen te zetten om verantwoord gebruik van algoritmes en AI te realiseren. Voor het opstellen van de volgende aanbevelingen is gebruik gemaakt van observaties in dit onderzoek en aanbevelingen van VNG.65 Er zijn binnen de gemeente al verschillende initiatieven gestart om invulling te geven aan deze aanbevelingen. Hiermee worden al goede eerste stappen genomen. Belangrijk is dat deze initiatieven voldoende op elkaar worden aangesloten om dubbel werk en het risico dat belangrijke onderwerpen gemist worden te voorkomen. Ook kan door aan te sluiten bij bestaande processen een zo efficiënt mogelijk geheel van maatregelen worden ontworpen. Invulling van deze aanbevelingen vraagt om voldoende capaciteit en middelen. Op dit moment is er bij de privacyfunctionarissen en FG onvoldoende capaciteit om alle nieuwe informatievoorzieningsinitiatieven en bestaande tools te toetsen aan het huidige beleid en wettelijke eisen. De uitwerking van deze aanbevelingen gaat nog meer vragen van deze medewerkers.

Visie en beleid Meer bewustzijn en gericht beleid ten aanzien van de verantwoorde inzet van algoritmes en AI begint bij een gedeelde visie. Door samen een visie af te stemmen wordt invulling gegeven aan politiek-bestuurlijk bewustzijn over algoritmische systemen en een mandaat vastgesteld om verantwoord met de technologie aan de slag te gaan.66 Vervolgens is het belangrijk dat deze visie wordt uitgewerkt in algoritmebeleid. Bij de herziening van de i-Visie en het STiP kan invulling worden gegeven aan deze aanbeveling. Daarnaast dienen gedeelde definities te worden vastgelegd. Aanvullend beleid dient te worden ingericht voor impactvolle algoritmes, geautomatiseerde besluitvorming en hoog risico AI-systemen. Voor de laatste twee type algoritmische systemen gelden wettelijke verplichtingen uit respectievelijk de AVG en de AIverordening. Inventarisatie en classificatie van algoritmes Zorg voor een compleet en actueel beeld van algoritme en AI binnen de gemeente en garandeer zorgvuldige classificatie van geautomatiseerde besluitvorming, impactvolle algoritmes (ongeacht hun technische complexiteit) en hoog risico AI-systemen volgens de AI-verordening.

Gebruik een gestructureerde, reproduceerbare manier om algoritmes in de juiste risicocategorie te classificeren.67 Om te garanderen dat geen systemen in een van deze categorieën over het hoofd gezien worden, is het noodzakelijk breed te inventariseren en daarbij alle vormen van automatisering en data-gedreven werkprocessen mee te nemen. Position paper AI, Algoritmen en Gemeenten, VNG. Position paper AI, Algoritmen en Gemeenten, VNG. 67 Algorithm Audit ontwikkelde in samenwerking met de gemeente Amsterdam een gratis beschikbare en open-source identificatie en classificatie tool AI-verordening implementatie tool. 65 66

Quick scan algoritmes en AI – Algorithm Audit

36

Het is verstandig om in een vroeg stadium van nieuwe informatievoorzieningsinitiatieven na te gaan of de toepassing tot een van de bovenstaande categorieën algoritmes behoort, zodat al vroeg in het proces duidelijk is of aanvullende waarborgen nodig zijn. Naleving van de AI-verordening Stel vast of hoog risico AI-systemen gebruikt worden binnen de gemeente Deventer (zie ook inventarisatie). Zolang dit niet het geval is, hoeft de gemeente Deventer geen aanvullende kaders op te stellen voor naleving van de AI-verordening. Wanneer in een inkooptraject of bij een nieuw component in bestaande software wordt vastgesteld dat een sprake is van een hoog risico AI-systeem, kan op dat moment de naleving van de AI-verordening worden nagegaan. Bijkomend voordeel is dat te zijner tijd Europese standaarden voor naleving van de AI-verordening zijn vastgesteld en dat via de Ministeries van BZK, EZK en via de VNG best practices zullen worden gedeeld. Richtlijnen voor gebruik generatieve AI Generatieve AI vraagt om specifieke aandacht omdat individuele medewerkers op eigen initiatief gebruik maken van AI en deze voor een veelvoud aan taken kan worden ingezet. Vanwege de gemakkelijke beschikbaarheid van deze tools helpt het geven van richtlijnen bij verantwoord gebruik.

Richtlijnen moeten medewerkers bewust maken van beperkingen zoals hallucinaties en vooringenomenheid, duidelijke regels geven over wat wel en niet ingevoerd mag worden en procedures vaststellen voor verificatie van output van dit type AI. Ook moet er aandacht zijn voor intellectueel eigendom en auteursrecht bij gebruik van AIgegenereerde content in officiële documenten. Beheersing van algoritmerisico’s in de levenscyclus Risicobeheersing moet geïntegreerd worden in alle fasen van algoritme inkoop, ontwikkeling en gebruik. >

Initiatie: Voordat een algoritme wordt ontwikkeld of ingekocht moeten heldere doelstellingen, prestatievereisten, risico’s, juridische vereisten en ethische overwegingen worden vastgesteld. Deze fase bepaalt of algoritmegebruik proportioneel en subsidiair is.

>

Inkoop en ontwikkeling: Bij inkoop en/of ontwikkeling moeten de in de initiatiefase vastgestelde prestatiecriteria worden vertaald naar concrete technische en contractuele eisen. Dit omvat kwaliteitseisen, transparantievereisten en waarborgen voor non-discriminatie. Bij inkoop moet de gemeente documentatie opvragen en nagaan of wordt voldaan aan eisen en waarborgen.

>

Pilot: Tijdens de pilotfase moet de gemeente toetsen of het algoritme voldoet aan de vooraf vastgestelde prestatievereisten en impact op werkprocessen. Dit is het moment om onvoorziene effecten van de algoritmische toepassing te identificeren voordat de toepassing volledige wordt geïmplementeerd. Na de pilot moeten voordelen en risico’s tegen elkaar worden afgewogen op basis van evaluaties.

>

Monitoring en evaluatie: Na implementatie moet periodiek worden nagegaan of nog steeds wordt voldaan aan de initieel en na de pilotfase vastgestelde prestatievereisten. Deze periodieke evaluatie borgt continuïteit van verantwoord gebruik.

>

Governance: Leg vast hoe rollen en verantwoordelijkheden zijn ingericht, welke escalatie mogelijkheden er zijn en hoe rollen en verantwoordelijkheden zijn belegd.

37

Quick scan algoritmes en AI – Algorithm Audit

Bestaande algoritmes in lijn met nieuw én al geldend beleid Voor algoritmes die reeds in gebruik zijn, moet een systematische aanpak worden gevolgd om deze in lijn te brengen met zowel nieuw als geldend algoritmebeleid. Allereerst moet de implementatie van bestaand privacy- en informatievoorzieningsbeleid worden versterkt voor alle geïdentificeerde impactvolle algoritmes en eventueel geautomatiseerde besluitvorming. Dit betekent dat voor bestaande systemen alsnog moet worden gecontroleerd of een DPIA is uitgevoerd, waarborgen zijn geïmplementeerd en transparantieverplichtingen worden nagekomen. Vervolgens moet worden uitgewerkt hoe beheersing van algoritmerisico’s kunnen worden ingevuld voor bestaande algoritmes, die niet zijn ontwikkeld volgens de nieuw vast te stellen kaders. Dit vereist een pragmatische benadering waarbij prioriteiten worden gesteld op basis van impact en risico. Voor algoritmes waarvoor geen juridische eisen gelden kan een proportionele aanpak worden gehanteerd. Concrete acties moeten worden uitgewerkt per algoritme, waarbij rekening wordt gehouden met technische mogelijkheden, contractuele verplichtingen met leveranciers en beschikbare middelen. Voor sommige bestaande algoritmes kan dit betekenen dat aanvullende documentatie moet worden opgevraagd, evaluaties moeten worden uitgevoerd.

In uiterste gevallen kan worden geconcludeerd dat een bestaand algoritme niet meer verantwoord kan worden ingezet of dat de voordelen niet opwegen tegen de risico’s. Interne expertise Opbouw van interne expertise is cruciaal voor duurzaam algoritmebeleid. Het aanstellen van een algoritmeofficer, eventueel als parttime rol, kan coördinatie en kennisopbouw faciliteren. Deze functie moet expertise ontwikkelen met betrekking tot ethische, technische en juridische aspecten van algoritmegebruik en fungeren als drijvende kracht bij het garanderen van verantwoorde inzet van AI binnen de gemeente Deventer. Verder is het van belang dat in de breedte wordt ingezet op kennisdeling en bewustwording bij gemeentemedewerkers. Er zijn al bestaande plannen voor training over AI-geletterdheid. Gezien de geringe inzet van AI binnen de gemeente, terwijl er wel impactvolle algoritmes worden ingezet, is het verstandig deze geletterdheid te verbreden naar algoritmes die niet binnen de reikwijdte van de AI-verordening vallen. Een integraal project verantwoorde AI Om bovenstaande stappen te ontwerpen, uit te voeren en te implementeren en daarbij samenhang en expertise op te bouwen is het verstandig deze stappen in een gecombineerd project op te pakken.

Door een concreet actieplan met uitwerking van benodigde expertise en urenbegroting op te stellen kan voldoende tijd worden vrijgemaakt en kunnen tijdlijnen gemanaged worden. Sluit bij het uitwerken van beleid en processen zoveel mogelijk aan bij bestaande processen, zoals voor privacy en informatiebeveiliging en integreer waar mogelijk andere relevante thema’s voor informatievoorziening zoals robuuste informatiehuishouding.68

68

Position paper AI, Algoritmen en Gemeenten, VNG.

38

Quick scan algoritmes en AI – Algorithm Audit

4. Conclusie: beantwoording van hoofdvraag Allereerst wordt de hoofdvraag beantwoord (§4.1). Daarna volgt een samenvatting van de bevindingen (§4.2). Aanbevelingen zijn uitgewerkt in Onderzoeksvraag 8.

4.1 Beantwoording hoofdvraag Hoofdvraag:

“Zet de gemeente Deventer algoritmes en AI in en doet zij dit op transparante, ethische en effectieve wijze in haar dienstverlening en besluitvormingsprocessen?” Antwoord hoofdvraag: De gemeente Deventer zet op verschillende terreinen algoritmes in, maar dit gebeurt niet op een aantoonbaar transparante en ethische wijze. Vanwege ontbrekende documentatie kan niet worden nagegaan of de gemeente op een effectieve wijze gebruikt maakt van algoritmische systemen. Om tot verantwoorde inzet te komen zijn aanvullend beleid en processen nodig. De gemeente Deventer is al gestart met verschillende initiatieven om dit uit te werken. Het in van belang dat de reikwijdte van lopende initiatieven wordt uitgebreid om ook impactvolle algoritmes te omvatten. Ook is het cruciaal dat verschillende plannen in een gecoördineerde aanpak worden ondergebracht om dubbel werk en hiaten te voorkomen. Toelichting hoofdvraag: Met de incomplete inventarisatie die als onderdeel van deze quick scan is uitgevoerd, zijn 9 verschillende algoritmische toepassingen geïdentificeerd. Dit betreffen voornamelijk impactvolle algoritmes en een enkel AI-systeem. Er zijn geen hoog risico AI-systemen aangetroffen. Twee algoritmische systemen zijn geselecteerd voor extra onderzoek: Oribi (biometrische gezichtsvergelijking) en Dariuz Wegwijzer (arbeidsmarktbeoordeling).

Over het gebruik van deze en andere geïdentificeerde systemen is de gemeente Deventer beperkt transparant: geen algoritmes zijn geregistreerd in het landelijke Algoritmeregister en inwoners worden niet geïnformeerd wanneer zij worden onderworpen aan algoritmes. Risico’s, juridische en ethische aspecten krijgen onvoldoende aandacht omdat de gemeente geen specifiek algoritmebeleid heeft en geen structurele afwegingen maakt van kansen en risico’s bij implementatie. Risico’s, zoals discriminatie bij gezichtsvergelijkingssoftware, zijn niet nagevraagd bij de softwareleverancier. De effectiviteit van gebruikte algoritmes is onbekend omdat concrete prestatievereisten ontbreken en er geen monitoring plaatsvindt of systemen hun beoogde resultaten bereiken. Daarnaast bestaan problemen met betrekking tot naleving van wet- en regelgeving: verplichte privacy-impactbeoordelingen zijn niet uitgevoerd en de gemeente weet momenteel niet welke systemen binnen de reikwijdte van de AI-verordening vallen. Hoewel eerste belangrijke stappen gezet zijn, moet de gemeente nog aanvullende significante stappen zetten om algoritmes en AI verantwoord in te zetten.

Om dit doel te realiseren is een integraal projectplan nodig met concrete actiepunten en verantwoordelijkheden, met als doel om voor de lange termijn kennis en kunde binnen de organisatie op te bouwen, een organisatiebreed algoritmebeleid en een complete inventarisatie.

Quick scan algoritmes en AI – Algorithm Audit

39

4.2 Belangrijkste bevindingen Op basis van de in 3. Resultaten quick scan besproken resultaten van dit onderzoek worden de belangrijkste bevindingen per thema besproken. Huidige situatie >

Geen compleet overzicht van gebruikte algoritmes

>

Geen gedeelde definitie van algoritmes en AI binnen de organisatie

>

Medewerkers herkennen impactvolle algoritmes en AI-systemen niet als zodanig

>

Nog geen algoritmes geregistreerd in landelijk Algoritmeregister

>

Eenvoudige maar impactvolle algoritmische systemen worden over het hoofd gezien bij inventarisaties

Beleid en governance >

Geen specifiek (organisatiebreed) beleid voor algoritmes en AI

>

Juridische vereisten zijn nog onvoldoende geïmplementeerd en er is nog niet geëvalueerd welke wettelijke eisen gelden voor welke toepassingen (denk aan Awb, AVG, AI Act en mensenrechten)

>

Ethische aspecten zijn niet concreet uitgewerkt in beleidsdocumenten

>

Geen interne richtlijnen voor gebruik generatieve AI (ChatGPT, etc.)

>

Er is nog onvoldoende sturing op het concreet maken van voordelen en risico’s en een gedegen afweging van beiden.

>

Lopende initiatieven zijn niet op elkaar afgestemd en de reikwijdte beperkt zich vaak tot AI, terwijl juist ook impactvolle algoritmes voor de gemeente van belang zijn.

Ontwikkeling en evaluatie >

Alle in dit onderzoek geïdentificeerde algoritmes zijn ingekocht bij leveranciers, niet intern ontwikkeld

>

Geen vaste aanpak voor inkoop, implementatie en evaluatie

>

Kwaliteitswaarborgen afhankelijk van individuele medewerkers

>

Geen gestructureerde monitoring of algoritmes hun doelen bereiken

>

Weinig beheersmaatregelen vastgelegd of aantoonbaar gedocumenteerd

Casussen Oribi en Dariuz >

Doelen niet gekwantificeerd, geen prestatievereisten vastgelegd

>

Kansen en risico’s nauwelijks gedocumenteerd

>

Verplichte DPIA’s niet uitgevoerd voor verwerking bijzondere persoonsgegevens

>

Discriminatierisico’s niet onderzocht (vooral relevant bij gezichtsvergelijking)

>

Onbekend hoe vaak medewerkers afwijken van advies algoritme

Expertise en organisatie >

Onvoldoende expertise bij medewerkers over algoritmes en AI, kansen en risico’s, ook bij informatieadviseurs en privacy officers

>

Privacy officers hebben te weinig capaciteit voor evaluatie bestaande systemen en implementatie van nieuw beleid en processen.

Quick scan algoritmes en AI – Algorithm Audit

40

Bijlage A – Geïnventariseerde algoritmes en AI Gebruik/pilot/ #

Naam

AI of algoritme

Beschrijving

ontwikkeling/ idee

1

Copilot

AI

AI Assistent Microsoft, kan vele taken in office

Pilot

uitvoeren en ondersteunen 2

Octobox

AI

Weglakken van persoonsgegevens in

Gebruik

documentatie, bijvoorbeeld voor WOO verzoeken 3

Codi

AI

Intelligente zoekmachine voor

onbekend

overheidsinformatie 4

Oribi

AI

Tool voor documentsechtheid controle en

Gebruik

gezichtsvergelijking 5

WOZ-

algoritme

Binnen de taxatieapplicatie wordt met AI

bepaling

(factoren zoals marktinformatie, afstand tot

adhv

voorzieningen, enz) een waarde bepaald van

marktfac-

objecten.

Gebruik

toren. Deze waarde wordt als controle gebruikt bij de waardering van objecten. 6

WOZ-

algoritme

Mails die binnenkomen van Woz-Bureau’s op

bezwaren

uniek mailadres wor-den doorgestuurd naar

ontgrieven

Coforce.

Gebruik

– Robot Deze halen gegevens uit de mail en bijgevoegde .pdf-documenten en zet deze gegevens naar een excel document 7

RIS Vroeg er-opaf

algoritme

Deze applicaties brengen beiden signalen van betalingsachterstanden van signaalpartners (nutsbedrijven bijvoorbeeld) samen met gegevens van de BRP en bekende schuldhulptrajecten. Daar zit echter nog vrij veel handwerk in en er wordt momenteel nog gewerkt aan verdere automatisering.

Gebruik

Quick scan algoritmes en AI – Algorithm Audit

41

8

Dariuz

algoritme

Wegwijzer

https://www.Dariuz.nl/tools-trainingen/

Gebruik

wegwijzer/ Met de Wegwijzer breng je het arbeidspotentieel gebaseerd op de belangrijkste leefgebieden van je klant in kaart. In korte tijd heb je een onderbouwd en uniform plan en kom je weer een stap dichter bij een kwalitatieve, duur-zame plaatsing van je klant. De 5 relevante leefgebieden die de kansen op werk voor onze klanten beïnvloeden zijn: Gezondheid & verslaving, Justitie, Huisvesting & financiën, Werk & werk zoeken en Sociale omgeving. Vanuit die gebieden brengen we de kansen en aandachtspunten van de werkzoekende in kaart. De methodiek levert ver-volgens automatisch een berekening van de kansen van de klant op de arbeidsmarkt. Feitelijke informatie en een wegwijzer voor interventies, leertrajecten en eventuele plaatsingen.

9

Gripvol

algoritme

Nog niet ingezet, nog in verken-ningsfase

Idee

Quick scan algoritmes en AI – Algorithm Audit

42

Bijlage B – Interne bronnen #

Titel

Jaar

1

AI-plan DOWR

2025

2

Beleidskader privacy en gegevensbescherming

2018

3

CIO-voorstel Aanpak AI-verordening

2025

4

CIO-voorstel AI-plan DOWR

2025

5

CIO-voorstel Kwaliteitsborging bij informatie-voorziening

2024

6

DOWR privacy- en informatiebeveiligingsplan 2025

2025

7

E-mail Inventarisatie gebruik verboden AI

2025

8

Format DPIA DOWR

onbekend

9

Gapanalyse i-Visie en STiP 2025

2025

10

i-Visie DOWR 2022

2022

11

Notulen van werkgroep Ethiek

2025

12

Oplegger CIO overleg Gapanalyse i-Visie en STiP

2025

13

Onderzoek Ethische commissies

onbekend

14

Privacy- en informatiebeveiligingsplan

2025

15

Privacyverklaring gemeente Deventer

2025

16

Privacyverklaring KonnecteD

2025

17

Startnotitie Quick scan naar AI en algoritme – Rekenkamer Deventer

2025

18

Strategisch Informatiebeveiligingsbeleid DOWR gemeenten

2024

19

Strategisch Informatieplan Deventer 2020 – 2023 (STiP)

2020

20

Uitwerking kwaliteitsborgingsproces DOWR in-formatievoorziening initiatieven

2024

21

Voorbereiding bewustwording ethiek – Werk-groep Ethiek

2024

Quick scan algoritmes en AI – Algorithm Audit

43

Bijlage C – Externe Bronnen #

Titel

Bron

Jaar

1

Toetsingskader algoritmes V2.0

Algemene Rekenkamer

2024

2

Rapport Aandacht voor algoritmes

Algemene Rekenkamer

2021

3

Rapport Focus op AI bij de rijksoverheid

Algemene Rekenkamer

2024

4

Rapport Resultaten verantwoordingsonderzoek 2024

Algemene Rekenkamer

2025

Artikel Hoe een verboden Excelsheet bepaalt wie

Argos – HUMAN/VPRO

2022

verdacht wordt van bijstandsfraude

Reinier Tromp, Judith Konijn

6

Onderzoekskader algoritmes

Auditdienst Rijk

2023

7

Handvatten betekenisvolle menselijke tussenkomst

Autoriteit Persoonsgegevens

2025

ministerie van Sociale Zaken en Werkgelegenheid 5

(AP) 8

Handleiding Het CODIO-instrument

Berenschot, Universiteit

2025

Utrecht 9 10

Artikel Rijk zegt nauwelijks hoog risico-AI te

Binnenlands Bestuur

gebruiken

Marjolein van Trigt

Handleiding Het CODIO-instrument

College voor de Rechten

2025 2025

van de Mens 11

Aanpak begeleidingsethiek

ECP Platform voor de InformatieSamen-leving

12 13

Rapport Onderzoek naar algoritmes in gemeente

Groene Hart Rekenkamer,

Gouda

uitgevoerd door Technopolis

Algoritmekader V2.4

Ministerie van Binnenlandse

2025 2025

Zaken en Koninkrijksrelaties (BZK) 14

Handreiking algoritmeregister V1.3

Ministerie van Binnenlandse

2025

Zaken en Koninkrijksrelaties (BZK) 15

Het algoritmeregister van de Nederlandse overheid

Ministerie van Binnenlandse

2025

Zaken en Koninkrijksrelaties (BZK) 16

17

Kamerbrief Analyse op-brengst internetconsultatie

Ministerie van Binnenlandse

reflectiedocument algoritmische besluitvorming en

Zaken en Koninkrijksrelaties

de Awb

(BZK)

Rapport Een burger is geen dataset

Nationale Ombudsman

2025

2021

Quick scan algoritmes en AI – Algorithm Audit

44

18

Ethische Richtsnoeren voor Betrouwbare KI

Onafhankelijke

2019

deskundigengroep op hoog niveau inzake kunstmatige intelligentie opgericht door de Europese Commissie 19

Uitspraak Rechtbank Den Haag SyRI-wetgeving in

Rechtbank Den Haag

2020

Rekenkamer Enschede,

2023

strijd met het Europees Verdrag voor de Rechten voor de Mens 20

Rapport Algoritmen en AI in Enschede

Uitgevoerd door PBLQ 21

Rapport Gekleurde Technologie

Rekenkamer Rotterdam

2021

22

Artikel Amsterdam wilde met AI de bijstand eerlijker

Trouw

2025

en efficiënter maken. Het liep anders

Jeroen van Raalte

Position paper AI, algoritmen en gemeenten

Vereniging van Nederlandse

23

2025

Gemeen-ten (VNG) 24

Artikel Computer zegt vrouw: hoe een Rotterdams

Vers Beton

algoritme jonge, alleenstaande moeders

Saskia Klaassen en Romy van

discrimineerde

Dijk

2023

Wet- en Regelgeving #

Titel

Verkorte titel

EU/NL

1

Verordening (EU) 2024/1689 van het Eu-ropees Parlement

AI-verordening

EU

en de Raad tot vaststelling van geharmoniseerde regels

AI Act

betreffende artificiële intelligentie 2

Algemene wet gelijke behandeling

Awgb

NL

3

Algemene wet bestuursrecht

Awb

NL

4

Verordening (EU) 2016/679 van het Eu-ropees

Algemene Verordening

EU

Parlement en de Raad betreffende de bescherming van

Gegevensbescherming

natuurlijke personen in verband met de verwerking van

AVG

persoonsgegevens en betreffende het vrije verkeer van die gegevens 5

Besluit lijst verwerkingen persoonsge-gevens waarvoor een gegevensbe-schermingseffectbeoordeling (DPIA) ver-plicht is, Autoriteit Persoonsgegevens (Regeling)

Lijst verplichte DPIA

NL

Quick scan algoritmes en AI – Algorithm Audit

45

Bijlage D – Gesproken medewerkers Functie

Type meeting

Teammanager publiekscontacten

Interview Oribi

CIO

Kick-off

Consulent (KonnecteD)

Interview Dariuz

Informatiemanagement Adviseur

Interview Oribi

Strategisch informatiemanagement

Kick-off, afstemmings-

adviseur

gesprekken

Functionaris Gegevensbescherming

Kick-off

Hoofd ICT (KonnecteD)

Interview Dariuz

Strategisch adviseur, programmamanager

Interview Oribi

burger en bestuur Bestuursadviseur

Kick-off

Informatiemanagement adviseur

Kick-off, interview Dariuz

Privacy Officer

Kick-off, afstemmingsgesprekken

Productspecialist / Kwaliteitsmedewer-ker Burgerzaken

Interview Oribi

Quick scan algoritmes en AI – Algorithm Audit

46

Over Algorithm Audit Algorithm Audit is een Europees kennisplatform voor AI bias testing en normatieve AI-standaarden. De doelen van de stichting zijn drieledig: Samenbrengen van kennis en experts voor collectief leerproces