Bijlage 2 - Quick Scan Algoritmes en AI - Rekenkamer Deventer

Quick scan algoritmes en AI

Rekenkamer Deventer

November 2025

Quick scan algoritmes en AI – Algorithm Audit

2

Inhoudsopgave 1. Opzet quick scan

3

1.1 Aanleiding

3

1.2 Doel, onderzoeksrichtingen en onderzoeksvragen

3

1.3 Reikwijdte

4

2. Werkwijze

7

2.1 Normenkader

7

2.2 Interne bronnen

8

2.3 Gebruik landelijk Algoritmeregister

9

3. Resultaten quick scan

11

3.1 Onderzoeksrichting A – Huidige situatie

11

3.2 Onderzoeksrichting B – Risico’s, randvoorwaarden en compliance

23

3.3 Onderzoeksrichting C – Toekomststrategie en aanbevelingen

34

4. Conclusie: beantwoording van hoofdvraag

38

4.1 Beantwoording hoofdvraag

38

4.2 Belangrijkste bevindingen

38

Bijlage A – Geïnventariseerde algoritmes en AI Bijlage B – Interne bronnen Bijlage C – Externe Bronnen Bijlage D – Gesproken medewerkers

40 42 43 45

Over Algorithm Audit Algorithm Audit is een Europees kennisplatform voor AI bias testing en normatieve AI-standaarden. De doelen van de stichting zijn vierledig: Samenbrengen van kennis en experts om het collectieve leerproces

Kennisplatform

over de verantwoorde inzet van algoritmes aan te jagen, zie onze white papers en publieke standaarden.

Created by Adrien Coquet from the Noun Project

Normatieve adviescommissies

Adviseren over ethische vraagstukken die zich voordoen in de

Technische hulpmiddelen

Implementeren en testen van open source software voor de verant-

Projectwerk

Ondersteuning bij specifieke vragen vanuit de publieke en private sector

algoritmische praktijk door het faciliteren van deliberatieve en inclusieve adviescommissies, met algoprudentie als resultaat

woorde inzet van algoritmes en AI, o.a. socio-technische evaluatie van generatieve AI, unsupervised bias detectie en synthetische data generatie.

over de verantwoorde inzet van algoritmes, zonder winstoogmerk.

Quick scan algoritmes en AI – Algorithm Audit

3

1. Opzet quick scan In dit hoofdstuk wordt opeenvolgend de aanleiding voor deze quick scan toegelicht (§1.1), het doel, de onderzoeksrichtingen en onderzoeksvragen (§1.2) besproken en de reikwijdte van het onderzoek bepaald (§1.3).

1.1 Aanleiding Digitalisering en technologische vooruitgang bieden nieuwe mogelijkheden voor gemeenten, zo ook de gemeente Deventer. Algoritmes en artificiële intelligentie (AI) kunnen bijdragen aan het efficiënter uitvoeren van gemeentelijke processen, het verbeteren van datagedreven besluitvorming en het opsporen van inefficiënties of risico’s. Tegelijkertijd roept het gebruik van algoritmes en AI vragen op over transparant, verantwoord en behoorlijk openbaar bestuur. Om inzicht te krijgen in het gebruik van algoritmes en AI door de gemeente Deventer en de impact hiervan te bepalen, heeft de Rekenkamer van de gemeente Deventer de stichting Algorithm Audit verzocht een quick scan uit te voeren. Het verzoek voor dit onderzoek sluit aan bij Europese en nationale beleidsontwikkelingen die relateren aan de verantwoorde inzet van algoritmes en AI door overheidsinstellingen.

Zo stelt de Europese AI-verordening dat hoog risico-toepassingen AI-systemen de komende 5 jaar gefaseerd aan productveiligheidsvereisten moeten voldoen.1 Daarnaast poogt het nationale Algoritmeregister de inventarisatie, transparantie en controleerbaarheid van impactvolle algoritmes wanneer ingezet door Nederlandse overheidsinstellingen te vergroten.2 Tegen deze achtergrond fungeert deze quick scan als een eerste verdieping om raadsleden te informeren over de inzet van algoritmes en AI door de gemeente, welke risicobeheersmaatregelen momenteel van toepassing zijn en of waarborgen moeten worden versterkt. Bij aanvang van deze quick scan waren geen (interne) signalen bekend over onverantwoord gebruik van algoritmes en AI door de gemeente Deventer die aanleiding hebben gegeven voor dit onderzoek.

1.2 Doel, onderzoeksrichtingen en onderzoeksvragen Het doel van deze quick scan is om de gemeenteraad, inwoners en andere belanghebbenden inzicht te geven hoe de gemeente Deventer algoritmes en AI inzet en hoe bijkomende risico’s worden beheerst. De onderzoeksrichtingen zijn drieledig: A. Huidige situatie – Het verkrijgen van inzicht hoe algoritmes en AI momenteel worden toegepast door de gemeente Deventer. B. Risico’s, randvoorwaarden en compliance – Het identificeren van waarborgen waarmee risico’s die gepaard gaan met het gebruik van algoritmes en AI, zoals beperkte transparantie, privacyschendingen en discriminatie, worden beheerst. C. Toekomststrategie en aanbevelingen – Zicht op plannen hoe de gemeente algoritmes en AI in de (nabije) toekomst verwacht in te gaan zetten en welke acties moeten worden ondernomen om dit op een verantwoorde wijze te realiseren.

1 2

Verordening (EU) 2024/1689 van het Europees Parlement en de Raad. Handreiking Algoritmeregister, Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (2025).

Quick scan algoritmes en AI – Algorithm Audit

4

Gebaseerd op bovenstaande onderzoeksrichtingen is de volgende hoofdvraag geformuleerd: “Zet de gemeente Deventer algoritmes en AI in en doet zij dit op transparante, ethische en effectieve wijze in haar dienstverlening en besluitvormingsprocessen?” Om de hoofdvraag te beantwoorden wordt iedere onderzoeksrichting verdiept aan de hand van onderzoeksvragen. De onderzoeksvragen per onderzoeksrichting zijn: A. Huidige situatie 1. Welke toepassingen van algoritmes en AI zijn op dit moment bekend bij de gemeente? 2. Heeft de gemeente een compleet overzicht van de inzet van algoritmes en AI? 3. Welk beleid heeft de gemeente voor het gebruik van algoritmes en AI? 4. Hoe worden algoritmes en AI ontwikkeld, toegepast en geëvalueerd? B. Risico’s, randvoorwaarden en compliance 5. Wat zijn de risico’s en beperkingen van deze technologieën in de gemeentelijke context? 6. Welke juridische en ethische aspecten spelen een rol bij het gebruik van algoritmes en AI? 7. Hoe kan de transparantie, eerlijkheid en beheersing van ethische risico’s bij algoritmes en AI worden gewaarborgd? C. Toekomststrategie en aanbevelingen 8. Welke stappen moet de gemeente Deventer ondernemen om algoritmes en AI verantwoord in te zetten? Bovenstaande onderzoeksvragen worden in 3. Resultaten quick scan beantwoord. Op basis van de inzichten voortkomend uit deze antwoorden wordt in 4.

Conclusie: beantwoording van hoofdvraag: bevindingen en aanbevelingen een antwoord geformuleerd op de hoofdvraag. Ten behoeve van het constructieve karakter van dit onderzoek zijn aanbevelingen als integraal element van onderzoeksrichting C opgenomen.

1.3 Reikwijdte Deze quick scan is geen uitputtende analyse hoe algoritmes en AI door de gemeente Deventer momenteel worden ingezet. Dit onderzoek is wel een analyse van enkele voor dit onderzoek geselecteerde algoritmische systemen die momenteel door de gemeente worden gebruikt. Deze quick scan geeft daarmee een beeld van de huidige gang van zaken hoe de gemeente algoritmes inzet en op welke wijze de verantwoorde manier hiervan geborgd wordt. Voordat de werkwijze van deze analyse wordt besproken (2. Werkwijze) worden enkele relevante termen gedefinieerd (§1.3.1) en samenwerkingsverbanden van de gemeente Deventer toegelicht (§1.3.2). Dit onderzoek richt zich op risico’s die zich specifiek voordoen bij de inzet van AI en algoritmes. Specifieke risico’s voortkomend uit informatiebeveiliging van IT-systemen, zoals toegangsrechten en cybersecurity, zijn geen onderdeel van deze quick scan. Een dekkende analyse van compliance met de Algemene verordening gegevensbescherming (AVG) valt ook buiten de reikwijdte van de quick scan.

5

Quick scan algoritmes en AI – Algorithm Audit

1.3.1 Definities Dit onderzoek richt zich op het gebruik van algoritmes en AI. Voor de term ‘algoritme’ wordt de definitie van de Algemene Rekenkamer (AR) gevolgd. Deze definitie wordt ook door het ministerie van binnenlandse zaken gebruikt. Definitie ‘algoritme’ – “Een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden”.3 Vrijwel alle IT-systemen vallen onder deze definitie van een algoritme. In lijn met de Handreiking Algoritmeregister legt dit onderzoek de nadruk op impactvolle algoritmes. Merk op dat AI-systemen altijd ook een algoritmisch systeem zijn. Definitie ‘impactvol algoritme’ – “Algoritmes met directe rechtsgevolgen voor betrokkenen en algoritmes met invloed op hoe de overheid een betrokkene of groep categoriseert of benadert”.4 Een-op-een automatisering van wet- en regelgeving is uitgezonderd van deze definitie. In 2024 is AI-verordening van de Europese Unie in werking getreden. Met de komst van deze wet is er nu een juridisch bindende definitie van een AI-systeem. In dit onderzoek worden AI-systeem en AI als synoniemen gehanteerd.

Definitie ‘AI-systeem’ – “Een op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen”.5 Voor AI-systemen die worden toegepast in hoog risico-toepassingsgebieden (hoog risico AI-systemen) gelden aanvullende eisen. Deze toepassingsgebieden worden gespecificeerd in Annex III van de AI-verordening.6 In licht van artikel 22 van de AVG is volledige geautomatiseerde besluitvorming doorgaans verboden. Hieronder wordt verstaan: Definitie ‘volledig geautomatiseerde besluitvorming’ – “een uitsluitend op geautomatiseerde verwerking, waaronder profilering, gebaseerd besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem anderszins in aanmerkelijke mate treft” In andere woorden gaat het hier om een bijzonder impactvolle beslissing waarbij geen sprake is van betekenisvolle menselijke tussenkomst.7 3 4 5 6 7

Aandacht voor algoritmes, Algemene Rekenkamer (2021). Handreiking Algoritmeregister, Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (2025). Artikel 3(3) Verordening (EU) 2024/1689 van het Europees Parlement en de Raad. Verordening (EU) 2024/1689 van het Europees Parlement en de Raad. Handvatten betekenisvolle menselijke tussenkomst, Autoriteit Persoonsgegevens (2025).

6

Quick scan algoritmes en AI – Algorithm Audit

De relatie tussen verschillende begrippen

Algoritmes omvatten een zeer brede categorie technologieën. Impactvolle algoritmes, AI en geautomatiseerde besluitvorming zijn allen vormen van algoritmes. Ook kan een systeem in meerdere categorieën vallen. Een AI-systeem kan bijvoorbeeld gebruikt worden voor geautomatiseerde besluitvorming. Alle AI-systemen en geautomatiseerde besluitvorming zijn óók een algoritme.

1.3.2 Gemeentelijke samenwerkingsverbanden Gemeente Deventer werkt op het gebied van bedrijfsvoering en IT intensief samen met de gemeente OlstWijhe en de gemeente Raalte. Naar het samenwerkingsverband van deze gemeenten wordt gerefereerd als DOWR. Gemeenten DOWR besteden verschillende taken uit aan externe organisaties. Deze organisaties voeren in opdracht van de gemeenten specifieke taken uit, zoals de uitvoer van participatiewet en jeugdhulp. Omdat dit taken zijn waarvoor de gemeente verantwoordelijk is, zijn deze organisaties waar relevant onderdeel geweest van dit onderzoek.

Quick scan algoritmes en AI – Algorithm Audit

7

2. Werkwijze Voor deze quick scan zijn acht onderzoeksvragen in drie onderzoeksrichtingen vastgesteld. De werkwijze voor het beantwoorden van deze vragen wordt in dit hoofdstuk beschreven. Allereerst wordt toegelicht hoe Algorithm Audit interne bronnen heeft geanalyseerd en hoe twee algoritmische systemen zijn geselecteerd voor verdiepend onderzoek (§2.1). Vervolgens wordt toegelicht hoe het landelijk Algoritmeregister voor dit onderzoek is gebruikt (§2.2). Daarna volgt een toelichting welk normenkader is gehanteerd om de verantwoorde inzet van algoritmes en AI door de gemeente te onderzoeken (§2.3).

2.1 Normenkader Er is nagegaan of de gemeente Deventer een intern normenkader heeft om te bepalen of algoritmes en AI verantwoorde worden ingezet. Er is niet gebleken dat een dergelijk intern kader wordt gebruikt binnen de gemeente. Ten behoeve van dit onderzoek is het Toetsingskader algoritmes8 (hierna: ‘Toetsingskader’) van de Algemene Rekenkamer (AR) als uitgangspunt genomen, waar nodig aangevuld met het Algoritmekader9 van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK). Beide kaders zijn specifiek opgesteld voor verantwoord gebruik van algoritmes en AI door Nederlandse overheidsinstanties. Het Toetsingskader is door de AR in 2021 specifiek opgesteld voor rekenkamers om te toetsen of algoritmes voldoen aan bepaalde kwaliteitscriteria, of de risico’s voldoende zijn geïnventariseerd en worden beheerst. De AR gebruikt het Toetsingskader bij haar eigen onderzoeken naar algoritmes, bijvoorbeeld bij het UWV en de Belastingdienst. Voor geïdentificeerd risico’s zijn beheersmaatregelen vastgelegd die deze risico’s helpen beheersen. Op basis van dit kader wordt nagegaan of beheersmaatregelen door de gemeente Deventer zijn uitgedacht en vastgelegd (opzet) en of deze vervolgens ook zijn uitgevoerd (bestaan).

Omdat dit kader extern is opgesteld en niet eerder is gebruikt binnen de gemeente kan niet worden verwacht dat de onderzochte algoritmische systemen al volledig voldoen aan dit kader. Toetsing ten aanzien van dit kader geeft inzicht in welke risicobeheersmaatregelen ontbreken en helpt de gemeente prioriteiten te identificeren voor toekomstig algoritmebeleid. Het kader bestaat uit 4 dimensies: >

Sturing en verantwoording

>

Model en data

>

Privacy

>

IT-beheer

Merk op: de dimensie IT-beheer is geen onderdeel van dit onderzoek (zie 1.3 Reikwijdte) Het Algoritmekader van BZK is het meest recente en complete beschikbare kader ten behoeve van verantwoorde algoritme gebruik in de Nederlandse publieke sector en bestaat uit vereisten, aanbevolen maatregelen en hulpmiddelen. Door het alomvattende karakter is het Algoritmekader beperkt bruikbaar als validatiekader in de praktijk voor onderzoeken zoals deze quick scan. Het Algoritmekader wordt in dit 8 9

Toetsingskader algoritmes, Algemene Rekenkamer (2021). Algoritmekader v2.4, Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (2025).

8

Quick scan algoritmes en AI – Algorithm Audit

onderzoek wel gebruikt om te verwijzen naar verplichtingen en risicobeheersmaatregelen die gelden voor AI-systemen volgens de AI-verordening. Het Toetsingskader en het Algoritmekader zijn in dit onderzoek gebruikt om inzichten voortkomend uit interne bronnen, interviews met gemeentemedewerkers en publieke rapporten te analyseren. Bij relevante passages over elementen uit het Toetsingskader of Algoritmekader wordt hiernaar verwezen in 3. Resultaten quick scan.

2.1.1 EU AI-verordening De Europese Unie (EU) heeft nieuwe wetgeving aangenomen die de ontwikkeling en gebruik van specifieke types AI-systemen reguleert. Deze wetgeving treedt in fases in werking. Vanaf februari 2025 zijn enkele toepassingen van AI-systemen verboden (‘verboden AI-systemen’) en geldt de verplichting voor organisatie om te zorgen dat hun medewerkers voldoende ‘AI-geletterd’ zijn. Vanaf augustus 2026 gelden er eisen met betrekking tot kwaliteitsmanagement, data en monitoring voor ‘hoog risico’ AI-systemen. Naast eisen aan de systemen zelf, zijn er ook transparantieverplichtingen. Zo moeten alle hoog risico systemen worden opgenomen in een Europese publieke database. Om aan deze wetgeving te voldoen is eerst een compleet beeld van AI-systemen binnen de gemeente nodig. Implementatie van deze nieuwe EU-wetgeving wordt ten tijde van dit onderzoek nog niet verwacht te zijn afgerond door de gemeente Deventer. Daarom zijn de specifieke eisen uit de AI-verordening nog niet opgenomen in dit onderzoek, maar wordt hier waar relevant wel naar verwezen.

2.2 Interne bronnen 2.2.1 Opgevraagde documentatie Ten behoeve van dit onderzoek zijn door de gemeente Deventer verschillende documenten ter beschikking gesteld om de verschillende onderzoeksvragen te beantwoorden. Een lijst van deze documenten in opgenomen in Bijlage B. Naast door de gemeente ter beschikking gestelde documenten is gebruik gemaakt van publiek beschikbare documenten. Een lijst van deze documenten is opgenomen in Bijlage C. Onderzoekers van Algorithm Audit hebben een analyse uitgevoerd op basis van het landelijke Algoritmeregister (zie 2.3 Gebruik landelijk Algoritmeregister). Op basis van deze analyse heeft de gemeente een aanvullende uitvraag gedaan om na te gaan welke algoritmes en AI-systemen worden gebruikt in het sociaal domein. De uitvraag is verstuurd naar teamleiders van uitvoeringsteams onder de directie Samenleving. De door de gemeente gedeelde documentatie en communicatie zijn middels bureauonderzoek door Algorithm Audit geanalyseerd. Vervolgens is op verzoek van de onderzoekers aanvullende documenten over specifieke algoritmes en AI-systemen opgevraagd. De resultaten hiervan worden besproken in 3. Resultaten quick scan.

Quick scan algoritmes en AI – Algorithm Audit

9

2.2.2 Casusonderzoek en interviews Op basis van de opgevraagde documentatie zijn in overleg met de Rekenkamer Deventer twee algoritmische systemen geselecteerd voor een verdiepende analyse. Door deze verdieping kunnen de onderzoeksvragen in detail worden beantwoord en kunnen abstracte concepten die worden onderzocht tijdens de quick scan, zoals ethiek en verantwoorde inzet, op basis van concrete voorbeelden worden toegelicht. De verdieping is ook bevorderlijk om observaties en aanbevelingen voortkomend uit dit onderzoek concreet en praktisch te formuleren. Bij de selectie van algoritmes en AI-systemen voor verdiepend onderzoek is onder meer rekening gehouden met de volgende aspecten: >

Impact: het besluitvormingsproces waarbinnen het algoritme of AI-systeem wordt toegepast heeft financiële gevolgen voor betrokkenen of treft hen anderszins in aanmerkelijke mate.10

>

Norminterpretatie: Regels gebruikt in algoritmes en AI die niet in wet- en regelgeving zijn gespecificeerd, maar door de gemeente zelf op basis van open normen zijn vastgesteld of die afhangen van menselijke evaluatie.11

>

Verwerking van gevoelige gegevens van inwoners en organisaties: gebruik van bijzondere categorieën persoonsgegevens volgens de AVG, zoals verwerking van biometrische gegevens, gegevens over gezondheid of gegevens over wettelijke beschermde discriminatiegronden, zoals etniciteit en nationaliteit.12

Voor geselecteerde algoritmische systemen zijn interviews ingepland met medewerkers die de toepassing gebruiken in hun werk en medewerkers met kennis van de kwaliteitsbeoordeling en risicobeheersing van de toepassing. Deze medewerkers zijn individueel of in groepsverband geïnterviewd door onderzoekers van Algorithm Audit. Het normenkader dat voor casusonderzoek gebruikt is wordt toegelicht in 2.1 Normenkader.

2.3 Gebruik landelijk Algoritmeregister Naast de door de gemeente ter beschikking gestelde documenten is voor deze quick scan gebruik gemaakt van publiek beschikbare informatie over algoritmes en AI uit het landelijke Algoritmeregister. Deze werkwijze biedt inzicht in welke algoritmes en AI binnen andere (vergelijkbare) gemeentes worden gebruikt. Uit de analyse volgt een indicatie welke algoritmische systemen de gemeente Deventer mogelijk wél gebruikt maar niet in beeld heeft. In het Algoritmeregister publiceren overheidsinstellingen informatie over algoritmes en AI-systemen die zij gebruiken.13 Dit is een centraal en openbaar register wat iedereen kan doorzoeken. Registratie van algoritmes en AI in dit register is niet verplicht. Het register geeft dus geen compleet beeld, maar wel een indicatie Denk aan: besluitvormingsprocessen over prioritering of routering van aanvragen of verzoeken, klachten of bezwaren van inwoners en/of organisaties bij de gemeente. Denk ook aan controle- of onderzoeksprocessen of verzoek tot informatie van gemeente richting betrokkenen. Bij deze voorbeelden maakt het niet uit of een uiteindelijke beslissing door beslismedewerkers wordt genomen en dat het algoritme slechts een ondersteunende rol in het besluitvormingsproces speelt. Het algoritme kan dan alsnog impactvol zijn. 11 Denk aan: beslisregels voortgekomen uit ervaring van medewerkers.

Fictief voorbeeld: ervaring leert dat jongeren de sollicitatieplicht bij bijstandsuitkering vaker niet nakomen dan ouderen, daarom wordt besloten vaker te controleren bij jonge bijstandsontvangers. 12 Zie artikel 9 AVG en artikel 1 Algemene wet gelijke behandeling (Awgb). 13 Het algoritmeregister van de Nederlandse overheid. 10

10

Quick scan algoritmes en AI – Algorithm Audit

welke algoritmes en AI door andere gemeenten gebruikt worden. Het register bevatte medio 2025 bijna 900 algoritmes van 236 organisaties. In mei 2025 hadden 145 gemeentes tenminste één algoritme geregistreerd in het Algoritmeregister. Om inzicht te krijgen in algoritmes die mogelijk ook gebruikt worden binnen de gemeente Deventer is gekeken welke algoritmes en AI-systemen door met Deventer vergelijkbare gemeenten in het Algoritmeregister zijn geregistreerd. Op basis van inwoneraantal zijn de 10 gemeenten groter en kleiner dan Deventer in het Algoritmeregister geselecteerd. Vervolgens is gefilterd op de algoritmes die aangemerkt zijn als hoog risico AI-systeem of als impactvolle algoritme.14 Door de algoritmes te sorteren op thema is inzichtelijk gemaakt binnen welke domeinen gemeenten algoritmes het vaakst inzetten. Binnen de drie domeinen waarbinnen de meeste impactvolle algoritmes of hoog risico AI-systemen worden toegepast zijn per domein de twee meest voorkomende of meest opvallende algoritmes gebruikt voor deze analyse. Daarnaast is een vergelijking gemaakt met de gemeente Utrecht. Dit is de gemeente die de meeste algoritmes heeft geregistreerd in het Algoritmeregister. Vanwege dit hoge aantal nemen we aan dat de gemeente Utrecht beschikt over een van de meest complete inventarisaties en registraties van algoritmische systemen.

De door de gemeente Utrecht geregistreerde algoritmes in het register zijn daarmee nuttig vergelijkingsmateriaal voor algoritmes die door de gemeente Deventer tijdens de interne inventarisatie mogelijk over het hoofd zijn gezien. De resultaten van dit onderzoek worden besproken in 3. Resultaten quick scan.

14

Toelichting voor deze termen kan worden gevonden in 1.3.1 Definities

11

Quick scan algoritmes en AI – Algorithm Audit

3. Resultaten quick scan In dit hoofdstuk worden resultaten van de quick scan gedeeld. Allereerst worden resultaten met betrekking tot de huidige situatie besproken, inclusief uitkomsten van de vergelijkende analyse met het Algoritmeregister (§3.1). Daarna wordt toegelicht welke casussen zijn geselecteerd voor een verdiepende analyse (§3.2). Vervolgens worden resultaten met betrekking tot risico’s, randvoorwaarden en compliance toegelicht (§3.3). Het hoofdstuk sluit af met inzichten over de toekomststrategie en aanbevelingen (§3.3).

3.1 Onderzoeksrichting A – Huidige situatie Op basis van interne bronnen gedeeld door de gemeente Deventer, bureauonderzoek en interviews uitgevoerd door onderzoekers van Algorithm Audit worden onderzoeksvragen 1-4 beantwoord.

3.1.1 Onderzoeksvragen 1 en 2 Onderzoeksvraag 1:

“Welke toepassingen van algoritmes en AI zijn op dit moment bekend bij de gemeente?” Onderzoeksvraag 2: “Heeft de gemeente een compleet overzicht van de inzet van algoritmes en AI?” Antwoord onderzoeksvragen 1 en 2: In totaal zijn 9 algoritmes gedeeld met de onderzoekers van Algorithm Audit. Zie Bijlage A. Dit is naar alle waarschijnlijkheid nog geen compleet beeld van de algoritmes en AI die worden gebruikt binnen de gemeente Deventer. Toelichting onderzoeksvragen 1 en 2: Uit gesprekken gevoerd in het kader van dit onderzoek volgt dat de gemeente Deventer momenteel nog geen compleet overzicht heeft van de inzet van algoritmes en AI binnen de gemeente. Er vindt geen gestructureerde inventarisatie plaats op basis waarvan onderbouwd kan worden dat er een compleet overzicht is van gebruikte algoritmes en AI binnen de gemeente. Zonder een compleet beeld van het gebruik van AI en impactvolle algoritmes in de organisatie heeft de gemeente slechts beperkt grip op het gebruik van deze technologie. Een beperkt overzicht heeft als gevolg dat kwaliteitswaarborgen, risico’s en voordelen van gebruik van algoritmes en AI niet of beperkt kunnen worden vastgesteld. Daarnaast kan de gemeente dan niet nagaan of wordt voldaan aan verplichtingen voortkomend uit Europese wetgeving, zoals de AIverordening en de AVG.

De gemeente Deventer heeft zich voorgenomen een inventarisatie uit te voeren, zie Onderzoeksvraag 3. Voorafgaand aan dit onderzoek heeft de gemeente verschillende informele uitvragen gedaan bij medewerkers naar gebruikte algoritmes en AI. Daarnaast heeft de gemeente gedurende dit onderzoek een aanvullende schriftelijke uitvraag gedaan over het gebruik van algoritmische toepassingen in het sociale domein. Algoritmes die nu in beeld zijn bij de gemeente zijn opgenomen in Bijlage A.

12

Quick scan algoritmes en AI – Algorithm Audit

Uit communicatie rondom (informele) inventarisaties blijkt dat verschillende medewerkers en afdelingen binnen de gemeente een verschillend begrip hebben van wat algoritmes en AI zijn. Hierover is ook binnen het Afdeling Digitalisering en Data (voorheen: CIO-office) van de gemeente geen overeenstemming. In verschillende interne documenten en communicatiematerialen worden verschillende definities gebruikt.15 Uit interviews met gemeentemedewerkers kwamen meermaals vragen naar voren als: “maar is dat wel een algoritme?” en “wat is nu precies AI?”. Beide in dit onderzoek onderzochte casussen (zie onderzoeksvraag 4), werden niet als impactvol algoritme herkend, ook wanneer de toepassing wel bekend was bij de betrokken medewerker. Voordat een aanvullende schriftelijke uitvraag werd gedaan, waren vooral innovatieve AItoepassingen bekend bij de bij dit onderzoek betrokken medewerkers. Eenvoudigere algoritmische toepassingen die al langer gebruikt worden, waren nog niet in beeld. Gemeente Deventer heeft in januari 2025 via e-mail een uitvraag gedaan of mogelijk gebruik gemaakt wordt van verboden AI-systemen volgens de AI-verordening.

Met oog op geconstateerde onduidelijkheden met betrekking tot de definitie van een AI-systeem binnen de gemeente en wat hoog risico en verboden categorieën AI-systemen betreffen, kan niet met zekerheid gesteld worden dat er geen verboden AI-systemen binnen de gemeente Deventer worden toegepast. Wel wordt opgemerkt dat in de loop van dit onderzoek geen casussen bekend geworden zijn, die mogelijk in de verboden categorie vallen. Zoals volgt uit het ‘DOWR privacy- en informatiebeveiligingsplan 2025’ zijn er plannen van de gemeente om grip op AI te vergroten. Zo heeft de gemeente zich voorgenomen om een plan van aanpak AI-geletterdheid op te stellen in Q3- en Q4-202516 en om AI-beleid te ontwikkelen in Q4-2025 en Q1 2026.17 Dit zijn vereisten volgend uit de AI-verordening. De gemeente Deventer heeft nog geen algoritmes geregistreerd in het landelijke Algoritmeregister. De gemeente heeft zich voorgenomen om bestaande hoog risico AI-systemen en algoritmen te inventariseren en te publiceren in het algoritmeregister.18 Hiervoor was gedurende de looptijd van dit onderzoek nog geen concreet plan van aanpak inclusief tijdslijnen uitgewerkt. Uit inventarisaties binnen de rijksoverheid blijkt dat overheden nog nauwelijks gebruik maken van hoog risico AI-systemen. Van de gepubliceerde algoritmes is slechts minder dan 3,5% van de algoritmes hoog risico AI.

De rest (ruim 350) betreffen impactvolle algoritmes.19 Het is daarom aannemelijk dat ook voor gemeente Deventer impactvolle algoritmes een groter aandeel van de algoritme vormt dan hoog risico AI.

In ‘Uitwerking kwaliteitsborgingsproces DOWR informatievoorziening initiatieven’ algoritme en automatisering van besluitvorming met elkaar gelijkgesteld. In ‘CIO-voorstel aanpak AI-verordening gebruikt als uitleg voor AI-systemen’ wordt de rekenkamer definitie gebruikt die ook in dit onderzoek gevolgd wordt. 16 Zie CIO-voorstel Aanpak AI-verordening. 17 Zie AI-plan DOWR. 18 Zie CIO-voorstel Aanpak AI-verordening. 19 Dit blijkt uit een analyse van kamerbrieven door stichting Algorithm Audit. Rijk zegt nauwelijks hoog risico-AI te gebruiken. 15

Quick scan algoritmes en AI – Algorithm Audit

13

Samenvatting van observaties: >

Er is nog geen vaste, bij medewerkers bekende definitie van (impactvolle) algoritmes en AI.

>

Er is nog onvoldoende bewustzijn en kennis over de kansen en risico’s van algoritmes en AI waardoor deze niet herkend worden, ook niet bij Privacy Officers en Informatieadviseurs.20

>

Eenvoudige algoritmes of systemen die al meerdere jaren gebruikt worden binnen de gemeente worden bij inventarisaties over het hoofd gezien, ondanks dat ook deze aanzienlijke impact kunnen hebben op inwoners en organisaties.

>

De gemeente Deventer heeft nog geen algoritmes opgenomen in het landelijke Algoritmeregister. Er zijn plannen voor het inventariseren en publiceren van impactvolle algoritmes. Hiervoor zijn op het moment van onderzoek geen tijdslijnen bekend.

>

Zonder een compleet beeld van het gebruik van AI en impactvolle algoritmes heeft de gemeente slechts beperkt grip op het gebruik van deze technologie. Een beperkt overzicht heeft als gevolg dat kwaliteitswaarborgen, risico’s en voordelen van gebruik van algoritmes en AI niet of beperkt kunnen worden vastgesteld. Daarnaast kan de gemeente niet nagaan of wordt voldaan aan verplichtingen voortkomend uit Europese wetgeving, zoals de AI-verordening en de AVG.

Gap analyse overzicht algoritmes en AI binnen gemeente Deventer Zoals toegelicht in 2.3 Gebruik landelijk Algoritmeregister is onderzocht wat voor algoritmes en AI-systemen met Deventer vergelijkbare gemeentes in het landelijke Algoritmeregister hebben geregistreerd. Daarnaast is gekeken naar de registraties van de gemeente Utrecht. De drie domeinen waarin de meeste hoog risico AI-systemen of impactvolle algoritmes zijn geregistreerd door de 20 gemeentes in kwestie, zijn Openbare Orde en Veiligheid, Organisatie en Bedrijfsvoering, en Sociale Zekerheid. Per domein volgt een toelichting van voorbeelden van gebruikte algoritmes en AI. Openbare Orde en Veiligheid 1. Scanauto’s: verschillende gemeenten maken gebruik van scanauto’s voor parkeercontroles en de handhaving van milieuzones. Deze maken veelal gebruik van Automatic Number Plate Recognition.21 2. Signalen: dit is een open source meldingensysteem, waarin meldingen over de openbare ruimte kunnen worden gemaakt. Door een algoritme worden woorden in de melding herkend, op basis waarvan een melding vervolgens in een categorie wordt geplaats. Op basis van deze uitkomst wordt bepaald welke afdeling binnen de gemeente de melding afhandelt.22 Organisatie en Bedrijfsvoering 1. eDiensten: via dit systeem kunnen inwoners van gemeenten burgerzaken digitaal regelen.

Het systeem voert controles uit op de persoonsgegevens om te bepalen of een proces geautomatiseerd afgehandeld kan worden.23

Gedurende de looptijd van dit onderzoek heeft een van de privacy officers de training Certified AI Compliance Officer (CAICO) afgerond. 21 Bijvoorbeeld in gemeente Haarlemmermeer Scanauto - gemeente Haarlemmermeer. 22 Bijvoorbeeld in gemeente Leeuwarden Meldingen openbare ruimte - Gemeente Leeuwarden. 23 Bijvoorbeeld in gemeente Oss Burgerzaken: eDiensten - Gemeente Oss. 20

Quick scan algoritmes en AI – Algorithm Audit

14

2. Geautomatiseerde gezichtsvergelijking: verschillende gemeenten passen deze geautomatiseerde documentcheck toe om “look-alike-fraude” te voorkomen. Dit wordt bijvoorbeeld ingezet bij de Basisregistratie Personen en naturalisatie.24 Sociale Zekerheid 1. eDienst aanvraag levensonderhoud: dit algoritme bepaalt op basis van gegevens van de aanvrager of diegene in aanmerking komt voor een bijstandsuitkering.25 2. PKO-kennissystemen: dit adviseert consulenten bij het beoordelen van uitkeringsaanvragen. Volgens de registraties in het landelijk Algoritmeregister wordt dit door ongeveer 80 gemeenten ingezet.26 3. Schuldhulpverlening: op basis van vragenlijsten adviseert een algoritme de consulent over dienstverlening aan cliënt.27 Binnen de gemeente Utrecht worden algoritmische toepassingen gebruikt in vergelijkbare domeinen. Binnen het domein Sociale Zekerheid worden verschillende algoritmes gebruikt voor de uitvoer van de Participatiewet. Daarnaast wordt door gemeente Utrecht meer gebruik gemaakt van algoritmes in Openbare orde en Veiligheid, zoals risico-indicatoren voor drugspanden, witwassen en jeugdcriminaliteit Naast het landelijk Algoritmeregister zijn er de afgelopen jaren verschillende toepassingen van algoritmes (negatief) in het nieuws geweest.

Zo is algoritme Systeem risico indicatie (Syri) in 2020 door de rechter verboden28 en werd tussen 2020 en 2022 de fraudescorekaart stopgezet29, wat op dat moment door 158 gemeenten werd gebruikt. Daarnaast is in 2021 in Rotterdam het algoritme Heronderzoeken Uitkeringsgerechtigden stopgezet na vermoedens over indirecte discriminatie30 en is in Amsterdam in 2024 een nieuw algoritme slimme check levensonderhoud niet in gebruik genomen31. De voorbeelden relateren allemaal aan frauderisicotaxatie: het algoritme maakt een inschatting welke inwoners meer onderzoekswaardig zijn voor normovertreding, op basis waarvan toezicht- en handhavingscapaciteit wordt bepaald. De gemeente Deventer heeft geen compleet zicht op of er in haar handhavings- en toezichtsprocessen algoritmes of AI worden toegepast. Naar aanleiding van de uitgevoerde gap analyse heeft de gemeente Deventer geïdentificeerd dat in het domein Organisatie en Bedrijfsvoering gebruik wordt gemaakt van geautomatiseerde gezichtsvergelijking (Oribi). Een volledige inventarisatie van algoritmes en AI binnen de gemeente Deventer is geen onderdeel van dit onderzoek. Het doel was om vast te stellen welke algoritmes ten tijde van dit onderzoek wél in zicht zijn.

Echter, vanwege de beperkte hoeveelheid algoritmes waarvan het gebruik bekend is en de potentiële impact van algoritmes die (gebaseerd op de gap analyse met het landelijke Algoritmeregister) mogelijk wel

Bijvoorbeeld in gemeente ’s-Hertogenbosch Geautomatiseerde documentcheck en gezichtsvergelijker. - Gemeente ‘s-Hertogenbosch. 25 Bijvoorbeeld in gemeente Arnhem Sociaal domein: eDienst aanvragen levensonderhoud - Gemeente Arnhem. 26 Bijvoorbeeld in gemeente Zaanstad Sociaal Domein: PKO Kennissystemen - Gemeente Zaanstad. 27 Bijvoorbeeld in gemeente Delft Intake schuldhulpverlening - Gemeente Delft. 28 SyRI-wetgeving in strijd met het Europees Verdrag voor de Rechten voor de Mens. 29 Hoe een verboden Excelsheet bepaalt wie verdacht wordt van bijstandsfraude | Argos - onderzoeksjournalistiek - HUMAN/VPRO. 30 Computer zegt vrouw: hoe een Rotterdams algoritme jonge, alleenstaande moeders discrimineerde - Vers Beton. 31 Amsterdam wilde met AI de bijstand eerlijker en efficiënter maken. Het liep anders - Trouw. 24

Quick scan algoritmes en AI – Algorithm Audit

15

in gebruik zijn, heeft de gemeente een aanvullende uitvraag gedaan in het domein Sociale Zekerheid. De resultaten voortgekomen uit deze analyse zijn meegenomen in de toelichting op onderzoeksvragen 1-8. Er zijn bij deze uitvraag geen frauderisicoselectie algoritmes geïdentificeerd.

3.1.2 Onderzoeksvraag 3 Onderzoeksvraag 3:

“Welk beleid heeft de gemeente voor het gebruik van algoritmes en AI?” Antwoord onderzoeksvraag 3: Gemeente Deventer heeft geen specifiek beleid voor algoritmes en AI. De gemeente heeft een bredere i-Visie DOWR, en Privacy- en Informatiebeveiligingsbeleid die ook van toepassing zijn op algoritmes. In het huidige beleid is nog weinig aandacht voor dimensies die bijzonder relevant zijn voor algoritmes en AI, zoals geautomatiseerde besluitvorming, transparantie, ethiek en digitale grondrechten als discriminatie. Daar waar deze onderwerpen wel aan bod komen, zijn deze niet concreet uitgewerkt. Er wordt gewerkt aan verschillende initiatieven die visie, beleid en werkprocessen op het gebied van informatievoorziening versterken. De i-Visie en Strategisch informatiebeleid worden geactualiseerd en er wordt gewerkt aan een kwaliteitsborgingsproces voor informatievoorzieningsinitiatieven en een AI-plan waarin de gemeente zich heeft voorgenomen governance en kaders voor AI uit te werken. Toelichting onderzoeksvraag 3: De gemeente heeft een bredere i-Visie, Privacy- en Informatiebeveiligingsbeleid welke ook van toepassing zijn op algoritmes. De beleidsstukken worden ieder toegelicht en er wordt besproken in hoeverre de beleidsstukken in gaan op de verantwoorde inzet van algoritmes en AI. >

i-Visie: De huidige i-Visie dateert uit 2022 en wordt dit jaar vernieuwd. De huidige i-Visie beschrijft hoe de DOWR-gemeentes digitalisering willen vormgeven en wat de uitgangspunten hierbij zijn. De i-Visie 2022 bevat geen verwijzingen naar AI of algoritmes. Wel wordt het belang van datagedreven werken onderstreept als een belangrijke strategische lijn. Informatieveiligheid, privacy en ethiek wordt als topprioriteit benoemd en er wordt de ontwikkeling van een ethisch kader aangekondigd.

>

StiP: Het strategisch informatieplan (STiP) 2020-2023 bevat actielijnen die invulling geven aan de in de i-Visie beschreven kaders. Hierin wordt de ambitie uitgesproken om software beter te benutten, te experimenteren met automatisering en om de mogelijkheden van datagedreven sturing te onderzoeken. Deze actielijnen verwijzen daarmee impliciet ook naar de mogelijkheden die algoritmes en AI zouden kunnen bieden ter ondersteuning voor deze actielijnen. In tegenstelling tot de i-Visie wordt in het STiP ethiek niet als topprioriteit vermeld.

>

Privacybeleid: Het privacybeleid bevat geen expliciete verwijzingen naar algoritmes of AI. Ook wordt geautomatiseerde besluitvorming niet genoemd hoewel dit wel een onderdeel van de AVG is. Het privacybeleid is wel bijzonder relevant voor verantwoord gebruik van algoritmes, omdat in bijna alle algoritmes persoonsgegevens verwerkt worden. Het privacybeleid kan op verschillende punten als inspiratie dienen voor toekomstig algoritme beleid. Zo zijn uitgangspunten als rechtmatigheid, behoorlijkheid, transparantie, subsidiariteit en proportionaliteit ook belangrijk voor de inzet van algoritmes. Ook kan de expliciete invulling van taken en verantwoordelijkheden en managementstructuur als voorbeeld dienen.

Quick scan algoritmes en AI – Algorithm Audit

16

Bestaand beleidskaders worden geactualiseerd en er worden nieuwe werkprocessen uitgewerkt. Voor deze quick scan zijn de volgende initiatieven belangrijk: >

Actualisering i-Visie en StiP: De gemeente heeft een gapanalyse uitgevoerd naar de i-Visie en STiP. Uit deze analyse in onder meer naar voren gekomen dat de vertaling van strategische i-thema’s naar het STiP in de vorige versie onduidelijk en onvolledig was en dat tactische uitwerking ontbreekt. De actualisering van i-Visie en STiP vindt in 2025 plaats.

>

Kwaliteitsborgingsproces: De gemeente heeft geconstateerd dat kwaliteitsborging bij initiatieven op het gebied van informatievoorziening (IV) soms nog onvoldoende is. Daarom is een kwaliteitsborgingsproces ontworpen, waarbij gebruik is gemaakt van goede voorbeelden zoals van de gemeente Amsterdam. In dit proces zijn verschillende relevante kaders en gereedschappen opgenomen en georganiseerd aan de hand van de impact van het informatievoorzieningsinitiatief. Dit kwaliteitsborgingsproces combineert privacy, informatiebeveiliging, (data) ethiek en afwegingen voor specifiek algoritmische toepassingen. Dit kwaliteitsborgingsproces is ten tijde van dit onderzoek nog niet geïmplementeerd en het is nog onduidelijk hoe de implementatie vorm krijgt. Ook richt dit proces zich uitsluitend op nieuwe IV-initiatieven.

>

Privacy- en informatiebeveiligingsplan 2025: In dit plan worden verschillende relevante initiatieven genoemd die relevant zijn voor algoritmes en AI. Zo is er een inventarisatie op gebruik van in de AIverordening verboden AI uitgevoerd (reeds voltooid) en wordt een plan van aanpak voor AI-geletterdheid opgesteld. Daarnaast wordt benoemd dat het aanvullend uitvoeren van Data Protection Impact Assessments (DPIAs) geprioriteerd wordt. Dit is belangrijk voor algoritmes en AI omdat de uitvoer van een DPIA voor deze toepassingen vaak verplicht is vanwege de privacy risico’s die deze technologie met zich meebrengt. Deze initiatieven lopen nog en de uitkomsten hiervan zijn nog niet meegenomen in dit onderzoek.

>

CIO-voorstel ‘Aanpak AI-verordening’: Het voorstel ‘Aanpak AI-verordening’ schetst een aantal concrete acties zoals het inventariseren van bestaande hoog risico algoritmes en het ontwikkelen van een proces voor de ingebruikname van nieuwe hoog risico algoritmes. In dit plan wordt expliciet niet alleen gesproken over AI maar ook over algoritmes. Voor deze plannen zijn nog geen concrete tijdlijnen uitgewerkt.

>

Werkgroep ethiek: Deze werkgroep houdt zich bezig hoe de gemeente Deventer de omgang met ethische vraagstukken zou kunnen inrichten. Er wordt onder andere de oprichting van een ethische commissie overwogen. De werkgroep ethiek richt zich niet specifiek op algoritmes en AI, maar ethische kwesties rondom algoritmes zijn wel onderdeel van het blikveld van deze werkgroep.

>

AI-plan DOWR: Het AI-plan is parallel met de uitvoer van dit onderzoek opgesteld. In het AI-plan wordt een aantal belangrijke stappen voor verantwoorde inzet van algoritmes en AI voorgesteld, zoals het vergroten van expertise door middel van een AI-curriculum en het inrichten van Governance, kaders en ethiek. Het AI-plan richt zich alleen op AI en niet op impactvolle algoritmes. Daarnaast wordt in dit plan niet verwezen naar andere initiatieven zoals het Kwaliteitsborgingsproces. De ‘Aanpak AI-verordening‘ wordt wel genoemd, maar het is onduidelijk hoe deze plannen inhoudelijk met elkaar worden afgestemd.

Samenvatting van observaties: >

Algoritmes en AI zijn niet expliciet genoemd of opgenomen in beleid van de gemeente Deventer.

>

Verschillende elementen uit de i-Visie zijn niet concreet uitgewerkt. In het StiP worden in de i-Visie vermelde componenten over ethiek en grondrechten niet concreet gemaakt.

>

De i-Visie gaat niet in op kansen en risico’s van gebruik van AI en algoritmes en welke afwegingen hierbij gemaakt moeten worden.

Quick scan algoritmes en AI – Algorithm Audit

17

>

Er is nog geen beleid en proces om met risico’s van AI en algoritmes om te gaan. Wel zijn er verschillende initiatieven om dit uit te werken. Zo doet het kwaliteitsborgingsproces doet een goede aanzet en in het AI-plan wordt aanvullend beleid aangekondigd. Integratie van nieuw beleid en processen in de huidige werkwijze en uitwerking van de benodigde instrumenten wordt een belangrijke uitdaging voor implementatie.

>

Er is geen organisatiebrede interne richtlijn voor gebruik van generieke AI-toepassingen, zoals gebruik van toepassingen als ChatGPT, Perplexity, Gemini en Claude).

>

Lopende initiatieven om visie, beleid en werkprocessen te actualiseren lijken niet altijd op elkaar afgestemd. In plannen wordt vaak niet verwezen naar relevante initiatieven binnen de gemeente waarbij aansluiting kan worden gevonden. Ook verschillen de gebruikte definities voor algoritmes en AI tussen de verschillende documenten.

>

Lopende initiatieven richten zich veelal expliciet op AI en niet op impactvolle algoritmes. Terwijl bij schandalen rondom algoritmes bij andere organisaties vaak geen sprake was van AI gebruik.32 Ook blijkt dat overheden veel meer impactvolle algoritmes dan risicovolle AI gebruiken.33

>

Lopende trajecten om visie, beleid en processen te actualiseren en aan te vullen, richten zich primair op nieuwe informatievoorzieningsinitiatieven. Hierbij is onvoldoende aandacht voor het in lijn brengen van bestaande informatievoorzieningsoplossingen met huidig en nieuw beleid.

3.1.3 Onderzoeksvraag 4 Onderzoeksvraag 4:

“Hoe worden algoritmes en AI ontwikkeld, toegepast en geëvalueerd?” Antwoord onderzoeksvraag 4: De algoritmes en AI die tijdens dit onderzoek zijn geïnventariseerd, zijn niet intern door de gemeente Deventer ontwikkeld maar zijn ingekocht bij leveranciers. Er is binnen de gemeente Deventer geen vaste aanpak voor inkoop, ontwikkeling, implementatie en evaluatie van (ingekochte) algoritmes en AI, anders dan de aanpak voor reguliere IT-systemen. Kwaliteitswaarborgen en risicobeheersing zijn afhankelijk van individueel betrokken medewerkers van de gemeente, de werkwijze van leverancier en van het geldende informatievoorzieningsbeleid ten tijde van de implementatie. Toelichting onderzoeksvraag 4: Op basis van de verrichte inventarisatie en opgevraagde documentatie zijn in overleg met de Rekenkamer Deventer twee algoritmische systemen geselecteerd voor een verdiepende analyse. Bij de selectie van algoritmes en AI-systemen voor verdiepend onderzoek is rekening gehouden met de in 2.2.2 Casusonderzoek en interviews.

De bij onderzoeksvraag 1 en 2 genoemde SyRI en fraudescorekaart betroffen eenvoudige algoritmes. Ook binnen de toeslagenaffaire werden eenvoudige algoritmes gebruikt. 33 Dit blijkt uit een analyse van kamerbrieven door stichting Algorithm Audit. Rijk zegt nauwelijks hoog risico-AI te gebruiken. 32

18

Quick scan algoritmes en AI – Algorithm Audit

Casus 1: Oribi Het Oribi systeem bestaat uit een fysieke documentscanner en een camera die is uitgerust met gezichtsvergelijkingssoftware. Bij eerste inschrijving van natuurlijke personen afkomstig uit het buitenland in de gemeente Deventer wordt het identiteitsdocument gecontroleerd op echtheidskenmerken en geldigheid. Vervolgens wordt met behulp van de camera het gezicht van de persoon die de aanvraag doet vergeleken met het identiteitsdocument. Deze component is een vorm van biometrische identificatie en een voorbeeld van een AI-systeem.34 Dit onderzoek richt zich daarom primair op de component voor gezichtsvergelijking. Daarnaast is Oribi ook een impactvol algoritme omdat een beslissing over identiteitscontrole rechtsgevolgen heeft voor de persoon (de persoon kan zich mogelijk niet inschrijven). Verder betreft de biometrische identificatie de verwerking van bijzondere categorieën persoons-gegevens, zoals gedefinieerd in de AVG. Het Oribi systeem wordt al jaren ingezet binnen de gemeente Deventer, maar in beperkte mate: er is nu bij een balie een scanner en camera aanwezig. Op dit moment wordt de mogelijkheid van uitbreiding onderzocht. Casus 2: Dariuz Wegwijzer Dariuz is een tool die ondersteunt bij de uitvoer van de Participatiewet. Werkzoekenden worden met behulp van verschillende modules ondersteund.

Onder andere Dariuz Wegwijzer wordt gebruikt door KonnecteD – het werk- en leerbedrijf dat inwoners uit de gemeenten Deventer en Olst-Wijhe met een afstand tot werk begeleidt. Dariuz Wegwijzer brengt het arbeidspotentieel van klanten in kaart aan de hand van 5 gebieden die de kans op werk beïnvloeden: Gezondheid & Verslaving, Justitie, Huisvesting & Financiën, Werk & Werk zoeken en Sociale omgeving. De methodiek geeft inzicht in mogelijke aandachtpunten voor de klant en geeft een berekening van de kansen van de klant op de arbeidsmarkt. Aan de hand van een uitgebreid intakegesprek, ondersteund door de informatie uit Dariuz Wegwijzer, wordt een plan gemaakt voor vervolgstappen voor de klant. Ontwikkeling, toepassing en evaluatie aan de hand van het toetsingskader De ontwikkeling, toepassing en evaluatie is onderzocht aan de hand van het Toetsingskader van de Algemene Rekenkamer (AR). Over het algemeen blijkt dat rondom de toepassing van Oribi en Dariuz Wegwijzer weinig van de beheersmaatregelen uit het Toetsingskader zijn vastgelegd of aantoonbaar gemaakt kunnen worden. Veel van de afwegingen over kansen en risico’s die geïnterviewden beschrijven over de geselecteerde casussen zijn niet op papier gezet, of deze vastlegging kon tijdens dit onderzoek niet worden gevonden of gedeeld.

Dit betekent dat van vrijwel geen van de beheersmaatregelen zoals opgenomen in het Toetsingskader de opzet of het bestaan is vastgesteld. Dit geldt voor alle drie de dimensies van het Toetsingskader die binnen de reikwijdte van dit onderzoek vallen: sturing en verantwoording, model en data, en privacy. Slechts enkele van de beschreven maatregelen, zoals ten behoeve van privacy, zijn onderdeel van bestaand beleid en processen van de gemeente. Voor de verantwoorde ontwikkeling, toepassing en evaluatie van algoritmes en AI nog moet de gemeente Deventer nog significante stappen zetten. Sturing en verantwoording Met betrekking tot de dimensie Sturing en Verantwoording uit het Toetsingskader is momenteel voornamelijk aandacht voor IT-beheer, informatiebeveiliging (beiden geen onderdeel van dit onderzoek) en privacy. Projectdocumentatie en kwaliteitsbeheersing richt zich met name op generieke IT-onderwerpen, en nog 34

Dit is geen hoog risico AI-systeem volgens de AI-verordening.

Quick scan algoritmes en AI – Algorithm Audit

19

onvoldoende op risico’s die specifiek zijn voor algoritmes en AI. Uit gehouden interviews blijkt ook dat medewerkers, waaronder ook informatieadviseurs en privacy officers nog onvoldoende kennis en expertise hebben over kansen, risico’s en juridische aspecten van de inzet van algoritmes en AI Voor zowel Oribi als Dariuz Wegwijzer worden in Tabel 1 verschillende onderwerpen35 van het toetsingskader binnen de dimensie Sturing en Verantwoording besproken.

Tabel 1. Overzicht van onderwerpen binnen de dimensie Sturing en Verantwoording

Oribi Doel van algoritme

Dariuz Wegwijzer

Doelen van de toepassing zijn duidelijk en worden gedeeld door geïnterviewden. Doelen zijn echter niet gekwantificeerd en er wordt geen onderscheid gemaakt tussen beleidsuitkomsten en het maatschappelijke resultaat

Kwaliteits- en

Er wordt nog geen onderscheid gemaakt tussen de doelen van de toepassing

prestatie-

voor de uitvoering in bredere zin en prestatiedoelen van het algoritme of AI-

doelstellingen

systeem.36 Er is geen kennis van de foutmarge van het gebruikte algoritme of AI-systeem. Er is niet vastgelegd welke foutmarge acceptabel wordt geacht en of deze prestatiedoelen bereikt worden.

Risicoafweging

Voor beide toepassingen zijn kansen en risico’s en de afweging hiertussen slechts in zeer beperkte mate vastgelegd. Hierdoor is tijdens dit onderzoek niet vastgesteld of er voldoende afwegingen hierover bij aanschaf van beide algoritmische systemen zijn gemaakt. Momenteel wordt uitbreiding van

Gebruikers zijn zich (o.a. door training

de Oribi-toepassing onderzocht.

en certificering) bewust van mogelijke

Geïnterviewden kunnen goed

impact op inwoners en organisaties.

reflecteren op algoritme-specifieke risico’s van deze voorgenomen uitbreiding.37 Het is nog onduidelijk hoe deze afwegingen geoperationaliseerd worden

Deze onderwerpen zijn een samenvatting van de verschillende normen in het toetsingskader, zoals de AR deze gebruikt in haar rapportages. Zie bijvoorbeeld Resultaten verantwoordingsonderzoek 2024 ministerie van Sociale Zaken en Werkgelegenheid | Rapport | Algemene Rekenkamer. 36 Bijvoorbeeld voor Oribi zou een prestatiedoel voor de gezichtsherkenningscomponent bijvoorbeeld kunnen zijn dat maximaal 1% van de gevallen waarbij de scanner aangeeft dat de persoon niet overeenkomt met het reisdocument fout mogen zijn (99% precisie). Een doel voor de uitvoering zou kunnen zijn: het terugdringen van look-a-like fraude. 37 Genoemde risico’s zijn bijvoorbeeld: - Gezichtherkenningsalgoritmes werken soms minder goed voor mensen van kleur en hierdoor is er een risico op discriminatie. - Meer scanners gaan zorgen voor meer ‘hits’, waarbij een identiteitsbewijs als vals of ongeldig herkend wordt of het gezicht niet geverifieerd kan worden met het identiteitsbewijs. Hierdoor kunnen ook valse hits vaker voorkomen en hier moeten procesafspraken voor gemaakt worden. 35

Quick scan algoritmes en AI – Algorithm Audit

20

Deskundigheid en

Er is een duidelijk proces waarbinnen

Alle gebruikers moeten een intensief

governance

de tool gebruikt wordt. Medewerkers

certificeringstraject doorlopen, waarin

worden opgeleid voor gebruik van de

zij worden begeleid en getoetst op

tool.

het gebruik van de tool bij hun werk. Dariuz wordt ingezet door KonnecteD in opdracht van de gemeente. De gemeente is doorslaggevend geweest in de keuze voor Dariuz.

In beide gevallen is er sprake van menselijke tussenkomst bij beslissingen die mensen raken. Er is dus geen sprake van verboden geautomatiseerde besluitvorming Er wordt vertrouwd op leveranciers om de werking en prestaties van de algoritmische toepassing vast te stellen. Hier zijn leveranciers op geselecteerd. Er is gekozen voor systemen die bij veel andere gemeenten worden ingezet en die een goede reputatie hebben. Monitoring

Medewerkers zijn tevreden met de algoritmische toepassingen. Anders dan die vaststelling, vindt er geen gestructureerde monitoring plaats van of doelen en kwaliteits- en prestatiedoelstellingen bereikt worden.

Model en data De dimensie Sturing en Verantwoording uit het Toetsingskader richt zich met name op de ontwikkeling van de toepassing. Daarom ligt de verantwoordelijkheid voor een groot deel van de onderwerpen in deze dimensie bij de ontwikkelaar. Verantwoordelijke inzet betekent voor gemeente Deventer veelal navraag doen bij ontwikkelaar hoe de waarborgen zijn ingericht. De dimensiecontrole en monitoring is niet opgenomen omdat dit technische maatregelen omvat die bij de ontwikkelaar liggen. Voor zowel Oribi als Dariuz Wegwijzer worden in Tabel 2 verschillende onderwerpen van het toetsingskader binnen de dimensie Model en Data besproken.

Tabel 2. Overzicht van onderwerpen binnen de dimensie Model en Data

Oribi

Dariuz Wegwijzer

Functioneren in lijn

Omdat geen duidelijke doelstellingen zijn vastgelegd kan niet worden

met het doel

nagegaan of deze behaald worden. De gemeente vertrouwt op de leverancier ten aan zien van kwaliteit en prestaties. Voor de onderzochte casussen is geen navraag gedaan naar de keuzes die zijn gemaakt in ontwerp en implementatie om na te gaan of deze passend zijn voor de gebruikscontext van de gemeente.

Quick scan algoritmes en AI – Algorithm Audit

21

Uitlegbaar

Gezichtsvergelijkingssoftware is

Binnen Dariuz Wegwijzer is

een zogenaamde “black-box”, dat

uitlegbaarheid expliciet ingericht.

wil zeggen dat dit geen uitlegbaar

Gebruikers kunnen doorklikken op de

systeem is. Er is geen expliciete

uitkomsten om een onderbouwing in

afweging gemaakt over of de mate

te zien.

38

van uitlegbaarheid in deze context acceptabel is voor de gemeente. Controles en

Voor controle en monitoring vertrouwt de gemeente op de leverancier. Het

monitoring

is niet duidelijk met procedures de leveranciers hiervoor gebruiken en welke resultaten acceptabel zijn.

Bias

Het is onbekend welke testen

Dariuz Wegwijzer betreft geen

en maatregelen de leverancier

op machine learning gebaseerd

heeft uitgevoerd om onwenselijke

algoritme. Bias in training of test data

systematische afwijking (bias) in de

is daarom minder relevant voor de-ze

training en testdata te onderzoeken

toepassing

en na te gaan of dit leidt tot ongelijke uitkomsten. Dataminimalisatie

Er is geen expliciete afweging gemaakt met betrekking tot proportionaliteit en subsidiariteit van het gebruik van persoonsgegevens binnen deze toepassing en of dezelfde doelen met minder dataverwerking bereikt zouden kunnen worden. Dit is extra belangrijk omdat beide toepassingen gevoelige persoonsgegevens verwerken.

Privacy Beide systemen worden al langer gebruikt. In die tijd is ook het privacybeleid en bijbehorende processen doorontwikkeld en verbeterd. Uit interviews blijkt dat uit praktische overwegingen verbeterde privacyprocessen vooral worden toegepast op nieuwe processen en ontwikkelingen en minder op bestaande verwerking, waarin al bestaande algoritmische systemen worden toegepast. Hier dient opgemerkt te worden dat de privacy officers onvoldoende capaciteit en middelen hebben om nieuwe en bestaande verwerkingen te beoordelen. Beide systemen maken gebruik van bijzondere persoonsgegevens: >

Oribi maakt gebruikt van biometrische gegevens;

>

Dariuz Wegwijzer verwerkt gegevens over gezondheid en justitiële gegevens.39

Aan de verwerking van deze gegevens wordt in de Algemene verordening gegevensbescherming (AVG) voorwaarden gesteld, omdat verwerking van deze persoonsgegevens risico’s met zich meebrengt voor grondrechten en fundamentele vrijheden van inwoners van de gemeente Deventer. Dit brengt aanvullende eisen mee, zoals dat een DPIA moet worden uitgevoerd. Voor Dariuz Wegwijzer is niet aantoonbaar herkend

De component voor echtheidscontrole voor reisdocumenten geeft wel uitleg bij de uitkomsten. Klanten vullen uitgebreide vragenlijsten in op 5 gebieden die de kans op werk beïnvloeden waaronder Gezondheid & Verslaving, Justitie. Het onderwerp justitie bevat ook vragen over strafrechtelijke veroordelingen en strafbare feiten (artikel 10 AVG).

38 39

Quick scan algoritmes en AI – Algorithm Audit

22

dat sprake is van de verwerking van bijzondere persoonsgegevens. Voor Oribi is dit tenminste onderkend in 2023 toen aanschaf van Oribi in Olst-Wijhe werd geïnitieerd. Voor zowel Oribi als Dariuz Wegwijzer worden in Tabel 3 verschillende onderwerpen van het toetsingskader binnen de dimensie Privacy besproken. Tabel 3. Overzicht van onderwerpen binnen de dimensie Privacy

Oribi

Dariuz Wegwijzer

Verantwoordelijkhe-

Privacy als recht verdient voor beide toepassingen aanvullende aandacht.

den

Daarbij moet aandacht besteed worden aan vastlegging van het doel van de verwerking van persoonsgegevens, de verwerkingsgrond, hoe wordt voldaan aan principes als dataminimalisatie en privacy by design, en het risico dat ondanks menselijke tussenkomst toch onbedoeld sprake is van geautomatiseerde besluitvorming.40 Het uitvoeren van een Data Protection Impact Assessment (DPIA) is hiervoor een geschikt middel. Gemeente Deventer is verwerkingsverantwoordelijk voor de verwerking van gegevens bij de inzet van Dariuz (via de op-dracht tot taakuitvoering). De gemeente is daarom verantwoordelijk voor de beheersing van privacy en compliance met de AVG (o.a. doormiddel van DPIA). Dit is een extra aandachtpunt voor de gemeente Deventer.

DPIA

Er is geen DPIA uitgevoerd, terwijl dat verplicht is.41 Een DPIA is verplicht vanwege

Een DPIA is verplicht omdat

de verwerking van biometrische

gezondheid gegevens

gegevens. Voor Oribi is de noodzaak

verwerkt worden en omdat de

van het doen van een DPIA wel

verwerking plaatsvindt in een

onderkend, maar deze is nog niet

samenwerkingsverband. Voor Dariuz

uitgevoerd.

is de noodzaak van het doen van een DPIA niet eerder onderkend door de organisatie.

Wanneer bijvoorbeeld medewerkers niet voldoende tijd, mandaat of kennis hebben, of wanneer sprake is van automatisering bias kan onbedoeld sprake zijn van geautomatiseerde besluitvorming. Betekenisvolle menselijke tussenkomst bij algoritmische besluitvorming | Autoriteit Persoonsgegevens. Publiek standaard ‘Betekenisvolle menselijke tussenkomst risicoprofileringsalgoritmes’ | Algorithm Audit. 41 wetten.nl - Regeling - Besluit lijst verwerkingen persoonsgegevens waarvoor een gegevensbeschermingseffectbeoordeling (DPIA) verplicht is, Autoriteit Persoonsgegevens - BWBR0042812. 40

Quick scan algoritmes en AI – Algorithm Audit

23

Discriminatie

Er bestaat het risico op discriminatie

Het risico op discriminatie is voor

omdat gezichtsherkenning (gezichts-

deze toepassing niet onderzocht.

vergelijking is een specifiekere vorm van gezichtsherkenning) soms minder goed werkt voor mensen van kleur.42 Dit wordt door gemeentemedewerkers onderkend in interviews. Er is echter nog geen aanvullend onderzoek of navraag bij de leverancier gedaan om te bepalen in hoeverre dit speelt binnen de specifieke toepassing. Informeren/impact

Betrokkenen worden ter plekke

Betrokkenen worden gevraagd om

betrokkenen

geïnformeerd over het gebruik

vragenlijsten in te vullen. Hoewel formeel iedere klant de vragenlijsten

van de scanner en de camera. De privacyverklaring van de gemeente

moet invullen, kunnen betrokkenen

vermeldt dat biometrische gegevens

dit weigeren. De privacyverklaring

verwerkt kunnen worden. De privacy-

van de gemeente Deventer en

verklaring benoemt het gebruik van