Bijlage 1 - Rekenkamerbrief AI en algoritme - Rekenkamer Deventer

Aan: leden van de gemeenteraad i.a.a.: College van Burgemeester en wethouders Directie gemeente Deventer Deventer, 4 november 2025

Kenmerk Behandeld door

: :

RKC 2025 - 8 L.S. Gerritsen

Onderwerp

:

Onderzoek “AI en algoritme”

Bijlage

: Quickscan

Geachte voorzitter en leden van de raad, Op 26 maart 2025 heeft de rekenkamer Deventer de gemeenteraad van Deventer geïnformeerd over de start van een quick scan naar AI en algoritme. Met het aanbieden van deze rekenkamerbrief en bijbehorende quick scan aan u, sluiten we dit onderzoek af. Digitalisering en technologische vooruitgang bieden nieuwe mogelijkheden voor gemeenten, zo ook voor de gemeente Deventer. Digitalisering kan een bijdrage leveren aan het efficiënter uitvoeren van gemeentelijke processen, het verbeteren van datagedreven besluitvorming en het opsporen van inefficiënties of risico’s. Tegelijkertijd brengt het ook risico’s met zich mee. De rekenkamer Deventer heeft de Stichting Algorithm Audit gevraagd om een quick scan uit te voeren naar verantwoord gebruik van algoritmes en kunstmatige intelligentie (AI) door de gemeente Deventer. De quick scan sluit aan bij Europese en nationale beleidsontwikkelingen, zoals de AI-verordening, Nederlandse algoritmekaders en het landelijke Algoritmeregister, die eisen stellen aan de algoritmische systemen waar overheden gebruik van maken.

De volgende vraag staat centraal in dit onderzoek: "Zet de gemeente Deventer algoritmes en AI in en doet zij dit op transparante, ethische en effectieve wijze in haar dienstverlening en besluitvormingsprocessen?" De hoofdvraag is beantwoord door acht deelvragen te beantwoorden, deze zijn terug te vinden in de quick scan (zie bijlage 1). Het onderzoek heeft plaatsgevonden aan de hand van interviews met medewerkers, bureau-onderzoek van aangeleverde bronnen en twee inhoudelijke casestudies naar algoritmische systemen die worden gebruikt door de gemeente. Het onderzoek heeft geresulteerd in verschillende bevindingen en aanbevelingen. In deze brief wordt een samenvatting gegeven van de belangrijkste bevindingen met bijbehorende aanbevelingen van het onderzoek. De rekenkamer concludeert dat dat de gemeente Deventer op verschillende terreinen algoritmes in zet, maar dit niet gebeurt op een transparante en ethische wijze. Vanwege ontbrekende documentatie kan niet worden nagegaan of de gemeente ook op een effectieve wijze gebruik maakt van algoritmische systemen. Dit wordt onderbouwd door de volgende bevindingen: •

Inventarisatie en definities: De gemeente heeft geen compleet overzicht van gebruikte algoritmes en AI-systemen. Tijdens de quick scan zijn in totaal 9 algoritmische toepassingen geïdentificeerd, maar dit is waarschijnlijk nog geen volledig beeld. Medewerkers herkennen impactvolle algoritmes vaak niet als zodanig. Zonder een volledig overzicht heeft gemeente Deventer geen grip op kwaliteitswaarborgen, risico’s en voordelen van gebruik van algoritmes en AI.

•

Beleid en governance: Het huidige beleid (i-Visie, Privacy- en Informatiebeveiligingsbeleid) heeft beperkte aandacht voor algoritme-specifieke risico's zoals transparantie, vooringenomenen uitlegbaarheid. Beleid voor kwaliteitsborging en AI-management wordt momenteel ontwikkeld. Dit beleid moet zich niet alleen richten op AI-systemen (zoals gedefinieerd in de AI-verordening) maar ook op impactvolle algoritmes (zoals gedefinieerd in de Handreiking Algoritmeregister). Daarnaast zijn er geen (organisatiebrede) interne richtlijnen voor gebruik van generatieve AI (zoals ChatGPT en Copilot).

•

Compliance: Juridische vereisten (voortkomend uit de AVG, Awb, AI-verordening) zijn nog onvoldoende geïmplementeerd. Voor de onderzochte casussen is het uitvoeren van een Data Protection Impact Assessment (DPIA) verplicht, maar deze zijn niet uitgevoerd. Met oog op geconstateerde onduidelijkheden met betrekking tot de definitie van een AI-systeem binnen de gemeente en wat hoog risico- en verboden categorieën AI-systemen betreffen, kan op basis van de uitvraag van de gemeente afgelopen zomer onder medewerkers niet met zekerheid worden gesteld dat er geen verboden AI-systemen worden gebruikt.

•

Casusonderzoek: Twee voorbeelden van algoritmische toepassingen zijn aanvullend onderzocht: Oribi (biometrische gezichtsvergelijking paspoortfoto) en Dariuz Wegwijzer (arbeidsmarktbeoordeling participatiewet). Gebruikers van de toepassingen worden goed getraind en kunnen afwijken van voorspellingen van de algoritmische systemen. Doelen en prestatievereisten voor de toepassingen zijn echter niet gekwantificeerd en discriminatierisico’s zijn niet beheerst. De gemeente vertrouwt sterk op leveranciers zonder verificatie van door hen aangeleverde documentatie.

•

Transparantie: Inwoners worden niet geïnformeerd wanneer algoritmes worden gebruikt in besluitvormingsprocessen van de gemeente. De gemeente Deventer heeft geen algoritmes of AI-systemen gepubliceerd in het Algoritmeregister. Gebruikte algoritmische systemen van de gemeente worden niet genoemd in relevante privacyverklaringen.

Een nadere toelichting op deze bevindingen met bijbehorende conclusies is terug te vinden in de bijlage “Quickscan AI en algoritme”.

Aanbevelingen Om te komen tot een verantwoorde inzet van algoritmes en AI te komen heeft de rekenkamer de volgende aanbevelingen aan het college van B&W: 1. Maak algoritmes onderdeel van visie, strategie en beleid en leg definities vast Bij de herziening van de i-Visie en het Strategisch informatieplan (STiP) moet aandacht zijn voor algoritmes en AI en praktische stappen voor de verantwoorde inzet van deze technologie. Leg definities voor impactvolle algoritmes, geautomatiseerde besluitvorming en hoog-risico AI-systemen in beleid vast. 2. Voer complete inventarisatie uit Identificeer op een overzichtelijke, gestructureerde en reproduceerbaar wijze algoritmes en AI en classificeer bijbehorende risico’s. Maak hiervoor gebruik van publieke kennis over implementatie van de AI-verordening en algoritmeregisters. 3. Richtlijnen voor generatieve AI Stel interne richtlijnen op voor verantwoord gebruik van generatieve AI. Maak hiervoor gebruikt van vergelijkbare richtlijnen ontwikkeld door andere Nederlandse gemeenten of Rijksoverheden.

4. Risicobeheersing in levenscyclus Integreer risicobeheersing in alle fasen van een algoritmisch systeem (o.a. initiatie, inkoop, pilot, monitoring, governance). 5. Bestaande algoritmes beheersen Pas nieuw beleid niet alleen toe op nieuwe maar ook op al gebruikte algoritmische systemen. Prioriteer capaciteit voor risicobeheersing op basis van impact. 6. Digitale geletterdheid en interne expertise Verhoog het kennisniveau van medewerkers door trainingen over het algoritmemanagementbeleid en implementatie van de AI-verordening te faciliteren. Stel een algoritme-officer aan. 7. Integraal project opzetten Maak middelen vrij om bovenstaande aanbevelingen in een integraal project uit te werken. Zorg dat het te ontwikkelen algoritmebeleid aansluit bij bestaand beleid en processen. De uitgebreide toelichting op de aanbevelingen zijn terug te vinden in de bijlage. De gemeenteraad wordt gevraagd om deze aanbevelingen aan het college van B&W over te nemen en het college van B&W opdracht te geven om ze uit te voeren. De rekenkamer is verheugd dat het college van B&W de conclusies erkent en de aanbevelingen omarmt. Gezien de urgentie, de benodigde inzet van de ambtelijke organisatie en de vele ontwikkelingen op dit beleidsterrein, is het advies om op korte termijn stappen te zetten.

De verdiepende sessie, aangeboden door het college van B&W, biedt de gelegenheid om toe te lichten welke stappen het college gaat treffen en binnen welke termijn dit wordt uitgevoerd. Ter ondersteuning van het rapport biedt de rekenkamer een op maat gemaakt presentatie/workshop aan door Stichting Algorithm Audit. In deze presentatie vertaalt de stichting de inzichten uit de rapportage naar praktische inzichten voor raadsleden. Mochten er onverhoopt (technische) vragen zijn over het rapport dan kan u zich wenden tot de secretaris van de rekenkamer (l.gerritsen@deventer.nl). Ik hoop u hiermee voldoende te hebben geïnformeerd. Met vriendelijke groet, namens de rekenkamer Deventer,

Karin van den Berg (voorzitter)