Rekenkamerrapport Verantwoord omgaan met algoritmes

Eenvoudige algoritmes zijn bijvoorbeeld te vinden bij het liftensysteem of in de manier waarop de wachtrij bij publieksbalies wordt afgehandeld. Meer complexe algoritmes worden ingezet bij het voorspellen van woninginbraken of het plannen van slimme rijroutes voor afvalinzameling. In de Utrechtse praktijk zien we algoritmes in grote en kleine vorm en met wel of geen directe impact op onze bewoners. De gemeente Utrecht maakt gebruik van twee typen algoritmes, namelijk: a. Algoritmes die impact hebben op bewoners, waarbij het algoritme de voorzet doet voor besluitvorming, maar het besluit wordt genomen door een mens (bijv. het voorspellen van woninginbraken).

11 Gemeente Utrecht (2021). Visie Digitale Stad 2021-2025, p. 5. 12 Gemeente Utrecht (2023). Interne richtlijnen toepassing algoritmes, p. 1.

32

b. ‘Kleine algoritmes’ bij zowel interne als externe processen van dienstverlening, met geen of relatief weinig impact op bewoners (bijv. de afhandeling van de wachtrij bij publieksbalies). De gemeente Utrecht maakt sinds 2016 (sinds de invoering van de AVG) bewust geen gebruik van de volgende variant, aangezien deze over het algemeen niet is toegestaan volgens de privacywetgeving: c. Algoritmes die impact hebben op inwoners, waarbij het algoritme een besluit neemt en uitvoert, zonder dat er menselijk handelen aan te pas komt.”

De gemeente maakt een bewuste keuze om te focussen op algoritmes die impact hebben op bewoners, waarbij het algoritme de voorzet doet voor besluitvorming, maar het besluit wordt genomen door een mens (variant a). Voor deze categorie algoritmes zijn risicobeheersingsprocessen ingericht. En deze impactvolle algoritmes publiceert de gemeente in het landelijk algoritmeregister. De andere algoritmes (variant b) krijgen geen aparte aandacht. De gemeente stelt tot slot geen gebruik te maken van algoritmes die impact hebben op inwoners, waarbij het algoritme een besluit neemt en uitvoert, zonder dat er menselijk handelen aan te pas komt (variant c).13 Hiermee benadrukt de gemeente een andere waarde die zij bij de inzet van algoritmes centraal wil stellen, namelijk menselijke tussenkomst. Verder benoemen de richtlijnen vier concrete uitgangspunten die van kracht zijn bij de toepassing van algoritmes bij de gemeente Utrecht.14 De meeste uitgangspunten hebben betrekking op de impactvolle algoritmes (variant a). 1. Ten eerste worden alle impactvolle algoritmes vooraf getoetst op privacy en Uthiek. Bij de toets op privacy wordt een Privacy Risico Analyse (PRA) uitgevoerd om privacyrisico’s in kaart te brengen. Op basis daarvan wordt bepaald of een Data Protection Impact Assessment (DPIA) nodig is.

Pas na een uitgevoerd Uthiekassessment en een van positief advies voorziene DPIA kan het algoritme in gebruik worden genomen. Daarnaast belooft de gemeente dat algoritmes die in gebruik zijn genomen voordat de AVG en/of de Uthiek-aanpak van kracht was, met terugwerkende kracht worden getoetst op privacy en Uthiek. 2. Ten tweede stelt de gemeente algoritmes alleen te gebruiken als informatiebron. Een medewerker neemt altijd het definitieve besluit. Menselijke tussenkomst is daarmee expliciet onderdeel van het beleid van de gemeente. 3. Ten derde wil de gemeente een diverse en inclusieve stad zijn. De gemeente wil daarom mogelijke discriminatie en etnische profilering bij de toepassing van algoritmes voorkomen. Een belangrijk middel hiervoor is het Uthiek assessment waarin wordt nagegaan welke invloed een algoritme op de waarden uit het Utrechts waardenmodel heeft. 4. Ten slotte hecht de gemeente grote waarde aan het beschermen van de persoonsgegevens van hun bewoners. Zoals hierboven genoemd voert de gemeente

13 Gemeente Utrecht (2023). Interne richtlijnen toepassing algoritmes, p. 2. 14 Gemeente Utrecht (2023). Interne richtlijnen toepassing algoritmes, p. 3.

33

DPIA’s uit om te toetsen op privacy. In paragraaf 3.2 wordt uitgebreider ingegaan op de uitvoering van DPIA’s door de gemeente.

2.1.3 Interne richtlijnen toepassing Uthiek Uthiek assessment essentieel onderdeel van digitaliseringstrajecten Impactvolle algoritmes worden getoetst aan het Utrechtse waardenmodel met als doel om ethische afwegingen te maken. Vragen als “Willen we dit?” en “Is dit uitlegbaar?” staan centraal en er wordt gekeken naar impact van algoritmes op stakeholders zoals ondernemers, inwoners en medewerkers aan de hand van de eerdergenoemde waarden. Om de ethische afweging te maken, maakt de gemeente gebruik van het Uthiek assessment. Uthiek assessments worden breder dan alleen algoritmes gebruikt; ze zijn het geijkte instrument voor een ethische afweging binnen digitaliseringstrajecten en het gebruik van technologie. In sessies van zo’n anderhalf uur wordt gekeken naar 1) het doel van het project, 2) het (technologisch) middel dat wordt ingezet, 3) de context van het project en 4) het Utrechtse waardenmodel en het mogelijke spanningsveld tussen de technologie en de waarden. Een Uthiek assessment wordt uitgevoerd onder begeleiding van Team Uthiek. Dit team bestaat uit medewerkers van het CIO Office die zijn opgeleid zijn om te ondersteunen bij het maken van ethische afwegingen. Het is randvoorwaardelijk dat bij een Uthiek assessment ook altijd inhoudelijk betrokkenen, zoals een projectleider of proceseigenaar van het digitaliseringstraject, aanwezig zijn.

Vanuit het Uthiek assessment worden mogelijke dilemma’s gesignaleerd. Van de toetsingssessie wordt een verslag gemaakt en vervolgens wordt een advies uitgebracht. Adviezen gaan bijvoorbeeld over ontwerpkeuzes, vaker steekproeven uitvoeren om te controleren of algoritmes de juiste uitkomsten geven of nog een keer met de leverancier gaan praten om de werking van een algoritme beter te begrijpen.15

2.2

IN DE UITVOERING WORDT BELEID NIET ALTIJD GEVOLGD

In de vorige paragraaf is uiteengezet hoe de gemeente Utrecht wil zorgen voor een verantwoorde toepassing van algoritmes. De vraag is of het beleid ook overeenkomt met de uitvoering. Uit afgenomen interviews en de casusbesprekingen ontstaat een tweeledig beeld. Gemeente heeft ook in de praktijk aandacht voor privacy en ethiek Aan de ene kant zien we dat veel beleidsvoornemens daadwerkelijk worden uitgevoerd. Zo heeft de gemeente Utrecht impactvolle algoritmes in het landelijk algoritmeregister gepubliceerd. Nadere toelichting op de Utrechtse invulling van het algoritmeregister volgt onder paragraaf 2.3. Bovendien hebben we geconstateerd dat voor de impactvolle

15 Rekenkamer Utrecht (2025). Interview gemeente.

34

algoritmes DPIA’s en Uthiek assessments worden gedaan en gedocumenteerd.16 Dat laat zien dat de gemeente bij het gebruik van algoritmes aandacht heeft voor privacy en ethiek. Ook de interviews laten zien dat veel medewerkers bekend zijn met de geldende procedures en uitgangspunten uit de richtlijnen.17 Tegelijkertijd zien we ook inconsistenties en afwijkingen tussen het beleid en de uitvoering. Enkele voorbeelden hiervan worden hieronder besproken. Niet altijd sprake van (betekenisvolle) menselijke tussenkomst In de eerste plaats voldoet de gemeente niet aan het uitgangspunt dat altijd medewerkers, en niet een algoritme het definitieve besluit neemt. In andere woorden: er is niet altijd menselijke tussenkomst. Zo wordt voor het algoritme dat wordt gebruikt bij de uitgifte van parkeervergunningen geen menselijke tussenkomst toegepast.18 Alleen als de vergunning wordt afgewezen (negatief advies) is er sprake van menselijke tussenkomst. Indien de vergunning wordt toegekend (positief resultaat) wordt er automatisch een besluit wordt genomen zonder menselijke tussenkomst.19 De gemeente stelt hierin een overwogen keuze te maken, maar wijkt desalniettemin af van haar eigen beleid dat er altijd sprake is van menselijke tussenkomst. Daarnaast geven medewerkers aan dat de term ‘menselijke tussenkomst’ moeilijk te operationaliseren is.

Dat ligt met name aan de vraag wanneer er nog sprake is van menselijke tussenkomst.20 Er is sprake van een grijs gebied als een medewerker altijd het advies van een algoritme opvolgt.21 Wanneer een medewerker namelijk het voorstel van een algoritme volgt en nooit een andere afweging maakt is er feitelijk gezien geen sprake van een (betekenisvolle) menselijke tussenkomst. Voor meerdere impactvolle algoritmes die Utrecht gebruikt is dit de vraag. Denk bijvoorbeeld aan het anonimiseren van gemeentelijke documenten. Doorwerking van Uthiek te vrijblijvend De adviezen uit de Uthiek assessments zijn niet bindend. De gemeente is van mening dat de morele oordeelsvorming ligt bij de projectleider of procesverantwoordelijke van (in dit geval) het algoritme. Een mogelijk risico hiervan is dat het advies als vrijblijvend wordt ervaren en niet wordt opgevolgd. De projectmanager neemt uiteindelijk de beslissing hoe het project verder loopt.22 Dit hoeft op zich geen probleem te zijn, maar in dit rekenkameronderzoek is

16 Rekenkamer Utrecht (2025). Ontvangen documentatie in kader van casusbesprekingen. 17 Rekenkamer Utrecht (2025). Interview gemeentes. 18 Zie landelijk algoritmeregister:

https://algoritmes.overheid.nl/nl/algoritme/gm0344/12337864/parkeervergunning. 19 Rekenkamer Utrecht (2025). Interview gemeente. 20 De Autoriteit Persoonsgegevens (AP) heeft het in dit kader over betekenisvolle menselijke tussenkomst. De AP heeft handvatten ontwikkeld en gepubliceerd wat betekenisvolle menselijke tussenkomst bij algoritmische besluitvorming betekent (2025). 21 Rekenkamer Utrecht (2025). Interviews gemeente. 22 Gemeente Utrecht (2021). Visie Digitale Stad, p. 6. 35

geconstateerd dat de gemeente bij impactvolle algoritmes niet expliciet vastlegt of en zo ja hoe er met Uthiek-adviezen wordt omgegaan.23 In combinatie met de vrijwilligheid van het advies, constateren we daarom dat de doorwerking van Uthiek nu te vrijblijvend is. De gemeente heeft dan weliswaar in opzet aan de randvoorwaarden voor verantwoorde inzet van algoritmes gewerkt, maar er wordt nu niet altijd aantoonbaar iets gedaan met de uitkomsten. De uitkomst van het Uthiek assessment kan bovendien gebruikt worden als input voor een DPIA, aangezien deze privacy-toets normaliter na afronding van een Uthiek assessment wordt uitgevoerd. In de praktijk blijkt echter dat de uitkomst van het Uthiek assessment lang niet altijd wordt gedeeld of opgenomen in de DPIA24, omdat men bijvoorbeeld (onterecht) denkt dat deze toetsing niet relevant is voor de beoordeling van een DPIA. Hieruit kan worden afgeleid dat het proces niet bij alle medewerkers bekend is en dat beleid dan ook niet in alle gevallen juist wordt nageleefd. In januari 2024 is door de afdeling Concernaudit een rapportage opgeleverd naar aanleiding van een onderzoek naar de doelmatigheid en doeltreffendheid van Uthiek.25 Het rapport schetst een aantal bevindingen die relevant zijn voor dit onderzoek. Concernaudit constateert dat het beleidsdocument voor Uthiek verwachtingen schept waaraan in praktijk niet wordt voldaan.

Als mogelijke oorzaken hiervoor worden incongruentie tussen ambities en capaciteit én inconsequente naleving van het beleid genoemd.26 Ook gedurende dit rekenkameronderzoek werd meermaals genoemd dat bezuinigingen ertoe leiden dat niet alle ambities op het gebied van Uthiek waargemaakt kunnen worden.27

2.3

GEMEENTE TRANSPARANT OVER DE INZET VAN ALGORITMES, MAAR DE KWALITEIT VAN DE INFORMATIE SCHIET TEKORT

Utrecht publiceert relatief veel impactvolle algoritmes De gemeente hecht veel waarde aan transparantie bij de inzet van algoritmes. Een uiting hiervan is het landelijk algoritmeregister, waarin Utrecht 41 impactvolle algoritmes heeft gepubliceerd. De gemeente publiceert hier dus alleen de eerdergenoemde ‘variant a’ algoritmes. Dat zijn algoritmes met directe impact op de bewoners. De gemeente Utrecht maakt sinds oktober 2020 haar algoritmes openbaar. De gemeente was een van de eerste gemeentes die op deze manier transparant was over haar algoritmegebruik. Destijds deed de gemeente dat in het Utrechtse openbare algoritmeregister dat op haar eigen website stond. Inmiddels publiceert de gemeente haar 23 Rekenkamer Utrecht (2025). Casusbesprekingen. 24 Rekenkamer Utrecht (2025). Casusbesprekingen. 25 Concernaudit (2024). Doelmatigheids-en doeltreffendheidsonderzoek Utrechtse ethiek. 26 Concernaudit (2024). Doelmatigheids- en doeltreffendheidsonderzoek Utrechtse ethiek, p. 7. 27 Rekenkamer Utrecht (2025). Interviews gemeente.

36

algoritmes in het landelijk algoritmeregister en bestaat het Utrechtse algoritmeregister niet meer. In de interne richtlijnen voor de toepassing van algoritmes staat dat het register minimaal één keer per kwartaal wordt geactualiseerd. Het beheer hiervoor is belegd bij de informatiecommissaris. De informatiecommissaris valt onder het CIO-office28, de afdeling binnen de gemeente die de Chief Information Officer (CIO) ondersteunt op het gebied van informatievoorziening. De informatiecommissaris werkt samen met de organisatieonderdelen waar de algoritmes worden ingezet om het algoritmeregister te voorzien van inhoud. We constateren in algemene zin dat de gemeente Utrecht relatief veel algoritmes (41) heeft gepubliceerd in vergelijking met andere gemeenten. Bijlage 4 bevat een overzicht van alle algoritmes die Utrecht in het landelijk algoritmeregister heeft gepubliceerd. Amsterdam is de enige gemeente die meer algoritmes in het register heeft gepubliceerd (60) dan Utrecht. Als we naar gemeenten kijken volgen na Utrecht in aantallen de gemeenten Den Haag, Rotterdam en Groningen. De kwaliteit van de informatie uit het algoritmeregister schiet tekort De kwaliteit van de informatie uit het algoritmeregister schiet echter tekort. Tijdens het onderzoek is gebleken dat de informatie niet altijd (a) volledig, (b) actueel en (c) specifiek is.

Uit dit onderzoek blijkt dat de informatie in het algoritmeregister niet overal actueel of volledig is. Dit blijkt onder meer uit de casusbesprekingen. Zo gaven de betrokkenen van bijvoorbeeld het aanmeldbeleid aan dat de informatie uit het algoritmeregister verouderd was.29 Een ander voorbeeld betreft het in kaart brengen van risico-indicatoren voor jongeren die in de drugscriminaliteit terecht kunnen komen.30 Dat algoritme hoort volgens de geïnterviewden van het organisatieonderdeel niet thuis binnen het Utrechts deel van het algoritmeregister, omdat het algoritme door een andere partij (ICTU) beheerd wordt. Het ‘centrale’ beeld komt daarmee niet overal overeen met het ‘decentrale’ beeld wat in sommige gevallen leidt tot incorrecte en niet-actuele informatie in het algoritmeregister. Daarnaast constateren we ook dat de informatiedichtheid van de beschreven algoritmes in het algoritmeregister beperkt is. Bovendien vinden er weinig actualisaties plaats.

In 2024 zijn de Utrechtse algoritmes in opdracht van de gemeente beoordeeld door een externe partij (ICTRecht) op juistheid en volledigheid.31 Op basis van het onderzoek is een aantal aanbevelingen gedaan, waaronder het corrigeren van foutieve of verouderde informatie, het aanvullen of verduidelijken van informatie die onvolledig of onduidelijk is, het gebruikmaken van meer concrete specifieke voorbeelden, het toepassen van een uniforme schrijfstijl en 28 Het CIO-office is verantwoordelijk voor de strategie en beleid/kaders op het gebied van architectuur,

informatiebeheer en -beveiliging en portfoliomanagement. 29 Rekenkamer Utrecht (2025). Casusbesprekingen. 30 Rekenkamer Utrecht (2025). Casusbesprekingen. 31 ICTRecht (2024). Beoordeling Algoritmeregister. 37

terminologie, en het verwijderen of samenvoegen van dubbele of overlappende algoritmes. ICTRecht constateert in haar rapport dat de gemeente veel van de verplichte velden heeft verwerkt in het landelijk algoritmeregister, maar geen enkel algoritme scoort een voldoende volgens ICTRecht, omdat niet alle informatiecategorieën (volledig) zijn ingevuld. De gemeente zegt de bevindingen van ICTRecht te herkennen, maar heeft nog geen grote aanpassingen verricht op het moment dat dit rekenkameronderzoek werd uitgevoerd. Tot slot is de huidige informatie over de algoritmes niet specifiek. Wij constateren dat de gemeente bij de beschrijving van haar algoritmes in het algoritmeregister steeds dezelfde drie (algemene) risico’s benoemt32: 1. Datalek door het openbaar beschikbaar stellen van persoonsgegevens van Utrechtse bewoners. 2. Algoritme neemt een besluit zonder menselijke tussenkomst. Een algoritme neemt geheel zelfstandig een besluit, zonder tussenkomst van een medewerker en zonder de duiding van de betreffende context van de situatie. 3. Function creep33 met betrekking tot data bij de toepassing van het algoritme, waardoor het algoritme een vertekend beeld geeft wat er aan de hand is.

2.4

GOVERNANCE ROND ALGORITMES IN ALGEMENE ZIN BESCHREVEN, SPECIFIEKE VERANTWOORDELIJKHEDEN ONTBREKEN

Beleid voor algoritmes centraal vastgesteld, organisatieonderdelen decentraal verantwoordelijk voor uitvoering daarvan De aansturing en verantwoording voor algoritmes verloopt via de algemene organisatiestructuur van de gemeente Utrecht (zie onderstaand Bron: Rekenkamer Utrecht (2025) o.b.v. Gemeente Utrecht (2025). Organisatieregeling gemeente Utrecht.). Aan het hoofd van de ambtelijke organisatie staat de gemeentesecretaris of algemeen directeur. Samen met de concerndirecteuren vormt de gemeentesecretaris de concerndirectie. De concerndirectie geeft sturing aan de ambtelijke organisatie en geeft leiding aan de directeuren van de organisatieonderdelen. Ieder organisatieonderdeel wordt aangestuurd door een directeur. Voor algoritmes is met name de directeur informatiebeleid van belang: de Chief Information Officer (CIO). De CIO valt in de organisatiestructuur van Utrecht onder de concerndirecteur bedrijfsvoering. De organisatiestructuur is in figuur 2.5 visueel samengevat, beredeneerd vanuit de positie van de CIO. De CIO heeft een tweeledige

32 Deze risico’s zijn generiek bij de inzet van alle algoritmes. Maar de gemeente heeft geen specifieke

risico’s per algoritme benoemd. 33 Function creep is wanneer wetten, beleidsinstrumenten, maatregelen, programma’s, systemen en gegevens een geheel andere uitwerking (soms ook op een totaal ander terrein) hebben dan oorspronkelijk bedoeld of wanneer zij op andere manier gebruikt worden dan initieel bedoeld. Als gegevens bijvoorbeeld worden verzameld met een specifiek doeleinde en het systeem waarin dat gebeurt krijgt meerdere functies waardoor gegevens ook voor nieuwe doeleinden gebruikt (kunnen) worden. 38

verantwoordelijkheid; hij is zowel verantwoordelijk voor de aansturing van Informatie en Procesmanagement (IPM) als het CIO-office. Figuur 2.5

De CIO heeft een tweeledige verantwoordelijkheid Concerndirectie

Concerndirecteur Fysiek Domein

Concerndirecteur Sociaal Domein

Concerndirecteur Domein Bedrijfsvoering

Gemeentesecretaris, verantwoordelijk voor Domein strategie, bestuur en kennis

Directeur informatiebeleid (=CIO)

Informatie & procesmanagement

CIO-office (waaronder informatiecommissaris)

Bron: Rekenkamer Utrecht (2025) o.b.v. Gemeente Utrecht (2025). Organisatieregeling gemeente Utrecht.

De CIO is verantwoordelijk voor het opstellen, maar niet voor het uitvoeren van het beleid over algoritmes. Dat verloopt decentraal via de organisatieonderdelen die verantwoordelijk zijn voor de vertaling en uitvoering van het beleid. De verantwoording hierover vindt plaats in de eigen ‘kolom’ via de directeur en concerndirecteur. In het onderzoek zijn geen voorbeelden aangetroffen waarop via deze gewone verantwoordingsroute directe verantwoording over algoritmes is afgelegd, maar dit is wel hoe het model theoretisch in elkaar steekt. De CIO heeft geen sturende, maar wel een coördinerende rol. De CIO heeft de verantwoordelijkheid voor het beleid over algoritmes gedelegeerd aan de informatiecommissaris.34 De informatiecommissaris moet de richtlijnen voor de toepassing van algoritmes bij de organisatieonderdelen onder de aandacht te brengen. De (decentrale) organisatieonderdelen zijn verantwoordelijk voor de uitvoering. Dat betekent onder andere dat organisatieonderdelen het beleid moeten toepassen bij het in gebruik nemen van een algoritme.

34 Gemeente Utrecht (2023). Interne richtlijnen toepassing algoritmes, p. 4.

39

Vanuit deze coördinerende rol informeert de CIO de concerndirectie. De informatie aan de concerndirectie gaat bijvoorbeeld over het aantal algoritmes dat Utrecht in het algoritmeregister heeft gepubliceerd. Daarnaast hoort bij de coördinerende rol dat de CIO het gesprek voert met andere directeuren van organisatieonderdelen over de uitvoering van het informatieprocesmanagementbeleid (IPM). Dat gaat niet alleen over algoritmes maar ook over bijvoorbeeld data, privacy, informatiebeveiliging. De ambitie is om de uitvoering van beleid te monitoren aan de hand van indicatoren die iets zeggen over de voortgang en resultaten van gestelde beleidsdoelen zoals gegevensbescherming en Woo-verzoeken.35 Dergelijke indicatoren en meetbare doelstellingen zijn er voor het thema algoritmes echter niet. Informatievoorziening aan het college van B&W verloopt ook via de CIO Er zijn verschillende routes waarop het college van B&W kan worden geïnformeerd over het gebruik van algoritmes binnen de gemeente Utrecht. In de eerste plaats zijn er reguliere stafoverleggen met de verantwoordelijk wethouder waar de CIO aan deelneemt. Daarnaast heeft de CIO elke zes weken een een-op-een gesprek met de verantwoordelijk wethouder om de voortgang te bespreken. Tijdens deze besprekingen worden prestatie-indicatoren van het IPM-beleid in de breedte behandeld.

Omdat er voor het onderwerp algoritmes geen expliciete doelstellingen of concrete indicatoren zijn bepaald, wordt er in de praktijk weinig met de wethouder over algoritmes gedeeld.36 De gemeenteraad, het college van B&W en de concerndirectie hebben een controlerende rol bij de verantwoorde toepassing van algoritmes.37 De richtlijnen geven aan dat een aantal rollen standaard aanwezig zijn binnen de governance. Zo wordt benoemd dat het “(…) Management Team (MT) en de Informatie- en Procesmanager (IPM’er) van het betreffende organisatieonderdeel verantwoordelijk is voor de governance.” IPM’ers coördineren de uitvoering van het beleid rond algoritmes binnen hun organisatieonderdelen. Naast de IPM’er worden de data scientist, functioneel beheerder, Informatie- en Procesadviseur (IPA’er), Decentrale Information Security Officer (DISO)38 genoemd als rollen die standaard aanwezig zijn binnen de governance met betrekking tot algoritmes. Zij hebben een overwegend adviserende en uitvoerende rol. De governance is in de Interne richtlijnen toepassing algoritmes niet uitgewerkt naar specifieke verantwoordelijkheden. Een uitzondering betreft de verantwoordelijkheidsverdeling bij het bijhouden van de algoritmes in het landelijk algoritmeregister. Dat is bij het CIO-office belegd waarbij de

35 Rekenkamer Utrecht (2025). Interview gemeente. 36 Rekenkamer Utrecht (2025). Interview gemeente. 37 Gemeente Utrecht (2023). Interne richtlijnen toepassing algoritmes, p. 4. 38 DISO’s bewaken de naleving van het beleid voor gegevensbescherming binnen de

organisatieonderdelen en rapporteren hierover periodiek. DISO’s bieden ook ondersteuning aan organisatieonderdelen bij het uitvoeren en implementeren van het beleid. 40

informatiecommissaris verantwoordelijk is voor het beheer. De organisatieonderdelen zijn daarbij verantwoordelijk voor de inhoud van het algoritmeregister.

2.5

UTRECHT TREKT LESSEN UIT INTERN EN EXTERN TOEZICHT, EN VERBETERT DE EIGEN AANPAK

Ten slotte gaan we in dit hoofdstuk in op het lerend vermogen van de organisatie. Dit is een belangrijke pijler voor het op orde hebben van de randvoorwaarden voor de verantwoorde inzet van algoritmes. Wij constateren dat er diverse lessen zijn geleerd en verbeteringen doorgevoerd naar aanleiding van audits en externe onderzoeken, sinds het moment dat Utrecht in 2020 een eigen algoritmeregister publiceerde. Zo heeft Concernaudit onderzoek gedaan naar een verantwoorde toepassing van algoritmes (2022)39 en naar gebruik van Uthiek (2024).40 De onderzoeken van Concernaudit zijn een belangrijk voorbeeld van intern toezicht op algoritmes. De gemeente is aantoonbaar met de aanbevelingen van de onderzoeken aan de slag gegaan. Dit heeft geleid tot verbeteringen in het beleid en de uitvoering. Een voorbeeld hiervan zijn de interne richtlijnen voor algoritmes die al herhaaldelijk in dit hoofdstuk zijn aangehaald. Deze richtlijnen zijn mede tot stand gekomen op basis van advies van de digitale audit algoritmebeheer.41 Een ander voorbeeld is dat de gemeente het proces rondom Uthiek heeft geformaliseerd na aanbevelingen uit een 213a-onderzoek. Het resultaat hiervan staan onder meer beschreven in de interne richtlijnen voor Uthiek. Daarnaast vraagt de ambtelijke organisatie zelf ook om een kritische en externe blik op het gebruik van algoritmes.

Voorbeelden hiervan zijn het onderzoek door ICTRecht42 en een workshop over biasonderzoek die wordt verzorgd door Algorithm Audit.43 Deze initiatieven kunnen als een vorm van toezicht worden gezien, omdat ze een extern, onafhankelijk perspectief bieden op hoe Utrecht het doet. De Autoriteit Persoonsgegevens (AP), in het bijzonder de Directie Coördinatie Algoritmes (DCA), is sinds 2023 coördinerend toezichthouder op algoritmes en AI die risico’s met zich meebrengen voor fundamentele waarden en grondrechten. Er zijn geen noemenswaardige incidenten met algoritmes geweest waarvoor de AP toezicht op de gemeente Utrecht heeft ingesteld. Daarnaast is gedurende 2025 ook een Woo-verzoek naar algoritmes bij de gemeente ingediend. Tijdens het schrijven van deze rapportage was hierop nog geen besluit genomen. 39 Concernaudit (2022). Digitale audit algoritmebeheer en -verantwoording. 40 Concernaudit (2024). Doelmatigheids-en doeltreffendheidsonderzoek Utrechtse ethiek. 41 Concernaudit (2022). Digitale audit algoritmebeheer en -verantwoording, p. 5. 42 ICTRecht (2024). Beoordeling Algoritmeregister. 43 Algorithm Audit (2025). Offerte Workshop: Biasonderzoek in algoritmes en/of AI-systemen.

41

3

WEINIG INZICHT BIJ DE GEMEENTERAAD OVER ALGORITMES

De gemeenteraad ontvangt informatie over algoritmes incidenteel via raadsbrieven en summier via de documenten in de P&C-cyclus (begroting en jaarstukken), onder meer over het algoritmeregister. Raadsleden hebben dan ook weinig inzicht in de door de gemeente gebruikte algoritmes. Zij missen inzicht in de consequenties van het gebruik van algoritmes bij de uitvoering van beleid. Raadsleden hechten aan het belang van goede controle en waarborgen bij het gebruik van algoritmes. In dit hoofdstuk staan we stil bij de rol van de gemeenteraad vanuit democratische verantwoording. We gaan in op de informatievoorziening aan de gemeenteraad en hoe de gemeenteraad in positie wordt gebracht om zijn sturende en controlerende verantwoordelijkheid bij algoritmes in te vullen. Een groepsgesprek dat met raadsleden en commissieleden in het kader van dit rekenkameronderzoek is gevoerd44 is voor dit hoofdstuk een belangrijke informatiebron, naast andere raadsinformatie op dit terrein.

We beantwoorden daarmee onderzoeksvraag vijf: Hoe wordt de raad betrokken bij en geïnformeerd over (de uitvoering van) het beleid ten aanzien van de algoritmes? En we beantwoorden onderzoeksvraag zes: Hoe wordt de gemeenteraad in positie gebracht om zijn sturende, controlerende en volksvertegenwoordigende verantwoordelijkheid waar te maken? Deze twee onderzoeksvragen beantwoorden we deels beschrijvend, maar ook aan de hand van twee normen. In de tabel hieronder wordt kernachtig beschreven hoe de normen worden beoordeeld. De nadere onderbouwing komt in de rest van het hoofdstuk aan bod. Tabel 3.1

Normen en beoordeling “Gemeenteraad”

Norm

Oordeel

De gemeenteraad wordt

Er wordt in algemene zin beknopt verantwoording over het

geïnformeerd over en betrokken

beleid en de uitvoering van algoritmes aan de gemeenteraad

bij het beleid en de uitvoering rondom algoritmes.

afgelegd. Raadsleden kunnen zich met het algoritmeregister informeren over toegepaste algoritmes, maar hebben geen gedetailleerd beeld hoe algoritmes in de uitvoering worden gebruikt en welke doeleinden dat dient.

De gemeenteraad geeft invulling

De gemeenteraad toont betrokkenheid, stelt vragen en dient

aan zijn kaderstellende en controlerende

moties in over algoritmes, vooral naar aanleiding van landelijke incidenten, waarbij zorgen over discriminatie en uitsluiting

verantwoordelijkheden bij algoritmes.

centraal staan. Dit gebeurt vooral reactief en nog weinig structureel en proactief.

44 Dit gesprek heeft plaatsgevonden op 17 juni 2025. Niet alle fracties waren tijdens de

raadsbijeenkomst afgevaardigd – acht van de zestien fracties (samen representant voor 27 van de 45 raadsleden) waren vertegenwoordigd. 42

3.1

GEMEENTERAAD BETROKKEN BIJ ALGORITMES, WORDT IN ALGEMENE ZIN BEKNOPT GEÏNFORMEERD

De Directie Coördinatie Algoritmes van de Autoriteit Persoonsgegevens (AP) stelt dat het gebruik van algoritmes in de publieke sector onderdeel moet zijn van de democratische cyclus van sturing en verantwoording. De gemeenteraad heeft de verantwoordelijkheid om beleid en uitvoering te sturen (kaderstellen) en controleren. Algoritmes spelen daarin een wezenlijke rol. Ze maken daarom ook deel uit van de democratische beheersingscyclus.45 In algemene zin is de raad in 2023 geïnformeerd over de interne richtlijnen voor de toepassing van algoritmes.46 In de Jaarstukken die in het kader van de P&C-cyclus naar de gemeenteraad gaan, komt incidenteel ook beknopt verantwoordingsinformatie terug over algoritmes. Zo wordt vermeld dat Utrecht algoritmes heeft gepubliceerd in het landelijk algoritmeregister. Ook staat hier informatie over de werking van Uthiek. Daarnaast is er verantwoording over de onderwerpen en opgaven vanuit de organisatieonderdelen. Hierbij wordt niet in detail genoemd of en hoe een algoritme is ingezet. Naast deze algemene informatieverstrekking over algoritmes via de P&C-cyclus verzorgt het CIO-office vraaggericht technische briefings aan de raadscommissie Veiligheid, Bestuur en Financiën (VBF).

Hierin komen algoritmes gemiddeld twee keer per jaar aan bod.47 Het beeld dat tijdens de interviews met ambtelijk betrokkenen is verkregen is dat de raadsleden over het algemeen betrokken en geïnteresseerd zijn in de werking van algoritmes.48 Er zijn de afgelopen jaren raadsvragen gesteld en moties ingediend.49 Meestal gebeurt dit naar aanleiding van landelijke berichtgeving over incidenten met algoritmes. Raadsleden laten in de gestelde mondelinge en schriftelijke vragen zien dat ze zich zorgen maken over mogelijke negatieve neveneffecten bij de toepassing van algoritmes. De grootste zorg heeft betrekking op het (voorkomen van) discriminatie, etnische profilering en het uitsluiten van kwetsbare groepen van publieke dienstverlening.

45 Autoriteit Persoonsgegevens (2025). Position paper AP democratische beheersing algoritmes en AI.

Zie: https://www.autoriteitpersoonsgegevens.nl/documenten/position-paper-ap-democratischebeheersing-algoritmes-en-ai. 46 Gemeente Utrecht (2023), Raadsbrief Toepassing algoritmen – interne richtlijnen. 47 Rekenkamer Utrecht (2025). Interview gemeente. 48 Rekenkamer Utrecht (2025). Interview gemeente. 49 Voorbeelden hiervan zijn schriftelijke raadsvragen over het gebruik van algoritmes op school (SV 2024 nr.99, kenmerk 12467714), mondelinge vragen over het algoritmeregister (22 juni 2023), de motie ‘Waarborgen bij algoritmes en cameratoezicht’ (M99, 2022), schriftelijke vragen over fraudebestrijding door de gemeente Utrecht (SV 2021, nr. 141) en schriftelijke raadsvragen over het gebruik van algoritmes (SV 2019 nr. 260, kenmerk 7128110). 43

3.2

RAADSLEDEN HEBBEN NEUTRAAL BEELD BIJ ALGORITMEN, WIJZEN OP BELANG VAN CONTROLE EN WAARBORGEN

In het groepsgesprek met raadsleden is gevraagd hoe zij hun controlerende en kaderstellende rol voor algoritmes zien en welke ideeën zij hierover hebben.50 Hieronder worden de belangrijkste ervaringen en opvattingen van raadsleden weergegeven. Raadsleden hebben een overwegend neutraal beeld bij algoritmes Bij raadsleden bestaat een overwegend neutraal beeld van de inzet van algoritmes. Er is een breed bewustzijn dat een verkeerde inzet van algoritmes tot discriminatie en misstanden kan leiden, zoals eerder is gebeurd bij DUO en de Belastingdienst. Dat betekent niet dat de inzet van alle algoritmes verdacht is. Het is vooral belangrijk hoe de gemeente het gebruik van algoritmes heeft ingericht en welke waarborgen er worden getroffen om incidenten te voorkomen. De inzet van algoritmes biedt de gemeente ook kansen en mogelijkheden. Zo werd er gewezen op de voordelen van efficiëntie. Door de uitvoering van taken te automatiseren met behulp van algoritmes is de gemeente minder afhankelijk van de inzet van medewerkers. Dit is bijvoorbeeld van belang in tijden van een krappe arbeidsmarkt. Daarnaast wordt gewezen op de kansen om beleid consistenter en systematischer uit te voeren met behulp van algoritmes. Door het gebruik van (regelgebaseerde) algoritmes kunnen interpretatieverschillen in de uitvoering worden weggenomen.

En men ziet ook kansen in voorspellende modellen en algoritmes om beleid slimmer uit te voeren, bijvoorbeeld binnen de domeinen openbare ruimte en publieke dienstverlening. Weinig inzicht in gebruik algoritmes door de gemeente Ondanks de brede mogelijkheden die men ziet in de toepassing van algoritmes, waren weinig raadsleden bekend met de specifieke algoritmes die de gemeente Utrecht momenteel inzet. De meesten van hen hadden geen weet van de Utrechtse bijdrage aan het algoritmeregister. Ook gaven enkele aanwezigen aan dat ze de werking van de algoritmes niet transparant vinden. Daarmee werd bedoeld dat het onduidelijk is welke invloed de werking van het algoritme heeft op de uitvoering van beleid. Bij raadsleden leeft het gevoel dat ze op dit moment over onvoldoende informatie beschikken om hun kaderstellende rol uit te voeren. Dat wordt niet geweten aan een tekortschietende informatievoorziening uit de ambtelijke organisatie. De dominante opvatting van de raads- en commissieleden is dat ze over het algemeen goed geïnformeerd worden. Er bestaat wel behoefte om informatie over het algoritmegebruik meer te betrekken in de beleidscyclus, op 50 Niet alle fracties waren tijdens de raadsbijeenkomst afgevaardigd – acht van de zestien fracties

waren aanwezig. Sommige daarvan waren raadsleden, andere commissieleden. De bevindingen die in deze paragraaf worden gepresenteerd zijn daarom niet algemeen strekkend voor de hele gemeenteraad. Meer informatie over de opzet en uitvoering van de raadsbijeenkomst is terug te lezen in bijlage 3 over de onderzoeksverantwoording. 44

zo’n manier dat per portefeuille inzichtelijk wordt gemaakt welke algoritmes worden gebruikt en met welke gevolgen. Zo is tijdens de bijeenkomst naar voren gebracht om, indien van toepassing bij de uitvoering van beleid, aan raadsvoorstellen of raadsbrieven informatie toe te voegen over het gebruik van algoritmes. Deze informatie is van belang om een goed beeld te kunnen vormen over de manier waarop beleid wordt uitgevoerd. Genoemd in dit verband is het voorbeeld van de hotspotaanpak van kleine criminaliteit. Voor deze aanpak is het relevant om te weten hoe en met welke gevolgen een algoritme wordt gebruikt, om zo tot betere meningsvorming in het debat te komen. Belang van controle en waarborgen Raadsleden wijzen op het belang van controle en waarborgen bij het gebruik van algoritmes. Controle en waarborgen worden cruciaal geacht om een verantwoord gebruik te kunnen realiseren. Daarbij wordt allereerst gewezen op het belang van menselijke tussenkomst. Het liefst zien de raadsleden dat altijd een persoon meekijkt bij de uitvoering van een algoritme. In de tweede plaats noemt men de waarde van transparantie. Dat betreft zowel transparantie over de gebruikte data als over de uitlegbaarheid van de werking van een algoritme. In de derde plaats is genoemd het belang dat wordt gehecht aan een onbevooroordeelde ontwikkeling van algoritmes.

Historische datasets bevatten vaak al bestaande vooroordelen, bijvoorbeeld omdat bepaalde groepen ondervertegenwoordigd blijven. Zo worden de ontwerpkeuzes onbedoeld vooringenomen. De variabelen die in een algoritme worden opgenomen, hebben invloed op de uitkomst. Er zou zo veel mogelijk moeten worden gestreefd naar een diverse groep mensen met verschillende expertises bij het ontwikkelproces van algoritmes. Bij controlemechanismes en waarborgen is ook opgemerkt dat deze niet absoluut zouden moeten gelden voor alle algoritmes. Er zou vooral moeten worden gekeken naar de context waarbinnen en de consequenties waarmee een algoritme wordt ingezet. Een algoritme met een informerende functie moet op een andere manier worden bekeken dan een algoritme dat autonoom en besluitvormend wordt gebruikt.

45

4

RISICOBEHEERSING DECENTRAAL BELEGD, UITVOERING KWETSBAAR

De gemeente Utrecht heeft de risico’s rond algoritmes globaal in beeld, maar mist een specifieke en structurele aanpak. De gemeente pakt de risicobeheersing voor algoritmes op dezelfde manier op als voor gegevensbescherming. Dit kent in de huidige opzet enkele kwetsbaarheden. Ten eerste vertalen organisatieonderdelen het centrale beleid op hun eigen manier waardoor samenhang ontbreekt. Ten tweede gebruikt de gemeente Data Protection Impact Assesments om risico’s te inventariseren, maar deze worden niet altijd tijdig geactualiseerd. Ten derde ontbreekt het momenteel aan het goed opvolgen, monitoren en evalueren van risico’s. En ten vierde zijn er te weinig opleidings- en trainingsmogelijkheden voor medewerkers om met algoritmes om te gaan. In dit hoofdstuk beschrijven we hoe de gemeente Utrecht het risicobeheer voor het gebruik van algoritmes heeft ingericht. We beschrijven het beleid, de uitgangspunten, rollen en verantwoordelijkheden en afspraken en processen die voor het risicobeheer bij algoritmes zijn gemaakt.

We beantwoorden daarmee de tweede deelvraag in generieke zin: In hoeverre heeft de gemeente de risico’s op de gebieden van ethiek, sturing en verantwoording, model en data, privacy en IT-beheer van de toegepaste algoritmes in beeld en welke beheersmaatregelen zijn getroffen voor de onderkende risico’s? Deze onderzoeksvraag beantwoorden we deels beschrijvend, maar ook aan de hand van één algemene norm. In de tabel hieronder wordt kernachtig beschreven hoe de normen worden beoordeeld. De nadere onderbouwing komt in de rest van het hoofdstuk aan bod. Tabel 4.1

Norm en beoordeling “Risicobeheersing”

Norm

Oordeel

De medewerkers die met

De medewerkers hebben kennis en ervaring met het proces

algoritmes werken zijn

waarbinnen het algoritme wordt gebruikt, maar zijn niet

deskundig en voldoende toegerust om de risico’s te

specifiek opgeleid of getraind om risico’s bij algoritmes te beheersen.

beheersen.

De bevindingen uit dit hoofdstuk krijgen verder kleuring in hoofdstuk 5 waarin vijf casussen worden onderworpen aan het normenkader. Daar wordt gekeken in hoeverre de gemeente de onderdelen ethiek, sturing en verantwoording, model en data, privacy en IT-beheer51 op orde heeft en vindt een weging aan de normen binnen deze domeinen plaats.

51 Dit zijn de domeinen uit het toetsingskader voor een verantwoorde toepassing van algoritmes van

de Algemene Rekenkamer 46

4.1

GEEN APARTE AANPAK VOOR RISICOBEHEERSING VAN ALGORITMES, VERSCHILLEN DOOR DECENTRALE UITVOERING

Utrecht heeft geen aparte aanpak of methodiek voor de risicobeheersing van algoritmes. De risicobeheersing vindt plaats langs de lijnen van privacy- en informatiebeveiliging.52 Privacybescherming en informatiebeveiliging zijn door de gemeente samengebracht onder de noemer ‘gegevensbescherming’.53 De basis hiervoor staat geformuleerd in het intern strategisch beleidskader ‘Gegevensbescherming’. In het onderliggende beleidsdocument Gegevensbescherming Managementsysteem (GBMS) is de inrichting van het risicomanagementproces voor gegevensbescherming specifiek uitgewerkt. Het GBMS is een werkwijze om de bescherming van gegevens continu te verbeteren op basis van risicomanagement. Het GBMS is een kader dat door het MT CIO op centraal niveau is vastgesteld en dat van toepassing is op alle organisatieonderdelen. Elk organisatieonderdeel is zelf verantwoordelijk voor het implementeren en vertalen van het centrale beleid en risicomanagement. Hierin bestaat de vrijheid om eigen keuzes te maken, bijvoorbeeld ten aanzien van het aanbod in training en opleiding van de mensen die met algoritmes werken. Eerste, tweede en derde lijn ingericht voor risicobeheersing De gemeente Utrecht hanteert het Three Lines Model voor het verdelen van risico’s (zie figuur 4.2). De eerste lijn is verantwoordelijk voor het identificeren, beheersen en rapporteren van risico’s binnen dagelijkse werkzaamheden.

De tweede lijn ondersteunt de eerste lijn bij het ontwikkelen van beleid, het monitoren van risico’s en het ervoor zorgen dat de organisatie voldoet aan wet- en regelgeving. De derde lijn wordt gevormd door onafhankelijke beoordelaars van de effectiviteit van de risicobeheersing door de eerste en tweede lijn. Dit model helpt organisaties om verantwoordelijkheden voor risicobeheersing en interne controle duidelijk te structureren. De invulling van deze drie lijnen verschilt van organisatie tot organisatie. Algoritmes worden hoofdzakelijk in gemeentelijke informatiesystemen binnen het primaire proces gebruikt. Dat betekent dat de risicobeheersing van algoritmes in handen ligt van de proceseigenaren van deze processen. Een proceseigenaar is daarmee verantwoordelijk voor het identificeren van risico’s binnen het proces of de dienst waarvoor hij of zij verantwoordelijk is.

52 Gemeente Utrecht (2023). Interne richtlijnen toepassing algoritmes, p. 3. 53 Gegevensbescherming en algoritmes hebben niet noodzakelijkerwijs met elkaar te maken, maar

worden vaak wel met elkaar geassocieerd. Dat komt omdat veel (impactvolle) algoritmes persoonsgegevens verwerken. Daar waar er persoonsgegevens worden verwerkt is de AVG van toepassing die eisen stelt aan gegevensbescherming. Voor een adequate gegevensbescherming hanteren overheidsorganisaties beleid, rollen, verantwoordelijkheden en afspraken. Veel overheidsorganisaties kiezen ervoor om de omgang met algoritmes hier onder te brengen om efficiënt met middelen om te gaan. Deze keuze heeft Utrecht dus ook gemaakt. 47

De proceseigenaar krijgt hierbij ondersteuning van de tweede lijn. De tweede lijn wordt ingevuld door expertiserollen die zijn ingericht per organisatieonderdeel, onder andere door de Informatie Proces Manager (IPM’er), Informatie Proces Adviseur (IPA’er) en de Decentrale Information Security Officer (DISO). Deze rollen ondersteunen en adviseren bij het identificeren en beheersen van risico’s, maar zijn niet (eind)verantwoordelijk. Ze worden betrokken om op een gedegen manier uitvoering te geven aan het risicomanagement en helpen risico’s te identificeren en te beheersen, maar voeren het werk niet zelf uit. Zo ondersteunen ze proceseigenaren actief bij risicoanalyses en adviseren ze over risicobeheersing. Voor gegevensbescherming wordt de derde lijn onder meer gevormd door de Functionaris Gegevensbescherming (FG). De FG heeft een toezichthoudende en adviserende rol. Zo worden alle DPIA’s aan de FG voorgelegd ter advisering. Daarnaast voert Concernaudit risicogebaseerd audits uit op gebied van gegevensbescherming. Voorbeelden zijn audits naar Cyberweerbaarheid, DPIA's en Informatiebeheer. In de volgende paragraaf wordt verder ingegaan op de rol van DPIA’s bij de risicobeheersing van algoritmes. Daarnaast zijn in paragraaf 2.5 vormen van (extern) toezicht benoemd. Figuur 4.2

Het ‘Three Lines Model’ samengevat

Bron: Rekenkamer Utrecht (2025).

48

Verschillen door decentrale uitvoering In eerder onderzoek van de Rekenkamer Utrecht naar informatiebeveiliging (2024) is de rekenkamer uitgebreid ingegaan op hoe centraal beleid voor gegevensbescherming decentraal in Utrecht wordt uitgevoerd.54 Ook voor algoritmes wordt centraal beleid op decentraal niveau uitgevoerd. Dit zorgt ervoor dat er verschillen in de uitvoering ontstaan. Uit de afgenomen interviews met gemeentelijk betrokkenen is herhaaldelijk naar voren gekomen dat er de nodige verschillen tussen de organisatieonderdelen zijn, omdat er decentraal veel vrijheid is voor de vertaling van centrale kaders en beleid naar de praktische uitvoering.55 En wordt aangegeven dat de gemeente als gevolg van de grote mate van autonomie bij de organisatieonderdelen verschillende (deel)bedrijfjes bij elkaar vormt.56 Het CIO-office probeert de werkwijzen te standaardiseren door centraal beleidskaders op te stellen. Maar in de praktijk maken organisatieonderdelen eigen inrichtingskeuzes waardoor de gemeente brede samenhang soms ontbreekt. Dit maakt de risicobeheersingsaanpak voor algoritmes kwetsbaar vanwege een gebrek aan samenhang, controle en eenduidigheid tussen organisatieonderdelen.

4.2

DPIA’S VOORNAAMSTE RISICO-INSTRUMENT VOOR ALGORITMES, ACTUALISEREN GEBEURT NIET CONSEQUENT

De Data Protection Impact Assessment (DPIA) is het voornaamste instrument dat door de gemeente wordt ingezet om risico’s bij algoritmes in kaart te brengen. Uthiek is een waardevol instrument voor het afwegen van waarden, maar brengt geen risico’s in kaart. Utrecht wil voor alle impactvolle algoritmes een DPIA uitvoeren en bijhouden. Het is een instrument dat organisaties helpt om privacyrisico’s in kaart te brengen en te beperken voor processen en systemen waarin persoonsgegevens worden verwerkt. Een organisatie moet op basis van de AVG verplicht een DPIA uitvoeren wanneer een gegevensverwerking waarschijnlijk een hoog risico inhoudt voor de rechten en vrijheden van betrokkenen.57 Een DPIA is niet specifiek voor de risicobeheersing van algoritmes ontwikkeld. Niet alle algoritmes verwerken persoonsgegevens, zoals bijvoorbeeld het geval is bij modellering van geluidsmodellen. Om toch risico’s te identificeren voor algoritmes waarin geen persoonsgegevens worden gebruikt, kiest de gemeente Utrecht ervoor om voor alle impactvolle algoritmes een toets op privacy uit te voeren (zie uitleg van de interne richtlijnen voor toepassing algoritmes in paragraaf 2.1). De gemeente kiest dus voor een bredere interpretatie dan wettelijk gezien volgens de AVG verplicht is.

54 Rekenkamer Utrecht (2024). De mens als zwakste schakel. 55 Rekenkamer Utrecht (2025). Interviews gemeente. 56 Rekenkamer Utrecht (2025). Interview gemeente. 57 De AVG schrijft voor wanneer een gegevensverwerking hoog risico is. Het is aan de

verwerkingsverantwoordelijke om in een specifieke situatie te bepalen of er daadwerkelijk sprake is van hoog risico. Voor meer informatie, zie: https://www.autoriteitpersoonsgegevens.nl/themas/basisavg/praktisch-avg/data-protection-impact-assessment-dpia. 49

DPIA’s in de praktijk vaak niet op tijd herijkt De gemeente heeft in 2024 een inventarisatie gedaan naar de kwaliteit van haar DPIA’s.58 Een bevinding daaruit was onder andere dat de volwassenheid waarmee ieder organisatieonderdeel een DPIA uitvoert varieert. De gemeente heeft de inventarisatie aangegrepen om het DPIA-proces aan te scherpen en verbeteren. Zo zijn bepaalde overlappende en niet verplichte vragen uit het format gehaald. Om het proces beter te stroomlijnen en meer richting te geven, heeft de gemeente bovendien de richtlijnen van de European Data Protection Board (EDPB59) overgenomen. De kwaliteit van een DPIA is eveneens afhankelijk van de ervaring van de DISO in kwestie. Het kost tijd om kennis en ervaring op te bouwen en er wordt aangegeven dat het verloop in functie-uitvoering hoog is.60 Vertrekkende medewerkers nemen waardevolle kennis en ervaring mee. Dit kan leiden tot fouten, vertragingen, verminderde kwaliteit van werk of continuïteitsrisico’s bij het opstellen en/of actualiseren van DPIA’s. Het beleid van de gemeente volgens de Interne richtlijnen toepassing algoritmes is dat DPIA’s van processen waar algoritmes in worden gebruikt iedere drie jaar herijkt dienen te worden. Het is nodig om de risico-inventarisatie te herhalen omdat processen en gebruikte gegevens kunnen wijzigen. Deze afspraak wordt in de praktijk echter niet structureel nageleefd.

Een herijking gebeurt meestal pas als er een duidelijke aanleiding is, zoals een wijziging in het proces.61 Zonder een specifieke aanleiding blijft de herijking vanwege capaciteitsgebrek vaak uit. Er ontbreekt een systeem waarin DPIA’s worden vastgelegd, opgevolgd en gekoppeld aan eigenaarschap. Op dit moment hangt het af van individuele personen, wat de organisatie kwetsbaar maakt.62 Er is geen helder overzicht van alle uitgevoerde DPIA’s en wanneer ze herijkt moeten worden. Het niet tijdig actualiseren is dan ook een kwetsbaarheid binnen de risicoaanpak van Utrecht. Concernaudit heeft in juni 2025 een rapport gepubliceerd over de kwaliteit van DPIA’s en naleving van DPIA beleid. Dit rapport onderschrijft de bevindingen op het gebied van achterblijvende actualisatie van DPIA’s en gebrekkige kwaliteitsborging. Ook bij de uitvoering van informatiebeveiliging komen algoritmes terug Naast het uitvoeren van DPIA’s is gedurende dit onderzoek gezien dat ook bij zogeheten Business Impact Analyses (BIA’s) aandacht is voor risico’s van algoritmes. De BIA wordt als risicobeheersingsinstrument binnen informatiebeveiliging gebruikt. Met een BIA worden 58 Rekenkamer Utrecht (2025). Interview gemeente. 59 De European Data Protection Board (EDPB) is een onafhankelijk Europees orgaan dat is opgericht

vanaf het moment dat de AVG van kracht werd. Het ziet toe op een consistente toepassing van de AVG binnen de hele Europese Economische Ruimte. Daarnaast geeft het adviezen en brengt het richtlijnen uit over de interpretatie van de AVG en andere privacywetgeving. Hier heeft Utrecht voor het uitvoeren van DPIA’s dus ook gebruik van gemaakt 60 Rekenkamer Utrecht (2025). Interview gemeente. 61 Rekenkamer Utrecht (2025). Casusbesprekingen. 62 Rekenkamer Utrecht (2025). Interviews gemeente. 50

kritieke bedrijfsprocessen geïdentificeerd, geanalyseerd en beoordeeld op de impact van eventuele verstoringen.63 Binnen een BIA wordt gekeken naar de beschikbaarheid van gegevens (of de gegevens altijd beschikbaar zijn), de integriteit (of de gegevens juist en volledig zijn) en de vertrouwelijkheid van gegevens (of de gegevens alleen kunnen worden ingezien door personen die daartoe geautoriseerd zijn). Het is de Rekenkamer niet bekend hoe vaak en gestructureerd de gemeente deze BIA’s uitvoert. Bij het bestuderen van de casussen is slechts één voorbeeld gevonden64 waarin zo’n BIA is uitgevoerd waar de werking en het functioneren van het algoritme in terugkwam. Ook in de gevoerde interviews is dit instrument slechts een enkele keer genoemd.65

4.3

OPVOLGING EN MONITORING RISICO’S NIET GESTRUCTUREERD EN NIET PERIODIEK UITGEVOERD

Gemeente schiet nog tekort in het sluitend maken van het risicobeheersingsproces Ondanks dat de gemeente risico’s wel in kaart brengt en identificeert, vindt er meestal geen gestructureerde opvolging plaats. Het GBMS legt de nadruk op een sluitende risicobeheersingscyclus waarin niet alleen wordt geïnvesteerd in het inventariseren van risico’s, maar ook wordt gehamerd op het belang van beheersing, monitoring en evaluatie.66 Maar die laatste stappen worden bij algoritmes ad hoc uitgevoerd.67 Met name de gestructureerde en herhaaldelijke ‘monitoring en evaluatie’ (zie figuur 4.3) ontbreekt.68 Figuur 4.3

Het risicobeheersingsproces samengevat Risicoinventarisa tie

Risicoanalyse en beoordelin g

Monitoring en evaluatie

Risicobehandeli ng (beheersmaatregel en)

Bron: Rekenkamer Utrecht (2025) o.b.v. ISO 31000 voor risicomanagement.

63 Rekenkamer Utrecht (2025). Interviews gemeente. 64 Het gaat om het aanmeldbeleid basisscholen (zie paragraaf 5.3). 65 Rekenkamer Utrecht (2025). Interview gemeente. 66 Gemeente Utrecht (2024). Gegevensbescherming Managementsysteem | versie 2.0., p. 7. 67 Rekenkamer Utrecht (2025). Casusbesprekingen. 68 Rekenkamer Utrecht (2025). Interviews gemeente.

51

In de huidige praktijk van Utrecht zijn de risico’s hoofdzakelijk bekend bij direct betrokkenen in de eerste en tweede lijn. Maar de risico’s zijn niet goed beschreven en gedocumenteerd. Dat maakt de gemeente kwetsbaar, bijvoorbeeld wanneer medewerkers uitvallen of de gemeente verlaten. Weliswaar staan de geïdentificeerde risico’s opgeschreven in rapportages zoals DPIA’s en BIA’s, maar dat geldt in veel mindere mate voor de manier waarop geformuleerde beheersmaatregelen worden uitgevoerd.69 De uitvoering van het risicobeheersingsproces is daarmee nog te veel afhankelijk van medewerkers.70 Gemeente werkt aan verbeteringen voor risicobeheersing Betrokkenen zien meerwaarde in het ondersteunen van het risicobeheersingsproces door middel van een ICT-systeem waarin geïdentificeerde risico’s voor algoritmes worden bijgehouden en beheersmaatregelen staan genoemd.71 De gemeente is op dit moment bezig om een systeem in te richten voor operationeel risicomanagement, waarin bijvoorbeeld ook de actualiteit van DPIA’s kan worden bijgehouden.72 Hierbij wordt ook gekeken naar de manier waarop Domstad IT dit heeft ingericht. Domstad IT voert het beheer over (centrale) applicaties en voert gestructureerd risicoanalyses en DPIA’s uit. De risico’s die hieruit voortvloeien worden centraal bijgehouden in een Information Security Management System (ISMS)73, wat naar tevredenheid functioneert.

Onderdeel van risicobeheersing, met name t.a.v. (indirecte) discriminatie, is ook het formeel en voor de implementatiefase uitvoeren van diverse toetsen op de data en de algoritmische modellen, bij voorgenomen algoritmische digitaliseringsprojecten. Dat zijn hypothesetoetsen, biastoetsen, proxy-analyses. Afdeling Onderzoek & Advies (O&A) is daarover in gesprek met het CIO-office, begeleid door Algorithm Audit. De directe aanleiding hiervoor is het discriminerende algoritme dat de landelijke Dienst Uitvoering Onderwijs (DUO) jarenlang hanteerde bij het opsporen van vermeende fraude met de uitwonende beurs.74 Ook leven er ideeën bij data scientists van de gemeente om modellen te bouwen die automatisch controleren op de kwaliteit van geprogrammeerde algoritmes. Dit zou het risicobeheer van algoritmes verder kunnen professionaliseren.75

69 Rekenkamer Utrecht (2025). Casusbesprekingen. 70 Rekenkamer Utrecht (2025). Interviews gemeente. 71 Rekenkamer Utrecht (2025). Interviews gemeente. 72 Rekenkamer Utrecht (2025). Interviews gemeente. 73 ISMS is een gestructureerde aanpak die organisaties helpt om informatie te beschermen tegen

risico's zoals cyberaanvallen en datalekken. Een ISMS helpt organisaties om risico's te identificeren, beoordelen en beheersen. Een ISMS is meer dan alleen een set technische tools of software. Het is een alomvattend systeem dat bestaat uit beleid, procedures en maatregelen (organisatorisch en technisch). 74 Zie voor meer informatie het onderzoek dat de Autoriteit Persoonsgegevens (AP) bij DUO heeft gedaan: https://www.autoriteitpersoonsgegevens.nl/actueel/fraudeaanpak-duo-discriminerend-enillegaal. 75 Rekenkamer Utrecht (2025). Interviews gemeente. 52

4.4

RISICO’S IN GENERIEKE ZIN IN BEELD, MAAR ONVOLDOENDE SPECIFIEK GEMAAKT

In de voorgaande paragrafen is aangegeven hoe de gemeente Utrecht het risicobeheer voor algoritmes aanpakt. Wij hebben laten zien dat in algemene zin afspraken en keuzes zijn gemaakt, maar dat de uitvoering op bepaalde onderdelen kwetsbaar is. Een belangrijke vraag die zich opdringt is of de gemeente Utrecht met de inrichting van haar risicobeheersing de belangrijkste risico’s voor algoritmes in beeld heeft. Deze vraag laat zich op twee manieren beantwoorden. Brede inventarisatie uitgevoerd naar (impactvolle) algoritmes De belangrijkste betrokkenen geven aan dat dit in algemene zin lukt.76 Het fundament daarvoor is volgens hen gelegd door de informatiecommissaris met het vullen van het algoritmeregister.77 Hiervoor is een brede inventarisatie onder alle organisatieonderdelen gedaan en een inschatting gemaakt welke algoritmes impactvol zijn. Op deze manier is organisatie breed een overzicht gecreëerd van de in gebruik zijnde algoritmes en aanverwante risico’s. Bovendien beschikt de informatiecommissaris over een groot (informeel) netwerk binnen de gemeente.78 Hierdoor weten medewerkers binnen de organisatieonderdelen de informatiecommissaris goed te vinden voor het thema algoritmes.

Dit zorgt ervoor dat eventuele nieuwe ontwikkelingen of het gebruik van nieuwe algoritmes in beeld komen, naast het reguliere portfoliomanagementproces en life-cycle management dat het CIO-office voor de organisatie uitvoert. Genoemde risico’s in algoritmeregister te algemeen In het landelijk algoritmeregister beschrijft de gemeente de risico’s die zij bij het gebruik van algoritmes onderkent (zie paragraaf 2.3), maar deze zijn niet per algoritme specifiek gemaakt. De gemeente benoemt een drietal generieke risico’s79 waar het bij de toepassing van alle algoritmes rekening mee houdt, namelijk 1) datalek, 2) gebrek aan menselijke tussenkomst en 3) function creep. Het is onduidelijk waarom de gemeente geen specifieke risico’s per algoritme noemt. Specifieke risico’s per algoritme worden wel met behulp van DPIA’s geïdentificeerd, maar hiervan is het niet duidelijk welke beheersmaatregelen worden genomen en in hoeverre

76 Rekenkamer Utrecht (2025). Interviews gemeente. 77 Rekenkamer Utrecht (2025). Interviews gemeente. 78 Rekenkamer Utrecht (2025). Interviews gemeente. 79 Algoritmeregister, zie:

https://algoritmes.overheid.nl/nl/algoritme?organisation=Gemeente+Utrecht&page=1&sort_option=sort _name. 53

hiermee de risico’s worden afgedekt.80 Al met al leidt dit tot de bevinding dat de gemeente risico’s bij algoritmes niet voldoende specifiek heeft beschreven.

4.5

TE WEINIG OPLEIDINGS- EN TRAININGSMOGELIJKHEDEN VOOR RISICOBEHEERSING BIJ ALGORITMES

Kennis- en vaardigheidsniveau van algoritmes wisselt sterk tussen organisatieonderdelen Eerder in dit hoofdstuk is aangegeven dat de organisatieonderdelen zelf verantwoordelijk zijn voor de invulling van het risicobeheer. Een grote verantwoordelijkheid voor het identificeren, analyseren en monitoren van risico’s komt daarmee bij proceseigenaren en DISO’s terecht, maar deze rollen worden momenteel onvoldoende professioneel ondersteund bij en opgeleid in de risicobeheersing van algoritmes. De gemeente Utrecht heeft gemeente breed beleid voor Leren en Ontwikkelen.81 Een belangrijke pijler binnen dit beleid wordt gevormd door het 70-20-10 model van Charles Jennings (zie 4.4). Box 4.4 Het 70-20-10 model in de praktijk82 Het 70-20-10 model stelt dat mensen het meeste leren door (samen) te werken. De bedoeling is om werken en leren niet van elkaar te scheiden, maar juist het verbinden van het ‘formele’ en ‘informele’ leren. 

Formeel leren is het georganiseerde en gestructureerde leren voor medewerkers in de vorm



van trainingen en cursussen, het klassieke, ‘schools’ leren. Dit betreft de 10 procent. Informeel leren gaat over het leren op de werkplek. Een medewerker leert gedurende de dag door het uitvoeren van zijn of haar werkzaamheden (de 70 procent). Daarnaast is er veel interactie met collega´s. Dit betreft het sociale aspect van leren (de 20 procent).

Op geen van de onderdelen uit het 70-20-10 model wordt het Leren en Ontwikkelen op het gebied van de risicobeheersing van algoritmes gefaciliteerd. Er zijn bijvoorbeeld geen vakgroepen of intervisiebijeenkomsten over risicobeheersing van algoritmes. Het wordt niet als apart kennisgebied aangevlogen, maar ondergebracht in de competenties die nodig zijn voor gegevensbescherming. Trainingen en opleidingen voor algoritmes worden door het CIO-office niet aangeboden. Het gevolg hiervan is dat het kennis- en vaardigheidsniveau binnen Utrecht met betrekking tot algoritmes sterk wisselt van persoon tot persoon.83

80 Rekenkamer Utrecht (2025). Casusbesprekingen. 81 Gemeente Utrecht (2024). Samen Werkend Leren – beleidskader Leren en Ontwikkelen. 82 Gemeente Utrecht (2024). Samen Werkend Leren – beleidskader Leren en Ontwikkelen (p. 4-5.) 83 Rekenkamer Utrecht (2025). Interviews gemeente.

54

Wel trainings- en opleidingsmogelijkheden op gegevensbescherming en AI De gemeente heeft voor de onderwerpen gegevensbescherming en AI wel activiteiten rondom leren en ontwikkelen georganiseerd. Op het gebied van gegevensbescherming is er een gemeentebrede training die bijdraagt aan bewustwording. Deze e-learning is voor iedere medewerker verplicht. Daarnaast wordt er door een externe partij één keer per zes weken een ‘actualiteitenuurtje privacy’ georganiseerd om medewerkers zoals DISO’s op de hoogte te stellen van actuele kennis en de laatste ontwikkelingen omtrent dit thema. Ook wordt door het CIO-office actief gewerkt aan geletterdheid rondom AI en algoritmen, op zowel juridisch, ethisch als technologisch vlak. Deze cursussen hebben sterk het karakter van ‘samen leren’, oftewel passen in de 20 van de 70/20/10-metafoor. Zo is er een introductiecursus over AI die door meer dan 400 medewerkers is gevolgd. Daarnaast is er een intensieve cursus van zo’n vijf dagdelen, bedoeld om de AI en algoritmen te doorgronden voor rollen die daar mee te maken krijgen zoals DISO’s, inkopers, juristen, IPA’s en architecten. De gemeente geeft aan dat deze cursus per december 2025 door bijna honderd medewerkers gevolgd zal zijn.