Rekenkamerrapport Verantwoord omgaan met algoritmes

VERANTWOORD OMGAAN MET ALGORITMES EEN ONDERZOEK NAAR DE TOEPASSING EN RISICOBEHEERSING VAN ALGORITMES BINNEN DE GEMEENTE UTRECHT

1

VERANTWOORD OMGAAN MET ALGORITMES EEN ONDERZOEK NAAR DE TOEPASSING EN RISICOBEHEERSING VAN ALGORITMES BINNEN DE GEMEENTE UTRECHT

2 december 2025 Eindrapport

2

REKENKAMER UTRECHT LEDEN 

Paul Venhoeven (voorzitter)



Nanda ’t Lam



Sjoerd Keulen (tot 1 september 2025)



Stephan Grimmelikhuijsen (vanaf 20 november 2025)

MEDEWERKERS ONDERZOEK 

Gerth Molenaar



Vince van Houten

UITVOERING DOOR PBLQ 

Juliette Mies



Jinne Samsom



Marian Biekart

CONTACTGEGEVENS rekenkamer@utrecht.nl www.utrecht.nl/bestuur-en-organisatie/rekenkamer Postbus 16200, 3500 CE Utrecht

3

INHOUD Deel I Bestuurlijk rapport ................................................................................................................. 8

Onderzoek: Past Utrecht algoritmes verantwoord toe? ................................................................... 8

Conclusie: Beleid voor een verantwoorde inzet van algoritmes aanwezig, in de uitvoering nog onvoldoende geborgd ................................................................................................................... 10 Deelconclusie 1: Interne richtlijnen voor gebruik van algoritmes worden niet consequent genoeg toegepast .................................................................................................................................. 11 Deelconclusie 2: Risico’s bij algoritmes worden veelal niet opgevolgd en niet gemonitord ........ 12 Deelconclusie 3: Gemeenteraad wordt alleen op hoofdlijnen over algoritmes geïnformeerd ..... 13

Aanbevelingen .............................................................................................................................. 14 Aanbeveling 1: Vergroot transparantie door verbeteringen in het algoritmeregister en door een duidelijker afweging tussen impactvolle algoritmes en kleine algoritmes ................................... 14 Aanbeveling 2: Verbeter risicobeheersing door meer centrale aansturing op gedrag en samenspel, minder vrijblijvende Uthiek-assessments en een gedegen trainingsaanbod voor medewerkers ............................................................................................................................. 15 Aanbeveling 3: Verbeter de interne en externe verantwoording over algoritmes door heldere indicatoren en afspraken over informatievoorziening aan de gemeenteraad ............................. 15

Bestuurlijke reactie college van B&W ............................................................................................ 16

Nawoord rekenkamer .................................................................................................................... 22

4

Deel II Nota van bevindingen ........................................................................................................ 24

1

Inleiding ................................................................................................................................. 24

2

Utrecht transparant over algoritmes, maar kwaliteit van algoritmeregister moet beter ............ 29 2.1 Beleidsmatig aandacht voor randvoorwaarden voor een verantwoorde toepassing van algoritmes .......................................................................................................................... 30 2.2 In de uitvoering wordt beleid niet altijd gevolgd .................................................................. 34 2.3 Gemeente transparant over de inzet van algoritmes, maar de kwaliteit van de informatie schiet tekort ....................................................................................................................... 36 2.4 Governance rond algoritmes in algemene zin beschreven, specifieke verantwoordelijkheden ontbreken ...................................................................................... 38 2.5 Utrecht trekt lessen uit intern en extern toezicht, en verbetert de eigen aanpak ................ 41

3

Weinig inzicht bij de gemeenteraad over algoritmes .............................................................. 42 3.1 Gemeenteraad betrokken bij algoritmes, wordt in algemene zin beknopt geïnformeerd..... 43 3.2 Raadsleden hebben neutraal beeld bij algoritmen, wijzen op belang van controle en waarborgen........................................................................................................................ 44

4

Risicobeheersing decentraal belegd, uitvoering kwetsbaar .................................................... 46 4.1 Geen aparte aanpak voor risicobeheersing van algoritmes, verschillen door decentrale uitvoering ........................................................................................................................... 47 4.2 DPIA’s voornaamste risico-instrument voor algoritmes, actualiseren gebeurt niet consequent ........................................................................................................................ 49 4.3 Opvolging en monitoring risico’s niet gestructureerd en niet periodiek uitgevoerd ............. 51 4.4 Risico’s in generieke zin in beeld, maar onvoldoende specifiek gemaakt .......................... 53 4.5 Te weinig opleidings- en trainingsmogelijkheden voor risicobeheersing bij algoritmes ....... 54

5

Algoritmes in de praktijk: Beheersmaatregelen niet consequent toegepast ............................ 56 5.1 Uitleg en opbouw van dit hoofdstuk ................................................................................... 56 5.2 Samengevat: Beoordeling beheersmaatregelen ................................................................ 58 5.3 Woninginbraakvoorspeller (uitgefaseerd)........................................................................... 61 5.4 Aanmeldbeleid basisscholen (in gebruik) ........................................................................... 62 5.5 Risico-indicatoren jonge aanwas in de drugscriminaliteit (in gebruik)................................. 63

5

5.6 Uitkering participatiewet (in gebruik) .................................................................................. 65 5.7 Beslisondersteuning bij aanvraag- en toetsingsprocessen (subsidieaanvraag, in ontwikkeling) ...................................................................................................................... 66

BIJLAGE 1 Lijst met afkortingen ................................................................................................... 70 BIJLAGE 2 Onderzoeksverantwoording ........................................................................................ 71 BIJLAGE 3 Casusbeschrijvingen .................................................................................................. 77 B3.1

Woninginbraakvoorspeller (uitgefaseerd)................................................................... 77

B3.2

Aanmeldbeleid basisscholen (in gebruik) ................................................................... 81

B3.3

Risico-indicatoren jonge aanwas drugscriminaliteit (in gebruik) ................................. 86

B3.4

Uitkering participatiewet (In gebruik) .......................................................................... 90

B3.5

Beslisondersteuning bij aanvraag- en toetsingsprocessen (subsidieaanvraag, in ontwikkeling) .............................................................................................................. 95

BIJLAGE 4 Utrechtse algoritmes in het landelijke algoritmeregister .............................................. 98

6

Deel I Bestuurlijk rapport

7

DEEL I BESTUURLIJK RAPPORT ONDERZOEK: PAST UTRECHT ALGORITMES VERANTWOORD TOE? Aanleiding Veel organisaties, waaronder gemeenten, maken steeds vaker gebruik van algoritmes. De mogelijkheden van algoritmes zijn immers veelbelovend. Ze kunnen bijdragen aan onder meer efficiëntie, kostenbesparing en het beter bedienen van inwoners. Tegelijkertijd klinken er regelmatig waarschuwingen voor de potentiële risico’s. Denk aan privacyschending, discriminatie en het vergroten van verdeeldheid en kansenongelijkheid. De vraag is dan ook hoe organisaties algoritmes verantwoord kunnen toepassen. Ook verschillende fracties van de Utrechtse gemeenteraad hebben aandacht voor algoritmes en noemen als aandachtspunten met name het belang van transparantie over algoritmes, aandacht voor mogelijke discriminatie en het risico op uitsluiting van bepaalde groepen mensen. Hieruit blijkt een behoefte aan het toetsen of algoritmes, en het gebruik ervan, aan kwaliteitscriteria1 voldoen én of de risico’s voldoende in beeld zijn en worden beperkt. Voor de rekenkamer aanleiding om te onderzoeken in welke mate de gemeente algoritmes verantwoord toepast. Doel en centrale vraag Het doel van dit onderzoek is om inwoners, raadsleden en andere belanghebbenden inzicht te geven in hoe de gemeente Utrecht in de praktijk omgaat met algoritmes en welk beleid hiervoor is geformuleerd.

De centrale vraag van het onderzoek luidt: In hoeverre geeft de gemeente Utrecht invulling aan een verantwoorde toepassing van het gebruik van algoritmes en wat kan daarvan worden geleerd? Werkwijze Voor dit onderzoek heeft de rekenkamer opdracht verstrekt aan en samengewerkt met onderzoeksbureau PBLQ. PBLQ heeft het onderzoek uitgevoerd in de periode maart 2025 tot en met juni 2025. Naast de documentstudie en analyse van beschikbare data zijn interviews afgenomen met medewerkers binnen de gemeentelijke organisatie die een verantwoordelijkheid dragen voor algoritmes. Dat geldt voor het beleid voor algoritmes (en de uitvoering daarvan) in algemene zin en specifiek voor vijf algoritmes die als casus zijn onderzocht. Een uitgebreide onderzoekverantwoording is opgenomen in bijlage 2. 1 Deze kwaliteitscriteria betreffen in belangrijke mate de normen die bij het onderzoek naar algoritmes

worden gehanteerd. Zie hiervoor paragraaf 5.1 in hoofdstuk 5 over de onderzochte casussen. 8

RAPPORT ‘VERANTWOORD OMGAAN MET ALGORITMES’

Beleid voor een verantwoorde inzet van algoritmes is aanwezig, maar is in de uitvoering nog onvoldoende geborgd OORZAAK 2

Risico’s bij algoritmes worden veelal niet opgevolgd en gemonitord OORZAAK 1

OORZAAK 3

Interne richtlijnen voor het gebruik van algoritmes worden niet consequent toegepast.

Gemeenteraad wordt alleen op hoofdlijnen over algoritmes geïnformeerd

Aanbevelingen voor een meer verantwoorde inzet van algoritmes

transparantie Verbeter de risico­ 1 Vergroot 2 door het algoritmeregister beheersing door meer te verbeteren en door een duidelijker afweging tussen impactvolle en kleine algoritmes.

centrale aan­sturing, minder vrijblijvende Uthiek-assessments en een gedegen trainings­ aanbod voor medewerkers.

de 3 Verbeter verantwoording

over algoritmes door heldere indicatoren en afspraken over informatievoorziening aan de gemeenteraad.

CONCLUSIE: BELEID VOOR EEN VERANTWOORDE INZET VAN ALGORITMES AANWEZIG, IN DE UITVOERING NOG ONVOLDOENDE GEBORGD Op basis van de bevindingen van dit onderzoek komen we tot de volgende hoofdconclusie en drie deelconclusies. Wij formuleren hierbij ook drie aanbevelingen. HOOFDCONCLUSIE De gemeente Utrecht streeft een verantwoorde inzet van algoritmes na. Dat baseren we op een aantal zichtbare ontwikkelingen. Zo had Utrecht als een van de eerste gemeenten in Nederland een eigen algoritmeregister (2020). Van hieruit zijn het beleid, de processen en uitvoering rondom een verantwoorde inzet van algoritmes steeds verder uitgebouwd. De gemeente hanteert een visie op digitalisering en een beleidskader met Utrechtse ethiek (Uthiek) waarmee de gemeente werkt aan een juiste, veilige en eerlijke manier om met algoritmes om te gaan. Voor het gebruiken van algoritmes is de visie op digitalisering vertaald naar concrete interne richtlijnen waarin de nadruk wordt gelegd op transparantie en het belang van menselijke tussenkomst. Utrecht maakt onderscheid tussen kleine en impactvolle algoritmes. Utrecht richt zich in de uitvoering vooral op impactvolle algoritmes. Dat zijn algoritmes die impact hebben op bewoners. Hierbij doet het algoritme de voorzet voor besluitvorming, maar neemt een mens en níet de technologie het uiteindelijke besluit.

Over deze impactvolle algoritmes is de gemeente transparant door publicatie in het landelijk algoritmeregister. Dat geldt echter niet voor de kleine algoritmes. Het beleid en de wijze van organiseren geven echter te weinig concrete sturing aan een consistente risicobeheersing van algoritmes in de uitvoering. Het proces voor risicobeheersing is op hoofdlijnen gedocumenteerd, maar wordt door de organisatieonderdelen op decentraal niveau niet gestructureerd en niet consequent volgens het beleid uitgevoerd. Er wordt veel tijd geïnvesteerd in het aan de voorkant identificeren en beoordelen van privacy risico’s, voornamelijk door de uitvoering van data protection impact assessments (DPIA’s). Maar voor deze risico’s wordt het uitvoeren van eventuele maatregelen niet structureel gemonitord en worden de risico’s ook niet periodiek geëvalueerd. Niet de gehele risicobeheersingscyclus wordt systematisch uitgevoerd. De uitvoering leunt bovendien nog (te) sterk op de deskundigheid en ervaring van individuele personen, omdat procedures voor risicobeheersing bij algoritmes onvoldoende zijn vastgelegd en gedocumenteerd. Dit maakt de organisatie kwetsbaar voor verlies van relevante kennis en ervaring en zet de continuïteit onder druk. 10

Door een gebrekkig inzicht op centraal niveau in de risicobeheersing bij algoritmes wordt momenteel beperkt verantwoording aan het college afgelegd over de toepassing van algoritmes. Dat betreft ook de verantwoording aan de gemeenteraad, die alleen op hoofdlijnen wordt geïnformeerd.

DEELCONCLUSIE 1: INTERNE RICHTLIJNEN VOOR GEBRUIK VAN ALGORITMES WORDEN NIET CONSEQUENT GENOEG TOEGEPAST De gemeente Utrecht maakt in haar beleid onderscheid tussen twee algoritmevarianten, die getypeerd worden door de mate van impact op bewoners: kleine algoritmes (met geen of weinig impact) en impactvolle algoritmes. Voor de toepassing van impactvolle algoritmes heeft de gemeente op centraal niveau interne richtlijnen opgesteld. De richtlijnen moeten op decentraal niveau (binnen de organisatieonderdelen die algoritmes gebruiken) worden toegepast. Wij concluderen echter dat dit onvoldoende consequent gebeurt. Zo geven de interne richtlijnen aan dat een impactvol algoritme alleen een voorzet mag doen voor besluitvorming, maar dat het besluit zelf altijd genomen moet worden door een mens. Uit onze analyse van vijf algoritmes is echter één situatie naar voren gekomen waarin niet aan het uitgangspunt van menselijke tussenkomst wordt voldaan (bij het automatisch beoordelen van aanvragen voor parkeervergunningen). Dit laat zien dat de gemeente kritisch kan beschouwen of ze alle uitgangspunten uit het beleid nakomt. En of menselijke tussenkomst bij impactvolle algoritmes altijd noodzakelijk is, ook als een gebrek daaraan (zoals in het bovenstaande voorbeeld) mogelijk niet zou leiden tot onjuiste of problematische besluiten.

Daarnaast zijn in ons onderzoek situaties naar voren gekomen waarin wel sprake is van menselijke tussenkomst, maar waarbij de betrokken persoon altijd de uitkomst van het algoritme volgt. Dat vraagt om een reflectie op de mate waarin en wanneer er sprake is van betekenisvolle menselijke tussenkomst bij het toepassen van besluiten op basis van algoritmes. Verder zien we dat de interne richtlijnen voor impactvolle algoritmes soms nog als te vrijblijvend worden ervaren. Zo wordt voordat een impactvol algoritme in gebruik wordt genomen een Uthiek-assessment uitgevoerd om te bepalen in hoeverre de toepassing van het algoritme ethisch verantwoord is. Het opvolgen van suggesties en verbetermaatregelen die uit zo’n assessment naar voren komen is echter niet verplicht. Het gevaar bestaat dat Uthiek-assessments daarom vooral als afvinkoefening worden gezien. En het is in veel gevallen onduidelijk of, en zo ja in welke mate, aan de aanbevelingen die volgen uit het Uthiek-assessment opvolging is gegeven (zie box 1). De gemeente moet daarom nog stappen zetten om de ethische afwegingen daadwerkelijk herleidbaar mee te nemen bij de implementatie en het gebruik van een impactvol algoritme.

11

Box 1. Toepassing van Uthiek-assessments soms te vrijblijvend Voor het toepassen van impactvolle algoritmes is een Uthiek-assessment, waarin wordt getoetst of de toepassing ethisch verantwoord is, verplicht. De rekenkamer heeft bij vijf algoritmes onderzocht of dit is gebeurd. Voor het algoritme ‘risico-indicatoren jonge aanwas drugscriminaliteit’2 is met terugwerkende kracht een Uthiek-assessment uitgevoerd, samen met een ander algoritme in het kader van hetzelfde programma (‘risico-indicatoren m.b.t. het witwassen van panden’). In het assessment wordt geen duidelijk onderscheid gemaakt op welk algoritme welke afweging betrekking heeft, waardoor het moeilijk te beoordelen is of er voor het algoritme over drugscriminaliteit expliciete afwegingen zijn gemaakt. Het is ook niet goed vast te stellen in hoeverre er is getoetst op grond- en mensenrechten. In dit Uthiek-assessment worden (op grond van een DPIA) daarnaast opmerkingen over doelbinding gemaakt, namelijk dat persoonsgegevens voor verschillende doeleinden zijn verzameld. Er wordt geadviseerd hier aandacht aan te besteden, omdat doelbinding helder moet zijn. De gemeente kan echter niet bevestigen of en hoe er opvolging is gegeven aan de adviezen uit het assessment.

Ook de verantwoording over de in gebruik zijnde impactvolle algoritmes in het algoritmeregister vraagt om verbeteringen. Wij zien dat de gemeente Utrecht daar weliswaar voortvarend mee aan de slag is (Utrecht heeft na Amsterdam de meeste algoritmes in het register gepubliceerd, namelijk 45), maar ook dat de kwaliteit van de beschrijvingen in het algoritmeregister nog tekortschiet. Allereerst is de geboden informatie niet specifiek: voor alle algoritmes worden dezelfde (algemene) risico’s genoemd. Daarnaast zijn voor lang niet alle algoritmes de informatievelden ingevuld. Daarmee is de gemeente Utrecht onvoldoende transparant over de impactvolle algoritmes die ze gebruikt.

DEELCONCLUSIE 2: RISICO’S BIJ ALGORITMES WORDEN VEELAL NIET OPGEVOLGD EN NIET GEMONITORD De risicobeheersing van algoritmes bestaat idealiter uit vier stappen: (1) het identificeren van risico’s, (2) bepalen of de gemeente het risico wil mitigeren of wil accepteren, (3) het uitvoeren van maatregelen om het risico te verkleinen en (4) het monitoren en evalueren of de getroffen maatregelen effectief zijn. De rekenkamer concludeert dat de gemeente nog tekortschiet in de laatste twee stappen, waardoor er geen sprake is van een sluitende risicobeheersingscyclus (zie ook box 2). In de praktijk vindt de risicobeheersing van algoritmes namelijk niet gestructureerd en niet consequent plaats. Omdat het beleid voor risicobeheersing van algoritmes alleen op hoofdlijnen is beschreven, biedt het ook weinig handvatten voor de uitvoering. De organisatieonderdelen (op decentraal niveau) hebben dan ook veel vrijheid bij de vertaling van de centrale richtlijnen voor risicobeheersing naar de praktische uitvoering. Organisatieonderdelen interpreteren en implementeren richtlijnen dan ook ieder op hun eigen manier, waardoor ook de centrale organisatie moeilijk grip krijgt op of, en zo ja hoe, 2 Het doel van dit algoritme is statistisch onderzoek met inzicht dat kan bijdragen aan een preventieve

aanpak gericht op het verminderen van jongeren die zijn betrokken bij drugscriminaliteit. 12

risico’s worden beheerst. Goede monitoring is daardoor praktisch onmogelijk. Het gebrek aan samenhang, controle en eenduidigheid tussen organisatieonderdelen maakt de risicobeheersingsaanpak voor algoritmes dan ook kwetsbaar. Box 2. Risicobeheersingscyclus in de praktijk niet bij alle algoritmes sluitend Het op periodieke basis monitoren en evalueren van algoritmes op het gebied van risico’s, prestatiekwaliteit en compliancy is een belangrijke norm bij het toepassen van die algoritmes. Wij zien bij twee van de vijf algoritmes die in dit onderzoek zijn onderzocht dat niet aan deze norm wordt voldaan. Dat leidt er bij het algoritme ‘aanmeldbeleid basisscholen’3 toe dat de risicobeheersingscyclus op dit moment niet sluitend is. Er zijn weliswaar controls, checks en balances ingericht (zo wordt de toewijzing van kinderen aan scholen door een coördinator gecontroleerd), maar worden aangetroffen onvolkomenheden uitsluitend handmatig gecorrigeerd. Het algoritme geeft voor specifieke gevallen bijvoorbeeld verkeerde uitkomsten omdat het algoritme de voorrangsregels niet goed volgt. Deze fout wordt herhaaldelijk gemaakt en ook herhaaldelijk door de coördinatoren handmatig gecorrigeerd. Een duurzamere oplossing zou zijn om de rekenregels op basis waarvan het algoritme werkt aan te passen zodat deze fout wordt opgelost. De gemeente heeft aangegeven hiermee aan de slag te gaan.

Betrokken medewerkers zijn daarentegen vaak wel risicobewust. En medewerkers weten hoe zij algoritmes moeten toepassen. Het ontbreekt hen echter aan een aanbod van trainings- en opleidingsmogelijkheden om de risico’s van algoritmes adequaat te beheersen (in tegenstelling tot soortgelijke onderwerpen zoals gegevensbescherming). Maatregelen die door medewerkers worden getroffen om risico’s te beheersen worden dan ook niet goed beschreven en gedocumenteerd. Deze maatregelen worden ook niet (periodiek) geëvalueerd. Dat geldt onder andere voor het eens per drie jaar actualiseren van de DPIA, een methode waarmee op geüniformeerde wijze privacy risico’s worden geïdentificeerd. Zowel het kennisniveau over algoritmes als het proces van vastlegging moeten op decentraal niveau verbeteren, zodat de organisatie in de uitvoering minder afhankelijk wordt van het (historisch) geheugen en de vaardigheden van (specifieke) medewerkers. Op centraal niveau kan het risicobeheersingsproces daardoor worden gemonitord, waarmee er daadwerkelijk sprake is van een gesloten risicobeheersingscyclus.

DEELCONCLUSIE 3: GEMEENTERAAD WORDT ALLEEN OP HOOFDLIJNEN OVER ALGORITMES GEÏNFORMEERD Door een gebrek aan zicht op het risicobeheersingsproces wordt momenteel beperkt verantwoording afgelegd over de toepassing van algoritmes. Daarnaast zijn er geen expliciete doelstellingen voor het gebruik van algoritmes, en zijn daar dus ook geen concrete indicatoren aan gekoppeld. Het onderwerp wordt daardoor zelden aan de directietafel of binnen het college van B&W besproken.

3

Dit algoritme centraliseert en automatiseert het aanmeldbeleid voor basisscholen, waarmee ongelijkheid in het aanmeldproces kan worden voorkomen. 13

Ook de gemeenteraad heeft weinig inzicht in het actuele gebruik van algoritmes, en binnen welke domeinen en met welke consequenties dit gebeurt. De gemeenteraad wordt alleen op hoofdlijnen over in gebruik zijnde algoritmes geïnformeerd, bijvoorbeeld over de richtlijnen voor algoritmegebruik in het algemeen en over het algoritmeregister. Dit gebeurt incidenteel via de jaarstukken binnen de P&C-cyclus. De gemeenteraad kan daardoor beperkt zijn kaderstellende en controlerende taak uitvoeren. Raadsleden benadrukken (in schriftelijke vragen en ingediende moties) vooral het belang van transparantie over de inzet van algoritmes, gericht op het versterken van de bewustwording over algoritmegebruik en daarmee ook bijdragen aan het voorkomen van discriminatie en etnische profilering. Er is een breed besef bij raadsleden dat algoritmes de uitvoering van publieke taken efficiënter en consistenter kunnen maken. Maar tegelijkertijd kunnen eventuele fouten of incidenten grote maatschappelijke schade opleveren. Raadsleden hebben dan ook behoefte aan informatie over algoritmes in de context van de beleidscyclus. Het gaat met name om gedegen inzicht in de impactvolle algoritmes die in gebruik zijn, en de impact en risico’s bij ingebruikname van nieuwe impactvolle algoritmes.

AANBEVELINGEN Op basis van de hiervoor toegelichte hoofdconclusie en deelconclusies doen we de navolgende aanbevelingen aan het college en de raad. Deze aanbevelingen zijn in de kern gericht op meer sturen op, beheersen van en verantwoorden over de inzet van algoritmes.

AANBEVELING 1: VERGROOT TRANSPARANTIE DOOR VERBETERINGEN IN HET ALGORITMEREGISTER EN DOOR EEN DUIDELIJKER AFWEGING TUSSEN IMPACTVOLLE ALGORITMES EN KLEINE ALGORITMES Actualiseer en concretiseer de informatie van de gepubliceerde algoritmes in het algoritmeregister. Betrek hierbij de proceseigenaren en vakinhoudelijke experts per algoritme. Maak daarnaast inzichtelijker op basis van welke criteria wordt afgewogen of een in gebruik te nemen algoritme impactvol is of niet.

14

AANBEVELING 2: VERBETER RISICOBEHEERSING DOOR MEER CENTRALE AANSTURING OP GEDRAG EN SAMENSPEL, MINDER VRIJBLIJVENDE UTHIEK-ASSESSMENTS EN EEN GEDEGEN TRAININGSAANBOD VOOR MEDEWERKERS Verbeter het samenspel tussen het centrale en het decentrale niveau voor wat betreft sturing op en risicobeheersing van algoritmes. Dat wil zeggen: niet alleen het inventariseren en beoordelen van risico’s, maar ook het structureel uitvoeren van maatregelen, en monitoren en evalueren van risico’s, zowel op centraal als decentraal niveau, met aandacht voor de naleving van de gemaakte afspraken en richtlijnen. Verbeter daarnaast de systematiek van de Uthiek-assessments. Dat betreft met name het wegnemen van het vrijblijvende karakter van de opvolging van de uitkomsten van het Uthiekassessment. Let er daarbij op dat deze assessments periodiek worden herhaald, bijvoorbeeld wanneer een herijking en weging van de waarden aan de orde is. Verbeter ook de scholing op het vlak van risicobeheersing en verantwoord gebruik van algoritmes. Zorg voor passende trainings- en opleidingsmogelijkheden voor medewerkers die met de risicobeheersing van algoritmes te maken krijgen: wat wordt er van hen verwacht? Welke vaardigheden vraagt dat? Dit zal bijdragen aan het versterken en uniformeren van de benodigde competenties en vaardigheden breed in de gemeentelijke organisatie.

AANBEVELING 3: VERBETER DE INTERNE EN EXTERNE VERANTWOORDING OVER ALGORITMES DOOR HELDERE INDICATOREN EN AFSPRAKEN OVER INFORMATIEVOORZIENING AAN DE GEMEENTERAAD Vergroot het inzicht in de consequenties van het gebruik van algoritmes bij de uitvoering. Bepaal beoordelings- en sturingscriteria voor de toepassing van algoritmes om gericht te sturen en verantwoording af te leggen. Dit kunnen zowel kwalitatieve als kwantitatieve indicatoren zijn, zoals de stand van zaken rond uitgevoerde DPIA’s en Uthiek-assessments. Dit kan ook bijdragen aan het versterken van de relatie tussen centrale sturing en decentrale uitvoering. Maak daarnaast afspraken met de gemeenteraad over het tijdig informeren van de raad over de beoogde inzet van impactvolle algoritmes bij nieuw of gewijzigd beleid. Op die manier kan de gemeenteraad van tevoren beter afwegen of het toepassen van een impactvol algoritme verantwoord is. Maak ook afspraken met de gemeenteraad over de informatievoorziening en verantwoording over de impactvolle algoritmes die in gebruik zijn. Op die manier krijgen raadsleden meer

15

inzicht in het actuele gebruik van algoritmes, binnen welke domeinen deze worden toegepast (en waarom) en met welke consequenties dit gebeurt.

BESTUURLIJKE REACTIE COLLEGE VAN B&W Wij danken u voor het toesturen van uw rapport Verantwoord omgaan met algoritmes – Een onderzoek naar de toepassing en risicobeheersing van algoritmes binnen de gemeente Utrecht. We spreken onze waardering uit voor uw nauwkeurige analyse. Dit rapport geeft ons belangrijke inzichten die we kunnen gebruiken bij de continue verbetering van algoritmes. Conclusie De volgende conclusies worden genoemd in uw rekenkamerrapport: 1. Interne richtlijnen voor gebruik van algoritmes worden niet consequent genoeg toegepast 2. Risico’s bij algoritmes worden veelal niet opgevolgd en niet gemonitord 3. Gemeenteraad wordt alleen op hoofdlijnen over algoritmes geïnformeerd We onderschrijven deze conclusies en herkennen de, op basis daarvan, genoemde aanbevelingen. We nemen deze aanbevelingen grotendeels over en zullen begin Q1 2026 een plan van aanpak presenteren om de opvolging van de aanbevelingen te concretiseren in activiteiten en benodigde middelen. Het onderwerp algoritmes kent veel maatschappelijke belangstelling en komt regelmatig terug in het dagelijks nieuws. De technologie is door de Wetenschappelijke Raad voor het Regeringsbeleid (WRR) in hun rapport getypeerd als systeemtechnologie. Investeren in onze omgang met algoritmes is daarmee een investering in de toekomst. Algoritmes zijn dus geen eendagsvlieg.

Met de toepassing van algoritmes willen we meerwaarde genereren voor de stad, en tegelijkertijd voorkomen dat negatieve neveneffecten kunnen optreden. In uw rapport onderkent u dat de gemeente Utrecht de toepassing van algoritmes serieus neemt. Wij waarderen het dat benoemd wordt dat we uit eigen beweging al 5 jaar een openbaar algoritmeregister hebben en deze, in vergelijking met andere G4-gemeenten, goed is gevuld. Dankzij de duidelijke beschrijving van de toetsing op privacy en Uthiek komt goed naar voren dat we een uitlegbaar verhaal hebben bij elk van onze impactvolle algoritmes. Zowel vanuit de wettelijke als de waardegedreven invalshoek. Met de toetsing op privacy voldoen we aan de Algemene Verordening Persoonsgegevens (AVG). De landelijke AI Verordening stelt dat een Fundamental Rights Impact Assessment (FRIA) nodig is en die wordt ondermeer ingevuld door de toetsing op Uthiek. Daarnaast onderschrijven we de conclusie dat een aantal verbeteringen nodig is bij de toepassing en risicobeheersing van algoritmes binnen gemeente Utrecht. De opbrengsten van dit rekenkameronderzoek bieden ons bruikbare handvatten naar verdere 16

professionalisering in onze omgang met de digitale stad Utrecht. Deze heeft inmiddels een volwaardige status, naast de fysieke en sociale stad Utrecht. Ook de AI Verordening, van kracht sinds 2 augustus 2024, vraagt deze professionalisering van ons. De AI Verordening is risico-gebaseerd, en als gemeente moeten we om leren gaan met deze risico-indeling, en de consequenties ervan. Deze wet wordt stapsgewijs ingevoerd en kent per fasering verschillende verplichtingen. In augustus 2026 dienen we de informatievoorziening en risicobeheersing van hoog risico algoritmes te hebben verbeterd. Vanaf augustus 2026 dienen we verplichte maatregelen (op basis van de AI Verordening) voor risicobeheersing toe te passen voor alle nieuwe hoog risico algoritmen en AI. Uw aanbevelingen sluiten goed aan bij de vereisten van de AI Verordening en bieden ons concrete mogelijkheden om hieraan te voldoen. Daarnaast is het van belang te noemen dat alle AI gebruik maakt van algoritmes, maar niet elk algoritme AI betreft. We zullen uw rapport naar algoritmes in samenhang bezien met de vereisten van de AI Verordening. Daarom zijn we bezig met een Uitvoeringskader vangrails voor veilige algoritmes en AI, als actualisatie van ons huidige beleid op algoritmes. Hieronder gaan wij in op uw aanbevelingen.

We zullen de aanbevelingen zoveel als mogelijk binnen bestaande middelen oppakken, risicogestuurd en gefaseerd. In het plan van aanpak mbt de opvolging van de aanbevelingen geven we een beeld van de activiteiten en benodigde middelen, op tactisch en operationeel niveau. AANBEVELING 1: VERGROOT TRANSPARANTIE DOOR VERBETERINGEN IN HET ALGORITMEREGISTER EN DOOR EEN DUIDELIJKER AFWEGING TUSSEN IMPACTVOLLE ALGORITMES EN KLEINE ALGORITMES Actualiseer en concretiseer de informatie van de gepubliceerde algoritmes in het algoritmeregister. Betrek hierbij de proceseigenaren en vakinhoudelijke experts per algoritme. Maak daarnaast inzichtelijker op basis van welke criteria wordt afgewogen of een in gebruik te nemen algoritme impactvol is of niet. Aanbeveling 1 nemen wij over. We hebben sinds oktober 2020 een openbaar algoritmeregister, met als doel om transparant te zijn over de toepassing van algoritmes. Dit algoritmeregister hebben we opgezet, naar aanleiding van schriftelijke vragen uit de gemeenteraad over het risico op discriminatie en etnische profilering bij de toepassing van algoritmes. Met inmiddels 45 gepubliceerde algoritmes, zijn we een van de eerste gemeenten in Nederland met een openbaar algoritmeregister.

17

Kwaliteit algoritmeregister Bij de start van het algoritmeregister hebben we gekozen voor een stapsgewijze aanpak om de kwaliteit van ons algoritmeregister te vergroten. Voorheen stond er beperkte informatie over onze algoritmes in een Excel bestand. Nu zijn we aangesloten bij het landelijk algoritmeregister van Ministerie van Binnenlandse Zaken (BZK). Medio 2026 wordt naar verwachting een Europees algoritmeregister ingevoerd, waarin de Utrechtse hoog risico algoritmes zichtbaar worden door de aansluiting van het Nederlands algoritmeregister. In het landelijk algoritmeregister wordt een metadatastandaard toegepast en is het merendeel van de velden voor alle Utrechtse algoritmes ingevuld. Daarmee krijgt de gebruiker op hoofdlijnen een goed beeld van de toepassing van deze algoritmes. De volgende stap is om meer en specifiekere informatie per algoritme toe te voegen aan het algoritmeregister. Zodat gebruikers ook op meer detailniveau kunnen zien hoe een algoritme wordt toegepast en welke afwegingen daarbij zijn gemaakt. Deze volgende verbeterslag, met als resultaat een volledig en specifiek ingevuld algoritmeregister, zal eind Q3 2026 zijn gerealiseerd. Daarbij betrekken we de proceseigenaren en vakinhoudelijke experts per algoritme.

AI Verordening: hoog risico algoritmen In ons huidige beleid mbt algoritmes staat dat alle algoritmes met directe impact op de stad worden opgenomen in het algoritmeregister. Sinds augustus 2024 is de AI Verordening van kracht en deze wet geeft ons verplichtingen in de manier van toetsing en verantwoording bij de toepassing van algoritmes. We dienen algoritmes en/of AI te classificeren in risicocategorieën (verboden, hoog risico, laag risico, minimaal risico). In de AI Verordening zijn ook criteria benoemd om te kunnen bepalen onder welke risicocategorie een algoritme/AI oplossing valt. Op basis van deze wettelijke verplichting, met bijbehorende criteria, kiezen we ervoor om vanaf augustus 2026 alle hoog risico algoritmes/AI op te nemen in ons algoritmeregister. Dit uitgangspunt staat ook expliciet vermeld in het vernieuwde uitvoeringskader algoritmes, dat eind Q4 2025 ambtelijk wordt vastgesteld. Transparantie over beoordeling risicocategorie algoritmen Wij onderschrijven de conclusie dat we nu nog niet inzichtelijk maken hoe we de afweging tussen impactvol of klein algoritme maken. Op basis van de AI Verordening gaan we zichtbaar maken hoe de afweging is gemaakt voor wel of geen hoog risicovol algoritme/AI. We zijn nog aan het verkennen op welke manier we dit gaan vormgeven, en de precieze uitwerking komt naar voren in het plan van aanpak mbt opvolging van de aanbevelingen.

Met als beoogd resultaat dat we vanaf augustus 2026 transparant zijn over hoe we nieuwe hoog risico algoritmes/AI hebben afgewogen (op basis van criteria), en we daarmee voldoen aan de vereisten van de AI Verordening.

18

AANBEVELING 2: VERBETER RISICOBEHEERSING DOOR MEER CENTRALE AANSTURING OP GEDRAG EN SAMENSPEL, MINDER VRIJBLIJVENDE UTHIEKASSESSMENTS EN EEN GEDEGEN TRAININGSAANBOD VOOR MEDEWERKERS Verbeter het samenspel tussen het centrale en het decentrale niveau voor wat betreft sturing op en risicobeheersing van algoritmes. Dat wil zeggen: niet alleen het inventariseren en beoordelen van risico’s, maar ook het structureel uitvoeren van maatregelen, en monitoren en evalueren van risico’s, zowel op centraal als decentraal niveau, met aandacht voor de naleving van de gemaakte afspraken en richtlijnen. Verbeter daarnaast de systematiek van de Uthiek-assessments. Dat betreft met name het wegnemen van het vrijblijvende karakter van de opvolging van de uitkomsten van het Uthiekassessment. Let er daarbij op dat deze assessments periodiek worden herhaald, bijvoorbeeld wanneer een herijking en weging van de waarden aan de orde is. Verbeter ook de scholing op het vlak van risicobeheersing en verantwoord gebruik van algoritmes. Zorg voor passende trainings- en opleidingsmogelijkheden voor medewerkers die met de risicobeheersing van algoritmes te maken krijgen: wat wordt er van hen verwacht? Welke vaardigheden vraagt dat? Dit zal bijdragen aan het versterken en uniformeren van de benodigde competenties en vaardigheden breed in de gemeentelijke organisatie. Aanbeveling 2 nemen wij deels over.

Wij herkennen de geschetste conclusies en aanbevelingen op het gebied van risicobeheersing van algoritmes. De opvolging van deze aanbeveling is echter afhankelijk van de toekenning van benodigde middelen, en nemen we daarom deels over. We onderschrijven het beeld dat er sturing op centraal niveau plaatsvindt, maar dat er met de huidige capaciteit nog te weinig monitorring op algoritmes plaatsvindt. Gelet op de verwachting dat de komende jaren meer algoritmes/AI oplossingen zullen worden ontwikkeld, is het van groot belang om een structurele en gedegen vorm van risicobeheersing in te richten. Structurele vorm van risicobeheersing algoritmes We zijn al gestart met een verkenning voor een verbeterde vorm governance en risicobeheersing op het gebied van algoritmes. Deze verkenning bevat ook een analyse van de benodigde capaciteit om een structurele en gedegen vorm van risicobeheersing van algoritmes in te richten, waarmee we blijvend kunnen voldoen aan de vereisten van de AI Verordening. Mogelijk is extra capaciteit op tactisch en operationeel nodig om dit doel te bereiken. Ook gelet op de toenemende vraag naar oplossingen waarbij algoritmes/AI wordt toegepast. We presenteren begin Q1 2026 een plan van aanpak over de opvolging van de aanbevelingen, de noodzakelijke activiteiten daarvoor en benodigde middelen voor de structurele risicobeheersing van algoritmes.

We integreren deze risicoaanpak met het 19

verbetertraject risicobeheersing voor gegevensbescherming, dat ter sprake komt in het plan van aanpak bij het rekenkameronderzoek ‘De mens als zwakste schakel’. Samenspel centraal en decentraal Het samenspel tussen centraal en decentraal is niet alleen bij algoritmes onderwerp van gesprek, maar bij meerdere digitale thema’s. In het kader van hervormingsbezuinigingen is een verkenning gestart met als doel heeft om de samenwerking op digitalisering binnen de gemeentelijke organisatie te verbeteren. Hierbij is specifieke aandacht voor het samenspel tussen centraal en decentraal, op het gebied van sturing, organisatorische inrichting en verantwoording. Actualisatie DPIA’s Toetsing van algoritmes/AI gebeurt ondermeer op privacy, door het uitvoeren van een Data Protection Impact Assessment (DPIA). Deze DPIA’s dienen inderdaad elke drie jaar geactualiseerd te worden, zodat op basis van de meest recente ontwikkelingen en inzichten passende maatregelen getroffen worden om de privacy van inwoners te waarborgen. Bij een aantal algoritmes in het algoritmeregister geldt dat deze langer dan drie jaar geleden zijn getoetst middels een DPIA, en er geen actualisatie van de DPIA heeft plaatsgevonden. Dit zal uiterlijk eind Q3 2026 alsnog gerealiseerd zijn.

Systematiek Uthiek Assessments De Uthiek (Utrechtse ethiek) aanpak heeft als doel om uitlegbare verhalen te genereren bij onze digitale oplossingen in de stad. De vragen ‘Willen we dit?’ en ‘Kunnen we dit met goed fatsoen uitleggen aan onze bewoners?’ staan centraal bij Uthiek. Het klopt dat adviezen bij een Uthiek Assessment op dit moment een vrijblijvend karakter hebben. De praktijk laat zien dat adviezen meestal wel worden opgevolgd, maar de mogelijkheid bestaat inderdaad dat adviezen worden genegeerd. Wij onderschrijven dat hierdoor een onnodig risico ontstaat. Daarom zullen adviezen bij elk nieuw Uthiek Assessment niet meer vrijblijvend zijn. Dit zal uiterlijk eind Q3 2026 gerealiseerd zijn. Daarnaast verkennen we op welke manier vanuit Uthiek monitoring wordt georganiseerd m.b.t. het verplicht opvolgen van Uthiek Assessment adviezen. Hierbij houden we aandacht voor het periodiek herijken van Uthiek Assessments. Trainingsaanbod medewerkers Op dit moment is er al een trainingsaanbod op algoritmes/AI voor verschillende doelgroepen van gemeentelijke medewerkers. We zijn momenteel bezig om dit trainingsaanbod te vergroten, omdat we zien dat dit onderwerp alleen maar groter en belangrijker wordt. De AI Verordening vraagt van organisaties in de EU interne stimulering van de AI-geletterdheid.

In dat kader is binnen gemeente Utrecht al veel aan opleiding gedaan voor ca 500 medewerkers. Daarnaast wordt een verplichte digitale e-learning voor alle gemeentelijke medewerkers eind Q1 2026 van kracht. Hierin staat ook op hoofdlijnen informatie opgenomen over algoritmes en AI. In 2026 zullen we tevens aandacht besteden aan

20

hantering van het risicobeheersingskader, specifiek gericht op de medewerkers die deze beoordelingen bij algoritmes en AI moeten uitvoeren. AANBEVELING 3: VERBETER DE INTERNE EN EXTERNE VERANTWOORDING OVER ALGORITMES DOOR HELDERE INDICATOREN EN AFSPRAKEN OVER INFORMATIEVOORZIENING AAN DE GEMEENTERAAD Vergroot het inzicht in de consequenties van het gebruik van algoritmes bij de uitvoering. Bepaal beoordelings- en sturingscriteria voor de toepassing van algoritmes om gericht te sturen en verantwoording af te leggen. Dit kunnen zowel kwalitatieve als kwantitatieve indicatoren zijn, zoals de stand van zaken rond uitgevoerde DPIA’s en Uthiek-assessments. Dit kan ook bijdragen aan het versterken van de relatie tussen centrale sturing en decentrale uitvoering. Maak daarnaast afspraken met de gemeenteraad over het tijdig informeren van de raad over de beoogde inzet van impactvolle algoritmes bij nieuw of gewijzigd beleid. Op die manier kan de gemeenteraad van tevoren beter afwegen of het toepassen van een impactvol algoritme verantwoord is. Maak ook afspraken met de gemeenteraad over de informatievoorziening en verantwoording over de impactvolle algoritmes die in gebruik zijn. Op die manier krijgen raadsleden meer 14 inzicht in het actuele gebruik van algoritmes, binnen welke domeinen deze worden toegepast (en waarom) en met welke consequenties dit gebeurt.

Aanbeveling 3 nemen wij over. Verantwoording over algoritmen aan de gemeenteraad De AI Verordening verplicht ons om gerichter en specifieker te verantwoorden bij de toepassing van algoritmes/AI. Deze wettelijke verplichtingen bepalen daarmee dus deels de beoordelings- en sturingscriteria. We onderschrijven het belang van deze aanbeveling en gaan aan de slag met het opstellen van indicatoren, voor zowel interne als externe verantwoording. We doen begin Q1 2026 een voorstel aan de gemeenteraad over de structurele verantwoording mbt algoritmes/AI. Hierin wordt ook onderscheid gemaakt tussen de verantwoording over algoritmes/AI op zowel generiek niveau als per digitaliseringstraject waarin een hoog risico algoritme/AI wordt toegepast. We gaan verkennen of en hoe ons algoritmeregister geschikt is om bepaalde indicatoren in op te nemen. Informatie over de toetsing op zowel privacy als Uthiek komt nu al terug in het algoritmeregister. Informatievoorziening over algoritmen aan de gemeenteraad Op basis van het openbaar algoritmeregister, dat kwalitatief verbeterd wordt, kan de gemeenteraad inzicht verkrijgen over de manier waarop impactvolle en/of hoog risico algoritmes worden toegepast. Daarnaast doen we het aanbod om bijeenkomsten voor 21

raadsleden te organiseren, gericht op algoritmes. Dergelijke bijeenkomsten zijn al eens georganiseerd voor digitale onderwerpen als Uthiek, waarbij raadsleden achteraf vertelden dat ze tevreden waren met de uitkomsten. Namelijk dat ze beter geïnformeerd zijn, en op basis van casuïstiek een beter beeld en gevoel hebben hoe de toepassing van algoritmes plaatsvindt en maatschappelijke impact heeft. Tot slot Wij danken u voor uw aandacht voor het onderwerp algoritmes. Wij herkennen uw aanbevelingen en betrekken die in de verdere verbetering van de toepassing en risicobeheersing m.b.t. algoritmes. Hoogachtend, Burgemeester en wethouders van Utrecht, 25 november 2025

NAWOORD REKENKAMER Rekenkamer Utrecht dankt het college voor de uitgebreide en gestructureerde reactie op het rapport. Wij zien dat het college onze conclusies herkent en onderschrijft en onze aanbevelingen grotendeels overneemt. Alleen bij de tweede aanbeveling maakt het college ten dele een voorbehoud vanwege de afhankelijkheid van de toekenning van benodigde middelen. Wij herkennen in de reactie van het college het belang om het gebruik van, de risicobeheersing op en de verantwoording over algoritmes nadrukkelijk in de context te plaatsen van de actuele ontwikkelingen rond AI en de vereisten in het kader van de AI-verordening. Wij zien de behandeling van het rapport en de verdere uitwerking in het plan van aanpak met belangstelling tegemoet.

22

Deel II Nota van bevindingen

23

DEEL II NOTA VAN BEVINDINGEN 1 1.1

INLEIDING AANLEIDING

Veel gemeenten gebruiken AI en algoritmes. Zij vragen zich meer en meer af hoe ze deze verantwoord kunnen ontwikkelen, inkopen en toepassen. De mogelijkheden van algoritmes, op allerlei gebieden van het dagelijks leven, zijn veelbelovend. Tegelijkertijd waarschuwen onderzoeksinstituten, het Europees Parlement, mensenrechtenorganisaties en grote technologiebedrijven voor de potentiële risico’s. Denk aan privacyschending, discriminatie en het vergroten van verdeeldheid en kansenongelijkheid. Veel organisaties stellen de vraag hoe de inzet van algoritmes op een verantwoorde manier kan bijdragen aan onder andere efficiëntie, kostenbesparing en het beter bedienen van burgers. Ook bij gemeenten wordt deze vraag steeds vaker gesteld, zeker met het oog op het naderende ravijnjaar 2026.4

1.2

DOEL EN ONDERZOEKVRAGEN

Het doel van dit onderzoek is om inwoners, raadsleden en andere belanghebbenden inzicht te geven in hoe de gemeente omgaat met algoritmes en welk beleid hiervoor is geformuleerd. Het gaat hierbij om het verantwoord toepassen van algoritmes, waarbij rekening wordt gehouden met de risico’s ervan. De centrale vraag van het onderzoek luidt: In hoeverre geeft de gemeente Utrecht invulling aan een verantwoorde toepassing van het gebruik van algoritmes en wat kan daarvan worden geleerd? Deze centrale vraag werken we uit aan de hand van de volgende onderzoeksvragen (algemeen en casusspecifiek): 1) In hoeverre heeft de gemeente in opzet invulling gegeven aan de randvoorwaarden voor een verantwoorde toepassing van algoritmes? 2) In hoeverre heeft de gemeente de risico’s op de gebieden van ethiek, sturing en verantwoording, model en data, privacy en IT-beheer van de toegepaste algoritmes in beeld en welke beheersmaatregelen zijn getroffen voor de onderkende risico’s? 3) In hoeverre wordt intern en extern toezicht gehouden op en verantwoording afgelegd over algoritmes? 4 Het jaar 2026 wordt door o.a. de VNG geduid als (financieel) ravijnjaar. Er is een miljardenbezuiniging

aangekondigd op het gemeentefonds voor 2026. Daarnaast hebben gemeenten te maken met hogere uitgaven en stijgende zorgkosten. 24

Voor vijf algoritmes wordt de bestaande praktijk getoetst. 4) Hoe wordt het algoritme toegepast? a) Wat is het beoogde doel van het algoritme en wordt ook vastgesteld dat het doel is bereikt? b) Bij welke ondersteunende of besluitvormende processen wordt het algoritme toegepast? c) Wat zijn kenmerken van de gebruikte data? d) Wat is de herkomst van de data? e) Wat voor soort algoritme betreft het? f) Hoe is de besluitvorming over de toepassing van dit algoritme tot stand gekomen? g) Zijn er alternatieven overwogen? h) Welke impact op burgers of bedrijven is voorzien? 5) Hoe wordt de raad betrokken bij en geïnformeerd over (de uitvoering van) het beleid ten aanzien van de algoritmes? 6) Hoe wordt de gemeenteraad in positie gebracht om zijn sturende, controlerende en volksvertegenwoordigende verantwoordelijkheid waar te maken? Voor de analyse en toetsing is een normenkader opgesteld, dat mede is afgeleid van het Toetsingskader Algoritmes (2023) van de Algemene Rekenkamer (AR).5 Dit instrument is specifiek ontwikkeld voor (overheids)organisaties om te kunnen toetsen of algoritmes aan bepaalde kwaliteitscriteria voldoen, én of de risico’s voldoende in beeld zijn en/of worden beperkt. In plaats van één of twee algoritmes minutieus te onderwerpen aan een beoordeling is gekozen voor een meer kwalitatieve toetsing van vijf algoritmes.

Dit geeft een rijk en gevarieerd beeld van de manier waarop algoritmes door de gemeente Utrecht in processen en diensten worden toegepast. Deze werkwijze geeft bovendien de mogelijkheid om de risicobeheersing binnen verschillende domeinen bij verschillende organisatieonderdelen in beeld te brengen. Een aantal onderzoeksvragen wordt deels beantwoord aan de hand van een normenkader. Per hoofdstuk wordt een deel van het normenkader beoordeeld naar de mate waarin aan de normen wordt voldaan (rood, oranje, groen, grijs en wit) opgenomen. Een rood vlak betekent dat er niet aan de norm voldaan wordt. Oranje wijst erop dat er gedeeltelijk aan de norm wordt voldaan en groen wil zeggen dat er (grotendeels) aan de norm voldaan is. Met grijs wordt aangegeven dat de realisatie ten opzichte van de norm niet door de rekenkamer te

5 Het toetsingskader is in eerste instantie bedoeld als toetsinstrument voor auditors (controleurs en

toezichthouders), zo schetst de Algemene Rekenkamer. Het integrale toetsingskader is daarom op zichzelf niet goed toepasbaar als normenkader. Vandaar dat we voor het onderzoek normen hebben afgeleid. 25

beoordelen is. Wit betekent dat de norm niet van toepassing is, omdat het algoritme nog niet of niet meer in gebruik is. Definitie Wat verstaan we onder algoritmes? Voor de term ‘algoritme’ gebruiken we de definitie van de Algemene Rekenkamer, die ook wordt gebruikt voor het algoritmeregister. Een algoritme is: “(…) een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden.”6 Deze definitie is breed geformuleerd. Hier vallen bijvoorbeeld ook simpele beslisbomen onder. Kortom, het gaat hier over de brede toepassing van beslisbomen tot systemen met een hogere mate van complexiteit. In het onderzoek wordt op verschillende plaatsen naar algoritmes verwezen die door de gemeente Utrecht worden gebruikt. Het is niet mogelijk om een volledig overzicht van alle in gebruik zijnde algoritmes te bieden; dat gaat om duizenden, gegeven de brede definitie zoals hierboven staat.

6 Zie het algoritmeregister: https://algoritmes.overheid.nl/nl/footer/over-algoritmes.

26

1.3

WERKWIJZE EN AFBAKENING

Werkwijze Het onderzoek voerden wij uit aan de hand van onderstaande vijf stappen. De werkwijze in het onderzoek lichten wij nader toe in bijlage 2.

Afbakening Wij hebben verschillende keuzes gemaakt om het onderzoek af te bakenen. Deze beschrijven we hieronder puntsgewijs:  De instelling van het algoritmeregister (oktober 2020) nemen we als startpunt voor ons onderzoek. Daarbij ligt de nadruk op de actuele stand van het algoritmeregister per 2025.  Het onderzoek richt zich niet op de vraag of beleidsdoelen van de gemeente met algoritmes, zoals onder meer verwoord in de visie digitale stad (bijvoorbeeld voor het benutten van de kansen van digitalisering), worden gerealiseerd.  Het inwonerperspectief laten we in dit onderzoek buiten beschouwing. Dit betekent dat we geen (aanvullend) belevingsonderzoek zullen doen om na te gaan hoe algoritmes door inwoners worden ervaren.  Wij onderzoeken niet de duurzaamheid en het energieverbruik rond algoritmes, evenmin als het kosten-batenaspect.

27

1.4

LEESWIJZER

In hoofdstuk 2 beschrijven we welk beleid de gemeente voert op algoritmes. Vervolgens gaan we in hoofdstuk 3 in op de manier waarop de gemeenteraad hierbij betrokken wordt en welke opvattingen raadsleden zelf hebben over de toepassing van algoritmes. Hoofdstuk 4 staat in het teken van de opzet en uitvoering van risicobeheersing bij algoritmes. Daarna toetsen we in het 5e hoofdstuk vijf algoritmes uit de praktijk. Van deze algoritmes beschrijven we nauwgezet en diepgaand hoe de gemeente de risicobeheersing in de praktijk uitvoert. In bijlage 1 is een lijst met afkortingen opgenomen. In bijlage 2 wordt verantwoording over het onderzoek afgelegd, en is een lijst opgenomen van de geraadpleegde personen en documenten. Bijlage 3 bevat de vijf uitgebreide casusrapportages, en bijlage 4 biedt tot slot een overzicht van de huidige algoritmes die Utrecht in het landelijk algoritmeregister heeft gepubliceerd.

28

2

UTRECHT TRANSPARANT OVER ALGORITMES, MAAR KWALITEIT VAN ALGORITMEREGISTER MOET BETER

De gemeente heeft aandacht voor een verantwoorde toepassing van algoritmes. Utrecht heeft een duidelijke visie op digitalisering waarin transparantie en publieke waarden7, zoals rechtvaardigheid, privacy en autonomie, centraal staan. Er zijn interne richtlijnen opgesteld voor algoritmes. De richtlijnen beschrijven de uitgangspunten en afspraken met betrekking tot het gebruik en beheer van algoritmes in Utrecht. Deze worden in de uitvoering grotendeels gevolgd, maar er zijn binnen dit onderzoek ook afwijkingen geconstateerd. De governance, rollen en verantwoordelijkheden voor algoritmes zijn in algemene zin beschreven, maar missen nog specifieke uitwerking voor de uitvoering. Via het landelijk algoritmeregister werkt de gemeente aan transparantie, maar de kwaliteit van de gepubliceerde informatie schiet nog tekort. In dit hoofdstuk beschrijven we op welke manier de gemeente Utrecht wenst om te gaan met de toepassing van algoritmes en in hoeverre aan de beleidsambities wordt voldaan. We beantwoorden daarmee onderzoeksvraag 1: In hoeverre heeft de gemeente in opzet invulling gegeven aan de randvoorwaarden voor een verantwoorde toepassing van algoritmes? Tevens beantwoorden we in dit hoofdstuk onderzoeksvraag 3: In hoeverre wordt intern en extern toezicht gehouden op en verantwoording afgelegd over algoritmes?

Bij deze onderzoeksvragen horen twee algemene normen. In de tabel hieronder zijn de normen en bijbehorende beoordeling op hoofdlijnen beschreven. De nadere onderbouwing komt in de rest van het hoofdstuk aan bod. Tabel 2.1

Normen en beoordeling “Beleid”

Norm

Oordeel

De gemeente heeft impactvolle en hoog-risico algoritmes gepubliceerd in

De gemeente heeft impactvolle algoritmes gepubliceerd in het landelijk algoritmeregister. Maar de kwaliteit van de

het landelijk algoritmeregister

gepubliceerde informatie schiet nog tekort.

De gemeente organiseert regelmatig evaluaties en brengt geleerde lessen in

De gemeente Utrecht laat zien dat ze verbeteringen treft op basis van onderzoeken en externe evaluaties, zoals

praktijk

een 213a-onderzoek door Concernaudit. Daarnaast kijkt de gemeente kritisch naar het eigen beleid en de uitvoering daarvan.

7 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (mei, 2025). Handreiking Algoritmeregister,

p. 9. In het landelijk algoritmeregister publiceren Nederlandse overheidsorganisaties informatie over algoritmes die ze gebruiken die een grote invloed kunnen hebben op mensen, processen of besluiten. Het ministerie van BZK geeft als advies om impactvolle en hoog-risico algoritmes in het algoritmeregister te publiceren. 29

In dit hoofdstuk wordt antwoord gegeven op de vraag in hoeverre de gemeente (in opzet) invulling geeft aan de randvoorwaarden voor een verantwoorde inzet van algoritmes. Hiervoor beschrijven we achtereenvolgens de uitgangspunten uit het beleid, de manier waarop de gemeente deze uitgangspunten tot uitvoering brengt, de manier waarop de aansturing is ingevuld en rollen en verantwoordelijkheden zijn belegd en in hoeverre de gemeente de eigen aanpak evalueert en verbetert. We geven een kritische beschouwing in hoeverre de ambities en voornemens zijn uitgewerkt en geïmplementeerd en ook als er sprake is van afwijkingen en/of tekortkomingen. Deze subonderdelen geven een totaalbeeld op de vraag of de gemeente invulling geeft aan de randvoorwaarden voor een verantwoorde inzet van algoritmes.

2.1

BELEIDSMATIG AANDACHT VOOR RANDVOORWAARDEN VOOR EEN VERANTWOORDE TOEPASSING VAN ALGORITMES

Hoe de gemeente op een verantwoorde manier met algoritmes wil omgaan komt op verschillende beleidsniveaus terug. De strategie voor digitalisering, waar ook algoritmes onder vallen, staat in de Visie Digitale Stad.8 De concrete uitwerking van de strategische ambities voor algoritmes zijn vastgelegd in twee richtlijnen: 1) de interne richtlijnen toepassing algoritmes9 en de 2) interne richtlijnen toepassing Uthiek10 (Uthiek is een samenvoeging van de woorden ‘ethiek’ en ‘Utrecht’). De richtlijnen geven een vertaling van de ambities en uitgangspunten op tactisch en operationeel niveau. Figuur 2.2

Utrechts beleid voor algoritmes in drie lagen opgebouwd

Strategie Visie Digitale Stad (2021) Tactische en operationele uitwerking Interne richtlijnen toepassing algoritmes (2023) Tactische en operationele uitwerking Interne richtlijnen toepassing Uthiek (2024) Bron: Rekenkamer Utrecht (2025) o.b.v. gemeentelijk beleid.

De opbouw van het beleid voor algoritmes is samengevat in figuur 2.2. In sub-paragrafen worden de afzonderlijke beleidsstukken nader toegelicht.

8 Gemeente Utrecht (2021). Visie Digitale Stad 2021-2025. 9 Gemeente Utrecht (2023). Interne richtlijnen toepassing algoritmes. 10 Gemeente Utrecht (2024). Interne richtlijnen toepassing Uthiek.

30

2.1.1 Visie Digitale Stad Gemeente wil waardengedreven en ethisch met algoritmen omgaan In de Visie Digitale Stad 2021-2025 schetst de gemeente dat zij de kansen die digitalisering biedt maximaal wil benutten om de opgaven in de stad te realiseren en zo bij te dragen aan een gezonde leefomgeving voor iedereen. In de visie wordt ook beknopt stilgestaan bij de rol van algoritmes bij digitalisering. Er staat dat de gemeente bijzondere aandacht heeft voor de transparantie rondom algoritmes en kunstmatige intelligentie. Hiervoor wil de gemeente het gebruik van algoritmes openbaar maken (dit is op moment van schrijven aan dit rapport nog niet wettelijk verplicht). Dit moet bijdragen aan het versterken van de informatiepositie van inwoners. Figuur 2.3

Sturing op digitalisering vindt plaats langs acht Utrechtse waarden

Bron: Gemeente Utrecht (2021). Visie Digitale Stad.

31

Om op een juiste, veilige en eerlijke manier met digitalisering om te gaan, werkt de gemeente vanuit acht Utrechtse waarden.11 Deze staan beschreven in het Utrechtse waardenmodel (zie figuur 2.3). De waarden zijn gebaseerd op het waardenmodel van het Rathenau Instituut en vertaald naar de Utrechtse praktijk. Bovendien heeft de gemeente Utrecht er een achtste waarde toegevoegd, namelijk gezondheid. De visie beschrijft dat de gemeente het Utrechtse waardenmodel in alle digitaliseringsprojecten, dus ook algoritmes, gebruikt om vanuit een multidisciplinair blikveld digitale ethische dilemma’s te identificeren en afwegingen te maken. Hiervoor gebruikt de gemeente een ethisch instrument genaamd ‘Uthiek Assessment’. De werking van dit instrument wordt onder het kopje ‘interne richtlijnen toepassing Uthiek’ verder toegelicht.

2.1.2 Interne richtlijnen voor toepassing algoritmes Menselijke tussenkomst bij toepassing algoritmes belangrijk uitgangspunt De richtlijnen beschrijven de werkwijze, afspraken, uitgangspunten, rollen en verantwoordelijkheden op het gebied van het gebruik en beheer van algoritmes door de gemeente. De richtlijnen geven daarmee een uitwerking van de Visie Digitale Stad. De Interne richtlijnen toepassing algoritmes zijn in 2023 ook met de gemeenteraad gedeeld. De gemeente vindt het belangrijk om de richtlijnen openbaar beschikbaar te stellen, zodat “(…) bewoners en ondernemers, maar ook andere lezers, kunnen zien op welke manier we bij de gemeente Utrecht bewust en verantwoord gebruik maken van algoritmes.”12 Dit is een duidelijke uiting van de transparantie die de gemeente bij algoritmes voorstaat. De richtlijnen starten met een afbakening en definitiebepaling wat de gemeente onder algoritmes verstaat (zie box 2.4). Box 2.4 De gemeente Utrecht hanteert twee typen algoritmes De interne richtlijnen toepassing algoritmes van de gemeente Utrecht definiëren een algoritme als volgt: “Een algoritme is een stappenplan, opgebouwd uit een wiskundige formule die besluitvorming kan ondersteunen. Binnen de gemeente worden verschillende algoritmes gebruikt. Deze kunnen variëren van een eenvoudige beslisboom met een beperkt aantal variabelen tot complexe en zelflerende algoritmes.