Rekenkamerrapport Verantwoord omgaan met algoritmes

55

5

ALGORITMES IN DE PRAKTIJK: BEHEERSMAATREGELEN NIET CONSEQUENT TOEGEPAST

Op basis van casusonderzoek bij vijf algoritmes zien wij dat bij de inzet van algoritmes aan de voorkant afwegingen worden gemaakt. Er is risicobewustzijn, maar borging van risico’s en het nemen van maatregelen gebeuren niet consequent. Monitoring en heroverwegingen zijn beperkt. Er worden DPIA’s opgesteld, maar deze worden niet structureel herijkt en zijn veelal verouderd. Er worden soms beheersmaatregelen genomen rond IT-beheer, maar de invulling daarvan is inconsistent. In dit hoofdstuk beschrijven we hoe de gemeente het risicobeheer in de praktijk toepast door naar vijf specifieke algoritmes te kijken. We beschrijven de werking van de algoritmes en welke beheersmaatregelen zijn getroffen voor de onderkende risico’s. We beantwoorden daarmee de tweede onderzoeksvraag en de vierde deelvraag: In hoeverre heeft de gemeente de risico’s op de gebieden van ethiek, sturing en verantwoording, model en data, privacy en IT-beheer van de toegepaste algoritmes in beeld en welke beheersmaatregelen zijn getroffen voor de onderkende risico’s? En: Hoe wordt het algoritme toegepast?

5.1

UITLEG EN OPBOUW VAN DIT HOOFDSTUK

De rekenkamer heeft aan de hand van selectiecriteria (zie de onderzoeksverantwoording in bijlage 2) vijf algoritmes geselecteerd voor analyse en toetsing: 1. Woninginbraak-voorspeller (uitgefaseerd); 2. Aanmeldbeleid basisscholen (in gebruik); 3. Risico-indicatoren jonge aanwas drugscriminaliteit (in gebruik); 4. Uitkering participatiewet (in gebruik); 5. Beslisondersteuning bij aanvraag- en toetsingsprocessen (subsidieaanvraag, in ontwikkeling). In de volgende paragraaf (5.2) wordt ingegaan op algemene constateringen omtrent het risicobeheer van algoritmes die naar aanleiding van deze vijf casussen naar voren komen. In de hierop volgende paragrafen beschrijven we de uitkomst van de beoordeling per algoritme. We starten steeds met een bondige omschrijving van de werking en toepassing van het algoritme. Daarna volgt een beoordeling van het algoritme aan de hand van de vier domeinen uit het normenkader die voor dit onderzoek zijn gebruikt, te weten sturing en verantwoording, model en data, privacy en IT-beheer. De beoordeling is in een tabel opgenomen met per norm de mate waarin eraan wordt voldaan (rood, oranje, groen, grijs en 56

wit). Een rood vlak betekent dat er niet aan de norm voldaan wordt. Oranje wijst erop dat er deels (gedeeltelijk) aan de norm wordt voldaan en groen wil zeggen dat er (grotendeels) aan de norm voldaan is. Met grijs wordt aangegeven dat de realisatie ten opzichte van de norm niet door de rekenkamer te beoordelen is. Dat kan bijvoorbeeld omdat er te weinig informatie beschikbaar is om een beoordeling te kunnen geven. Met wit wordt ten slotte aangegeven dat een norm niet van toepassing is. Dat kan bijvoorbeeld voorkomen als een algoritme is uitgefaseerd of nog niet in werking is. Per algoritme is vervolgens een korte samenvatting van de beoordeling opgenomen. Voor een volledig overzicht van de overwegingen bij elk domein verwijzen we naar bijlage 3. Hieronder staat het normenkader met de normen per domein waarop de algoritmes beoordeeld zijn. Tabel 5.1

Normenkader waaraan de casussen zijn getoetst

Domein

Norm

Sturing en



De doelstelling van het algoritme is gedefinieerd en vastgelegd.

verantwoording



De gemeente maakt expliciete afwegingen over het gebruik van het



algoritme, zowel gericht op de voordelen als risico’s. De gemeente heeft heldere (contract)afspraken met leveranciers over de



risicobeheersing van het algoritme die ze niet zelf beheert. De gemeente heeft rollen, taken en verantwoordelijkheden voor het gebruik van het algoritme in processen en diensten gedefinieerd en belegd.



De gemeente monitort en evalueert op periodieke basis het gebruik van het algoritme op gebied van risico’s, prestatiekwaliteit en compliancy.

Model en data



De gemeente kan uitleggen hoe het in gebruik zijnde algoritme werkt en



kan verklaren hoe de output tot stand komt. De data die voor de werking van het algoritme wordt gebruikt zijn juist,



betrouwbaar en bevatten geen onwenselijke bias. Het in gebruik zijnde algoritme discrimineert niet en schendt geen grondrechten en mensenrechten.

Privacy



De beslissingen die door het algoritme worden gemaakt zijn te controleren door menselijke tussenkomst.



De gemeente heeft het functioneel en technisch beheer voor het algoritme ingericht en belegd.



De verwerking van persoonsgegevens met het algoritme is gerechtvaardigd en vastgelegd in een verwerkersregister en/of overeenkomst.



De verwerking van persoonsgegevens met het algoritme is verenigbaar met het vastgelegde doel (doelbinding).



De verwerking van persoonsgegevens met het algoritme is proportioneel en relevant in relatie tot het doel (dataminimalisatie).

57



De persoonsgegevens die met het algoritme worden verwerkt worden niet langer bewaard dan noodzakelijk op basis van bewaartermijnen.

IT-beheer



De gemeente heeft een DPIA uitgevoerd voor een algoritme met een (hoog) privacy risico.



De gemeente heeft algoritmes waarin persoonsgegevens worden verwerkt opgenomen in het privacybeleid en –verklaring.



Betrokkenen kunnen een beroep doen op hun privacy rechten bij algoritmes waarin persoonsgegevens worden verwerkt.



De gemeente heeft het toegangsbeheer en allocatie van



gebruikersrechten voor het algoritme ingericht. De gemeente houdt loginformatie bij over de werking van het algoritme.



De gemeente heeft een wijzigingsproces ingericht voor het wijzigen van de functie en werking van he t algoritme.



De gemeente neemt maatregelen om de informatiebeveiliging van gegevens bij het gebruik van het algoritme te borgen.



De medewerkers die met het algoritme werken zijn deskundig en voldoende toegerust om de risico’s te beheersen.

5.2

SAMENGEVAT: BEOORDELING BEHEERSMAATREGELEN

Op basis van de analyse van de casuïstiek kunnen in algemene zin een aantal constateringen worden gedaan. Deze worden hieronder per thema geschetst en afgerond met een tabel met de scores voor elk van de casussen (genummerd in de hiervoor genoemde volgorde). Sturing en verantwoording: Aan de voorkant worden afwegingen gemaakt, monitoring of heroverwegingen zijn beperkt De ambtelijke organisatie heeft aandacht voor de doelstelling van de algoritmes die worden gebruikt. Het valt echter op dat risico’s bij de toepassing van het algoritme niet op vastgelegde (periodieke) momenten worden (her)overwogen. Ook is er weinig aandacht voor de monitoring van prestaties bij het ontwikkelen of inkopen van algoritmes. Bij alle onderzochte algoritmes was of is er sprake van een samenwerking met een externe partij. Uit de casusbesprekingen bleek dat met externe partijen over het algemeen afspraken zijn gemaakt over gegevensverwerking, maar in een aantal gevallen is de vastlegging hiervan niet terug te vinden en/of is documentatie verouderd.

58

Tabel 5.2

Toetsing van de vijf algoritmes aan de normen voor sturing en verantwoording

Domein Sturing en verantwoording Formulering norm De doelstellingen van de algoritmes die worden gebruikt zijn gedefinieerd en vastgelegd De gemeente maakt expliciete afwegingen over het gebruik van algoritmes, zowel gericht op de voordelen als risico’s De gemeente heeft heldere (contract)afspraken met leveranciers over de risicobeheersing van algoritmes die ze niet zelf beheert De gemeente heeft rollen, taken en verantwoordelijkheden voor het gebruik van algoritmes in processen en diensten gedefinieerd en belegd De gemeente monitort en evalueert op periodieke basis het gebruik van algoritmes op gebied van risico’s, prestatiekwaliteit en compliancy

1

Casus 3

2

4

5

Model en data: Er is risicobewustzijn, borging gebeurt niet consequent De ambtelijke organisatie lijkt zich over het algemeen bewust van de risico’s die samenhangen met de kwaliteit van de data en de ontwikkeling, het gebruik en het onderhoud van het model waarop het algoritme is gebaseerd. In een aantal gevallen is de kwaliteit van de data bij aanvang als goed beschouwd, maar is de kwaliteit gedurende het gebruik niet opnieuw getoetst. Borging van de datakwaliteit ontbreekt daardoor. Ook valt op dat niet in alle gevallen kan worden verklaard hoe het algoritme tot haar output kwam/komt, bijvoorbeeld wanneer het algoritme niet onder eigen beheer valt of wanneer kennis verloren is gegaan als eerder betrokken medewerkers zijn vertrokken. Wel vindt bij elk onderzocht algoritme besluitvorming plaats op basis van betrokkenheid van een mens. Dit is in lijn met de uitgangspunten van de Interne richtlijnen toepassing algoritmes. Tabel 5.3

Toetsing van de vijf algoritmes aan de normen voor model en data

Domein Model en data Formulering norm De gemeente kan uitleggen hoe de in gebruik zijnde algoritmes werken en verklaren hoe de output tot stand komt De data die voor de werking van algoritmes worden gebruikt zijn juist, betrouwbaar en bevatten geen onwenselijke bias De in gebruik zijnde algoritmes discrimineren niet en schenden geen grondrechten en mensenrechten De beslissingen die door algoritmes worden gemaakt zijn te controleren door menselijke tussenkomst De gemeente heeft het functioneel en technisch beheer voor het gebruik van algoritmes ingericht en belegd

1

2

Casus 3

4

5

Privacy: Er worden DPIA’s opgesteld, maar deze worden niet structureel herijkt en zijn veelal verouderd Het merendeel van de onderzochte algoritmes verwerkt persoonsgegevens. Het is van belang dat de algoritmes voldoen aan de wettelijke verplichtingen die gelden voor het 59

verwerken van persoonsgegevens. Voor de meeste algoritmes is (tijdig) een DPIA opgesteld, maar in de meeste gevallen is deze verouderd. In een enkel geval, namelijk die van de woninginbraakvoorspeller, kon de DPIA helemaal niet worden teruggevonden. Ook kon er in de meeste gevallen niet worden bevestigd of en hoe er opvolging was gegeven aan de beschreven maatregelen uit de DPIA om de gesignaleerde risico’s aan te pakken. Verder zijn gemeenten verplicht een privacyverklaring op te stellen. Dit doet de gemeente Utrecht ook. Alle in gebruik zijnde algoritmes die persoonsgegevens verwerken zijn opgenomen in de privacyverklaring. Voor meer informatie over welke persoonsgegevens worden verwerkt en hoe lang ze bewaard worden, met welk doel ze worden verwerkt, wat de wettelijke grondslag daarvoor is en wie de betrokkenen zijn, wordt er verwezen naar het register van verwerkingen. Alleen voor het algoritme risico-indicatoren jonge aanwas in de drugscriminaliteit, dat onderdeel uitmaakt van de verwerking City Deal Zicht op Ondermijning, mist deze verwijzing. Tabel 5.4

Toetsing van de vijf algoritmes aan de normen voor privacy

Domein Privacy Formulering norm De verwerking van persoonsgegevens met algoritmes is gerechtvaardigd en vastgelegd in een verwerkersregister en/of overeenkomst De verwerking van persoonsgegevens met algoritmes is verenigbaar met het vastgelegde doel (doelbinding) De verwerking van persoonsgegevens met algoritmes is proportioneel en relevant in relatie tot het doel (dataminimalisatie) De persoonsgegevens die met algoritmes worden verwerkt worden niet langer bewaard dan noodzakelijk op basis van bewaartermijnen De gemeente voert DPIA’s uit voor algoritmes met een (hoog) privacyrisico De gemeente heeft algoritmes waarin persoonsgegevens worden verwerkt opgenomen in het privacybeleid en –verklaring Betrokkenen kunnen een beroep doen op hun privacy rechten bij algoritmes waarin persoonsgegevens worden verwerkt

1

2

Casus 3

4

5

IT-beheer: Er worden beheersmaatregelen genomen rond IT-beheer De ambtelijke organisatie is zich over het algemeen voldoende bewust van de mogelijke risico’s rond IT-beheer en heeft beheersmaatregelen genomen die deze risico’s in redelijke mate afdekken. Voor drie algoritmes geldt dat de toegang tot het onderliggende model en de bijbehorende data beperkt is tot een selecte groep medewerkers. Hoewel dit bijdraagt aan de beveiliging, blijkt dat de controle van toegangsrechten in sommige gevallen handmatig gebeurt. Daardoor is er een risico dat de toegangsrechten niet altijd up-to-date zijn. Verder worden er logbestanden gegenereerd van activiteiten binnen de omgeving waarin het algoritme draait. Deze logbestanden worden bewaard en kunnen worden gemonitord.

60

Bij twee van de vijf algoritmes zijn de normen voor het thema IT-beheer niet beoordeeld. De reden hiervoor is dat het algoritme voor beslisondersteuning zich nog in de ontwikkelfase bevindt. In het geval van de jonge aanwas drugcriminaliteit geldt dat ICT Uitvoeringsdienst (ICTU) het algoritme beheert. De gemeente Utrecht maakt alleen gebruik van de (openbaar beschikbare) output. Hierdoor zijn de normen rond IT-beheer van het algoritme niet van toepassing. Tabel 5.5

Toetsing van de vijf algoritmes aan de normen voor IT-beheer

Domein IT-beheer Formulering norm De gemeente heeft het toegangsbeheer en allocatie van gebruikersrechten voor algoritmes ingericht De gemeente houdt loginformatie bij over de werking van algoritmes De gemeente heeft een wijzigingsproces ingericht voor het wijzigen van de functie en werking van algoritmes De gemeente neemt maatregelen om de informatiebeveiliging van gegevens bij het gebruik van algoritmes te borgen De medewerkers die met algoritmes werken zijn deskundig en voldoende toegerust om de risico’s te beheersen

5.3

1

2

Casus 3

4

5

WONINGINBRAAKVOORSPELLER (UITGEFASEERD)

Tussen 2015 en 2019 heeft de gemeente Utrecht gewerkt met een algoritme ten behoeve van het voorspellen van woninginbraak. Het doel was om het aantal woninginbraken in de stad te verminderen. In het kader van het programma Datagedreven Sturing is een datamodel ontwikkeld waarmee de gemeente op basis van historische data op grote lijnen kon voorspellen waar woninginbraak zou gaan plaatsvinden. Er werd onder andere gebruikgemaakt van data van de politie over eerdere woninginbraken op adresniveau. Maar ook andere data werd benut, zoals de nabijheid van openbaar vervoer, camera’s, lantarenpalen en of mensen hun afvalcontainers buiten de poort hadden geplaatst.84 De data uit het datamodel werden gepresenteerd als informatie op een dashboard en elke twee weken met de veiligheidsteams besproken. Dat houdt in de praktijk in dat de handhavers van Vergunningen, Toezicht en Handhaving (VTH) met de informatie op pad gingen richting de gebieden waar de kans op woninginbraak relatief groot was. Daar werden diverse interventies ingezet, zoals folders in de brievenbus met informatie over een subsidie op hang- en sluitwerk, of borden op de toegangswegen met ‘Pas op: inbrekers actief’. Hiermee kregen bewoners concrete handvatten en tips van de gemeente om woninginbraak te voorkomen.85

84 Gemeente Utrecht (2021). Uthiek Assessment (052) Risico Indicatoren Drugspanden, p. 1. 85 Gemeente Utrecht (2021). Uthiek Assessment (052) Risico Indicatoren Drugspanden, p. 1.

61

Hoewel de woninginbraakvoorspeller al sinds 2019 niet meer actief werd gebruikt door een fout in het datamodel, is het algoritme pas in 2023 in het algoritmeregister niet langer als actief aangemerkt.86 Uit het onderzoek is niet duidelijk geworden waarom de woningbraakvoorspeller niet eerder formeel is uitgefaseerd. Samenvatting beoordeling normen Er is documentatie over het algoritme beschikbaar, maar deze beperkt zich met name tot de pilotfase, die liep van maart 2015 tot en met december 2015. De Woninginbraakvoorspeller is daarna in eigen beheer van de gemeente gekomen, maar van die periode is weinig tot geen documentatie beschikbaar, met uitzondering van een Uthiek assessment dat met terugwerkende kracht is uitgevoerd in 2021. Om die reden kan een groot aantal normen niet beoordeeld worden. Zo is het bijvoorbeeld niet bekend of en welke afspraken er toen zijn gemaakt met leveranciers en partners. Een formele vastlegging van de rollen, taken en verantwoordelijkheden van die periode kan ook niet worden teruggevonden. De data waarvan gebruikt werd gemaakt waren afkomstig van verschillende bronhouders, zowel interne als externe partners. De data werden getoond op een dashboard, waarbij hotspots voor potentiële woninginbraak werden gemarkeerd. Handhavers gebruikten deze informatie voor het inzetten van interventies.

In de verwerkingsovereenkomst was aandacht voor privacy: data werden geanonimiseerd voor deze werden gedeeld met partners en resultaten werden alleen op geaggregeerd niveau weergegeven, zoals buurt- of wijkniveau. De data waren op deze manier niet meer herleidbaar tot specifieke adressen of personen. Er zou een DPIA zijn uitgevoerd, maar deze kon niet worden teruggevonden. Voor het ITbeheer zijn enkel afspraken teruggevonden met betrekking op de pilotperiode. Hoe het beheer daarna is ingeregeld kon niet worden vastgesteld.

5.4

AANMELDBELEID BASISSCHOLEN (IN GEBRUIK)

In 2020 zijn door de schoolbesturen primair onderwijs en de gemeente Utrecht gezamenlijke afspraken voor een eerlijk, open en eenvoudig aanmeldproces opgesteld. In een participatietraject zijn ouders en onderwijsprofessionals betrokken geweest. Sinds 1 oktober 2021 wordt gebruikgemaakt van een centraal aanmeldbeleid voor basisscholen binnen de gemeente Utrecht. Het doel van het aanmeldbeleid is dat ieder kind, in een gelijke situatie, evenveel kans maakt om op hun school van voorkeur te komen. De gemeente verzamelt alle aanmeldingen in een systeem. Ouders geven hun voorkeursscholen digitaal aan de gemeente door in het kwartaal dat het kind drie jaar wordt. De aanmeldingen komen samen in een systeem dat de beschikbare plaatsen verdeelt op basis van een algoritme. Er worden zowel gegevens van 86 Rekenkamer Utrecht (2025). Casusbijeenkomst.

62

het kind verwerkt, bestaande uit persoonsgegevens, zoals naam, adres en geboortedatum, als gegevens van de ouder(s), bestaande uit contactgegevens en voorkeuren voor de schoolkeuze.87 Gegevens van het gezin gaan over het feit of een broer of zus al op school in Utrecht zit waardoor kind mogelijk recht heeft op voorrang. Het systeem houdt elke stap in het proces bij. Zo is altijd terug te zien hoe de plaatsing is verlopen. Het algoritme doet er alleen toe als het aantal beschikbare plaatsen op een school lager is dan het aantal aanmeldingen voor die school. Dan moet er worden geselecteerd welk kind wel of niet geplaatst kan worden. Hiervoor gebruikt de gemeente voorrangsregels die terug te vinden zijn op de openbare website.88 Het algoritme berekent aan de hand van deze voorrangsregels een score, die bepaalt welke kinderen als eerst geplaatst mogen worden. Er wordt door het algoritme geloot binnen de voorrangsgroep waar niet voldoende plek voor is. Kinderen die niet worden geplaatst bij hun school naar keuze, komen op de wachtlijst.89 Samenvatting beoordeling normen De beoordeling van de normen voor het Aanmeldbeleid basisscholen is overwegend positief. Er kan echter nog verbetering worden behaald in het vastleggen van de rollen, taken en verantwoordelijkheden rond het algoritme, zoals die van gebruikers, beheerders en beleidsmakers.

De monitoring en evaluatie van dit algoritme zijn nog niet op orde, omdat onvolkomenheden iedere keer handmatig worden opgelost terwijl de beslisregels binnen het algoritme structureel beter zouden moeten worden geconfigureerd. Ook kan er een verbeterslag worden gemaakt door de rechten van betrokkenen duidelijker te communiceren en de DPIA te actualiseren. De medewerkers zijn voldoende deskundig om met het algoritme te werken. Zij hebben een e-learning over gegevensbescherming gevolgd, maar geen specifieke opleiding of training om risico’s bij algoritmes te beheersen.

5.5

RISICO-INDICATOREN JONGE AANWAS IN DE DRUGSCRIMINALITEIT (IN GEBRUIK)

Het algoritme Risico-indicatoren jonge aanwas in de drugscriminaliteit is ontwikkeld als onderdeel van de City Deal Zicht op Ondermijning, een samenwerkingsverband tussen lokale en landelijke overheden, geïnitieerd door het ministerie van BZK. Doel van dit programma is om via nieuwe methoden van data-analyse bij te dragen aan een versterking en verbetering van inzicht in de preventieve aanpak van ondermijnende criminaliteit.90

87 Gemeente Utrecht, Maatschappelijke ondersteuning, team onderwijs (2021). DPIA centrale

aanmelding basisscholen. BSN van de ouders wordt gebruikt om gegevens kind op te halen uit BRP (bron: DPIA, p. 3). 88 Gemeente Utrecht (2025), via: https://naardebasisschool.utrecht.nl/. 89 Rekenkamer Utrecht (2025). Casusbijeenkomst. 90 Zicht op Ondermijning (2025), via: https://www.zichtopondermijning.nl/. 63

Het algoritme is specifiek ontworpen om inzicht te geven in het risico op jonge aanwas in de drugscriminaliteit op wijk- en buurtniveau. Het maakt hierbij gebruik van een groot aantal risico-indicatoren, waaronder persoons-, huishoud- en buurtindicatoren. Door deze indicatoren te combineren, berekent het algoritme per gemeente, wijk en buurt het percentage jongeren met verhoogd risico op betrokkenheid bij drugscriminaliteit, ten opzichte van het totaal aantal jongeren in het gebied.91 Deze gegevens zijn uitsluitend geaggregeerd beschikbaar en nooit herleidbaar tot individuele jongeren.92 Het dashboard Zicht op Ondermijning is gebaseerd op data van het CBS en andere landelijke bronnen. Tijdens de looptijd van het convenant (2017–2021) zijn daarnaast incidenteel ook gemeentelijke gegevens thematisch toegevoegd, bijvoorbeeld vanuit W&I (Werk & Inkomen), MO (Maatschappelijke Ontwikkeling) en OOV (Openbare Orde en Veiligheid). Deze verwerking is opgenomen in.93 Uit de casusbespreking blijkt dat OOV destijds al geen gegevens meer leverde en dat na afloop van het convenant per 30 juni 2021 de gemeente Utrecht in het geheel geen gegevens meer aanlevert. Sindsdien wordt binnen Zicht op Ondermijning uitsluitend gebruikgemaakt van CBS-data en andere landelijke bronnen. De analyses binnen Zicht op Ondermijning zijn bedoeld ter ondersteuning van beleid en preventieve interventies.

Ze worden uitsluitend toegepast op geaggregeerd niveau (wijk, buurt, gemeente) en zijn niet bedoeld of geschikt voor individuele voorspellingen of handhaving. Naast dat de gemeente gebruik maakt van de output van dit algoritme heeft de gemeente ook een eigen uitvoeringsprogramma, Grenzen Stellen en Perspectief Bieden (GSPB), om jonge aanwas in drugscriminaliteit te voorkomen.94 De City Deal ging van start in de zomer van 2017. Op 30 juni 2021 werd het convenant afgerond en vanaf 1 juli 2021 is het samenwerkingsverband voortgezet onder de titel Zicht op Ondermijning. Het dashboard, waarin de uitkomsten van het algoritme zichtbaar zijn, is voor iedereen vrij toegankelijk via zichtopondermijning.nl Het beheer van het algoritme en het dashboard ligt bij het ministerie van BZK/Stichting Zicht op Ondermijning. ICTU heeft in opdracht van BZK een beoordeling uitgevoerd van de werking van het algoritme in relatie tot de AI Act. De uitvraag bij ICTU was vanuit de AI verordening ingegeven om te checken of er geen verboden AI werd gebruikt. Dit onderzoek is op verzoek van de gemeente Utrecht tot stand gekomen, nadat de DISO van OOV en strategisch adviseur van het CIO-office navraag hadden gedaan bij BZK. Samenvatting beoordeling normen Bij het algoritme Risico-indicatoren jonge aanwas in de drugscriminaliteit valt op dat er sprake is van een afhankelijkheid van derden.

Het eigenaarschap over het dashboard waarin het algoritme is gebouwd, evenals het algoritme zelf, is in handen van een derde partij. De 91 Zicht op Ondermijning (2025), via: https://www.zichtopondermijning.nl/. 92 Zicht op Ondermijning (2025), via: https://www.zichtopondermijning.nl/. 93 Gemeente Utrecht (2025), via: https://data.utrecht.nl/dataset/register-verwerkingen-gemeente-

utrecht. 94 Rekenkamer Utrecht (2025). Casusbijeenkomst. 64

analyses worden uitgevoerd door een team onderzoekers van onder andere het ministerie van BZK, ICTU en het CBS. Daarnaast is een deel van de voor het algoritme benodigde data in handen van andere partijen dan de gemeente. Bij de start van de City Deal in juni 2017 is er een convenant opgesteld waarin samenwerkingsafspraken, het juridisch kader en beleidsuitgangspunten verwerking persoonsgegevens en specifieke inzet en acties van partijen (zoals gemeenten) zijn gedefinieerd. Het oorspronkelijke convenant is niet meer geldig sinds 30 juni 2021. Er is toen een nieuw samenwerkingsverband ontstaan. Hoewel het mogelijk deels dezelfde partners en/of doelen heeft, kunnen er andere of aangepaste afspraken zijn gemaakt. Dat is niet bekend bij de gemeente. Dit valt de gemeente aan te rekenen: er is geen actuele informatie beschikbaar welke data vanuit de gemeente nog geleverd worden. Omdat de gemeente het algoritme niet zelf beheert, zijn de normen met betrekking tot ITbeheer niet van toepassing. Vanwege het feit dat de gemeente het algoritme niet zelf beheert, en dat de afdeling OOV geen data meer leveren, is het de vraag waarom de gemeente dit algoritme nog opvoert binnen het algoritmeregister. De gemeente geeft aan dat in het landelijk algoritmeregister van BZK algoritmen die niet meer gebruikt worden nog blijven staan.

Deze krijgen dan wel het label ‘Buiten gebruik’, maar verdwijnen dus niet uit het algoritmeregister. De Rekenkamer merkt op dat het algoritme nog als ‘In gebruik’ in het algoritmeregister staat.95

5.6

UITKERING PARTICIPATIEWET (IN GEBRUIK)

Bij de uitvoering van de Participatiewet is het van belang om op basis van de juiste norm te bepalen op wat voor uitkering (bedrag) de betreffende bewoner recht heeft. De gemeente Utrecht gebruikt een algoritme om te bepalen welke norm moet worden toegepast voor een bewoner met betrekking tot de Participatiewet. De toepassing van het algoritme heeft tot doel te borgen dat dit op de juiste en efficiënte wijze plaatsvindt.96 Om de norm vast te stellen gebruikt de gemeente de applicatie Socrates97 en het algoritme wordt beheerd door Wigo4it.98 Om een Participatiewet-uitkering aan te vragen deelt een inwoner diens gegevens met de gemeente. Deze gegevens bestaan onder andere uit persoonlijke gegevens zoals naam, geboortedatum en gezinssamenstelling, contactgegevens, arbeidsgegevens, financiële

95 Risico-indicatoren jonge aanwas in de drugscriminaliteit - Gemeente Utrecht, 7 oktober 2025. 96 Algoritmeregister (2025). Uitkering Participatiewet, via:

https://algoritmes.overheid.nl/nl/algoritme/gm0344/92734630/uitkering-participatiewet. 97 Socrates is een applicatie dat door de gemeente gebruikt wordt in het kader van het (laten) aanvragen en verstrekken van bijstand en inkomensvoorzieningen. 98 Wigo4it is de leverancier van Socrates. Wigo4it is in 2007 opgericht op initiatief van de sociale diensten van de vier grootste steden, waaronder Utrecht. 65

gegevens zoals schulden en salaris, en identiteitsgegevens zoals het burgerservicenummer.99 Als de gegevens kloppen en compleet zijn, neemt een medewerker van de gemeente een besluit over de aanvraag. Als de aanvraag wordt toegekend, maakt het algoritme een proefberekening en wordt er een beschikking aangemaakt. De hoogte van de bijstandsnorm is landelijk vastgelegd. De medewerker controleert of de beschrijving van de bijstandsnorm overeenkomt met de situatie van de aanvrager. Als dat zo is, kent de medewerker de uitkering toe.100 Samenvatting beoordeling normen Hoewel de doelstelling van het algoritme duidelijk is en in diverse documentatie staat gedefinieerd, is de door de gemeente uitgevoerde Privacy Impact Assessment (PIA)101 verouderd. Hierdoor heeft de gemeente geen actueel beeld van kansen en risico’s van het algoritme. De gemeente is wel in staat de werking van het algoritme uit te leggen. De data zijn afkomstig van bronbestanden, zoals BRP (Basis Registratie Personen), en worden aangevuld met gegevens van de aanvrager zelf. Indien nodig kan de gemeentelijke afdeling Werk & Inkomen (W&I) wijzigingen doorvoeren, maar dit blijkt in de praktijk (vaak) niet nodig. Informatie over welke persoonsgegevens worden verwerkt en voor welke doeleinden, is online te vinden in de privacyverklaring. In de PIA wordt daarnaast aandacht besteedt aan doelbinding en bewaartermijnen.

Deze is vastgelegd in 2019 en is daarmee volgens de interne richtlijnen van de gemeente toe aan vernieuwing. Om te voorkomen dat gebruikers toegang hebben tot de omgeving van het algoritme die dat niet (meer) zouden mogen hebben, heeft W&I een autorisatiebeheer en controlebeleid. De teamleider kan autorisatie aanvragen voor een medewerker. Nieuwe medewerkers krijgen een juniorautorisatie en voor medewerkers die uit dienst treden moet de autorisatie handmatig worden aangepast/ingetrokken. Dit gebeurt echter niet altijd tijdig. We hebben niet alle normen kunnen beoordelen, omdat niet alle opgevraagde documentatie beschikbaar is gekomen.

5.7

BESLISONDERSTEUNING BIJ AANVRAAG- EN TOETSINGSPROCESSEN (SUBSIDIEAANVRAAG, IN ONTWIKKELING)

Opmerking: ten tijde van het onderzoek naar deze casus als voorbeeld van een algoritme in ontwikkeling was de subsidieaanvraag nog in behandeling. De subsidie is echter niet toegekend en hiermee is het project geëindigd. Deze paragraaf is gehandhaafd om wel van deze casus te kunnen leren.

99 Rekenkamer Utrecht (2025). Casusbijeenkomst. 100 Rekenkamer Utrecht (2025). Casusbijeenkomst. 101 De term PIA en DPIA worden veelal door elkaar heen gebruikt.

66

De gemeente Utrecht heeft samen met een aantal andere overheidsorganisaties een subsidieaanvraag voor het innovatiebudget Digitale Overheid bij het ministerie van BZK ingediend om pilots te doen met een tool voor beslisondersteuning, gebaseerd op een aan de TU Delft ontwikkelde technologie van Behavorial AI Technology (BAIT). De tool kan als ‘virtuele collega’ helpen bij bijvoorbeeld aanvraag- en toetsingsprocessen. De partijen willen beproeven of het de kwaliteit, snelheid én mensgerichtheid van besluiten verbetert en welke procesvernieuwing nodig is om met dit soort instrumenten te werken. De tool onderscheidt zich van andere algoritmische oplossingen doordat het geen historische of big data nodig heeft en geen ‘black box’ is; modellen zijn transparant, uitlegbaar en aanpasbaar. De toepassing zal ambtenaren ondersteunen en niet vervangen. De tool kan:  (Anoniem) tonen hoe collega’s een situatie zouden beoordelen en welke criteria voor hen doorslaggevend zijn. Hiermee kunnen teams leren van verschillende zienswijzen, toetsen op het beleid en eigen beslisgedrag monitoren.  Als ‘virtuele collega’ worden geraadpleegd zonder een beroep op de tijd van collega’s te doen. Bij veel overeenstemming over een casus kan een beslissing sneller en met meer vertrouwen worden genomen; bij weinig overeenstemming wordt deze geselecteerd voor overleg.

 Beslisafwegingen expliciet en gestructureerd vastleggen. Dit leidt tot transparante, objectieve en consistente verantwoording en maakt de uitvoering beter bestuurbaar.  Gebruikt worden voor het sneller inwerken van collega’s.102 De gemeente Utrecht wil de tool beproeven binnen de Inspectie Kinderopvang (IKO) middels een Proof of Concept (PoC). Toezichthouders van IKO kunnen zich niet beperken tot het simpelweg afvinken van regels; ze moeten werken met een toetsingskader dat in totaal uit meer dan 100 items bestaat en waar gemiddeld genomen per regulier onderzoek circa 50 items beoordeeld worden. Naast de Wet Kinderopvang zijn er tal van andere bronnen en instrumenten die een rol spelen in het toezicht op de kinderopvang, zoals een pedagogisch veldinstrument, regelgeving van het RIVM op het gebied van veiligheid en gezondheid, jurisprudentie, en de cao-eisen met betrekking tot diploma’s. Het vergt gemiddeld drie jaar om als toezichthouder volledig ‘up and running’ te zijn. In die tijd ontwikkelt men het vermogen om zorgvuldig te oordelen, ook in het grijze gebied waar wetgeving ruimte laat voor interpretatie.103 Toezichthouders overleggen wekelijks met collega’s om casussen te bespreken, kennis te delen en uniformiteit te bevorderen. De toezichthouders voelen een spanningsveld tussen de beschikbare capaciteit, uniformiteit van toetsen en het kunnen leveren van maatwerk.

De PoC moet beproeven of het besluitvormingsproces van toezichthouders kan worden ondersteund met een digitaal keuzemodel. Het algoritme is op het moment van onderzoeken

102 Gemeente Utrecht (2025). Innovatiebudget Aanvraagformulier 2025: Naar betere besluiten in

overheidsdienstverlening met menselijke maat door procesinnovatie. 103 Councyl (2025). Projectvoorstel Ontwikkeling Veldinstrumenten Inspectie Kinderopvang. 67

nog niet in gebruik, de gemeente wacht op een formeel besluit op de subsidie om te kunnen starten met de PoC.104 Samenvatting beoordeling normen De subsidieaanvraag maakt duidelijk voor welke doelstelling de gemeente een algoritme wil gaan inzetten. Nadere uitwerking van het project zal plaatsvinden door middel van een ‘kickoff’ na een eventuele toekenning van subsidie. Er zijn nog geen concrete beoordelingscriteria geformuleerd om te kunnen bepalen wanneer de Proof of Concept (PoC) succesvol is. Het is nog onduidelijk hoe het model precies in het werkproces geïntegreerd moet worden en wanneer het model van waarde is op de werkvloer. Er zijn in deze fase nog geen expliciete afwegingen gemaakt over het gebruik van het algoritme. Er zijn nog geen contractafspraken gemaakt met de leverancier. Wel is een en ander gedocumenteerd in de subsidieaanvraag en het projectplan in het kader van afspraken en rollen en verantwoordelijkheden. Het model zal uitleg geven over hoe de voorspelling van beslissingen tot stand is gekomen. Dit draagt bij aan een beter begrip van het besluitvormingsproces van het instrument en maakt het mogelijk om verantwoorde keuzes te maken. De beslissingen die door het algoritme worden gemaakt zijn dus ook te controleren door menselijke tussenkomst. In het algoritme worden volgens de leverancier geen persoonsgegevens verwerkt.

Deze normen zijn hier dus niet van toepassing. De gemeente heeft het IT-beheer voor het algoritme nog niet ingericht en belegd. Dat is in deze fase ook nog geen vereiste, vandaar dat deze normen wit zijn gelaten. Omdat het algoritme nog niet in gebruik is, beoordelen we de norm rondom de deskundigheid van medewerkers als niet van toepassing. Wel wordt er al nagedacht over de benodigde kennis en vaardigheden en zijn er plannen voor training en opleiding van medewerkers zodra het algoritme daadwerkelijk in gebruik wordt genomen.

104 Rekenkamer Utrecht (2025). Casusbijeenkomst.

68

Bijlagen

69

BIJLAGE 1 LIJST MET AFKORTINGEN Afkorting

Betekenis

AI

Artificiële intelligentie / artificial intelligence

AP

Autoriteit Persoonsgegevens

AVG

Algemene Verordening Gegevensbescherming

BIA

Business Impact Analyse

BSN

Bedrijfs- en Strategienetwerk

B&W

Burgemeester en Wethouders

CBS

Centraal Bureau voor de Statistiek

CISO

Chief Information Security Officer

CIO

Chief Information Officer

CIO-office

Het team dat de CIO ondersteunt

CPO

Chief Privacy Officer

DCA

Directie Coördinatie Algoritmes (onderdeel van Autoriteit Persoonsgegevens)

DISO

Decentrale Information Security Officer

DPIA

Data Protection Impact Assessment

FG

Functionaris Gegevensbescherming

GBMS

Gegevensbescherming Managementsysteem

IPA

Informatie- en Procesadviseur

IPM/IPM-er

Informatie- en Procesmanagement / Informatie- en Procesmanager

IRM

Integraal Resultaat Verantwoordelijk Manager

ISMS

Information Security Management Systeem

MO

Maatschappelijke Ontwikkeling

MT

Management Team

O&A

Onderzoek & Advies

OOV

Openbare Orde en Veiligheid

PRA

Privacy risicoassessment

VTH

Vergunningen, Toezicht en Handhaving

W&I

Werk en Inkomen

70

BIJLAGE 2 ONDERZOEKSVERANTWOORDING WERKWIJZE De rekenkamer heeft de volgende onderzoeksactiviteiten uitgevoerd: 





Documentstudie: Wij hebben ons bij de documentstudie gericht op alle gemeentelijke documentatie over algoritmes. Dit betreft zowel openbare als interne documenten. Daarmee is in kaart gebracht welk beleid de gemeente voert met betrekking tot algoritmes. Een overzicht van geraadpleegde documenten is te vinden in het vervolg van deze bijlage. Interviews: De documentstudie hebben we verrijkt met interviews. We hebben medewerkers van de gemeente gesproken die betrokken zijn bij de governance en het gebruik van algoritmes. Hieronder vallen medewerkers van het CIO-Office, die toezien op de naleving en ontwikkeling van gemeentelijke richtlijnen voor algoritmes, en de informatie- en procesmanagers van verschillende organisatieonderdelen. Voor elk interview hebben wij een gespreksverslag op hoofdlijnen opgesteld en deze ter validatie voorgelegd aan de gesprekspartner(s). Een overzicht van gesproken personen is te vinden in het vervolg van deze bijlage. Selectie van de casussen: Binnen de scope van het onderzoek zijn op basis van het algoritmeregister vijf impactvolle algoritmes geselecteerd voor het casusonderzoek.

Criteria om tot deze selectie te komen zijn:  Domein: waarbinnen het algoritme wordt gebruikt, zoals ruimtelijk domein, sociaal domein, bedrijfsvoering en dienstverlening;  Soort algoritme: regel-gebaseerd of data-gedreven;  Rol van het algoritme: mogelijkheden qua rol zijn informerend, adviserend en/of besluitvormend;  Beheer van het algoritme: door de gemeente zelf of door een externe leverancier; 



Fase van gebruik van het gebruik: niet meer in gebruik (uitgefaseerd), momenteel in gebruik en in ontwikkeling c.q. in voorbereiding (nog niet in gebruik). Op basis van deze criteria zijn de volgende vijf algoritmes geselecteerd:  Woninginbraak-voorspeller (uitgefaseerd);  Aanmeldbeleid basisscholen (in gebruik);  Risico-indicatoren jonge aanwas drugscriminaliteit (in gebruik);  Uitkering Participatiewet (in gebruik);  Beslisondersteuning bij aanvraag- en toetsingsprocessen (subsidieaanvraag). Casusbijeenkomsten: Om de vijf algoritmes te analyseren en toetsen hebben we casusbesprekingen georganiseerd. In de casusbespreking zijn de werking van het algoritme en mogelijke risico’s grondig doorgenomen met de medewerkers die in de praktijk hier het meest mee te maken krijgen. De medewerkers die aan de casusbespreking hebben deelgenomen, ontvingen van tevoren een duidelijke 71





instructie waar de casusbespreking zich op zou richten. Van iedere casusbespreking is een uitgebreid verslag opgesteld dat ter verificatie aan deelnemers is voorgelegd. In aanvulling op de opgestelde verslagen zijn diverse documenten opgevraagd, onder meer met betrekking tot de werking van het algoritme, risicobeheersing en rollen- en verantwoordelijkheden. Zo heeft de rekenkamer een kwalitatief diepgaand beeld ontwikkeld. Dit maakte het mogelijk om de werking en toepassing van het algoritme te toetsen aan het gehanteerde toetsingskader. De rekenkamer baseert zich voor de toetsing op de informatie die in de aangeleverde documentatie en casusbesprekingen zijn opgehaald. De rekenkamer heeft niet de onderliggende rekenregels of broncode van het algoritme bestudeerd, noch geavanceerde technische hulpmiddelen ingezet om het algoritme te ontleden. Dit lag buiten de scope en doelstelling van deze kwalitatieve toetsing. Groepsgesprek raadsleden: In het kader van dit onderzoek is met een vertegenwoordiging uit de gemeenteraad van gedachten gewisseld over algoritmes. Hierbij zijn een aantal onderwerpen aan de orde gekomen, zoals de kennis die raadsleden hebben van algoritmes en ervaringen die zij als raadslid hebben met dit onderwerp. Het karakter van de bijeenkomst was informerend en inventariserend en niet gericht op het innemen van standpunten.

De bevindingen in paragraaf 5.4 moeten niet gelezen worden als ‘opvattingen van de gemeenteraad’, maar als opvattingen van raads- en commissieleden. De onderstaande fracties waren bij de het gesprek vertegenwoordigd:  BIJ1  CDA  ChristenUnie  GroenLinks  Groep Zwanenberg  Partij van de Arbeid  Partij voor de Dieren  VVD Analyse en rapportage: Het onderzoeksmateriaal uit de voorgaande stappen is in samenhang geanalyseerd en in verband gebracht met de vooraf vastgestelde normen. De normenbeoordelingen zijn vervolgens vastgelegd in de conceptnota van bevindingen en aan de ambtelijke organisatie voorgelegd voor feitelijk wederhoor. Na de verwerking van de ambtelijke reactie hebben we een bestuurlijk rapport opgesteld met conclusies en aanbevelingen. Het geheel is daarna voorgelegd aan het college van burgemeester en wethouders voor bestuurlijk wederhoor. Na het ontvangen van de bestuurlijke reactie hebben we het definitieve rapport opgemaakt met een nawoord van de rekenkamer.

72

GERAADPLEEGDE PERSONEN Gemeente Utrecht, ambtelijke organisatie:             

Manager concernaudit Informatiecommissaris Controller Gegevensbescherming / Functionaris Gegevensbescherming Chief Privacy Officer Juridische Zaken IPM Concernmanager Domstad IT Inkoop IT architect CISO Onderzoek en Advies Innovatieadviseur Adviseur Uthiek

Gemeente Utrecht, ambtelijke organisatie in het kader van casusbesprekingen:  Coördinator aanmeldbeleid basisscholen  Coördinator IPM openbare orde en veiligheid  DISO Maatschappelijke Ontwikkeling  DISO OOV  DISO W&I  Informatie- en proces beheerder  Informatiecoördinator & beleidsadviseur openbare orde en veiligheid  Innovatieadviseur  IPM'er Volksgezondheid  Kwaliteitsanalist W&I      

Mede-eigenaar Councyl Programmamanager ondermijning Senior handhaving W&I Strategisch adviseur veiligheid en zorg Teamleider handhaving Toezichthouder Inspectie Kinderopvang

GERAADPLEEGDE DOCUMENTEN Gemeentelijke documenten over algoritmes  Gemeente Utrecht (11 december 2019). Raadsbrief Interventieproject Wijkgericht Aanpak Overvecht.  Gemeente Utrecht (13 oktober 2020). Raadsbrief Algoritmeregister. 73

      

Gemeente Utrecht (31 januari 2022). Digitale audit algoritmebeheer en -verantwoording (door Concernaudit). Gemeente Utrecht (8 juli 2022). Raadsbrief Stand van zaken Interventieproject wijkgerichte aanpak Overvecht (Landelijke stuurgroep Interventieteams). Gemeente Utrecht (12 juni 2023). Raadsbrief en bijlage Interne richtlijnen toepassing algoritmes. ICTRecht (16 augustus 2024). Beoordeling Algoritmeregister. Gemeente Utrecht (27 augustus 2024). Uitgangspunten en instructies Utrechtse openbare algoritmeregister. Gemeente Utrecht (27 januari 2025). Utrechtse openbare algoritmeregister. Algorithm Audit (6 mei 2025). Workshop biasonderzoek in algoritmes en/of AI-systemen.

Gemeentelijke documenten over ethiek  Gemeente Utrecht (22 januari 2024). Doelmatigheids-en doeltreffendheidsonderzoek Utrechtse ethiek (door Concernaudit).  Gemeente Utrecht (2024). Interne richtlijnen toepassing Uthiek.  Gemeente Utrecht (8 april 2025). Intern overzicht uitgevoerde Uthiek-assessments.  Gemeente Utrecht (z.d.). Procesomschrijving Uthiek assessments. Gemeentelijke documenten over gegevensbescherming en risicobeheer  Gemeente Utrecht (derde kwartaal 2022). Utrechtse aanpak risicomanagement in opgaven en projecten.  Gemeente Utrecht (16 augustus 2023). Intern strategisch beleidskader voor   

gegevensbescherming Utrecht. Gemeente Utrecht (31 juli 2024). Gegevensbescherming Managementsysteem (GBMS), versie 2.0. Gemeente Utrecht (3 februari 2025). Schermafbeelding van de scores van organisatieonderdelen op de e-learning gegevensbescherming. Gemeente Utrecht (30 juni 2025). Rapport Data Protection Impact Assessments (door Concernaudit).

Schriftelijke vragen, moties en amendementen  Gemeente Utrecht (17 januari, 2020). SV 2019 nr. 260 Beantwoording schriftelijke raadsvragen over gebruik algoritmes.  Gemeente Utrecht (14 september 2021). SV 2021 nr. 141 Beantwoording schriftelijke raadsvragen over Fraudebestrijding.  Gemeente Utrecht (6 april 2022). Motie GroenLinks, D66, PvdA, Student & Starter en ChristenUnie. Waarborgen bij algoritmes en cameratoezicht.  Gemeente Utrecht (22 juni 2023). Verslag vragenuur Mondelinge vragen van de fracties van Volt, DENK, GroenLinks, BIJ1, PvdA en PvdD over Algoritmeregister.  Gemeente Utrecht (25 juni 2024). SV 2024 nr. 99 Beantwoording schriftelijke raadsvragen algoritmes op school. 74

Andere gemeentelijke documenten  Gemeente Utrecht (2020). Visie digitale stad 2020-2024.  Gemeente Utrecht (1 juni 2022). Coalitieakkoord 2022-2026 - investeren in Utrecht.  Gemeente Utrecht (17 januari 2023). Actieagenda digitale stad.  Gemeente Utrecht (11 april 2024). Raadsbrief Richtlijnen Generatieve AI.  Gemeente Utrecht (16 april 2024). Samen Werkend Leren - Beleidskader Leren en Ontwikkelen.  Gemeente Utrecht (3 december 2024). Interne presentatie AI-Act: stand van zaken. Websites  Algemene Rekenkamer (15 mei 2025). Toetsingskader algoritmes v2.0. Geraadpleegd via: https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/ het-toetsingskader-aan-de-slag  VNG (4 september 2024). Elk digitaliseringstraject langs de meetlat van Uthiek. Geraadpleegd via: https://vng.nl/artikelen/elk-digitaliseringstraject-langs-de-meetlat-vanuthiek  Autoriteit Persoonsgegevens (4 maart 2025). Position paper AP democratische beheersing algoritmes en AI. Geraadpleegd via: https://www.autoriteitpersoonsgegevens.nl/documenten/position-paper-apdemocratische-beheersing-algoritmes-en-ai  Landelijke algoritmeregister (5 september 2025). Overzicht van de door de gemeente Utrecht gepubliceerde algoritmes.

Geraadpleegd via: https://algoritmes.overheid.nl/nl/algoritme?organisation=Gemeente+Utrecht&page=1&so rt_option=sort_name Casus specifieke documentatie: Woninginbraakvoorspeller  Gemeente Utrecht (jul 2015). Gebruikers- en Verwerkersovereenkomst pilot “Voorspellen woninginbraak”.  Gemeente Utrecht (30 september 2021). Uthiek Assessment: Risico-indicatoren witwassen panden en aanwas drugscriminaliteit onder jongeren (no. 41). Aanmeldbeleid basisscholen  Gemeente Utrecht (26 maart 2021). Bestuurlijke samenwerkingsovereenkomst aanmelden op basisscholen in Utrecht.  Gemeente Utrecht (26 juli 2021). Uthiek Assessment: Aanmeldprocedure basisscholen Utrecht (no. 37).  Gemeente Utrecht (10 augustus 2021). Data Protection Impact Assessment – centrale aanmelding bassischolen.  Gemeente Utrecht (22 maart 2023,). Uitleg werking algoritme. 75

 

Gemeente Utrecht (augustus 2023). Document Vragen & antwoorden voor professionals over aanmelden basisschool. Gemeente Utrecht (8 mei 2025,). Rapportage BIV-classificatie Aanmelding Basisschool.

Risico-indicatoren jonge aanwas drugscriminaliteit  Gemeente Utrecht (24 november 2019). Data Protection Impact Assessment – City Deal Zicht op Ondermijning.  Gemeente Utrecht (17 november 2021). Uthiek Assessment: Risico-indicatoren witwassen panden en aanwas drugscriminaliteit onder jongeren (no. 52)  ICTU (10 januari 2023). Factsheet Voorkomen dat jongeren betrokken raken bij drugscriminaliteit.  ICTU (28 januari 2025). Beoordeling in hoeverre de algoritmes als een AI-systeem kunnen worden aangemerkt op basis van de definitie uit de AI-verordening. Uitkering participatiewet  Gemeente Utrecht (19 februari 2019). Gegevensbeschermingseffectbeoordeling van de processen van Team Beheer Inkomsten Voorziening 1 (BIV1) en Team Beheer Inkomsten Voorziening 2 (BIV2).  Gemeente Utrecht (28 oktober 2021). Uthiek assessment: Internetonderzoek participatiewet (no. 43).  Gemeente Utrecht (2024). Tekeningen van de processen waarbinnen het algoritme wordt gebruikt.  Gemeente Utrecht (z.d.). Autorisatieboek Werk en Inkomen Applicaties. Beslisondersteuning bij aanvraag- en toetsingsprocessen (subsidieaanvraag)  UWV (regievoerder), samen met gemeente Utrecht, gemeente Montferland en DUO (voorjaar 2025). Aanvraag innovatiebudget voor de beslisondersteuner-tool.  Councyl (7 maart 2025). Projectvoorstel ontwikkeling veldinstrumenten Inspectie Kinderopvang.

Foto’s rapport:  Voorpagina: Orion Daalhuizen  Pagina 7: Rebecca Brockbernd  Pagina 23: Claire Bontje  Pagina 69: Merijn van Vliet De foto’s zijn bewerkt door de Rekenkamer Utrecht.

76

BIJLAGE 3 CASUSBESCHRIJVINGEN B3.1

WONINGINBRAAKVOORSPELLER (UITGEFASEERD)

Sturing en verantwoording Norm

Beoordeling

Doelstelling gedefinieerd en vastgelegd Afwegingen (zowel voordelen als risico’s) Heldere (contract)afspraken met leverancier Rollen, taken en verantwoordelijkheden belegd Monitoring en evaluatie

Er is voor de pilotfase een Gebruikers- en verwerkingsovereenkomst pilot “Voorspellen woninginbraak” opgesteld en ondertekend door verschillende partijen, waaronder de gemeente, SURFsara en Xomnia. Ook de politie en betrokken organisatieonderdelen van de gemeente hebben hun paraaf onder de overeenkomst gezet. In de overeenkomst is het doel van de pilot beschreven: “(…) inzichtelijk te krijgen welke factoren belangrijk zijn bij het voorspellen van het risico op woninginbraak en het ontwikkelen van een daadwerkelijk voorspellend model.” De pilot moest inzicht bieden in het belang van verschillende indicatoren bij het voorspellen van het risico op woninginbraak. Het organisatieonderdeel OOV (destijds: Veiligheid) gebruikte het algoritme voor gerichte inzet van bestuurlijke middelen om dit risico te verkleinen. Een ander resultaat is inzicht in de relevantie van verschillende algoritmes om woninginbraak te voorspellen. Er is geen documentatie over de periode na de pilotfase. Het Uthiek assessment op de woninginbraakvoorspeller is uitgevoerd toen het gemeentelijk algoritme niet meer operationeel was. Uit de adviezen van het assessment bleek echter dat er nog geen definitief besluit was genomen over stopzetting.105 Dit verklaart mogelijk waarom ervoor is gekozen het assessment toch (met terugwerkende kracht) uit te voeren.

In de gebruikers- en verwerkingsovereenkomst wordt wel impliciet aandacht besteed aan risico’s, zoals locatie en beveiliging van de data, verwerking van data, bescherming persoonsgegevens, geheimhouding, melding van fouten en bewaartermijnen van databestanden. Op basis van de beschikbare informatie kan niet worden opgemaakt dat er een expliciete afweging is gemaakt over het gebruik van het algoritme in termen van voordelen en risico’s, daarmee wordt de norm dan ook negatief beoordeeld. Het dashboard waarop de informatie werd getoond werd met name gebruikt door het organisatieonderdeel VTH. Handhavers bezochten de plekken die in het voorspelmodel werden aangemerkt als hotspots. Het organisatieonderdeel OOV, en in het bijzonder één data scientist, heeft het beheer gevoerd over de woninginbraakvoorspeller. Deze was waarschijnlijk degene die de databronnen handmatig bij elkaar bracht met behulp van 105 Gemeente Utrecht (2021). Uthiek Assessment (041) Woninginbraakvoorspeller, p. 3.

77

softwaretooling. De andere data scientists die betrokken waren bij het voorspelmodel werden door OOV gedetacheerd van O&A. De gemeente verwacht dat het contractmanagement bij Domstad IT lag, waarvan OOV in dit geval intern afnemer was, maar kan dat niet bevestigen. In de gebruikers- en verwerkingsovereenkomst is wel vastgelegd dat de data eigendom blijven van de bronhouders, maar taken zijn in de overeenkomst niet formeel vastgelegd. Daarnaast is de duur van de overeenkomst beperkt tot de pilotperiode. Het is niet inzichtelijk of en hoe afspraken zijn gemaakt met leveranciers in de periode daarna. Het is niet bekend hoe en waarom de woninginbraakvoorspeller in 2019 uit gebruik is genomen, los van het feit dat er een technisch probleem was. De voorspeller leek wel te helpen in het terugdringen van het aantal woninginbraken. Een intern dossier over een terugblik / go-no go moment is niet gevonden. In de gebruikers- en verwerkingsovereenkomst is een artikel opgenomen over het tussentijds en na afloop terugkoppelen van de pilotresultaten aan alle partijen. Op basis van de beschikbare informatie kan echter niet worden vastgesteld of en welke monitoringsactiviteiten er werden uitgevoerd op gebied van risico’s, prestatiekwaliteit en compliance. Model en data Norm

Beoordeling

Uitleg werking en verklaring output Data zijn juist, betrouwbaar en zonder bias Discriminatie en grond- en mensenrechten Menselijke tussenkomst Functioneel en technisch beheer

Het voorspelmodel maakte gebruik van verschillende datasets, afkomstig van twaalf verschillende bronhouders (zowel interne als externe partners). Het voorspelmodel was gebaseerd op een aantal aannames, waaronder dat inbraak een (kort cyclisch) repeterend karakter heeft. Dat repeterende karakter kon worden afgeleid uit de data. De aannames en verbanden die ten grondslag lagen aan het gebruik van de datasets, bijvoorbeeld tussen inbraakrisico en de nabijheid van lantaarnpalen, zijn niet (meer) bekend bij de gemeente. Uit navraag bij een oud-medewerker van de gemeente blijkt dat de aannames en verbanden waren gebaseerd op basis van ervaringen van domein experts. De praktijkrisico’s waar zij bewoners op zouden wijzen zijn vertaald naar een algoritme op basis van objectieve informatie. Dit kon niet worden geverifieerd. Het vermoeden bestaat dat er veel handmatige leveringen zijn geweest tussen de organisatieonderdelen voor het overdragen van de data(sets). Het model is gedurende de pilot als integer beschouwd en daarna in gebruik genomen. De voorspeller leek te helpen in het terugdringen van het aantal woninginbraken. Er is echter niet vastgesteld dat het gaat om causaliteit of enkel correlatie. In de overeenkomst was de afspraak opgenomen dat bij eventuele fouten in de data melding werd gemaakt aan de bronhouders.

Op welke wijze er vervolgens werd omgegaan met de fouten is niet bekend. Ook kan niet worden vastgesteld in hoeverre er sprake was van bias en/of eventuele tegenmaatregelen zijn genomen. 78

Er is in 2021, ruim twee jaar nadat het algoritme voor het laatst werd gebruikt, een Uthiek assessment uitgevoerd op de woninginbraakvoorspeller. Uit het Uthiek assessment blijkt niet dat er sprake was van discriminatie, noch dat er sprake was van schending van grondrechten en mensenrechten. Deze data werden getoond op een dashboard, in de vorm van een vlekkenkaart. Zoals aangegeven benutten handhaver deze informatie om hotspots in de stad te bezoeken. Aldaar konden verschillende interventies worden ingezet, zoals folders door de brievenbus, aanbellen bij inwoners of langsgaan in buurtcentra en andere ontmoetingsplaatsen. Er was daarmee sprake van menselijke tussenkomst. In de verwerkingsovereenkomst is vastgelegd dat SURFsara fungeert als ICT-provider. Uit de gebruikers- en verwerkingsovereenkomst wordt echter niet duidelijk wie toegangsrechten verleende na pilotfase, noch hoe het functioneel beheer precies was belegd. Privacy Norm

Beoordeling

Verwerking is gerechtvaardigd en vastgelegd Doelbinding Dataminimalisatie Bewaartermijnen DPIA Privacybeleid- en verklaring Privacy rechten

Voor de (pilotperiode van de) woninginbraakvoorspeller was een gebruikers- en verwerkingsovereenkomst opgesteld tussen de verschillende betrokken partijen, waarin staat dat deze moet bijdragen aan data gedreven sturing van veiligheidsvraagstukken. Gemeenten hebben een wettelijke taak op het gebied van openbare orde en veiligheid. Het verzamelen, combineren en analyseren van gegevens met als doel het voorkomen van woninginbraken valt onder die taak. Daarmee vindt de verwerking van de gegevens plaats op grond van één van de AVG-grondslagen: het uitvoeren van een taak van algemeen belang of openbaar gezag. De verwerking kan dus als gerechtvaardigd worden beschouwd. In de overeenkomst is expliciet aandacht besteed aan de bescherming van persoonsgegevens. Zo zou het anonimiseren van de data door de gemeente Utrecht worden uitgevoerd, voordat deze met externe partijen werden gedeeld. Het enige persoonsgegeven dat in de data aanwezig was, was het huisnummer van adressen waar een woninginbraak had plaatsgevonden. Om te voorkomen dat informatie herleidbaar was tot personen, werden de resultaten op geaggregeerd niveau (buurt, type woning) gepubliceerd. De verwerking voldeed hiermee aan de norm van doelbinding en dataminimalisatie, aangezien enkel het huisnummer werd gebruikt voor het doel van inbraakpreventie. 79

Ook waren destijds afspraken gemaakt over het verwijderen van de databastanden, analyses en resultaten door de gemeente Utrecht uit de externe proeftuinomgeving van SURFsara. Dit zou gebeuren na afronding van de pilot in juni 2015, waarna deze zouden worden neergezet in de interne proeftuinomgeving. De originele databestanden worden volgens de overeenkomst nooit langer dan de wettelijke bewaartermijn van vijf jaar bewaard door de gemeente. Hiermee is aandacht voor (beperkte) bewaartermijnen en zouden persoonsgegevens in principe niet langer bewaard worden dan noodzakelijk is voor het doel van de verwerking. Er is niet vastgesteld of ook aan deze termijnen is voldaan, daarmee wordt gedeeltelijk aan deze norm voldaan. Voor het softwareprogramma AR waarin het datamodel is gebouwd zou met succes een DPIA zijn uitgevoerd, maar deze kon de gemeente niet terugvinden. Hierdoor kan de kwaliteit van de DPIA niet worden geverifieerd, noch of de uitkomsten van de DPIA zijn opgevolgd. Het algoritme is op dit moment niet opgenomen in de privacyverklaring. Aangezien het algoritme niet langer in gebruik is, is opname in de privacyverklaring niet (meer) vereist. Deze norm is om die reden dus niet (meer) van toepassing voor dit algoritme. Het is niet te achterhalen hoe de privacy rechten naar de betrokkenen werden gecommuniceerd toen het algoritme nog actief was.

Omdat het algoritme inmiddels buiten gebruik is gesteld, is deze norm niet langer relevant en blijft om die reden buiten beoordeling. IT-beheer Norm

Beoordeling

Toegangsbeheer en gebruiksrechten Loginformatie Wijzigingsproces Informatiebeveiliging Deskundigheid medewerkers

Zodra de interne proeftuinomgeving gereed zou zijn binnen de omgeving van de gemeente Utrecht, zouden alle databestanden, analyses en resultaten binnen deze omgeving neergezet worden voor verdere implementatie. Toegang tot de virtuele machines was beveiligd middels een gebruikersnaam/wachtwoordauthenticatie en was beperkt tot specifieke internetadressen (IP-adressen). Hoe het toegangsbeheer na de pilotperiode ingeregeld is geweest, kon niet worden vastgesteld. Uit de overeenkomst kan worden afgeleid dat het inloggen van gebruikers in de proeftuinomgeving werd gelogd en dus traceerbaar was. Welke gebeurtenissen werden geregistreerd in de logbestanden kon niet worden vastgesteld, noch op welke wijze en voor welke periode deze werden bewaard. Omdat de overeenkomst alleen gold voor de duur van 80

de pilotfase, is niet bekend of er ook loginformatie werd opgeslagen in de interne proeftuinomgeving welke in gebruik zou worden genomen na de pilotfase. In de beschikbare documentatie is niet beschreven op welke wijze codewijzigingen plaats dienen te vinden, waardoor niet kan worden vastgesteld of wijzingen in de code conform het formele wijzigingenproces zijn doorgevoerd. Naast de maatregelen die zijn getroffen met betrekking tot toegangsbeheer, waren de twee virtuele machines die voor de pilot waren ingericht waarop de tools voor dataverwerking waren geïnstalleerd helemaal afgeschermd van de virtuele machines van andere klanten. Een derde partij die zorgde voor het actief houden van de virtuele machines had zelf geen toegangsrechten tot de virtuele machines. Verder was de installatie voorzien van beveiligingssoftware met de meest recente beveiligingsupdates en waren de gebruikers en verwerkers van de partijen die deelnamen aan de pilot gecommitteerd aan geheimhouding en het niet verstrekken van de data, analyses en resultaten. Hiermee heeft de gemeente maatregelen getroffen om de informatiebeveiliging van de gegevens bij het gebruik van het algoritme te borgen, maar kan niet worden vastgesteld hoe dit na de pilotperiode was ingeregeld. Vanuit de gemeente waren een aantal deskundigen nauw betrokken bij de werking van het algoritme, waaronder een data scientist van OOV.

Geen van deze betrokkenen is momenteel nog werkzaam voor de gemeente. Het is niet mogelijk hun deskundigheid te beoordelen, mede omdat hun kennis niet is gedocumenteerd.

B3.2

AANMELDBELEID BASISSCHOLEN (IN GEBRUIK)

Sturing en verantwoording Norm

Beoordeling

Doelstelling gedefinieerd en vastgelegd Afwegingen (zowel voordelen als risico’s) Heldere (contract)afspraken met leverancier Rollen, taken en verantwoordelijkheden belegd Monitoring en evaluatie

De gemeente heeft samen met schoolbesturen in 2021 een bewuste keuze gemaakt om het aanmeldproces te centraliseren en automatiseren met behulp van een algoritme. Uit onderzoek bleek dat niet alle kinderen en ouders in de oude situatie gelijke kansen hadden om zich in te schrijven op de school van hun voorkeur. Dit leidde tot ongelijkheid, vooral voor gezinnen die minder goed geïnformeerd of minder vaardig waren in het vinden van een geschikte school. Daarnaast ontstonden wachtlijsten omdat ouders hun kind al vroeg hadden aangemeld. Dit alles zorgde voor veel extra werk voor de scholen. Met de introductie van het centrale aanmeldsysteem (en daarbinnen het algoritme) is hier verandering in gekomen. De gemeente heeft duidelijke spelregels geformuleerd en daarmee getracht om het proces 81