Raadsvoorstel rekenkamerrapport Verantwoord omgaan met algoritmes

Voorstel aan de gemeenteraad

Rekenkamerrapport: Verantwoord omgaan met algoritmes Beleidsvelden Organisatieonderdeel Opsteller Kenmerk Vergaderdatum Raad Geheim

Personeel en Organisatie Domein Bedrijfsvoering; Informatie en Procesmanagement Gerth Molenaar 33306535 Volgt Nee

De rekenkamer stelt de raad voor te besluiten om het college van burgemeester en wethouders het volgende te verzoeken: 1. Transparantie te vergroten door verbeteringen in het algoritmeregister en door een duidelijker afweging tussen impactvolle algoritmes en kleine algoritmes. 2. Risicobeheersing te verbeteren door meer centrale aansturing op gedrag en samenspel, minder vrijblijvende Uthiek-assessments en een gedegen trainingsaanbod voor medewerkers. 3. De interne en externe verantwoording over algoritmes te verbeteren door heldere indicatoren en afspraken over informatievoorziening aan de gemeenteraad. 4. De raad binnen zes weken door middel van een plan van aanpak te informeren over de wijze waarop deze aanbevelingen worden uitgevoerd.

De rekenkamer,

de secretaris,

de voorzitter,

drs. J. Snoei

drs. P.W.D. Venhoeven

Samenvatting De Rekenkamer Utrecht heeft onderzoek gedaan naar de toepassing en risicobeheersing van algoritmes binnen de gemeente Utrecht. De resultaten hiervan zijn vastgelegd in het rapport Verantwoord omgaan met algoritmes. Dit rapport (incl. begeleidende documenten) is als bijlage bij dit raadsvoorstel gevoegd.

Context Aanleiding Veel organisaties, waaronder gemeenten, maken steeds vaker gebruik van algoritmes. De mogelijkheden van algoritmes zijn immers veelbelovend. Ze kunnen bijdragen aan onder meer efficiëntie, kostenbesparing en het beter bedienen van inwoners. Tegelijkertijd klinken er regelmatig waarschuwingen voor de potentiële risico’s. Denk aan privacyschending, discriminatie en het vergroten van verdeeldheid en kansenongelijkheid. De vraag is dan ook hoe organisaties algoritmes verantwoord kunnen toepassen. Dat kan door het toetsen of algoritmes, en het gebruik ervan, aan kwaliteitscriteria voldoen én of de risico’s voldoende in beeld zijn en worden beperkt. Voor de rekenkamer aanleiding om te onderzoeken in welke mate de gemeente Utrecht algoritmes verantwoord toepast. Juridische context De Rekenkamer Utrecht is een onafhankelijk bestuursorgaan van de gemeente Utrecht, met een grondslag in de gemeentewet (artikel 81 en 182-185). De rekenkamer heeft taken en bevoegdheden op een bij wet duidelijk afgebakend terrein. De rekenkamer onderzoekt de doelmatigheid, doeltreffendheid en rechtmatigheid van het door het gemeentebestuur gevoerde bestuur (gemeentewet, artikel 182).

Een door de rekenkamer ingesteld onderzoek naar de rechtmatigheid van het door het gemeentebestuur gevoerde bestuur bevat daarbij geen controle van de jaarrekening aangezien dat het werkterrein is van de accountant. De gemeenteraad heeft binnen de kaders van de wet voor Rekenkamer Utrecht het juridisch kader nader vastgelegd in de Verordening Rekenkamer Utrecht (Gemeenteblad nr. 473707, 7 november 2023). Beoogd effect Het doel van dit onderzoek is om inwoners, raadsleden en andere belanghebbenden inzicht te geven in hoe de gemeente Utrecht in de praktijk omgaat met algoritmes en welk beleid hiervoor is geformuleerd. De centrale vraag van het onderzoek was: In hoeverre geeft de gemeente Utrecht invulling aan een verantwoorde toepassing van het gebruik van algoritmes en wat kan daarvan worden geleerd? Eerdere besluitvorming en informatievoorziening aan de raad Niet van toepassing.

Beslispunten, Argumenten en Kanttekeningen/Risico’s Beslispunt 1

Transparantie te vergroten door verbeteringen in het algoritmeregister en door een duidelijker afweging tussen impactvolle algoritmes en kleine algoritmes.

Argumenten 1.1

De gemeente Utrecht maakt in haar beleid onderscheid tussen twee algoritmevarianten, die getypeerd worden door de mate van impact op bewoners: kleine algoritmes (met geen of weinig impact) en

2

impactvolle algoritmes. Hoewel het onderscheid tussen soorten algoritmes helder wordt aangegeven, is de afweging hoe vervolgens de algoritmes worden ingedeeld langs deze lijnen minder duidelijk. 1.2

De verantwoording over de in gebruik zijnde impactvolle algoritmes in het algoritmeregister vraagt om verbeteringen, omdat de kwaliteit van de beschrijvingen in het algoritmeregister tekortschiet. De geboden informatie is niet specifiek: voor alle algoritmes worden dezelfde (algemene) risico’s genoemd. Daarnaast zijn voor lang niet alle algoritmes de informatievelden ingevuld.

1.3

De gemeente heeft voor de toepassing van impactvolle algoritmes op centraal niveau interne richtlijnen opgesteld, die op decentraal niveau (binnen de organisatieonderdelen die algoritmes gebruiken) moeten worden toegepast. Dit gebeurt onvoldoende consequent.

1.34

Interne richtlijnen geven aan dat een impactvol algoritme alleen een voorzet mag doen voor besluitvorming, maar dat het besluit zelf altijd genomen moet worden door een mens. In het onderzoek is één algoritme naar voren gekomen waarin niet aan het uitgangspunt van menselijke tussenkomst wordt voldaan (bij het automatisch beoordelen van aanvragen voor parkeervergunningen).

1.5

Daarnaast zijn er situaties waarbij de betrokken persoon altijd de uitkomst van het algoritme volgt. Dat vraagt om een reflectie op de mate waarin en wanneer er sprake is van betekenisvolle menselijke tussenkomst bij het besluiten op basis van algoritmes.

Beslispunt 2

Risicobeheersing te verbeteren door meer centrale aansturing op gedrag en samenspel, minder vrijblijvende Uthiek-assessments en een gedegen trainingsaanbod voor medewerkers.

Argumenten 2.1

In de praktijk vindt de risicobeheersing van algoritmes niet gestructureerd en niet consequent plaats. Het beleid voor risicobeheersing van algoritmes is alleen op hoofdlijnen beschreven en biedt weinig handvatten voor de uitvoering.

2.2

De organisatieonderdelen (op decentraal niveau) hebben veel vrijheid bij de vertaling van de centrale richtlijnen voor risicobeheersing naar de praktische uitvoering.

2.3

Organisatieonderdelen interpreteren en implementeren richtlijnen ieder op hun eigen manier, waardoor ook de centrale organisatie moeilijk grip krijgt op of, en zo ja hoe, risico’s worden beheerst.

2.4

Het gebrek aan samenhang, controle en eenduidigheid tussen organisatieonderdelen maakt de risicobeheersingsaanpak voor algoritmes kwetsbaar.

2.5

Er is nog geen sprake van een sluitende risicobeheersingscyclus. De gemeente schiet nog tekort op het uitvoeren van maatregelen om het risico te verkleinen en op het monitoren en evalueren of de getroffen maatregelen effectief zijn.

3

2.6

Het opvolgen van suggesties en verbetermaatregelen die uit een Uthiek-assessment naar voren komen is niet verplicht. Het gevaar bestaat dat Uthiek-assessments daarom vooral als afvinkoefening worden gezien. Het is in veel gevallen onduidelijk of, en zo ja in welke mate, aan de aanbevelingen die volgen uit het Uthiekassessment opvolging is gegeven.

2.7

De gemeente moet nog stappen zetten om de ethische afwegingen daadwerkelijk herleidbaar mee te nemen bij de implementatie en het gebruik van een impactvol algoritme.

2.8

Betrokken medewerkers zijn vaak wel risicobewust, maar het ontbreekt hen aan een aanbod van trainings- en opleidingsmogelijkheden om de risico’s van algoritmes adequaat te beheersen (in tegenstelling tot soortgelijke onderwerpen zoals gegevensbescherming).

2.9

Maatregelen die door medewerkers worden getroffen om risico’s te beheersen worden niet goed gedocumenteerd. Deze maatregelen worden ook niet (periodiek) geëvalueerd. Dat geldt onder andere voor het eens per drie jaar actualiseren van de Data Protection Impact Assessment (DPIA), een methode waarmee op geüniformeerde wijze privacy risico’s worden geïdentificeerd.

2.10

Zowel het kennisniveau over algoritmes als het proces van vastlegging moeten op decentraal niveau verbeteren, zodat de organisatie in de uitvoering minder afhankelijk wordt van het (historisch) geheugen en de vaardigheden van (specifieke) medewerkers.

Beslispunt 3

De interne en externe verantwoording over algoritmes te verbeteren door heldere indicatoren en afspraken over informatievoorziening aan de gemeenteraad.

Argumenten 3.1

Door een gebrek aan zicht op het risicobeheersingsproces wordt momenteel beperkt verantwoording afgelegd over de toepassing van algoritmes.

3.2

Er zijn geen expliciete doelstellingen voor het gebruik van algoritmes, en daar zijn dus ook geen concrete indicatoren aan gekoppeld. Het onderwerp wordt daardoor zelden aan de directietafel of binnen het college van B&W besproken.

3.3

De gemeenteraad heeft weinig inzicht in het actuele gebruik van algoritmes, en binnen welke domeinen en met welke consequenties dit gebeurt. De gemeenteraad wordt alleen op hoofdlijnen over in gebruik zijnde algoritmes geïnformeerd en kan daardoor beperkt zijn kaderstellende en controlerende taak uitvoeren.

3.3

Raadsleden benadrukken (in schriftelijke vragen en ingediende moties) vooral het belang van transparantie over de inzet van algoritmes, gericht op het versterken van de bewustwording over algoritmegebruik en daarmee ook bijdragen aan het voorkomen van discriminatie en etnische profilering.

4

3.4

Raadsleden hebben behoefte aan informatie over algoritmes in de context van de beleidscyclus. Het gaat met name om gedegen inzicht in de impactvolle algoritmes die in gebruik zijn, en de impact en risico’s bij ingebruikname van nieuwe impactvolle algoritmes.

Beslispunt 4

De raad binnen zes weken door middel van een plan van aanpak te informeren over de wijze waarop deze aanbevelingen worden uitgevoerd.

Argumenten 4.1

Bij de formulering van de aanbevelingen heeft de rekenkamer ruimte gelaten aan het college om de aanbevelingen nader in te vullen.

4.2

In artikel 12 (lid 9) van de Verordening rekenkamer gemeente Utrecht 2023 is opgenomen dat het college binnen zes weken na besluitvorming over de aanbevelingen van de rekenkamer een plan van aanpak opstelt over de implementatie van de raadsbesluiten.

Kanttekeningen 4.1

Indien nuttig kan via een expliciet besluit van de gemeenteraad van de standaardtermijn van zes weken worden afgeweken. Opgemerkt wordt dat de komende gemeenteraadsverkiezingen en de nieuwe raadsperiode vanwege de vorming van een nieuwe coalitie en college hiertoe aanleiding zouden kunnen geven.

4.2

In artikel 12 (lid 10) is opgenomen dat het college jaarlijks (bij de Jaarstukken) aan de raad rapporteert over de stand van zaken van de uitvoering van de raadsbesluiten die genomen zijn naar aanleiding van rekenkamerrapporten.

Financiën De financiële consequenties van dit voorstel zijn op dit moment onbekend. Deze zijn afhankelijk van de besluitvorming en de precieze opvolging van de beslispunten daarna.

Vervolg Met het voorliggend besluit wordt het college verzocht om de raad binnen zes weken door middel van een plan van aanpak te informeren over de wijze waarop de aanbevelingen worden uitgevoerd. Zie in dit verband ook kanttekening 4.1.

Participatie Binnen de gemeentelijke organisatie spraken de rekenkamer en onderzoeksbureau PBLQ met medewerkers binnen het domein bedrijfsvoering / organisatieonderdeel informatie- en procesmanagement. Dit betreft medewerkers die betrokken zijn bij het beleid rond algoritmes en de uitvoering daarvan in het algemeen. Daarnaast is gesproken met medewerkers uit verschillende organisatieonderdelen al naar gelang het casusonderzoek naar vijf geselecteerde algoritmes in het bijzonder.

Communicatie Rekenkamer Utrecht stuurt het rapport en de bijbehorende documenten in eerste instantie toe aan de gemeenteraad en het college van B&W. Vervolgens worden deze ook openbaar gemaakt op de website van de rekenkamer. Daarbij worden ook de respondenten, perscontacten en andere

5

geïnteresseerden op de hoogte gesteld. In een technische bijeenkomst licht de rekenkamer de onderzoeksresultaten nader toe.

Bijlagen Bijlagen besluitvorming:  Rekenkamerrapport Verantwoord omgaan met algoritmes. Een onderzoek naar de toepassing en risicobeheersing van algoritmes binnen de gemeente Utrecht Bijlagen informatief:  Persbericht  Publiekssamenvatting  Infographic

6