Eindrapport Rekenkamer

REKENKAMER

SIRI, CHATGPT EN HUN COLLEGA’S EEN ONDERZOEK NAAR ALGORITMEN EN AI IN DE GEMEENTE ENSCHEDE

INLEIDING De Rekenkamer heeft onderzoek gedaan naar algoritmen en AI. Het onderzoek is in opdracht van de Rekenkamer uitgevoerd door PBLQ. Het is niet eenvoudig om goed te begrijpen wat algoritmen zijn, hoe ze werken en welke invloed ze kunnen hebben. Dit geldt zeker voor raadsleden, die vanuit hun rol als raadslid geen expert op dit onderwerp zijn. De Rekenkamer legt in dit eindrapport eerst uit wat algoritmen en AI zijn, gaat vervolgens in op beleid en praktijk in de gemeente Enschede en doet een aantal aanbevelingen voor college, organisatie en de raad. De kernboodschap die de Rekenkamer met dit rapport wil uitdragen is: Algoritmen (en AI) zijn voor vrijwel iedereen nieuw, het beleid en uitvoering staan nog in de kinderschoenen. De Rekenkamer ziet dat bewustzijn in de gemeentelijke organisatie over de voor- en nadelen van algoritmen groeit, maar dat het beter kan. Immers, ogenschijnlijk simpele rekenregels kunnen grote gevolgen hebben. De Rekenkamer merkt dat de uitvoering van dit onderzoek al zaken in gang heeft gezet in de organisatie, nog voordat het onderzoek is gepubliceerd en de aanbevelingen zijn vastgesteld.

Wat is een algoritme? In dit onderzoek is aangesloten bij de definitie van de Algemene Rekenkamer: “Een algoritme is een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden, om een taak of proces uit te voeren of tot een besluit te komen.” Als voorbeeld noemt de Rekenkamer hier drie algoritmen die in het onderzoek nader zijn bestudeerd. Een uitgebreide beschrijving staat in bijlage C van het rapport van PBLQ. •

Vroegsignalering: Om te bepalen welke inwoners als eerste schuldhulpverlening krijgen, gebruikt de gemeente algoritmen. Daarmee wordt bijvoorbeeld gecontroleerd of inwoners nog op het gemelde adres wonen, en wordt gesignaleerd of gas, water of licht zijn afgesloten.

•

CityControl: Met deze app worden meldingen in de openbare ruimte en de opvolging daarvan geregistreerd. Informatie uit het systeem wordt benut bij gebiedsgericht handhaven, zodat er gericht gestuurd kan worden op meldingen.

•

Datamask: Alle medewerkers van de gemeente hebben toegang tot deze tool, waarmee documenten geanonimiseerd kunnen worden. Datamask herkent op basis van algoritmen bepaalde patronen, waarbij de software voorstelt om deze informatie weg te lakken. De betrokken medewerker moet het voorstel beoordelen. De medewerker kan zelf ook andere zaken in het document weglakken.

Ook gebruiken gemeenten algoritmen voor bijvoorbeeld het uitvoeren van parkeercontroles door scanauto’s, bij het monitoren van verkeersdrukte en -stromen of bij het helpen voorspellen hoe de vraag naar Wmo-voorzieningen zich gaat ontwikkelen. Algoritmen worden ook ingezet om te beoordelen of burgers recht hebben op specifieke voorzieningen, zoals bijvoorbeeld huur- of zorgtoeslag. In bijlage E van het rapport van PBLQ is een lijst te vinden met alle voor dit onderzoek geïnventariseerde algoritmen, met een korte beschrijving. Dit overzicht geeft de lezer meer voorbeelden van en inzicht in werking van algoritmen.

Wat is Artificiële Intelligentie (AI)? In dit onderzoek is aangesloten bij de definitie van de Europese Commissie: De term kunstmatige intelligentie (AI) verwijst naar systemen die zijn ontworpen door mensen en die, door hun omgeving te analyseren en met een zekere mate van autonomie, actie ondernemen om specifieke doelen te bereiken. Voorbeelden: •

Het bekendste bekend voorbeeld van AI is ChatGPT, waarmee tekst of zelfs afbeeldingen en muziek kunnen worden gegenereerd.

•

Een navigatiesysteem gebruikt een algoritme om de kortste route van A naar B te berekenen. Hetzelfde navigatiesysteem kan AI gebruiken om te leren van verkeerspatronen, voorspellen welke routes op een bepaald moment druk zijn, en dynamisch routes aanpassen.

OVER ALGORITMEN, AI EN DIT ONDERZOEK VEELVULDIG EN TOENEMEND GEBRUIK VAN ALGORITMEN Algoritmen worden vaak en in allerlei verschillende vormen bij de overheid gebruikt voor publieke dienstverlening en de organisatie daarvan. Zie voor voorbeelden het tekstblok op de eerste pagina. Algoritmen helpen om taken te automatiseren en sneller en slimmer uit te voeren. Besluiten die op basis van (of met behulp van) algoritmen worden genomen, kunnen verstrekkende gevolgen hebben voor burgers. Het is daarom van grote maatschappelijke waarde dat er goed nagedacht en zorgvuldig besloten wordt over het gebruik van algoritmen. VOOR- EN NADELEN VAN ALGORITMEN De toegenomen inzet van algoritmen door de overheid heeft vele mogelijke voordelen: •

Efficiëntie en kostenbesparing bijvoorbeeld, vooral waar het gaat om herhalende taken.

•

Besluitvorming kan worden versneld.

•

Grote hoeveelheden gegevens kunnen worden verwerkt.

•

Door het gebruik van meer en gerichtere gegevens, ook voor simulaties, kan de besluitvorming verbeteren.

•

Dienstverlening kan gerichter worden uitgevoerd en persoonlijker worden gemaakt.

•

Het aantal menselijke fouten bijvoorbeeld door concentratieverlies kan afnemen; algoritmen worden niet moe en hebben geen ‘maandagochtendhumeur’.

Tot voor kort was er beperkt aandacht voor mogelijke risico’s van het gebruik van algoritmen. Algoritmen werden vooral beschouwd als onderdeel van systemen en applicaties. Er werd niet gekeken wat er ‘onder de motorkap gebeurde’. De toeslagenaffaire is een belangrijke aanleiding geweest om verder te kijken dan alleen functioneel. De affaire heeft duidelijk gemaakt dat verkeerd gebruik van algoritmen burgers in hun grondrechten kan schaden en in de knel kan brengen. Bij ondoordacht of foutief gebruik van algoritmen treden mogelijk nadelen en risico’s op. Het kan leiden tot discriminatie, vertekening en versterken van sociale ongelijkheid. Sommige algoritmen zijn complex en kunnen leiden tot een gebrek aan transparantie: beslissingen worden genomen zonder te doorgronden hoe dat precies gebeurt. Sommige algoritmen gebruiken (gevoelige) persoonsgegevens wat bij onjuist gebruik en beheer kan leiden tot privacy-schendingen of onjuiste besluiten. Algoritmen kunnen mens-vervreemdend zijn; menselijke maat en controle nemen af. AANLEIDING VOOR DIT ONDERZOEK

De snelle technologische ontwikkelingen, het groeiende gebruik van algoritmen en de mogelijkheden en risico’s die dit met zich meebrengt, waren voor de Rekenkamer Enschede aanleiding voor een onderzoek. De Rekenkamer heeft onderzocht welke algoritmen de gemeente Enschede gebruikt, of en welk beleid daaraan ten grondslag ligt en welke inzicht er is van mogelijkheden en risico’s van het gebruik van algoritmen. UITVOERING VAN DIT ONDERZOEK Dit onderzoek is uitgevoerd in 2024 en heeft nadrukkelijk een verkennend karakter. Het is de eerste keer dat in de gemeente Enschede gestructureerd onderzoek wordt gedaan naar de toepassing van algoritmen. PBLQ heeft het onderzoek in opdracht en onder begeleiding van de Rekenkamer Enschede uitgevoerd en de uitkomsten daarvan in het rapport “Algoritmen en AI” (PBLQ, 16 januari 2025) vastgelegd. De Klankbordgroep, bestaande uit vier leden van de raad, heeft bij de start meegedacht over de onderzoeksopzet en de conceptversie van dit eindrapport van de Rekenkamer becommentarieerd.

TYPEN EN WERKING VAN ALGORITMEN TYPEN ALGORITMEN Er zijn verschillende soorten algoritmen te onderscheiden. Er is verschil in de manier waarop ze tot stand komen (typen), en in de manier waarop ze worden ingezet (werking). In de totstandkoming van algoritmen zijn twee manieren te onderscheiden: regel-gebaseerde algoritmen en datagedreven algoritmen. Hieronder wordt schematisch het verschil tussen beide typen algoritmen weergegeven. Tabel: Typen algoritmen Regel-gebaseerde algoritmen Data-gedreven algoritmen … werken met regels die door mensen zijn gemaakt, … zijn gebaseerd op machine learning technieken. bijvoorbeeld op basis van wetten. Hier worden data (gegevens en informatie) gebruikt om automatisch patronen te herkennen Voorbeeld: digitale aanvraagformulieren Voorbeeld: automatische nummerbordherkenning, spraakherkenning. Over het algemeen complexer en minder transparant. Daarmee niet perse risicovoller Het gros van de geïnventariseerde algoritmen in dit onderzoek is regel-gebaseerd. Over het algemeen zijn data-gedreven algoritmen complexer en minder transparant. Ze zijn daarmee niet per se risicovoller. Dat hangt af van het proces of dienst waarbinnen het algoritme wordt toegepast en welke werkinstructies of beheersmaatregelen er zijn. De meeste van de in dit onderzoek geïnventariseerde algoritmen zijn regel-gebaseerde algoritmen.

Dat Enschede minder data-gedreven dan regel-gedreven algoritmen gebruikt, komt overeen met de ontwikkelingen bij andere overheidsorganisaties. WERKING VAN ALGORITMEN Algoritmen kunnen op verschillende manieren worden ingezet. In het rapport van PBLQ wordt de volgende indeling gebruikt: informerend, adviserend en beslissend.

Informerend Het algoritme geeft informatie over een proces.

Tabel: Werking van algoritmen Adviserend Het algoritme beveelt één of meerdere acties aan, bijvoorbeeld

Beslissend Het algoritme neemt besluiten zonder menselijke tussenkomst.

De gebruiker van de uitkomsten van het algoritme kan deze informatie gebruiken om een beslissing te nemen.

op basis van specifieke kenmerken of keuzes die gemaakt worden. De gebruiker van de uitkomst van het algoritmen kan deze informatie gebruiken om een beslissing te nemen

Het algoritme opereert zelfstandig (autonoom).

Bij zowel ‘informerende’ als ‘adviserende’ algoritmen is sprake van menselijke tussenkomst. Er is dan een persoon in een proces betrokken om tot een besluit te komen: het algoritme is beslissingsondersteunend. Er is dan geen sprake van volledige automatisering. De systemen met algoritmen geven de ambtenaar informatie of advies over de te ondernemen actie of het te nemen besluit, maar de ambtenaar of besluitvormer beslist uiteindelijk zelf. Algemene voorbeelden van menselijke tussenkomst bij het gebruik van een algoritme zijn het versturen van boetes en het indienen van zorgdeclaraties; deze gaan niet uit voordat een ambtenaar naar de uitkomst van het algoritme heeft gekeken. Bij volledig autonome en dus beslissende algoritmen is geen sprake meer van menselijke tussenkomst. Dit gebeurt bijvoorbeeld bij de toepassing van Open Spraak Herkenning als je de gemeente belt. Op basis van de ingesproken vraag bepaalt de software volledig zelfstandig waar de telefonische vraag van de inwoner binnen de gemeente thuishoort en terechtkomt. Hier komt er geen medewerker aan te pas (in tegenstelling tot het daadwerkelijk telefonisch te woord staan van de inwoner en in behandeling nemen van de vraag). Dit voorbeeld laat zien hoe delen van een proces of dienst geautomatiseerd kunnen zijn, zonder dat dit hoeft te betekenen dat de hele dienstverlening door computers en algoritmen wordt uitgevoerd.

Onderstaande afbeelding van het Ministerie van justitie brengt de verschillende werking van algoritmen in beeld. In deze afbeelding worden andere termen gebruikt dan in de indeling van PBLQ, maar het idee is hetzelfde:

Bron: Datagedreven werken, wat is er voor nodig? Ministerie van justitie en veiligheid, juli 2019

•

Beschrijvende (informerende) algoritmen geven aan wat er gebeurt. Het algoritme geeft informatie over een proces.

•

Diagnostiserende (informeren) algoritmen geven aan waarom iets gebeurt. Het algoritme beveelt één of meerdere acties aan, bijvoorbeeld op basis van specifieke kenmerken of keuzes die gemaakt worden.

Zoals in de afbeelding is weergegeven, ondersteunen dit soort algoritmen mensen bij het nemen van een besluit. De menselijke input is groot in verhouding tot het inzicht dat het algoritme levert.

•

Voorspellende (adviserende) algoritmen geven aan wat er zal gaan gebeuren. Het algoritme neemt besluiten zonder menselijke tussenkomst.

Voorschrijvende (beslissende) algoritmen nemen een besluit. De afbeelding van het ministerie maakt onderscheid in geautomatiseerde besluiten zonder menselijke input en besluiten mét menselijke input (betrokkenheid), waarbij de mens alsnog het voorgeschreven besluit van het algoritme kan verwerpen.

BELEID De gemeente had ten tijde van de uitvoering van dit onderzoek in 2024 geen uitgeschreven en vastgelegd beleid specifiek voor het gebruik van algoritmen. Inmiddels zijn naar aanleiding van de motie ‘Grip op digitale zaken Integraal beleid digitaal Enschede’ door de CIO-raad1 uitgangspunten vastgesteld voor AI en algoritmen. Deze uitgangspunten zullen later in 2025 ter besluitvorming aan de raad worden aangeboden, als onderdeel van een integrale beleidsnota digitalisering. PBLQ heeft deze uitgangspunten niet in zijn onderzoek kunnen meenemen, omdat de uitgangspunten ten tijde van het onderzoek nog niet beschikbaar waren. Het gebruik van algoritmen valt onder het bredere gemeentelijke ICT- en databeleid. Dat bestaat onder meer uit: •

Het strategisch informatiebeveiligings- en privacy-beleid (2022-2025). Deze laatste versie, vastgesteld in het najaar van 2022, bevat geen verwijzingen naar algoritmen of AI. Het strategisch beleid is verder uitgewerkt, bijvoorbeeld in procedures voor het uitvoeren van Data Protection Impact Assessments (DPIA) en het actueel houden van het verwerkingsregister.

•

Het gemeentelijk databeleid. Dit bestaat uit een datastrategie (2018) en een ‘koersdocument dataorganisatie’ (2022). In deze documenten is onder meer aandacht voor de gemeentelijke ambities met betrekking tot datagedreven werken.

•

Cloudbeleid (2016). Hierin staan de kaders genoemd die Enschede in acht wil nemen bij het gebruik van (mobiele) applicaties die in de cloud draaien.

Hoewel er nog geen beleid is vastgesteld voor algoritmen, is er de laatste jaren wel sprake van de nodige aandacht voor de toepassing van algoritmen en AI. Er zijn binnen de gemeentelijke organisatie al enkele documenten waarin verschillende aspecten bij het gebruik van algoritmen en AI aan de orde worden gesteld. Het rapport van PBLQ benoemt er drie: •

De Nota Waardengedreven Digitalisering Deze nota richt zich op de volle breedte van de toepassing van digitale middelen en applicaties binnen de gemeente Enschede. Dat betreft dus (veel) meer dan louter het toepassen van algoritmen. In de nota worden belangrijke waarden onderscheiden voor een ethisch verantwoorde toepassing van digitalisering: het moet transparant, open, zorgvuldig, cyclisch, en selectief zijn.

•

Het algoritmeregister In 2023 begon de Gemeente met een eigen algoritmeregister, maar met de lancering van een landelijk register in december 2022, is de Gemeente gestopt met het investeren in een eigen register. In het landelijk register is op dit moment één Enschedees algoritme geregistreerd.

•

1

Gemeentelijke richtlijnen voor het gebruik van ChatGPT

De CIO-raad bestaat uit directieleden, de CIO en de interim-manager IT-bedrijf. Een CIO of chief information officer, soms ook ICT-manager genoemd, is verantwoordelijk voor alles wat met ICT heeft te maken in een organisatie. Hij geeft leiding aan het personeel op de ICT-afdeling, beheert de financiële planning rondom alle ICT gerelateerde zaken en formuleert strategische ICT doelen.

De Gemeente kiest hier een andere richtlijn dan de Rijksoverheid. Waar het Rijk het gebruik van ChatGPT ontraadt, omdat onduidelijk is hoe dergelijke tools zich tot de AVG verhouden, kiest de Gemeente voor gecontroleerd gebruik en heeft hiervoor richtlijnen voor medewerkers opgesteld.

INVENTARISATIE VAN ALGORITMEN De onderzoekers van PBLQ hebben voor dit onderzoek een inventarisatie van algoritmen in de gemeente Enschede gemaakt2. De onderzoekers hebben samen met de ambtenaren op gestructureerde wijze algoritmen in kaart gebracht en beschreven. Dit proces kostte veel tijd, mede omdat het was de eerste keer was dat in de gemeente zo’n nauwgezette inventarisatie is gemaakt. De uitgebreide inventarisatie heeft 70 algoritmen opgeleverd, die in bijlage E van het rapport van PBLQ zijn beschreven. Hiermee zijn niet alle algoritmen die in gebruik zijn binnen de gemeente Enschede in beeld zijn gekomen, omdat de focus is gelegd op algoritmen die invloed hebben op dienstverleningsprocessen. Hoeveel algoritmen ontbreken, is moeilijk te zeggen: wanneer een excel-regel als algoritme wordt gezien, is het aantal bij wijze van spreken oneindig hoog. De vraag is dus waar de grens wordt gelegd voor het wel of niet meetellen van een algoritme. Van de 70 geïnventariseerde algoritmen zijn de volgende kenmerken beschreven: gemeentelijk domein waar het algoritme wordt toegepast, of het algoritme nog in gebruik is, het doel van het algoritme, de werking ervan (informerend, adviserend of beslissend), de maatschappelijke impact en risico-inschatting (laag, beperkt, hoog) en de afweging voor het gebruik (wettelijke verplichting of eigen keuze van de gemeente).

Over de geinventariseerde algoritmen is het volgende op te merken: •

Algoritmen worden in alle domeinen en in diverse dienstverleningsprocessen gebruikt. 23 van de geïnventariseerde algoritmen hebben betrekking op het fysieke domein, 18 op het sociaal domein en 21 op dienstverlening en bedrijfsvoering. Acht algoritmen kennen een generieke, gemeentebrede toepassing.

•

De gemeente Enschede gebruikt veel minder data-gedreven algoritmen dan regel-gebaseerde algoritmen. Er zijn vier data-gedreven algoritmen geïnventariseerd.

•

45 van de 70 algoritmen worden informerend ingezet. Elf hebben een adviserende functie en zeven algoritmen zijn aangemerkt als beslissend.

•

Op basis van de maatschappelijke impact en risico-inschatting zijn twee algoritmen aangemerkt als hoogrisico, namelijk (1) de algoritmen die worden gebruikt voor informatie-gestuurd handhaven en (2) algoritmen die worden gebruikt ter ondersteuning van vroegsignalering van schuldenproblematiek. Beide algoritmen zijn als casus in dit onderzoek bestudeerd. Zie voor meer informatie hoofdstuk 3 van het onderzoek van PBLQ.

2 Daarbij is de definitie van een algoritme aangehouden zoals de Algemene Rekenkamer die heeft geformuleerd (zie

eerder in dit rapport). Deze definitie wordt ook gebruikt in het landelijk algoritmeregister. De consequentie van deze definitie is dat er vele algoritmen zijn. De focus is daarom gelegd op algoritmen die invloed hebben op dienstverleningsprocessen voor burgers, bedrijven en/of de gemeentelijke organisatie. De inventarisatie geeft daarmee inzicht in algoritmen die (in)direct invloed hebben op besluiten, acties, planning en beleidsvorming van de gemeente. Dit geeft de geïnventariseerde algoritmen maatschappelijke relevantie. Eveneens is ervoor gekozen om dit onderzoek te beperken tot het in kaart brengen van algoritmen die uitsluitend gebruikt worden door de gemeente Enschede. De algoritmen van samenwerkingsverbanden waar Enschede in participeert, denk bijvoorbeeld aan het Gemeentelijk Belastingkantoor Twente, zijn voor dit onderzoek buiten beschouwing gelaten.

LANDELIJK REGISTER In december 2022 is het “Algoritmeregister van de Nederlandse overheid” gelanceerd. De invulling van dit register is vooralsnog van beperkte omvang: er worden veel meer algoritmen door overheden gebruikt dan in het register zijn opgenomen. Vooralsnog is het nog niet verplicht om algoritmen te registeren. In dit landelijke algoritmeregister heeft Enschede één algoritme laten registreren: anonimiseringssoftware. Het gaat hierbij om een algoritme dat (persoons)gegevens en anderszins vertrouwelijke informatie in een document herkent en een voorstel doet om dit te anonimiseren. Enschede is geen uitzondering ten opzichte van andere gemeenten: veel van hen hebben nog maar weinig algoritmen in het register geregistreerd. De gemeente Enschede heeft tot nu toe beperkt geregistreerd, omdat gewacht is op de definitieve versie van de publicatiestandaard. Deze is eind november 2024 verschenen.

CONCLUSIES Op basis van het onderzoek van PBLQ trekt de Rekenkamer de volgende conclusies CONCLUSIE: ER IS NOG GEEN BELEID VOOR ALGORITMEN VASTGESTELD, MAAR DE GEMEENTE HEEFT IN HET DIGITALISERINGSBELEID AL GOEDE STAPPEN GEZET Er is nog geen beleid voor algoritmen en/of AI vastgesteld door de Gemeenteraad. Wel zijn er al procedures ingericht en spelregels en richtlijnen geformuleerd voor AI en algoritmen. De raad kan later dit jaar een integraal beleid voor digitalisering verwachten, naar aanleiding van de motie Grip op digitale zaken. Uitgangspunten over AI en algoritmen maken deel uit van dit beleid. Algoritmen zijn een nieuw onderwerp en er zijn weinig overheidsorganisaties die ver zijn met beleidsontwikkeling en uitvoering. Het doet dan ook geen recht aan de situatie en de inspanningen van de gemeente Enschede om te stellen dat er niet gestructureerd over algoritmen wordt nagedacht. De gemeente zet initiatieven in gang en ontwikkelt beleid over de ethische inzet van technologie en digitalisering (Nota Waardengedreven Digitalisering). Er is, mede als gevolg van de werkzaamheden van de externe ethische commissie, aandacht voor ethische aspecten van digitalisering in het algemeen en het benutten van algoritmen in het bijzonder. In 2025 wordt integraal digitaliseringsbeleid naar de raad gestuurd, waar uitgangspunten over algoritmen en AI deel van uitmaken.

Hoewel er nog geen vastgesteld beleid is voor algoritmen en er geen structurele inzet is van waarborgen bij het gebruik van algoritmen, is er sprake van een groeiend bewustzijn bij medewerkers die werken met systemen waarin algoritmen zijn verwerkt. Medewerkers controleren het proces waarin de algoritmen worden gebruikt en is er aandacht voor certificering en auditing van leveranciers. De gemeente zet ook pro-actief stappen om risico’s van inzet van digitale systemen met algoritmen in kaart te brengen. Kanttekening is dat de aandacht voor bewuste en verantwoorde omgang met algoritmen en kennis en kunde over de materie vooralsnog beperkt blijft tot een relatief kleine kern (CIO-office en schil van nauw betrokkenen). CONCLUSIE: MET DE INVENTARISATIE VAN 70 ALGORITMEN IS EEN DEEL VAN ALLE ALGORITMEN IN KAART GEBRACHT De inventarisatie heeft geresulteerd in zo’n 70 algoritmen, maar daarmee is er geen volledig overzicht van alle algoritmen. In dit onderzoek is een focus aangebracht op algoritmen die invloed hebben op dienstverleningsprocessen voor inwoners, bedrijven en/of de gemeentelijke organisatie. Het daadwerkelijke aantal algoritmen dat de gemeente gebruikt, is vermoedelijk veel hoger dan het aantal van 70. In 2023 is de gemeente begonnen met het in kaart brengen van algoritmen in een intern register. Het illustreert de ambities van de gemeente op dit punt.

Door de introductie van een landelijk algoritmeregister in 2024 is de gemeente hiermee gestopt. In het landelijk register heeft de gemeente Enschede één algoritme geregistreerd. De landelijke registratie is (voorlopig) niet verplicht maar de Rekenkamer concludeert dat de inbreng door Enschede – zoals door veel meer gemeenten – zeer beperkt is.

CONCLUSIE: DE BESTUURLIJKE BETROKKENHEID MOET WORDEN VERGROOT Het thema ‘algoritmen’ is bekend bij een kleine groep medewerkers in en rondom het CIO-office, maar wordt nog onvoldoende op management- of bestuursniveau besproken. De beperkte bestuurlijke betrokkenheid vindt de Rekenkamer een gemiste kans, omdat het één van de bouwstenen en randvoorwaarden is voor bewuste en verantwoorde inzet van algoritmen. De impact voor gemeente en inwoners is groot (denk aan de mogelijkheden, maar ook aan de risico’s), het aantal algoritmen is groot, ontwikkelingen op dit terrein gaan snel. AI en algoritmen verdienen een prominente plaats op de beleidsagenda, in het dagelijkse werk, en zeker ook op bestuurlijk niveau: De raad heeft de verantwoordelijkheid om kaders te stellen voor beleid en uitvoering te controleren. Algoritmen en AI zouden onderdeel moeten zijn van de democratische besluitvormingscyclus – de Autoriteit Persoonsgegevens geeft dit ook aan. Naar verwachting zal de agendering van het integrale digitaliseringsbeleid verder in bijdragen. De raad kan dan kaders stellen voor beleid en uitvoering en het college hier op termijn in controleren.

AANBEVELINGEN De Rekenkamer komt op basis van het onderzoek tot de volgende aanbevelingen aan het college: AANBEVELING 1: FORMULEER EXPLICIET BELEID VOOR ALGORITMEN EN/OF AI, WAARONDER BELEID TEN AANZIEN VAN HET ALGORITMEREGISTER EN BRENG DIT BELEID IN DE PRAKTIJK De Rekenkamer beveelt op basis van dit onderzoek aan om beleid voor algoritmen te formuleren en aan de raad voor te leggen3. De raad kan zich hier dan over uitspreken en stilstaan bij het maatschappelijk belang van het onderwerp. Vanuit een vastgesteld beleid over algoritmen kan vervolgens gewerkt worden aan procedures rondom inkoop van algoritmen en risico-inventarisatie. De raad kan in 2025 integraal digitaliseringsbeleid verwachten, waarin uitgangspunten voor algoritmen en AI zijn opgenomen. Het vastgestelde beleid moet vervolgens worden uitgewerkt, om het bewustzijn bij medewerkers (breder dan alleen het CIO-office) te vergroten en hen handvatten te geven om het beleid in de praktijk te brengen en toe zien op een juist gebruik van algoritmen. Training en opleiding op de werkvloer zouden onderdeel van het beleid moeten zijn. Heb hierbij niet alleen oog voor het gebruik van een algoritme, maar ook voor mogelijke risico’s en ethische vragen. Een afwegingskader om na denken over het (niet) inzetten van een algoritme in een specifieke situatie kan helpen bij het nemen van beslissingen.

Op de Erasmus Universiteit Rotterdam is bijvoorbeeld een model ontwikkeld om AIgebruik op een ethische manier te benaderen (zie blz. 32 van het rapport van PBLQ). Dit model kan dienen als inspiratie voor een dergelijk te ontwikkelen afwegingskader. De activiteiten van de Ethische commissie en de Nota waardegedreven Digitalisering hebben een impuls gegeven, waardoor enkele onderdelen van het genoemde model al zichtbaar zijn in het denken en handelen van de gemeente. AANBEVELING 2: GA VERDER MET DE INVENTARISATIE VAN ALGORITMEN EN HOUDT DEZE ACTUEEL De gemeente had bij de start van dit onderzoek geen overzicht van welke algoritmen worden gebruikt. Een eerste overzicht is met dit onderzoek tot stand gekomen. Het is weliswaar geen doel op zich om alle algoritmen gedetailleerd in kaart te brengen en te beschrijven, maar als de gemeente bewust en verantwoord met algoritmen wil omgaan, moet wel bekend zijn wat er wordt gebruikt. Een overzicht is noodzakelijk en voorwaardelijk om te kunnen bepalen waar de gemeente mogelijk (extra) risico loopt of waar ze graag extra waarborgen wil treffen.

3

Dit beleid kan zich richten op het ontwikkelen, inkopen en gebruik van algoritmen; op bewustwording en omgang met risico’s van algoritmen. In dit beleid kunnen de volgende door experts genoemde bouwstenen worden meegenomen: informatiehuishouding op orde, bestuurlijke betrokkenheid, borging bij vaste rollen, slimme inzet van hulpmiddelen, en leveranciersmanagement.

Inzicht start bij overzicht, maar dat is momenteel nog niet volledig aanwezig. De gemeente zou daarom de huidige inventarisatie verder moeten aanvullen en moeten aanscherpen, zodat er vanuit een beter overzicht gestuurd kan gaan worden. De inventarisatie is ook verstandig met het oog op het nationale algoritmeregister; dat is nu nog op vrijwillige basis, maar de vraag is hoe lang nog. Spreek daarnaast een duidelijke ambitie uit over de (landelijke) registratie van algoritmen en neem deze ambitie op in het beleid. Welke typen algoritmen gaat de gemeente wel en welke niet opnemen in dit register. De Rekenkamer vindt het opmerkelijk dat er momenteel nog maar één algoritme in het landelijk register is opgenomen, nota bene met een relatief laag risico, terwijl er in de gemeente algoritmen zijn met een hoger ingeschat risico. Omwille van transparantie en ook bewustwording acht de Rekenkamer het zinvol dat voor burgers en raadsleden duidelijk is waar zij een actueel overzicht kunnen vinden met daarin minimaal de (potentieel) risicovolle algoritmen (zie ook de volgende aanbeveling). AANBEVELING 3: KIJK NOG EEN KEER KRITISCH NAAR DE RISICO-INSCHATTING VAN ALGORITMEN De onderzoekers hebben bij de inventarisatie in overleg met de gemeente ook de maatschappelijke impact van elk algoritme bepaald. Slechts twee algoritmen zijn door de gemeente aangemerkt als hoog-risico.

De PBLQ-onderzoekers en de Rekenkamer vragen zich af of de inschatting van slechts twee hoog-risico-algoritmen niet te conservatief is. De onderzoekers van PBLQ stellen in hun rapportage dat de gemeente risico’s van bepaalde algoritmen soms lager inschat dan de wettelijke richtlijnen, zoals de AI-verordening, voorschrijven. Dit geldt bijvoorbeeld voor algoritmen die betrekking hebben op werkgelegenheid, zoals matchingsoftware voor wervingsprocedures, openbare diensten, zoals aanvragen van een paspoort of rijbewijs, bij handhaving en bij verkiezingen. Algoritmen binnen deze categorieën zijn volgens de AI-Verordening hoog-risico. De inventarisatie van algoritmen laat zien dat Enschede ook op deze terreinen algoritmen gebruikt, maar deze niet allemaal als hoogrisico heeft geclassificeerd. De Rekenkamer vermoedt dat overheden vaker de neiging hebben om risico’s laag in te schatten zoals ook door de Algemene Rekenkamer (oktober 2024) is opgemerkt over de risicoanalyses van algoritmen bij de rijksoverheid. De huidige risico-classificatie biedt een impuls voor organisaties om risico’s lager te classificeren omdat de wettelijke eisen ten aanzien van hoge risico algoritmen strenger zijn. Ook is van belang op te merken dat niet alleen complexe algoritmen en AI hoog-risicovol kunnen zijn.

Ook oude of relatief eenvoudige algoritmen kunnen grote schade aanbrengen, zoals recentelijk door de Autoriteit Persoonsgegevens is geconstateerd. Bovendien wijst de Algemene Rekenkamer er op dat AI-systemen met minimaal of beperkt risico nog steeds risico’s met zich meebrengen (zoals mogelijke privacy-schendingen). De Rekenkamer beveelt daarom aan om a) in het digitalisering- of AI-beleid duidelijk aan te geven hoe risicoanalyses moeten worden uitgevoerd, b) de algoritmen nog eens te beoordelen en c) bij de risicoafweging zelf niet risicomijdend te zijn. De Rekenkamer merkt op dat het niet mogelijk is om alle risico’s uit te sluiten, er moet ook gewoon (met algoritmen) gewerkt worden, wat in veel gevallen ook grote voordelen oplevert. Daarbij moet een afweging gemaakt worden tussen bedrijfseconomische werkbaarheid en dienstverlening aan inwoners versus het afdekken van risico’s.

De Rekenkamer doet de volgende aanbeveling aan de gemeenteraad: AANBEVELING 4: VRAAG ACTIEF OM INFORMATIE EN KENNIS OP HET GEBIED VAN DIGITALISERING De raad is zelf ook aan zet om de bestuurlijke betrokkenheid rondom digitalisering en algoritmen in het bijzonder te vergroten. De raadsleden waarmee in het kader van dit onderzoek is gesproken, stelden vast dat tijdens beraadslagingen, in de raad of in een commissie, niet tot nauwelijks gesproken wordt over de rol van algoritmen. Op zich is dat geen

bijzonderheid, de rol van de gemeenteraad is niet gericht op het controleren of nalopen van de (technische) werking van algoritmen. De gemeenteraad heeft daarentegen wel een duidelijke rol in het bespreken van de keuzes en afwegingen die rond de inzet van algoritmen en digitalisering worden gemaakt. Het gaat dan om een inhoudelijk en politiek gesprek over de keuzes in de uitvoering en de prioriteiten die daarin worden gelegd. De deelnemers aan de bijeenkomst voor dit onderzoek benadrukten het belang om de raad goed in die positie te brengen, iets dat tot op heden naar hun mening weinig tot niet is gebeurd. Wél wordt de raad in Enschede betrokken bij brede digitaliseringskwesties. Zo heeft de functionaris gegevensbescherming een informatieve presentatie aan de raad gegeven. Daarnaast heeft er begin 2024 een flexavond plaatsgevonden over digitalisering. De Rekenkamer geeft raadsleden mee aan om het college te vragen regelmatig een gesprek over digitalisering te organiseren met raadsleden. Dat hoeft niet beperkt te blijven tot gesprekken naar aanleiding van raadsvoorstellen en beleidsstukken. Los daarvan kunnen informatie sessies worden georganiseerd op bijvoorbeeld flexavonden en kan het college periodieke schriftelijke updates geven. Het zou ook goed zijn als de raad aan de griffie vraagt om in het inwerkprogramma voor nieuwe raadsleden aandacht te hebben voor digitalisering.

Teksten Rekenkamer Enschede Datum 24 januari 2025 Aan dit document kunnen geen rechten worden ontleend.