Rapport rekenkamer Algoritmes en AI 2025
Tekst van het document
Van risico naar regie: slimmer sturen op algoritmen en AI Rekenkameronderzoek naar algoritmen en AI bij gemeente Eindhoven
Rekenkamer Eindhoven December 2025
Inhoudsopgave
inleiding 3 1.
probleemstelling 5 1.1 Aanpak onderzoek 6
2.
Bevindingen 7
3.
Conclusies en aanbevelingen 10 3.1 Conclusies 10 3.2 Aanbevelingen 10
4.
Reactie college 12
5.
Nawoord rekenkamer 15
6.
Concept raadsbesluit 16
Bijlage Rapport PBLQ
17
Colofon December 2025 Rekenkamer Eindhoven Walter Hartmann, voorzitter Jérôme Verhagen, vicevoorzitter Wim Bens, lid (tot 25 november 2025) Klaartje Peters, lid (vanaf 25 november 2025) Laurie Hasselt, secretaris
2
Rekenkamerrapport
Algoritmes en AI
inleiding
De snelle opkomst van algoritmes en artificiële intelligentie (AI) biedt gemeenten kansen om maatschappelijke opgaven aan te pakken. Algoritmes en AI kunnen helpen om processen efficiënter en effectiever te maken. Tegelijkertijd roept het zorgen op over de bescherming van publieke waarden en grondrechten. Gedegen risicobeheersing en checks en balances zijn van belang. Dit spanningsveld van kansen en risicobeheersing vraagt om zorgvuldig onderzoek naar de inzet van deze technologieën. Ook in Eindhoven beweegt de gemeente zich binnen dit spanningsveld. De gemeente Eindhoven besteedt al enige tijd aandacht aan de verantwoorde ontwikkeling en toepassing van algoritmes en AI. De gemeente startte eind 2022 met het project ‘Responsible AI’, dat de basis legde voor een gemeentebrede visie en aanpak over het verantwoord inzetten van AI. In 2023 stelde de gemeenteraad de I-visie & strategie vast, met uitgangspunten als Waarover gaat dit rapport? In dit rapport staan de begrippen ‘algoritme’ en ‘AI-systeem’ centraal. De in het onderzoek gehanteerde definities van die twee kernbegrippen zijn te vinden op pagina 4 van de nota van bevindingen. Hier omschrijven we de begrippen in gewoon Nederlands.
3
Rekenkamerrapport
Algoritmes en AI
mensgericht en transparant handelen bij data en algoritmes. In het landelijke algoritmeregister registreert de gemeente Eindhoven in mei 2023 twee algoritmes. Uit een interne gedragscode waarvoor in juni 2023 de eerste stappen werden gezet, blijkt dat de gemeente wil gaan werken aan een cultuur van experimenteren en leren. Deze gedragscode is uiteindelijk in november 2025 vastgesteld, na afronding van de onderzoeksperiode waarin dit rapport tot stand is gekomen. Met dit onderzoek wil de rekenkamer de gemeenteraad inzicht geven in de stand van zaken rond de inzet van algoritmes en AI in Eindhoven, inclusief de kansen en bedreigingen. Ook wil de rekenkamer inzicht verschaffen in hoeverre de gemeente voorbereid is op een intelligente en veilige toepassing van algoritmes en AI, met het oog op wet- en regelgeving zoals de Europese AI-verordening, ethische risico’s, governance en inrichting van de organisatie. Algoritme Een algoritme is een soort recept voor de computer: een duidelijke lijst met stappen of regels die de computer automatisch volgt om een berekening te maken, een probleem op te lossen of een vraag te beantwoorden. Dit kan gaan om iets heel eenvoudigs, zoals een rekenregel, maar ook om ingewikkelde schema’s die helpen om beslissingen te nemen.
AI-systeem (kunstmatig intelligent systeem) Een AI-systeem is een computerprogramma dat zelfstandig kan werken en soms zelfs kan leren van nieuwe informatie. Het systeem kan, op basis van wat het binnenkrijgt aan gegevens, zelf bepalen welke uitkomst het moet geven. Die uitkomst kan bijvoorbeeld een voorspelling zijn, een advies, een beslissing, of gemaakte inhoud zoals tekst of afbeeldingen. Deze uitkomsten kunnen invloed hebben op de echte wereld (bijvoorbeeld verkeerslichten) of op digitale omgevingen (zoals wat iemand online te zien krijgt). Een AI-systeem bestaat uit heel veel algoritmes die samenwerken. Andersom geldt: niet elk algoritme is automatisch een AI-systeem.
4
Rekenkamerrapport
Algoritmes en AI
Generatieve AI Generatieve AI is een vorm van kunstmatige intelligentie die zelf nieuwe dingen kan maken, zoals tekst, plaatjes, video’s of muziek. Het systeem leert hoe voorbeelden eruitzien door grote hoeveelheden bestaande data te bestuderen. Daarna kan het iets nieuws creëren dat erop lijkt, maar toch origineel is. Bekende voorbeelden van tools die met generatieve AI werken zijn Copilot, ChatGPT en Google Gemini.
1.
probleemstelling
De centrale onderzoeksvraag is: Wat is de actuele stand van zaken rond ontwikkelingen en toepassing van algoritmes en AI in de gemeente Eindhoven en in hoeverre is zij geprepareerd om algoritmes en AI zo intelligent en veilig mogelijk in te zetten bij het realiseren van maatschappelijke opgaven? Deze hoofdvraag is uitgewerkt in de volgende deelvragen: Beleid • Wat zijn de visie, doelen en lokale kaders rond gebruik van algoritmes en AI? • Welke algoritmes en AI-systemen gebruikt de gemeente en met welk doel? Uitvoering en praktijk • Worden beleidsdoelstellingen met behulp van algoritmes en AI doeltreffend en doelmatig behaald? • In hoeverre zijn risico’s rond ethiek, privacy en governance (onderkend en) geborgd? • Hoe is de organisatiestructuur ingericht rond algoritmes en AI? Hoe zijn de rollen en verantwoordelijkheden verdeeld? • In hoeverre geeft de organisatiecultuur van de gemeente voldoende ruimte om te experimenten en innoveren met AI-toepassingen?
5
Rekenkamerrapport
Algoritmes en AI
Leren en vooruitkijken • Welke voorbereidingen treft Eindhoven voor toekomstige opgaven rond algoritmes en AI? • Wil en kan de gemeente Eindhoven een voortrekkersrol pakken binnen de regio bij de toepassing van AI? • Welke verbeterpunten zijn er voor de gemeente op het gebied van algoritmes en AI? • Wat kan de gemeente leren van ervaringen van andere gemeenten en voorlopers op het gebied van AI-gebruik? Rol van de gemeenteraad • In hoeverre voert de gemeenteraad proactief zijn sturende, controlerende en volksvertegenwoordigende verantwoordelijkheid uit? • Hoe wordt de raad betrokken bij en geïnformeerd over (de uitvoering van) het beleid ten aanzien van algoritmes?
1.1 Aanpak onderzoek Het onderzoek is uitgevoerd in de volgende stappen. 1. Bestudering van relevante documenten. Hierbij gaat het om kader- en visiedocumenten, documenten met betrekking tot de opzet en werking van de uitvoering en relevante raadsen collegestukken. 2. Interviews met betrokkenen uit de ambtelijke organisatie en raadsleden. Er zijn gesprekken gevoerd met medewerkers van de gemeente die betrokken zijn bij de governance en het gebruik van algoritmes en AI. Ook is er een raadsbijeenkomst georganiseerd met een vertegenwoordiging vanuit de gemeenteraad over een fictieve casus. 3. Naast de interviews zijn er drie casusbijeenkomsten georganiseerd om verder in te zoomen op de vraag in hoeverre de risico’s rond ethiek, privacy en governance zijn onderkend en geborgd.
6
Rekenkamerrapport
Algoritmes en AI
4. Gesprekken met andere overheidsorganisaties over good practices. Om te leren en inzichten op te doen is er met zeven andere overheidsorganisaties gesproken over de manieren waarop andere organisaties omgaan met algoritmes en AI. Welke lessen kan Eindhoven daarvan leren? 5. Opstellen van het rapport. 6. Formuleren van de conclusies en aanbevelingen. Het onderzoek omvat de periode van 2021 tot en met september 2025. Het gebruikte normenkader is opgenomen op pagina 54 van het onderzoeksrapport (zie bijlage).
2. Bevindingen
Beleid Binnen de gemeente zijn de afgelopen jaren eerste stappen gezet in het ontwikkelen van beleid en het inventariseren van algoritmes en AI-initiatieven, maar de uitvoering ervan stokt door gebrek aan besluitvorming. De organisatie is zich bewust van kansen én risico’s die AI kan bieden om processen efficiënter te maken en dienstverlening te verbeteren. Met behulp van onder andere een externe ethische commissie – opgericht op initiatief van de gemeenteraad – en een intern ethisch team, het Responsible AI-traject, het afwegingskader voor het verantwoord inzetten van AI en de gedragscode AI en de oprichting van de expertisegroep AI toont de organisatie dat er op verschillende manieren wordt nagedacht over het verantwoord gebruik van algoritmes en AI. De implementatie hiervan loopt echter vast door trage besluitvorming over het beleid. Zowel het afwegingskader als de gedragscode AI zijn ten tijde van het uitvoeren van dit rekenkameronderzoek nog niet formeel vastgesteld door de directie. Dat de totstandkoming van deze formele beleidskaders meer dan twee jaar duurt, zorgt voor stilstand.
Het gebrek aan urgentie in de kaderstelling en richtinggeving zorgt voor onzekerheid bij medewerkers over wat wel en niet mag, AIinitiatieven waar wel behoefte aan is worden niet tot uitvoer gebracht in afwachting van formele richtlijnen, en leren door zelf te doen en experimenteren krijgt hierdoor geen kans.
7
Rekenkamerrapport
Algoritmes en AI
In het bestuursakkoord ‘Samen morgen mooier maken’ heeft het bestuur aangegeven open en transparant te willen zijn door publiekelijk te verantwoorden welke keuzes gemaakt worden. In het landelijk algoritmeregister zijn echter slechts twee algoritmes opgenomen, wat beduidend minder is dan andere gemeentes. Aanvullend is er een intern register waarin negen algoritmes zijn opgenomen en een lijst met AI-initiatieven. Het inzicht in de in gebruik zijnde algoritmes is echter niet volledig. Het is een goed begin, maar op kwantitatief gebied zijn er stappen te zetten in het verder in kaart brengen hiervan. De organisatie toont zich hier ook zelf bewust van en werkt hier actief aan. Kwalitatief zien de geregistreerde algoritmes er wel goed uit: de informatie is doorgaans volledig en duidelijk over doelstellingen en impact. Uitvoering en praktijk Binnen de gemeente wordt meerwaarde gezien in het gebruik van algoritmes en AI: meer efficiëntie, betere dienstverlening en consistentie van besluitvorming bijvoorbeeld. Op enkele gebieden wordt binnen de gemeente al gebruikgemaakt van algoritmes die hieraan kunnen bijdragen, zoals bij het verwerken van verhuisaangiftes. Of deze algoritmes ook daadwerkelijk bijdragen aan verbetering van de dienstverlening is niet volledig duidelijk, omdat de impact niet structureel gemonitord wordt.
Risico’s worden op verschillende manieren in kaart gebracht, bijvoorbeeld door middel van quickscans, DPIA’s1 en SIA’s2. Ook is er een intern ethisch team en externe ethische commissie die ondersteunen en adviseren bij het maken van belangenafwegingen. Dit draagt bij aan grondige reflectie en kwalitatieve afwegingen die worden gemaakt bij de inzet van algoritmes en AI. Door gebrek aan structurele evaluatie of monitoring wordt deze keten van risicobeheersing echter niet volledig afgerond. Dit kan mede verklaard worden doordat de organisatiestructuur rond algoritmes en AI nog in ontwikkeling is: er zijn doorgaans een proceseigenaar en een privacy officer betrokken bij algoritme- en AI-projecten. Dit biedt een deugdelijke basis voor risicobeheersing, maar er vindt geen structurele sturing plaats op de maatregelen. Er lijkt binnen de organisatie veel bereidwilligheid en energie om te experimenteren en innoveren met AI-toepassingen. Er is een expertisegroep AI opgericht die ideeën, wensen en behoeften heeft opgehaald binnen de organisatie en in kaart gebracht in een lijst met 33 mogelijke AIinitiatieven. Deze zijn nog niet formeel in gebruik, maar geven inzicht in welke ideeën en behoeften er bestaan m.b.t. de ondersteuning die AI kan bieden. Door het uitblijven van formeel beleid lopen deze ontwikkelingen in de praktijk vast en worden ze niet tot uitvoer gebracht.
De trage besluitvorming staat innovatie en een collectief leerproces in de weg. Bovendien zorgt dit voor risico’s op het gebied van ongereguleerd gebruik. Het onderzoek laat zien dat ondanks het ontbreken van formele richtlijnen diverse generatieve AI-tools, zoals bijvoorbeeld ChatGPT, wel degelijk al worden gebruikt door medewerkers. Het is niet te controleren of er hierbij vertrouwelijke of bedrijfsgevoelige gegevens worden gedeeld. Het ontbreken van het beleid zorgt ervoor dat de organisatie risico’s loopt op het gebied van privacy, beveiliging en controle over haar eigen informatie.
1 Data Protection Impact Assessment 2 Security Impact Analyse
8
Rekenkamerrapport
Algoritmes en AI
Leren en vooruitkijken De ambtelijke organisatie toont zich enthousiast en leergierig ten aanzien van innovatieve ontwikkelingen op het gebied van algoritmes en AI. CIO-office heeft in kaart gebracht welke behoeften er leven op het gebied van ondersteuning door AI en er wordt actief de samenwerking gezocht met andere overheden en kennisnetwerken. Er worden initiatieven opgericht om kennisdeling te bevorderen en voorbereidingen getroffen om verantwoord om te gaan algoritmes en AI. Deze inspanningen blijven tot op heden echter vooral beperkt tot papier. De vertaalslag naar de praktijk komt moeizaam tot stand, omdat de gemeente eerst de formele randvoorwaarden en processen wil doorlopen voordat toepassing in gebruik genomen kunnen worden. Leren door te experimenteren krijgt hierdoor vrijwel geen ruimte binnen de huidige praktijk. Het enthousiasme om te leren blijft hierdoor veelal steken in de verkennende fase. Rol van de gemeenteraad De gemeenteraad heeft een belangrijke taak in het waarborgen van transparantie, rechtvaardigheid en controle bij het gebruik van algoritmes en AI. Staat de technologie die gebruikt wordt in dienst van publieke waarden? En worden inwoners beschermd tegen ongewenste effecten van de inzet van deze technologie? Tijdens het onderzoek hebben raadsleden aangegeven deze vragen belangrijk te vinden. Maar zorgvuldigheid moet niet ten koste gaan van innovatie.
In de maatschappij van vandaag verwachten inwoners namelijk ook digitaal snel en effectief geholpen te kunnen worden door de gemeente. Raadsleden tonen zich bewust van kansen en risico’s die deze technologische ontwikkelingen bieden. Toch heeft de gemeenteraad tot op heden in beperkte mate aandacht besteed aan het onderwerp algoritmes en AI. De raad heeft wel een belangrijke rol gespeeld in de oprichting van de ethische commissie, die na een toezegging door het college is ingesteld als hulpmiddel om publieke waarden bij digitaliseringstrajecten beter te kunnen borgen. De controlerende rol wordt in beperkte mate ingevuld: er worden vooral
incidenteel en reactief een handvol vragen gesteld en een enkele motie ingediend. Dit is deels te verklaren omdat het een relatief nieuw en complex onderwerp is, waarin het voor de gemeenteraad, net zozeer als voor het college van B&W en de ambtelijke organisatie, nog zoeken is naar een passende rol. Een tweede mogelijke verklaring hiervoor kan gezocht worden in de minimale
9
Rekenkamerrapport
Algoritmes en AI
informatievoorziening aan de raad vanuit het college. De raad wordt niet structureel geïnformeerd over algoritmes en AI-toepassingen, met uitzondering van de rapportage van de Functionaris Gegevensbescherming. Het college heeft slechts één collegebrief gestuurd in de laatste vijf jaar, maar structurele en transparante communicatie ontbreekt. Hierdoor is de raad nog onvoldoende in positie om effectief te sturen en te controleren op het gebied van AI.
3. Conclusies en aanbevelingen
3.1 Conclusies Eindhoven is op dit moment onvoldoende geprepareerd om algoritmes en AI intelligent en veilig in te zetten. • Het ontbreken van duidelijke kaders, richtlijnen en een volledige registratie leidt tot onzekerheid en risico’s. • Er is wel aandacht voor risicobeheersing en ethiek, maar structurele monitoring en evaluatie ontbreken. • Het ontbreken van kaders zorgt voor het uitblijven van experimenten en mogelijkheid tot innovatie. • De informatievoorziening aan de gemeenteraad is minimaal: structurele en transparante communicatie ontbreekt. • De gemeenteraad geeft, mede door de beperkte informatievoorziening, slechts beperkt invulling aan zijn kaderstellende en controlerende rol. 3.2 Aanbevelingen Voor het college van B&W: 1. Zorg voor een fundament in de vorm van kaders, richtlijnen en toegestane AItoepassingen Het uitblijven van kaders en richtlijnen voor AI heeft tot stilstand en onzekerheid bij medewerkers geleid. Ongereguleerd gebruik van generatieve AI leidt bovendien tot risico’s ten aanzien van privacy en datalekken. Daarom roept de Rekenkamer op om te zorgen voor een fundament dat bestaat uit heldere kaders 10
Rekenkamerrapport
Algoritmes en AI
en richtlijnen. De gedragscode die inmiddels formeel is vastgesteld is daarin een goed begin, maar daarnaast is het ook belangrijk om veilige en goedgekeurde AI-toepassingen gemeentebreed te faciliteren. Daarmee kan het gebruik van systemen die zich buiten het zicht van de organisatie bevinden worden tegengegaan. Tot slot beveelt de Rekenkamer aan om de kaders en richtlijnen, waaronder de gedragscode, periodiek te herijken en evalueren zodat ze actueel blijven en meegroeien met de doorontwikkeling van AItechnologie. 2. Richt governance in voor AI-initiatieven Zorg voor een goede governancestructuur om besluitvorming over AI-initiatieven binnen de organisatie mogelijk te maken. Benoem iemand (bijvoorbeeld binnen het CIO-office) die het proces bewaakt, knelpunten signaleert en tijdig escalaties doorvoert als vertraging dreigt. Voorkom herhaalde en overlappende adviesrondes door vooraf te bepalen welke gremia wanneer en op welke wijze worden betrokken. Verzamel input zoveel mogelijk parallel in plaats van sequentieel. 3. Maak ruimte voor experimenten en innovatieve inzet Het onderzoek laat zien dat de huidige structuur en processen een belemmering vormen om flexibel en snel met nieuwe oplossingen aan de slag te gaan. Het staat innovatie nu in de weg. Zoek naar manieren om binnen de
huidige structuur meer ruimte te bieden voor experimentele en gecontroleerde inzet van nieuwe technologie zoals AI. Intensievere samenwerking met bedrijven, organisaties en kennisinstellingen binnen de Brainport-regio die zich met AI bezighouden kan zorgen voor inspiratie. Zorg voor een iteratieve aanpak waarbij doelstellingen en middelen periodiek worden geëvalueerd en een collectief leerproces wordt gefaciliteerd. Door bijvoorbeeld klein te beginnen en succesvolle projecten geleidelijk uit te rollen, kan de gemeente voorkomen dat het vast komt te zitten in langdurige, dure trajecten die achteraf niet (goed) blijken te werken. 4. Besteed meer aandacht aan monitoring en evaluatie van risico’s Zorg voor een structurele en periodieke evaluatie van risicobeheersmaatregelen bij algoritmes en AI-systemen. Voer niet alleen vooraf risicoanalyses uit, maar monitor en evalueer ook structureel of de genomen beheersmaatregelen daadwerkelijk worden geïmplementeerd en effectief zijn in de praktijk. Het is goed om dit eenduidig in de organisatie te beleggen en onderdeel te maken van de beleidsvorming.
Voor de gemeenteraad: 1. Maak afspraken over betrokkenheid, informatievoorziening en sturing De raad heeft belangstelling voor algoritmes en AI, maar de informatievoorziening vanuit het college is beperkt. Het maken van afspraken over structurele informatievoorziening op vaste momenten over het beleid en de uitvoering daarvan kan de raad beter in positie brengen. Zo kan de raad meedenken over de te stellen kaders en zijn controlerende taak (beter) uitvoeren. 2. Vergroot grip op algoritmes en AI Draag het college op om de in gebruik zijnde algoritmes binnen de organisatie verder in kaart te brengen om zo het inzicht en de transparantie te vergroten. Vraag het college opnieuw te kijken naar de beoordeling welke algoritmes impactvol zijn, en dus gepubliceerd worden in het landelijk algoritmeregister. Kijk daarbij ook naar hoe andere gemeenten vergelijkbare algoritmes hebben gecategoriseerd. Dit geldt ook bij het in gebruik nemen en categoriseren van AIsystemen. Een volledig(er) register geeft niet alleen de burgers, maar ook de raadsleden meer zicht en grip op de algoritmes die in Eindhoven worden gebruikt. Dit kan het gesprek tussen de raad en het college stimuleren.
11
Rekenkamerrapport
Algoritmes en AI
4. Reactie college
Onderwerp: bestuurlijke reactie op het concept-rekenkamerrapport ‘Gebruik van algoritmes en Al in Eindhoven’. Geachte drs. W. Hartmann, geachte leden van de Rekenkamer, Het college dankt de Rekenkamer voor het uitgevoerde onderzoek naar het gebruik van kunstmatige intelligentie (Al) binnen onze organisatie. Het rapport biedt waardevolle inzichten die wij zorgvuldig hebben bestudeerd. In deze reactie richten wij ons op de conclusies van het onderzoek en geven wij aan hoe wij deze zullen betrekken bij de verdere beleidsontwikkeling en uitvoering. 1. Reactie op conclusies Thema beleid Reactie: Het college onderschrijft de conclusies. Het college erkent dat de formele besluitvorming een lange aanloop heeft gehad. Dit is mede in de context van het traject dat de gemeente heeft doorlopen met de Autoriteit Persoonsgegevens en de benodigde capaciteitsinzet en risicobewustzijn die dit met zich meebracht ook voor het inzetten van Al. Het verscherpte toezicht door de Autoriteit Persoonsgegevens is inmiddels opgeheven nadat de gemeente inmiddels een solide basis heeft neergelegd die nu verder in de praktijk wordt gebracht. Daarbij past tevens het onder voorwaarden toestaan van gebruik van bepaalde Al”. De gemeente zal de komende tijd verdere stappen zetten in de toepassing van Al om ook de kansen die dit biedt beter te benutten.
Een helder beleidskader met duidelijke spelregels voor medewerkers is daarbij onontbeerlijk. Het college heeft op 18 november jl. de gedragscode Al voor de organisatie vastgesteld. In deze gedragscode is het gebruik van Al onder voorwaarden toegestaan. Daarnaast zal binnen afzienbare tijd de Al governance, het Al en algoritme proces en het afwegingskader voor de toepassing van Al ter vaststelling aan de Directieraad worden aangeboden. Er wordt nog gewerkt aan het implementeren van het privacy beleid en de privacy governance. Het college is bovendien positief over de signalen dat de kwaliteit van de registraties in het interne register goed is en aan volledigheid van de registratie wordt gewerkt. Dit vormt een belangrijke basis voor transparantie en verantwoording en geeft aan dat we de goede richting 12
Rekenkamerrapport
Algoritmes en AI
op gaan. Tegelijkertijd blijft een goede inrichting van het proces essentieel om deze kwaliteit structureel te borgen. Onder het thema Uitvoering en praktijk zal nader worden ingegaan op het aantal registraties in het landelijke register. Thema uitvoering en praktijk Reactie: Het college onderschrijft de conclusies van de rekenkamer en wil in haar reactie twee zaken uitlichten. 1) In het rapport wordt opgemerkt dat Eindhoven weinig algoritmes heeft geregistreerd in het landelijke algoritmeregister. Transparantie is voor ons van groot belang. Tot nu toe heeft de gemeente zich strikt gehouden aan de termen impactvol en hoog-risico bij publicatie en is, mede door het traject met de Autoriteit Persoonsgegevens, terughoudend geweest met het inzetten van Al in onze bedrijfsprocessen. We zetten nu stappen om het algoritmeregister verder te actualiseren en structureel te verbeteren. Daarbij kijken we kritisch naar de huidige inventarisatie van algoritmes. Een belangrijk onderdeel van deze verbetering is ook het goed inrichten van het proces en het vroegtijdig signaleren en registreren van Al- en algoritmische toepassingen in dit proces. Dit zorgt ervoor dat nieuwe toepassingen vanaf het begin voldoen aan de eisen van transparantie en verantwoording.
Daarnaast zien we de aanbevelingen van de Rekenkamer om het interne en externe register beter op elkaar af te stemmen met belangstelling tegemoet. Dit zal worden geborgd in een nieuwe beleidslijn, waarbij de aanbevelingen van de Rekenkamer worden meegenomen. 2) De huidige structuur en processen, met een nadruk op risicobeheersing, helpen om verantwoord keuzes te maken bij het inzetten van technologie. Deze aanpak is in veel situaties passend, maar beperkt medewerkers in hun mogelijkheid om flexibel en snel met innovatieve oplossingen en experimenten aan de slag te gaan. Daarom gaan we aan de slag met het ontwikkelen van een veilige proefomgeving waarin (risicogestuurd) gecontroleerd kan worden geëxperimenteerd met proefversies van nieuwe toepassingen. Toepassingen die in deze fase voldoende waardevol blijken, kunnen vervolgens verantwoord worden opgeschaald. Deze aanpak stimuleert innovatie en zorgt voor kennisontwikkeling, die essentieel is om stappen vooruit te zetten. Zo combineren we ruimte voor vernieuwing met de noodzakelijke waarborgen voor verantwoord gebruik van technologie vanuit risicobeheersing en ethisch verantwoorde inzet. Thema Leren en vooruitkijken Reactie: Het college herkent deze conclusies. Duidelijke kaders zijn noodzakelijk om gericht te kunnen leren en vooruit te kijken.
De gedragsrichtlijnen voor Al, die het college 18 november 2025 heeft vastgesteld, vormen een belangrijk onderdeel hiervan, evenals de governance op Al zoals toegelicht in het Rekenkamerrapport. Zie ook thema Beleid. Het college vindt samenwerking in de regio en met andere gemeenten van groot belang. Het is positief dat de Rekenkamer opmerkt dat Eindhoven deze samenwerking actief opzoekt en daarmee kennisdeling stimuleert en haar eigen beleid verrijkt. De oproep van de Rekenkamer om ruimte te creëren voor experimenten onderschrijven wij; dit is essentieel om een lerende organisatie te zijn en om innovaties, zoals Al, daadwerkelijk in de praktijk te brengen. In dat kader wordt momenteel -zoals toegezegd bij het vaststellen van het privacybeleid- nog gewerkt aan een formeel vast te stellen risicostrategie, waarin wordt opgenomen wat de bandbreedte van de gemeente is voor het wel of niet accepteren van (rest)risico’s, vanuit het perspectief van betrokkene. Zie ook onze reactie onder het thema Uitvoering en Praktijk.
13
Rekenkamerrapport
Algoritmes en AI
Thema Rol van de gemeenteraad Reactie: De Rekenkamer heeft geconstateerd dat de gemeenteraad in de afgelopen jaren beperkt is geïnformeerd over de ontwikkeling van Al en algoritmes. Wij erkennen dat de nadruk tot nu toe lag op het informeren over de voortgang van beleidsontwikkeling. Nu het beleidskader is vastgesteld, zullen wij de gemeenteraad periodiek en structureel informeren over de voortgang. Daarbij neemt het college het door de Rekenkamer gehanteerde normenkader ter harte en gebruikt dit als leidraad om de raad in staat te stellen zijn controlerende rol optimaal te vervullen. 2.Bevindingen Als college richten wij ons in deze reactie met name op de conclusies uit het rapport. We erkennen de door de Rekenkamer benoemde risico’s die het gebruik van openbare Altoepassingen met zich meebrengen. Het college heeft eerder vanwege een risico analyse reeds maatregelen laten nemen; alle openbare Al-toepassingen zijn geblokkeerd en het gebruik hiervan is voor zakelijke doeleinden niet toegestaan. Vooralsnog is het ook niet toegestaan om bij gebruik van Al persoonsgegevens en bedrijfsgevoelige informatie te verwerken tot risico’s nader inzichtelijk zijn en aanvullende maatregelen zijn genomen. 3.Tot slot Het rapport benoemt veel bruikbare inzichten en laat zien dat Eindhoven belangrijke stappen zet om het gebruik van algoritmes en Al te verbeteren en verder te professionaliseren.
Het geeft daarnaast waardevolle conclusies om mee aan de slag te gaan en onze aanpak verder te versterken. Het college ziet deze conclusies als een goede basis voor het verbeteren van onze informatiehuishouding en het verantwoord én effectief inzetten van Al. Het college dankt de Rekenkamer voor haar bijdrage en kijkt uit naar de aanbevelingen die zij doet. Deze zien wij met belangstelling tegemoet. Burgemeester en wethouders van Eindhoven, Secretaris
14
Rekenkamerrapport
Algoritmes en AI
5. Nawoord rekenkamer
De rekenkamer bedankt het college van burgemeester en wethouders voor de inhoudelijke en constructieve reactie op het rapport. Wij waarderen dat het college onze conclusies herkent en onderschrijft en aangeeft welke acties en maatregelen het wil nemen om de geconstateerde verbeterpunten op te pakken. We zijn blij te zien dat er gedurende het onderzoek beweging is gekomen en de eerste stappen voor verbetering inmiddels gezet zijn. Dit geeft vertrouwen in de opvolging. Het college kondigt aan om de conclusies uit het rapport te zullen gebruiken als basis voor verdere beleidsontwikkeling en -uitvoering. Wij adviseren het college dit uit te werken in een plan van aanpak dat een duidelijke beschrijving en planning bevat over hoe opvolging wordt gegeven aan de aanbevelingen en dit plan ook met de gemeenteraad te delen. Wij zien deze voornemens als een goede basis voor opvolging van onze aanbevelingen en moedigen de raad aan het college scherp te houden. Tenslotte Tot slot willen wij alle betrokken medewerkers van de ambtelijke organisatie, raadsleden en andere stakeholders bedanken voor de medewerking aan dit rekenkameronderzoek.
15
Rekenkamerrapport
Algoritmes en AI
6. Concept raadsbesluit
De rekenkamer stelt de raad voor om het college op te dragen: 1. de aanbevelingen aan het college 1 t/m 4 binnen een jaar uit te werken in een beknopt plan van aanpak; 2. de raad hier eens per half jaar over te informeren; 3. de aanpak en resultaten jaarlijks te evalueren en hierover te rapporteren aan de raad.
16
Rekenkamerrapport
Algoritmes en AI
Bijlage
Rapport PBLQ
17
Rekenkamerrapport
Algoritmes en AI
Gebruik van algoritmes en AI in Eindhoven Onderzoeksrapportage 11 december 2025
Inhoudsopgave 1.
Inleiding
3
1.1 1.2 1.3 1.4 1.5 1.6
Aanleiding Opdrachtformulering Afbakening Normenkader Onderzoeksaanpak en werkwijze Indeling rapport
3 3 4 5 5 6
2.
Beleid over algoritmes en AI
7
2.1 2.2 2.2.1 2.2.2 2.3 2.3.1 2.3.2 2.3.3 2.3.4 2.3.5 2.4 2.5 2.5.1 2.5.2 2.5.3
Bestuurlijke ambitie: Bestuursakkoord Samen Morgen Mooier Maken 2022-2026 Strategische doelen: Visie & Strategie Informatievoorziening Ethische commissie en ethisch team Responsible AI Principes en maatregelen: Afwegingskader - Verantwoord inzetten van AI Principe 1 - Ethiek, mensgerichtheid en maatschappelijke impact Principe 2 – Transparantie en uitlegbaarheid Principe 3 - Verantwoordelijkheden en regie Principe 4 - Datakwaliteit en privacybescherming Principe 5 - Continu leren en verbeteren Richtlijnen en uitvoering: Gedragscode gebruik AI en generatieve AI Onvoltooid besluitvormingsproces Beleidsdossier AI en algoritmes AI gedragscode Mogelijke verklaringen
7 7 8 9 10 11 11 11 13 13 14 14 15 15 18
3.
Gebruik van algoritmes en AI-systemen
20
3.1 3.2 3.3 3.4 3.5
Algoritmes in het algoritmeregister Intern algoritmeregister AI-initiatieven Uitwerken van AI-initiatieven Gebruik van generatieve AI door ambtenaren
20 21 22 23 24
4.
Rol van de gemeenteraad
26
4.1 4.2 4.3
Opvattingen van raadsleden Informatievoorziening aan de raad Moties en raadsvragen van raadsleden
26 27 28
5.
Afwegingen en waarborgen in de praktijk
29
0
5.1 5.1.1 5.1.2 5.2 5.2.1 5.2.2
Beheer(sing) van algoritmes en AI Bouwblokkenmethode Risicobeheersingsmaatregelen Casusonderzoek Beschrijving casussen Bevindingen uit casussen
29 29 30 31 31 32
6.
Leren en vooruitkijken
35
6.1 Voorbereidingen die Eindhoven treft voor toekomstige opgaven rond algoritmes en AI 35 6.2 De rol van de gemeente Eindhoven binnen de regio bij de toepassing van AI 35 6.3 Inspirerende voorbeelden van buiten Eindhoven 36 6.4 Algemene inzichten en lessen van andere gemeenten 38 6.4.1 Een stevig fundament loont: werken met duidelijke kaders, structuur en mandaat 38 6.4.2 Brede betrokkenheid versterkt draagvlak: communicatie en participatie door alle lagen van de organisatie 38 6.4.3 Leren door te doen: experimenteren met AI in kleine stappen 38 6.4.4 Zelfstandig beheer versterkt grip: beperkte afhankelijkheid van Big Tech 39 6.4.5 Samenwerking en ruimte creëren: partnerschappen en financiële mogelijkheden als randvoorwaarde 39
7.
Conclusies
40
7.1 7.1.1 7.1.2 7.1.3 7.1.4 7.2 7.2.1 7.2.2 7.2.3 7.2.4 7.3
Beantwoording deelvragen Thema beleid Thema uitvoering en praktijk Thema leren en vooruitkijken Thema rol van de gemeenteraad Beoordeling normenkader Thema beleid Thema uitvoering en praktijk Thema leren en vooruitkijken Thema rol van de gemeenteraad Conclusie (beantwoording hoofdvraag)
40 40 41 42 43 43 43 45 47 48 48
Bijlage A
Geïnterviewde personen
50
Bijlage B
Bestudeerde documentatie
51
Bijlage C
Afkortingen
53
Bijlage D
Normenkader
54
Bijlage E
Casussen
55
Passport for Work Aangifte verwerken
1
55 57
ECHO Dembrane
2
59
1.
Inleiding
In dit hoofdstuk gaan we achtereenvolgens in op de aanleiding van het onderzoek, de opdrachtformulering, de afbakening en het normenkader. Vervolgens wordt de onderzoeksaanpak en werkwijze beschreven. Ten slotte beschrijven we de opbouw van het rapport.
1.1
Aanleiding
De ontwikkelingen en mogelijkheden voor de toepassing van algoritmes en artificiële intelligentie (hierna: AI) volgen elkaar razendsnel op. Dat geldt ook voor gemeenten. In tijden van beperkte financiële bewegingsruimte, arbeidsmarktkrapte en een opeenstapeling van maatschappelijke opgaven kijken gemeenten uit naar oplossingen en taakverlichting. Het is dan ook voorstelbaar dat de beloften van technologie, zoals AI, veel belangstelling wekken.1 Maar als algoritmes en AI-toepassingen onzorgvuldig en ondoordacht worden ontworpen of toegepast bestaat het gevaar dat publieke waarden en grondrechten in het geding komen. De aandacht voor risico’s bij de inzet van algoritmes en AI is daarom de laatste jaren toegenomen. Tegen deze achtergrond beweegt ook de gemeente Eindhoven in de zoektocht naar het verantwoord en voortvarend inzetten van innovatieve technologie.
1.2
Opdrachtformulering
De rekenkamer beoogt met dit onderzoek de gemeenteraad inzicht te geven in de stand van zaken op het gebied van de inzet van algoritmes en AI, de kansen en bedreigingen en de keuzes die actueel en relevant zijn in relatie tot zijn kaderstellende en controlerende rol. De centrale vraag van het onderzoek luidt: Wat is de actuele stand van zaken rond ontwikkelingen en toepassing van algoritmes en AI in de gemeente Eindhoven en in hoeverre is zij geprepareerd om algoritmes en AI zo intelligent en veilig mogelijk in te zetten bij het realiseren van maatschappelijke opgaven? Deze centrale vraag werken we uit aan de hand van twaalf onderzoeksvragen, die zijn ondergebracht bij vier thema’s: Onderzoeksvragen Beleid 1. Wat zijn de visie, doelen en lokale kaders rond gebruik van algoritmes en AI? 2. Welke algoritmes en AI-systemen gebruikt de gemeente en met welk doel? Uitvoering en praktijk 3. Worden beleidsdoelstellingen met behulp van algoritmes en AI doeltreffend en doelmatig behaald? 4. In hoeverre zijn risico’s rond ethiek, privacy en governance (onderkend en) geborgd?
1
VNG (3 maart 2025). Position paper AI, algoritmes en gemeenten.
pagina 3/60
Nota van bevindingen
5. Hoe is de organisatiestructuur ingericht rond algoritmes en AI? Hoe zijn de rollen en verantwoordelijkheden verdeeld? 6. In hoeverre geeft de organisatiecultuur van de gemeente voldoende ruimte om te experimenten en innoveren met AI-toepassingen? Leren en vooruitkijken 7. Welke voorbereidingen treft Eindhoven voor toekomstige opgaven rond algoritmes en AI? 8. Wil en kan de gemeente Eindhoven een voortrekkersrol pakken binnen de regio bij de toepassing van AI? 9. Welke verbeterpunten zijn er voor de gemeente op het gebied van algoritmes en AI? 2 10. Wat kan de gemeente leren van ervaringen van andere gemeenten en voorlopers op het gebied van AI-gebruik? Rol van de gemeenteraad 11. In hoeverre voert de gemeenteraad proactief zijn sturende, controlerende, en volksvertegenwoordigende verantwoordelijkheid uit? 12. Hoe wordt de raad betrokken bij en geïnformeerd over (de uitvoering van) het beleid ten aanzien van algoritmes?
1.3
Afbakening
Dit rekenkameronderzoek richt zich op de periode van 2021 tot en met het tweede kwartaal van 2025. Voor de term ‘algoritme’ gebruiken we de definitie die landelijk gangbaar is3. Een algoritme is: “(…) een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden.” Dit is een tamelijk brede definitie, waardoor er zowel simpele rekenregels als complexe beslisbomen onder vallen. Voor de term ‘AI-systeem’ hanteren we de definitie van de AI-verordening: “(…) een op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciet of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen.” Een AI-systeem bestaat uit talloze algoritmes, maar niet alle algoritmes kunnen als AI worden geclassificieerd. Het verschil tussen algoritmes en AI-systemen kan ook worden uitgelegd door het onderscheid tussen regelgebaseerd en datagedreven: Algoritmes (regelgebaseerd)
AI-systemen (datagedreven)
Voorbeeld
Als tijd is later dan 18.00 uur dan wordt de straatverlichting aangezet
Een AI-model dat op basis van duizenden eerdere aanvragen voorspelt of een nieuwe subsidieaanvraag kansrijk is
Kenmerk
De logica ligt vast in regels die door mensen zijn opgesteld
Leert op basis van patronen en verbanden binnen grote hoeveelheden data
2
Deze onderzoeksvraag wordt in de bestuurlijke rapportage beantwoord aan de hand van de antwoorden op de overige onderzoeksvragen. 3 De definitie van een algoritme is overgenomen van de Algemene Rekenkamer. Deze definitie wordt ook voor het landelijk algoritmeregister gebruikt. pagina 4/60
Nota van bevindingen
Voordeel
Transparant, voorspelbaar en goed te controleren
Flexibel, kan omgaan met complexiteit en ongestructureerde data
Gebruik
Veel gebruikt in traditionele IT-systemen en administratieve processen.
Toepassingen zoals beeldherkenning, voorspellingen en chatbots
1.4
Normenkader
In dit rapport worden de bevindingen gepresenteerd in relatie tot de eerder gepresenteerde onderzoeksvragen. Om de bevindingen te kunnen beoordelen wordt gebruik gemaakt van een normenkader. Toetsing van de bevindingen aan de normen resulteert in de conclusies (zie hoofdstuk 7). Het normenkader is in zijn geheel opgenomen onder bijlage D.
1.5
Onderzoeksaanpak en werkwijze
Voor de uitvoering van het onderzoek zijn de volgende activiteiten gevolgd en vormen van dataverzameling gebruikt: •
Documentstudie: Tijdens de documentstudie hebben alle relevante gemeentelijke documentatie met betrekking tot algoritmes en AI bestudeerd. Dit betreft zowel openbare als interne documenten. Daarmee is het beleid in kaart gebracht dat de gemeente heeft met betrekking tot algoritmes en AI. Een overzicht van de geraadpleegde documenten is te vinden in bijlage B.
•
Interviews: De bevindingen uit de documentstudie hebben wij verrijkt met interviews. We hebben medewerkers van de gemeente gesproken die betrokken zijn bij de governance en het gebruik van algoritmes en AI. Hieronder vallen onder andere medewerkers van het CIO-office, die zich bezighouden met de ontwikkeling van gemeentelijke richtlijnen voor algoritmes en AI. Voor elk interview hebben wij een gespreksverslag opgesteld dat ter validatie aan de geïnterviewde is voorgelegd. De gevalideerde gespreksverslagen vormen een belangrijke bron voor de bevindingen in deze rapportage. Een overzicht van geïnterviewde personen is te vinden onder bijlage A.
•
Casusbijeenkomsten: Om de vierde onderzoeksvraag te beantwoorden, in hoeverre de risico’s rond ethiek, privacy en governance zijn onderkend en geborgd, hebben wij een kwalitatieve toetsing van twee algoritmes en één AI-initiatief uitgevoerd. Hiervoor zijn casusbijeenkomsten georganiseerd waarin met bij de uitvoering betrokken medewerkers is gesproken over de beheersing in de praktijk. De casussen geven zo een kwalitatief beeld van de manier waarop algoritmes en AI door de gemeente Eindhoven in processen en diensten worden toegepast.
•
Bestuderen van good practices: Om te reflecteren op de situatie in Eindhoven hebben we zeven good practices bestudeerd van overheidsorganisaties die op hun eigen manier met algoritmes en/of AI omgaan. Het doel van deze activiteit was om te kijken welke inzichten en lessen de gemeente Eindhoven hiervan kan opsteken.
•
Raadsbijeenkomst: Voor het onderzoek zijn ook de opvattingen en perspectieven van raadsleden meegenomen. Hiervoor is een raadsbijeenkomst georganiseerd waar door middel van een fictieve casus met raadsleden is gereflecteerd op hun kaderstellende, controlerende en volksvertegenwoordigende rol bij algoritmes en AI. Bij het schrijven van de casus is gebruik gemaakt van de bevindingen die we in de voorgaande onderzoeksactiviteiten hebben opgedaan.
•
Rapportage: Na analyse van de bevindingen is de nota van bevindingen opgesteld waarin antwoord wordt gegeven op de onderzoeksvragen. Op basis van de bevindingen zijn de conclusies geformuleerd.
pagina 5/60
Nota van bevindingen
1.6
Indeling rapport
Dit rapport bestaat uit vijf hoofdstukken met bevindingen. In hoofdstuk 2 wordt allereerst stilgestaan bij het gemeentelijk beleid over algoritmes en AI. In hoofdstuk 3 staat de praktijk centraal en wordt toegelicht welke algoritmes en AI-systemen de gemeente Eindhoven nu al toepast of waar ze voorbereidingen voor treft. In hoofdstuk 4 komt de rol van de gemeenteraad aan bod en worden opvattingen van raadsleden over algoritmes en AI gepresenteerd. Hoofdstuk 5 beschrijft de uitkomsten uit de casusbijeenkomsten die zijn gehouden en laat zien hoe Eindhoven werkt aan risicobeheersing in de praktijk. In hoofdstuk 6 wordt ingezoomd op de manier waarop Eindhoven zich op de toekomst voorbereidt. Daarnaast worden enkele good practices van buiten de gemeente behandeld waarin wordt uitgelicht welke lessen hieruit te trekken zijn. Het zevende hoofdstuk staat in teken van de beantwoording van de onderzoeksvragen, de beoordeling van de bevindingen aan de hand van het normenkader en de beantwoording van de hoofdvraag.
pagina 6/60
Nota van bevindingen
2.
Beleid over algoritmes en AI
In dit hoofdstuk beschrijven we op welke manier de gemeente Eindhoven volgens haar beleid omgaat met de toepassing van algoritmes en AI. We beantwoorden daarmee de onderzoeksvraag: Wat zijn de visie, doelen en lokale kaders rond gebruik van algoritmes en AI? Eveneens wordt in dit hoofdstuk ingegaan op de onderzoeksvraag in hoeverre de organisatiecultuur van de gemeente (voldoende) ruimte geeft om te experimenteren en innoveren met AI-toepassingen. De beschrijving van het beleid is als volgt gestructureerd:
Bestuurlijke ambitie Bestuursakkoord '22-'26 Strategische doelen Visie & Strategie Informatievoorziening Principes en maatregelen Afwegingskader veranwoord inzetten van AI Richtlijnen en uitvoering Gedragscode generatieve AI
Figuur 1: Structuur van het beleid
2.1
Bestuurlijke ambitie: Bestuursakkoord Samen Morgen Mooier Maken 2022-2026
In het Bestuursakkoord Samen Morgen Mooier Maken 2022-2026 spreekt de gemeente uit dat ze digitaliseringsactiviteiten altijd wil toetsen aan publieke waarden. Het gaat om de waarden autonomie, mens centraal, privacy, veiligheid, controle over technologie, rechtvaardigheid en duurzaamheid. Ook wil de gemeente open en transparant zijn door publiekelijk te verantwoorden welke keuzes ze maakt. Het bestuursakkoord schetst ook de ambitie om naar voorbeeld van Amsterdam en Helsinki een algoritmeregister in te richten.4
2.2
Strategische doelen: Visie & Strategie Informatievoorziening
In 2023 stelde de gemeenteraad de Visie & Strategie Informatievoorziening (ook wel: iVisie/iStrategie) vast. Deze iVisie/iStrategie beschrijft de route voor de digitale transformatie van de gemeentelijke organisatie en stelt daarmee op strategisch niveau de kaders voor het verantwoord gebruik van algoritmes en AI. Het document bestond in eerste instantie uit een tiental principes. Een van die principes, De inwoner rekent op transparantie, gaat in op de transparantie rondom data en algoritmen. Zo stelt de gemeente dat algoritmen de productiviteit en dienstverlening kunnen verbeteren, maar dat 4
Gemeente Eindhoven (2022). Bestuursakkoord Samen Morgen Mooier Maken 2022-2026, p.55.
pagina 7/60
Nota van bevindingen
de risico’s hiervan continu moeten worden getoetst. De gemeente neemt zich daarom voor om inzichtelijk te maken welke data worden verwerkt, hoe dat gebeurt en welke effecten dat heeft voor inwoners. Dit uitgangspunt sluit direct aan op de ambitie uit het bestuursakkoord om een algoritmeregister op te zetten. Later legde de raad door middel van een amendement nadrukkelijk vast dat de digitale grondrechten van burgers moeten worden gewaarborgd en dat digitaliseringsactiviteiten altijd worden getoetst aan de Eindhovense publieke waarden. Het elfde principe We borgen de digitale grondrechten van onze inwoners en toetsen digitaliseringsactiviteiten altijd aan onze publieke waarden werd daarom toegevoegd aan de iVisie/iStrategie.5 Om de menselijke waardigheid die Eindhoven centraal stelt ook in de uitvoering te borgen, heeft de gemeente een ethische commissie ingesteld, zo is te lezen in de iVisie/iStrategie.6
2.2.1
Ethische commissie en ethisch team
De oprichting van een ethische commissie vond haar oorsprong in een toezegging van het college7 om drie hulpmiddelen te ontwikkelen waarmee publieke waarden bij digitaliseringstrajecten beter kunnen worden geborgd: naast (1) de installatie van een ethische commissie ging het om (2) een ethisch afwegingskader/waardenkader en (3) een werkwijze voor het voeren van het ethisch gesprek.8 Naast een ethische commissie heeft de gemeente ook een intern ethisch team. Het ethisch team bestaat uit ambassadeurs die extra workshops hebben gevolgd om ethische gesprekken te voeren. Zij zijn het eerste aanspreekpunt in hun sector voor nieuwe digitaliseringsinitiatieven en helpen projectleiders om publieke waarden mee te wegen.9 Hierbij wordt stilgestaan bij vijf vragen. De eerste drie vragen (Wat is de casus? Kan het? Mag het?) zijn bedoeld om inzicht in de casuïstiek te geven. In de vierde vraag staat de morele wenselijkheid centraal (Is het wenselijk?). Deze vraag vormt de kern van het ethische gesprek. Het voorgestelde digitaliseringsinitiatief wordt hierbij gewogen aan de zeven publieke waarden die Eindhoven heeft geformuleerd.10 Deze zeven waarden staan genoemd onder paragraaf 2.1. De vijfde, en tevens laatste, vraag (Hoe is het te verantwoorden en wat moeten we doen?) leidt tot een concreet advies van het ethisch team.
In het advies wordt het project beschreven en aangegeven op welke aspecten nog mitigerende maatregelen wenselijk zijn. De (externe) onafhankelijke ethische commissie ontvangt de ambtelijke adviezen van het ethisch team en ziet toe op de kwaliteit van de ethische adviezen. De ethische commissie komt viermaal per jaar bijeen en geeft het college en de raad gevraagd en ongevraagd advies over ethische kwesties.11 Eindhoven werkt dus met een externe ethische commissie en een intern ethisch team.12 Hieronder worden de verschillen tussen deze twee toegelicht.
Doel
Ethische commissie (extern en onafhankelijk)
Ethisch team (intern en ambtelijk)
Adviseert het college en de raad gevraagd en ongevraagd over complexe ethische vraagstukken bij digitalisering, AI en technologische
Versterkt de bewustwording en kennis over ethiek binnen de gemeentelijke organisatie, o.a. door medewerkers te ondersteunen bij het maken van ethische overwegingen
5
Gemeenteraad Eindhoven (april, 2023). Aangenomen Amendement A1A Inwoners in het i-visier. Gemeente Eindhoven (2023). Visie & Strategie Informatievoorziening, p. 14. 7 Gemeenteraad Eindhoven (juni, 2020). Commissienotitie Ethiek en Digitalisering, p. 2-4. 8 Gemeenteraad Eindhoven (mei, 2021). Raadsvoorstel Ethiek en Digitalisering, p. 2. 9 Gemeente Eindhoven (2025). Interview. 10 Gemeente Eindhoven (mei, 2021). Bijlage 1.3: Samenvatting Werkwijze toepassing waardenkader, p. 2. 11 Gemeenteraad Eindhoven (april, 2024). Motie Doe het veilig en ethisch verantwoord, p.1. 12 Gemeenteraad Eindhoven (oktober, 2023). Raadsinformatiebrief Voortgang Ethische Commissie, p. 1. 6
pagina 8/60
Nota van bevindingen
innovatie en bewaakt de borging van ethiek in de gemeente Samenstelling
Zeven onafhankelijke experts die kennis hebben van ethiek en digitalisering, niet werkzaam voor de gemeente13
Ambtenaren uit verschillende domeinen die zich inzetten naast hun reguliere werkzaamheden en getraind zijn in het voeren van ethische gesprekken
Taken
Reflecteert op beleidsdocumenten en geeft het college gevraagd en ongevraagd advies over ethische kwesties
Begeleidt projectleiders bij het doorlopen van het waardenkader. Ze zijn getraind om ethische ‘instrumenten’, zoals moreel beraad, socratische gesprekken en begeleidingsethiek, toe te passen.
2.2.2
Responsible AI
Eind 2023 startte de ambtelijke organisatie met het project ‘Responsible AI’ met als doel om te komen tot een gemeentebrede visie en aanpak over het verantwoord inzetten van AI. De aanleiding voor dit onderzoek ligt in de snelle opkomst AI en de Europese regelgeving van de AI-verordening. Hierdoor was de gemeente van mening dat het noodzakelijk was geworden om een visie te ontwikkelen op het gebruik van AI en daarnaast duidelijke kaders en werkprocessen te formuleren die ethiek en verantwoorde toepassing centraal bij AI stellen.14 De gemeente signaleerde dat er behoefte was aan een breed gedragen visie en een praktisch houvast voor het omgaan met AI, zodat beslissingen over inzet en ontwikkeling van AI-systemen goed onderbouwd en transparant genomen kunnen worden. Het onderzoek roept op tot het ontwikkelen van een kader dat richting moet geven aan beleid en governance en daarnaast moet zorgen voor een eenduidig proces waarin ethische afwegingen structureel worden meegenomen. In het rapport worden ook enkele mogelijkheden van de inzet van AI voor de gemeente benoemd. • Afvaldetectie en privacybescherming – De gemeente kan AI inzetten voor het automatisch detecteren van afval op straat via camerabeelden. Om privacy te waarborgen worden personen die in beeld komen direct vervaagd.
Dit is een voorbeeld van “privacy by design” en voorkomt dat beelden later voor andere doeleinden worden gebruikt. • Chatbots en generatieve AI15 – AI-gedreven chatbots, zoals GPT-ondersteunde systemen, kunnen burgers sneller en efficiënter helpen met vragen en dienstverlening. Het rapport noemt het project GPT-NL, dat werkt aan een Nederlands taalmodel dat beter aansluit bij lokale waarden en regelgeving. • WMO Voorspelmodel – AI kan worden ingezet om uitgaven binnen de Wet Maatschappelijke Ondersteuning (WMO) te voorspellen. Dit helpt bij kostenbeheersing en capaciteitsplanning. Het rapport benadrukt wel dat deze modellen gebaseerd zijn op historische data en dus gevoelig zijn voor onverwachte veranderingen. • Responsible AI in Amsterdam – Het rapport verwijst naar de aanpak van de gemeente Amsterdam, waar AI wordt ingezet in datagedreven projecten, ondersteund door
13
Gemeente Eindhoven. Geraadpleegd via: Ethische commissie | Gemeente Eindhoven “Wie zitten in de ethische commissie?”. Gemeente Eindhoven (2024). Eindrapportage Reponsible AI. 15 Generatieve AI is een vorm van artificiële intelligentie die zelfstandig nieuwe inhoud kan creëren, zoals tekst, beelden of muziek, op basis van bestaande data. Het leert patronen en structuren uit voorbeelden en gebruikt die kennis om originele output te genereren die lijkt op menselijk werk. Tools als Copilot, ChatGPT en Midjourney werken op basis van generatieve AI. 14
pagina 9/60
Nota van bevindingen
expertisegroepen en in samenwerking met kennisinstellingen. Dit model wordt als inspirerend voorbeeld genoemd voor Eindhoven. De belangrijkste uitkomst van het rapport is een set van zes concrete aanbevelingen en een korte termijn actieplan. De aanbevelingen richten zich op het verder specificeren van het ethisch waardenkader tot toetsbare eisen voor AI, het opbouwen van competenties en een AI-governance structuur met heldere rollen en verantwoordelijkheden en het ontwikkelen van een proces waarin leren en uitvoeren hand in hand gaan. Het rapport adviseert om klein te beginnen met eenvoudige AIcasussen en geleidelijk op te schalen in complexiteit en risico, waarbij successen en geleerde lessen gedeeld worden binnen de organisatie.
2.3
Principes en maatregelen: Afwegingskader - Verantwoord inzetten van AI
Sinds april 2024 werkt de gemeente in lijn met de aanbevelingen uit het Responsible AI-traject aan een afwegingskader voor het verantwoord inzetten van AI binnen de gemeentelijke processen. Het afwegingskader is niet vastgesteld op het moment dat dit rekenkamerrapport wordt geschreven. We bespreken in onderstaande paragraaf de inhoud van het afwegingskader in concept. Onder paragraaf 2.5 wordt nader stilgestaan bij het besluitvormingsproces rondom dit kader. Het doel van het afwegingskader is om richtlijnen en maatregelen op te stellen voor het verantwoord inzetten van AI, zodat: 1. De rechten van mensen te allen tijde worden gerespecteerd 2. Inwoners van Eindhoven vertrouwen hebben in de beslissingen die de gemeente neemt met behulp van AI 3. Mogelijke negatieve effecten van het gebruik van AI actief worden geïdentificeerd, geëvalueerd en gemitigeerd Hoewel er een onderscheid is tussen AI en algoritmes, kiest de gemeente er in het afwegingskader voor om AI te gebruiken als overkoepelende term. In het afwegingskader worden een vijftal principes genoemd waar bij het inzetten van AI-oplossingen op moet worden gelet, namelijk: 1. 2. 3. 4. 5.
Ethiek, mensgerichtheid en maatschappelijke impact Transparantie en uitlegbaarheid Verantwoordelijkheden en regie Datakwaliteit en privacybescherming Continu leren en verbeteren
Voor elk van de vijf principes heeft de gemeente een aantal maatregelen geformuleerd die moeten bijdragen aan het verwezenlijken van het principe. De gemeente is al wel gestart met de invoering van een aantal maatregelen uit het afwegingskader, ondanks dat het beleid nog niet formeel is vastgesteld. Dit hangt ook samen met het feit dat de EU AI ACT op 1 augustus 2024 in werking is getreden. Verschillende maatregelen uit het beleid zijn nodig om te kunnen voldoen aan de verplichtingen die voortvloeien uit deze wetgeving. Hieronder worden maatregelen, en de stand van zaken met betrekking tot de maatregelen, per principe besproken.
pagina 10/60
Nota van bevindingen
2.3.1
Principe 1 - Ethiek, mensgerichtheid en maatschappelijke impact
Als onderdeel van het eerste principe stelt de gemeente gebruik te maken van vaste definities, zodat AI op dezelfde manier wordt gecategoriseerd. Deze definities staan genoemd in de bijlage van het conceptafwegingskader en sluiten aan bij de definities van de AI-verordening en de Handreiking Algoritmeregister16. Om te bepalen of een AI-systeem verantwoord kan worden ingezet in de organisatie doet de gemeente voorstellen tot procesaanpassingen en het hanteren van een afwegingskader. Zij zijn gestart met het invoeren van deze veranderingen en het voorbereiden van de organisatie hiervoor. Hierbij wordt rekening gehouden met de risicoclassificatie van het betreffende AIsysteem. Zo stelt de gemeente in het beleid voor om alle hoog-risico AI-systemen te beoordelen met een Impact Assessment Mensenrechten (IAMA) en deze te registreren in zowel het landelijke als het interne algoritmeregister.17. Voor AI-toepassingen die niet als hoog-risico worden geclassificeerd, kan eveneens een IAMA worden uitgevoerd. Uit een interne evaluatie blijkt echter dat een volledige IAMA een aanzienlijke uitvoeringslast met zich meebrengt. 18 Daarom heeft de gemeente een vragenlijst opgesteld waarin de belangrijkste thema’s van de IAMA zijn opgenomen.
Deze vragenlijst fungeert als een ‘IAMA-lite’ voor niet-hoog-risico AI-systemen en kan in de beginfase worden gebruikt om in te schatten of een volledige IAMA noodzakelijk is. De vragenlijst is als bijlage toegevoegd aan het afwegingskader en is dus nog niet vastgesteld.19 Tot slot neemt de gemeente zich voor om bij alle AIsystemen die risico op misleiding met zich meebrengen duidelijk te maken dat het om AI gaat. Mocht de gemeente een chatbot inzetten, dan stelt het afwegingskader dat duidelijk moet worden gemaakt dat er met AI wordt gecommuniceerd.
2.3.2
Principe 2 – Transparantie en uitlegbaarheid
Zoals genoemd bij de maatregelen onder principe 1, neemt de gemeente zich voor alle hoog-risico en impactvolle AI-systemen te beschrijven in het landelijke algoritmeregister. Met het oog op principe 2, transparantie en uitlegbaarheid, streeft de gemeente ernaar om de registraties zo volledig en duidelijk mogelijk te beschrijven, in begrijpelijke taal voor inwoners. De afdeling communicatie ondersteunt dit proces. Een overzicht van welke algoritmes de gemeente gebruikt en heeft gepubliceerd in het algoritmeregister staat in hoofdstuk 3.
2.3.3
Principe 3 - Verantwoordelijkheden en regie
Om ervoor te zorgen dat de implementatie van algoritmes en AI-systemen verantwoord verloopt en er toezicht is op de werking van het systeem, heeft de gemeente vastgelegd wie op verschillende niveaus verantwoordelijk is. Hiervoor heeft de gemeente een RACI-matrix20 opgesteld waarin de benodigde taken en verantwoordelijkheden vanaf de start van een AI-toepassing schematisch zijn weergegeven.21
16
BZK (mei, 2025). Handreiking Algoritmeregister – Aan de slag met het Algoritmeregister, p. 7. Meer informatie over het gebruik van deze algoritmeregisters komt in hoofdstuk 3 aan bod. Het landelijk algoritmeregister is een centrale, openbare database waarin Nederlandse overheidsorganisaties informatie publiceren over de algoritmes die zij gebruiken in hun werk. Het register is bedoeld om transparant te zijn over het gebruik van algoritmes, verantwoording mogelijk te maken richting burgers, media en maatschappelijke organisaties en zo vertrouwen te versterken in de digitale overheid. Het registeren van algoritmes is nu nog vrijwillig, maar registratie van bepaalde algoritmes zal in de toekomst wettelijk verplicht worden. Het register sluit aan op de Europese AI-verordening dat ook verplicht om bepaalde hoog-risico AI-toepassingen te registeren en publiceren. 18 Gemeente Eindhoven (april, 2024). IAMA Evaluatie bevindingen. 19 Gemeente Eindhoven (2025). Afwegingskader AI - Principes en maatregelen – Verantwoord inzetten van AI, p.11, p.12. 20 RACI staat voor ‘Responsible, Accountable, Consulted, Informed’ en is een methode die de verantwoordelijkheden en betrokkenheid van rollen en functies in een proces of project definieert. 21 Gemeente Eindhoven (2025). Afwegingskader AI - Principes en maatregelen – Verantwoord inzetten van AI, p.13. 17
pagina 11/60
Nota van bevindingen
De gemeente onderscheidt vijf deelprocessen bij het borgen van AI, die zijn getoond in het onderstaande figuur.
Signaleren en melden AI-systeem
Monitoren AI-systeem
Registreren AI-systeem
Toetsen AIsysteem
Ontwikkelen of inkopen AI-systeem
Figuur 2: Vijf deelprocessen bij het borgen van AI
Voor elk van deze deelprocessen heeft de gemeente de input, activiteiten (ook wel: processtappen), output, rollen, applicaties en documenten, risico’s en beheersmaatregelen geïdentificeerd.22 De gemeente is voornemens een compliance officer aan te wijzen met als specifiek aandachtsgebied AI. De besluitvorming hierover maakt onderdeel uit van het vaststellingsproces van het AI-beleid. De gemeente heeft in kaart gebracht wat zij verwacht van de beoogde compliance officer door een functie-/rolomschrijving op te stellen.23 Het idee is dat de compliance officer onder andere risico’s gaat monitoren, zoals beschreven in de RACI-matrix. Om de samenwerking tussen de verschillende expertises en rollen die betrokken zijn bij de aanschaf en het gebruik van AI-systemen, wordt als maatregel de oprichting van een expertisegroep AI en community AI genoemd. Aan deze maatregel heeft de gemeente al wel invulling gegeven, zoals hieronder te lezen is. Expertisegroep AI en community AI De expertisegroep AI is begin 2025 opgericht vanuit een inhoudelijke behoefte om op een centrale plek AI-vragen te kunnen beantwoorden, bijvoorbeeld over de risicoclassificatie in relatie tot de AIverordening. De expertisegroep kan worden gezien als een bottom-up-ontwikkeling die is geïnitieerd door en wordt gecoördineerd door het CIO-office.