Rapport rekenkamer Algoritmes en AI 2025

5.2.1

Beschrijving casussen

Passport for Work Het initiatief Passport for Work (PfW) is ontstaan uit een Europese subsidie. PfW moet helpen werkzoekenden en werkgevers beter bij elkaar te brengen, zodat meer mensen aan het werk kunnen gaan. Het initiatief is tot stand gekomen vanuit een samenwerking tussen negen publiekprivate organisaties waarbij de gemeente de penvoerder is geweest. Het is een competentietool voor de doelgroep met een Mbo-1 en Mbo-2 niveau die verder van de arbeidsmarkt af staat. Het instrument bestaat uit een digitale vragenlijst en gamified testen. De resultaten leiden tot een zogeheten skillprint: een overzicht van 57 soft skills. Op basis hiervan worden passende beroepen voor de persoon gerangschikt. De skillprint kan worden gebruikt door de werkzoekende in een traject met een jobcoach of bemiddelaar. Werkgevers kunnen via een werkgeversmodule toegang krijgen tot een (anonieme) skillspool en contact leggen met kandidaten, zonder dat de achtergrond of het cv vooraf bekend is.

95 96

Rekenkamer Eindhoven (2025). Casusbesprekingen. Dit betreft niet de applicatie (algoritme) die de gemeente inzet voor de handhaving van parkeerbelastingen. ANPR-auto wordt gebruikt voor invordering van openstaande aanslagen met een executoriale titel die niet op een andere wijze kunnen worden geïnd. ANPR-auto wordt in samenwerking met de politie gebruikt in ‘ultimum remedium.

pagina 31/60

Nota van bevindingen

Aangifte verwerken Voor het verwerken van aangiftes van verhuizingen naar Eindhoven en binnen de stad wordt gemaakt van algoritmes. Het algoritme controleert de verhuisaangiftes en bepaalt welke aangiftes aanleiding geven voor extra onderzoek. Als er geen bijzonderheden zijn, wordt de verhuizing automatisch door de gemeente verwerkt. Op dit moment wordt ongeveer 90% van alle aangiftes digitaal gedaan. Door middel van het algoritme worden deze aangiftes op een meer uniforme wijze beoordeeld dan als een mens dat handmatig zou doen. Daarnaast brengt het algoritme efficiëntievoordelen. Door toedoen van het algoritme hoeven er slechts tien tot vijftien aangiftes per dag handmatig te worden gecontroleerd. Het bespaart daarmee mensuren, de doorlooptijd neemt af en het kwaliteitsniveau gaat omhoog. Hiermee verbetert de dienstverlening richting de inwoner, zo stelt de gemeente. Echo Dembrane De afdeling Stadsbeheer wil graag het opstellen van gespreksverslagen van participatiebijeenkomsten automatiseren met behulp van AI. Hiervoor wordt naar een AI-tool van Echo Dembrane gekeken. Het opstellen van gespreksverslagen gebeurt nu nog met de hand, veelal door meerdere medewerkers. Automatisering van dat werk leidt er niet alleen toe dat arbeidsuren worden bespaard, maar ook dat er sneller een gespreksverslag beschikbaar komt.

Andere gemeenten waaronder ’s-Hertogenbosch maken al van de tool gebruik.

5.2.2

Bevindingen uit casussen

Ondanks dat de casussen verschillend van aard zijn – in type technologie, in domein waar ze binnen worden ingezet en de doelen die worden nagestreefd – maken we een overzicht van de belangrijkste overeenkomsten en verschillen hoe Eindhoven afwegingen maakt en waarborgen treft in de praktijk. Voor alle drie de casussen is de gemeente goed in staat om toelichting te geven bij de werking van het algoritme en/of AI-systeem. De kennis is bij betrokken medewerkers aanwezig 97, en er ligt het nodige vast in documentatie om op terug te vallen. De werking van Passport for Work is bovendien uitgelegd in het algoritmeregister en in een aparte privacyverklaring. Voor dit algoritme zou je dus kunnen stellen dat Eindhoven de transparantie en uitlegbaarheid op orde heeft. De gemeente is niet in dezelfde mate transparant over het gebruik van het algoritme dat wordt gebruikt voor het verwerken van verhuisaangiftes. Daar is geen specifieke vermelding van binnen het algoritmeregister of via andere openbare bronnen. De gemeente kan wel uitleggen hoe het algoritme werkt aan de hand van documentatie van de leverancier. De casussen laten zien dat de gemeente algoritmes en AI in verschillende typen processen en domeinen inzet98. Passport for Work wordt hoofdzakelijk ingezet ten behoeve van de arbeidsmarktregio en is niet ter ondersteuning van een primair proces van de gemeente zelf.

Het algoritme voor het verwerken van verhuisaangiftes is een dienstverlenend primair proces van de gemeente. Het AI-systeem Echo Dembrane wil de gemeente inzetten bij de verslaglegging van participatieprocessen.

97 98

Rekenkamer Eindhoven (2025). Casusbesprekingen. Rekenkamer Eindhoven (2025). Casusbespreking.

pagina 32/60

Nota van bevindingen

Bij zowel Echo Dembrane als Passport for Work maakt de gemeente aannemelijk dat ze expliciete afwegingen heeft gemaakt over de toegevoegde waarde, uitvoering en risico’s. Voor de volgende fase van Passport for Work is een maatschappelijke business case opgesteld. Voor het algoritme dat wordt gebruikt voor het verwerken van verhuisaangiftes is onbekend in hoeverre er een expliciete belangenafweging voor de inzet gemaakt. De gemeente heeft geen herleidbaar besluit hierover kunnen overleggen. Wel wordt het algoritme gezien als een nuttige vorm van automatisering om een bestaand proces sneller en beter uit te voeren.99 Het algoritme draagt bij aan efficiëntie en zorgt voor een consistente en eenduidige behandelmethode van verhuisaangiftes. Alhoewel Eindhoven geen aparte berekening heeft gemaakt, kan wel worden verondersteld dat dit algoritme voor een grote tijdsbesparing zorgt. Naar schatting kan zo’n 80% van de verhuisaangiftes door toedoen van het algoritme automatisch worden verwerkt. In de casussen zien we de gemeente in algemene zin kijkt naar risico’s bij het gebruik van algoritmes en AI-systemen. Voor Passport for Work zijn verschillende DPIA’s gedaan die ingaan op het algoritme. De DPIA voor Aangifte verwerken gaat niet specifiek in op het algoritme. Voor Echo Dembrane is een quickscan gestart om privacy risico’s in beeld te krijgen.

De casussen laten echter zien dat de gemeente vervolgens geen duidelijk beeld heeft of de beheersmaatregelen die zijn geïnventariseerd ook worden doorgevoerd, noch of deze periodiek worden geëvalueerd. Daarmee wordt de cyclus van risicobeheersing in Eindhoven niet aantoonbaar afgemaakt. Het gebrek aan periodieke evaluaties kan kwetsbaar zijn. Het duidelijkste voorbeeld daarvan zijn de criteria die voor het algoritme van aangifte verwerken worden gebruikt. De gemeente houdt deze niet periodiek en stelselmatig tegen het licht, waardoor het gevaar bestaat dat de criteria verouderen en/of niet meer goed aansluiten bij de uitvoering. In dat geval neemt de effectiviteit van een algoritme evident af. Ook ziet de rekenkamer dat Eindhoven leunt op externe expertise. Zo is de DPIA voor Passport for Work in twee gevallen opgesteld met behulp van externe expertise. Dit hoeft geen probleem te zijn voor specialistische werkzaamheden, maar het opstellen van een DPIA is onderdeel van de primaire taken die hoort bij de naleving van de AVG. Als de afhankelijkheid van externe expertise te groot wordt, is dit een kwetsbaarheid voor de continuïteit en kwaliteit van de risicobeheersing door de gemeente.

Het is uit de casussen niet duidelijk geworden welke training of opleiding medewerkers zelf krijgen.100 Voor alle casussen geldt bovendien dat er sprake is van een externe leverancier die het systeem en algoritme levert. Met de leveranciers worden afspraken gemaakt over rollen en verantwoordelijkheden. Deze worden bijvoorbeeld vastgelegd in service levels agreements en een verwerkersovereenkomst. In het geval van Passport for Work, waar een groot aantal partijen betrokken is bij de inzet van het algoritme, worden de verantwoordelijkheden belegd bij een (nog te vormen) stichting) bestaande uit twee marktpartijen. De gemeente zal toezicht houden op de stichting. Afspraken tussen beide worden vastgelegd in een uitvoeringsovereenkomst. Binnen de ambtelijke organisatie is het minder expliciet gemaakt hoe de rollen en verantwoordelijkheden zijn belegd. De casussen laten wel zien dat er vaak een proceseigenaar en

99

Rekenkamer Eindhoven (2025). Casusbespreking. Rekenkamer Eindhoven (2025). Casusbespreking.

100

pagina 33/60

Nota van bevindingen

een privacy officer bij zijn betrokken, maar duidelijke sturing op het nemen én actueel c.q. volledig houden mitigerende maatregelen hebben wij niet gezien.101

101

Rekenkamer Eindhoven (2025). Casusbespreking.

pagina 34/60

Nota van bevindingen

6.

Leren en vooruitkijken

Het laatste deel van het onderzoek gaat over de vraag hoe Eindhoven zicht voorbereidt op de nieuwe ontwikkelingen en verplichtingen op gebied van algoritmes en AI. Daarmee worden de volgende onderzoeksvragen beantwoord: Welke voorbereidingen treft Eindhoven voor toekomstige opgaven rond algoritmes en AI? Wil en kan de gemeente Eindhoven een voortrekkersrol pakken binnen de regio bij de toepassing van AI? Wat kan de gemeente leren van ervaringen van andere gemeenten en voorlopers op het gebied van AI-gebruik?

6.1

Voorbereidingen die Eindhoven treft voor toekomstige opgaven rond algoritmes en AI

De gemeente zet diverse stappen om zich voor te bereiden op toekomstige opgaven rond algoritmes en AI. Deze voorbereidingen omvatten zowel het ontwikkelen van beleid, als het opzetten van praktische initiatieven en samenwerkingen, zoals we hebben laten zien in hoofdstuk 2 en hoofdstuk 3. De gemeente werkt bijvoorbeeld al geruime tijd aan een afwegingskader en gedragscode voor AI. Hoewel beide kaders nog niet formeel vastgesteld zijn, heeft de gemeente al wel invulling gegeven aan een aantal maatregelen uit het afwegingskader. Zo is er een expertisegroep AI opgericht, alsmede een Community AI gevormd, waarin kennis en ervaringen worden gedeeld. Ook biedt de gemeente facultatieve trainingen aan via het interne leernetwerk Eindhoven Academy om de AIgeletterdheid van haar medewerkers te verbeteren. Naast beleidsmatige voorbereidingen werkt de gemeente aan praktische instrumenten voor het toetsen van algoritmes en AI-systemen, zoals de bouwblokkenmethode, SIA’s, DPIA’s, de IAMA-toets en het intern algoritmeregister. Verder investeert Eindhoven in kennisuitwisseling met andere gemeenten, bijvoorbeeld door het CIO-Beraad van 100.000+ gemeenten, via de vakvereniging voor informatiemanagers (IMG100.000+) en door deelname aan de regiotour AI & Algoritmes Overheid van het ministerie van BZK. Deze netwerken bieden de gemeente waardevolle mogelijkheden voor kennisdeling en samenwerking.

6.2

De rol van de gemeente Eindhoven binnen de regio bij de toepassing van AI

Bovenstaande passage laat zien dat de gemeente Eindhoven niet stilzit als het aankomt op AI. De gemeente zoekt actief de samenwerking op in landelijke netwerken, via vakverenigingen, maar ook regionaal met de High Tech Campus (HTC). In 2024 is verkend of de HTC als technologiepartner kon bijdragen aan het opzetten van AI-experimenten van en voor de gemeente. Hoewel dat in 2024 nog te vroeg bleek, zijn de banden inmiddels weer aangehaald met hetzelfde doel. Vanuit de expertisegroep AI wordt bovendien samengewerkt met Digital Sundai aan de ontwikkeling van concrete experimenten en use cases. Tezamen met de inventarisatie die intern is gegaan naar behoefte om met AI-te werken, laat de gemeente zien dat het actief bezig is om te zien wat AI voor de organisatie kan beteken. Toch lijkt de gemeente op dit moment nog geen voortrekkersrol binnen de regio bij de toepassing van AI waar te kunnen maken. Het ontbreken van een formeel vastgestelde gedragscode en afwegingskader voor AI vormt een belangrijke belemmering om echt stappen te zetten. Zonder een duidelijk kader ontbreekt een gezamenlijk referentiepunt voor het omgaan met AI binnen de pagina 35/60

Nota van bevindingen

organisatie. Dit leidt tot een risicomijdende houding, waardoor veel AI-initiatieven of -wensen niet verder worden doorontwikkeld of uiteindelijk stranden. Als gevolg daarvan is er tot op heden weinig geleerd over het omgaan met AI in de praktijk en blijft de ontwikkeling van AI-competenties binnen de gemeente beperkt.

6.3

Inspirerende voorbeelden van buiten Eindhoven

Wij hebben kennisgenomen van algemene ontwikkelingen en opvattingen met betrekking tot de toepassing van algoritmes en AI binnen de overheid door te spreken met verschillende publieke organisaties, waaronder gemeenten, een provincie en de VNG. De focus tijdens deze gesprekken lag op twee vragen, namelijk (1) hoe de gemeente AI kan inzetten om de bedrijfsvoering efficiënter uit te voeren en (2) hoe de gemeente kan werken aan een effectieve governance-structuur. In dat kader is gesproken met medewerkers van de volgende organisaties: Gemeente Goes – Chatten met Guus De gemeente Goes begon in 2020 met chatbot Guus. Inmiddels zit Guus in de derde versie, Guus 3.0: een AI-gedreven chatbot die draait op servers in Nederland en Zweden, met een sterke focus op bronvermelding, databeveiliging en transparantie. De gemeente deelt actief haar ervaringen via het algoritmeregister.

Gemeente Zaanstad – AI-aanpak Zaanstad Zaanstad hanteert een gestructureerde AI-aanpak om onsamenhangende pilots te voorkomen. In plaats van losse initiatieven wordt gewerkt via een programma met duidelijke ambtelijke opdrachtgever en opdrachtnemer. Het team bepaalt gezamenlijk de doelen, gewenste resultaten en benodigde capaciteit. Zo zorgt Zaanstad dat AI-projecten samenhangend en doelgericht zijn. Platform AI & Overheid Het Platform AI & Overheid is het centrale punt waar succesvolle en kansrijke AI-initiatieven binnen de overheid worden gedeeld en opgeschaald. Vanuit de community worden er verschillende events georganiseerd, zoals lunchbreaksessies en conferenties, voor professionals bij overheidsorganisaties.

Vereniging Nederlandse Gemeenten (VNG) VNG community AI en Algoritmes De pleio pagina van de VNG community AI en Algoritmes is de centrale plek voor en door gemeenten met informatie, tools en initiatieven voor de verantwoorde inzet van AI en algoritmes. De community is uitsluitend toegankelijk voor gemeenten. pagina 36/60

Nota van bevindingen

VNG – AI-governance kader Om te helpen bij de verantwoorde ontwikkeling en inzet van algoritmes en AI, ontwikkelt de VNG samen met verschillende gemeenten, waaronder Utrecht, Veenendaal, Amersfoort en Arnhem, een governancekader. Het kader geeft o.a. inzicht in de verschillende rollen en verantwoordelijkheden binnen de gemeentelijke organisatie die een aandeel hebben in de verantwoorde inzet van AI. Het kader helpt gemeenten bij het opzetten tot een integrale aansturingsstructuur, inclusief rollen en verantwoordelijkheden, voor de aankoop en het gebruik van AIsystemen.

Noord-Brabant – sAmmIe, de virtuele collega van de provincie Brabant sAmmIe opereert vanuit het CIO-office van de provincie NoordBrabant in een interne pilot voor het stikstofprogramma van de provincie, die tot de zomer van 2025 duurt. Met de pilot wil de provincie leren hoe je als publieke organisatie AI verantwoord kunt inzetten.

Provincie Limburg – Platform GovChat-NL GovChat-NL is een open-source AI platform voor Nederlandse overheidsinstanties ontwikkeld door de provincie Limburg. Binnen de Provincie Limburg wort de implementatie hiervan aangeduid als de Limburgse AI Chat Assistent (LAICA). Het platform bestaat uit een AI-gestuurde chat assistent en een App Launcher waarmee medewerkers toegang krijgen tot diverse AI-toepassingen.

Gemeente Utrecht – AI governance De gemeente Utrecht kiest in haar aanpak rond AI-governance voor een procesgerichte methode, zoekt daarnaast actief samenwerking op en deelt haar kennis. Zo heeft Utrecht onder andere bijgedragen aan de ontwikkeling van het AIgovernance kader van de VNG.

Uit de gevoerde gesprekken komt naar voren dat een groot deel van de overheidsorganisaties nog aan het begin staat van een bewust en verantwoord gebruik van algoritmes en AI. Met de bovengenoemde organisaties is gesproken over wat er nodig is voor verdere professionalisering bij overheidsorganisaties om tot een bewuste en verantwoorde inzet van algoritmes te komen. Om de pagina 37/60

Nota van bevindingen

kansen van algoritmes en AI voor publieke dienstverlening te kunnen pakken stellen deze organisaties dat er aandacht moet zijn voor verschillende onderwerpen, deze komen in de volgende paragrafen terug.

6.4

Algemene inzichten en lessen van andere gemeenten

De onderstaande inzichten en lessen van andere gemeenten staan los van de situatie in Eindhoven. Met andere woorden: het zijn algemene lessen en niet specifiek gericht op Eindhoven. Uit de vorige hoofdstukken blijkt dat Eindhoven aan verschillende lessen werkt.

6.4.1

Een stevig fundament loont: werken met duidelijke kaders, structuur en mandaat

Er hoeft niet altijd een heldere visie op AI te zijn, maar het moet wel duidelijk zijn wat een gemeente wil bereiken. De gemeente Zaanstad geeft aan dat ze geen uitgeschreven AI-visie hebben, maar wel concrete doelen nastreven. Dit sluit aan bij de aanpak van sAmmIe van Noord-Brabant, waar de maatschappelijke opgave centraal staat. Het is niet nodig om alles van tevoren uit te tekenen. Het is belangrijker dat er kaders worden gesteld, zoals op het gebied van ethiek, duurzaamheid en transparantie. Het AI governance-kader van de VNG kan hierbij helpen. Dit kader definieert rollen en instrumenten die gemeenten hunnen helpen om AI verantwoord in te zetten en vormt daarmee een goed startpunt. Een programma met een duidelijk opdrachtgever en een ambtelijk opdrachtnemer, zoals Zaanstad heeft gedaan, zorgt voor structuur en voorkomt dat AI-initiatieven uiteenvallen in losse, onsamenhangende pilots zonder mandaat.

6.4.2

Brede betrokkenheid versterkt draagvlak: communicatie en participatie door alle lagen van de organisatie

Daarnaast is het belangrijk om twee kanten op te werken: zowel bottom-up als top-down. Vernieuwing komt het best tot stand komt wanneer zowel het bestuur als de operatie/uitvoerende laag betrokken zijn. Dit betekent overigens niet dat alleen de directie of IT-afdeling een rol spelen, maar ook teamleiders moeten een actieve rol spelen. Een teamleider kan het voortouw nemen in het veranderen van werkwijzen. Hierbij is het essentieel om als gemeente transparant te zijn over wat ze doet met AI. Dit betekent niet alleen uitleggen wat er gebeurt, maar ook waarom bepaalde keuzes worden gemaakt. Een heldere communicatie- en informatiestrategie kan hierbij helpen. Bij Zaanstad is gebleken dat breed draagvlak ontstaat wanneer medewerkers en stakeholders vanaf het begin worden betrokken en gezamenlijk thema’s prioriteren. Dat betekent niet dat iedereen direct overtuigd of het eens moet zijn, maar wel dat communicatie structureel aandacht moet krijgen. Een gedeeld beeld van wat AI kan betekenen is hierbij van belang. Dit helpt om weerstand te verminderen en draagvlak te creëren. Hiervoor kan het nodig zijn om met het bestuur in gesprek te gaan om te bepalen waar “ruis” zit. In de provincie Limburg werkten ze met een klankbordgroep, bestaande uit een dwarsdoorsnede van de organisatie.

Daarnaast zorgden ze voor structurele afstemming met de OR, om draagvlak en compliance te waarborgen, en de privacy officer en de FG om privacy risico’s te identificeren en te minimaliseren.

6.4.3

Leren door te doen: experimenteren met AI in kleine stappen

Een ander terugkerend thema in de gesprekken is het belang van ‘learning by doing.’ Het advies is om veel en snel te experimenteren, zonder jarenlang te blijven hangen in voorbereidingen van een enkel pagina 38/60

Nota van bevindingen

AI project. De voorkeur is om dit te doen via een sandbox-omgeving, zoals de gemeente Amsterdam die heeft opgericht, geeft de gemeente Goes aan. Zo’n afgesloten omgeving biedt een veilige plek om met AI-toepassingen te testen en te experimenteren, omdat alle acties die worden ondernomen binnen die omgeving blijven en geen andere toepassingen beïnvloeden. Het moet acceptabel zijn om fouten te maken, mits er ruimte is om hiervan te leren. Dit betekent niet dat elk experiment direct vanaf het begin voor iedereen toegankelijk moet zijn. Soms is het beter om eerst intern te testen en pas later te schalen als het werkt. Door klein te beginnen en succesvolle projecten geleidelijk uit te rollen, kan de gemeente voorkomen dat het vast komt te zitten in langdurige, dure trajecten die achteraf niet (goed) blijken te werken.

6.4.4

Zelfstandig beheer versterkt grip: beperkte afhankelijkheid van Big Tech

Om afhankelijk van grote techspelers te beperken, wordt er geadviseerd om te investeren in een eigen AI-omgeving en zo veel mogelijk gebruik te maken van open source oplossingen. Zo bestaat GovChat-NL van de provincie Limburg uit open source componenten die openbaar beschikbaar zijn via GitHub. Het opzetten en beheren van een eigen omgeving kan in eerste instantie duurder zijn dat het afnemen van bestaande diensten zoals ChatGPT of Copilot, maar het biedt wel volledige controle en flexibiliteit. Mocht er toch worden samengewerkt met een of meerdere externe partijen, dan is het zaak om kritisch te kijken naar wie de gemeente als partner kiest. De AI markt is chaotisch op dit moment: de technologie is nog volop in ontwikkeling en veel spelers op de markt bestaan nog maar kort. Het aangaan van korte contracten, niet langer dan twee jaar, helpt om flexibel te blijven zo laat de gemeente Goes weten. De provincie Limburg kiest bij GovChat-NL voor een andere aanpak: zij besteedt de ontwikkeling van enkele use case uit, maar stelt als voorwaarde dat deze open source worden ontwikkeld.

6.4.5

Samenwerking en ruimte creëren: partnerschappen en financiële mogelijkheden als randvoorwaarde

Samenwerking, zowel binnen de gemeente als met externe partijen zoals BZK, andere G4-gemeenten en de Brainport-regio, maakt het mogelijk om sneller vooruitgang te boeken. Hierbij is het belangrijk om financiële ruimte te creëren voor AI-initiatieven. Dit hoeft niet meteen om grote bedragen te gaan geven verschillende organisaties aan. Vaak is het beter om klein te beginnen en pas te investeren als de toegevoegde waarde is aangetoond. Wanneer een project succesvol blijkt, is het makkelijker om extra budget en middelen vrij te maken, zo heeft de gemeente Zaanstad ervaren. De gemeenteraad speelt hierin een belangrijke rol. Uit ervaringen van de gemeente Utrecht blijkt dat raadsleden verdeeld kunnen zijn over AI: sommigen zien de mogelijkheden, anderen willen het geld liever anders besteden. Hierdoor is het des te belangrijker om de concrete meerwaarde van initiatieven zichtbaar te maken en zo draagvlak te creëren voor verdere investeringen.

pagina 39/60

Nota van bevindingen

7.

Conclusies

In dit hoofdstuk worden de belangrijkste bevindingen en conclusies van het rekenkameronderzoek naar de inzet van algoritmes en AI-systemen binnen de gemeente Eindhoven gepresenteerd. Eerst worden op basis van de bevindingen uit de voorgaande hoofdstukken de onderzoeksvragen per thema beantwoord. In paragraaf 7.2 spiegelen we de bevindingen daarna aan het normenkader. In paragraaf 7.3 beantwoorden we de hoofdvraag, dit leidt tot conclusies.

7.1

Beantwoording deelvragen

Op basis van de verzamelde informatie beantwoorden we de onderzoeksvragen per thema op een kernachtige manier.

7.1.1

Thema beleid

Vraag 1

Wat zijn de visie, doelen en lokale kaders rond gebruik van algoritmes en AI?

Antwoord

Binnen de gemeente wordt nagedacht over het verantwoord gebruik van algoritmes en AI. Hoewel de voorbereiding daartoe al enige tijd loopt, is er op dit moment nog geen formeel vastgelegd beleid. Wel zijn conceptversies van een afwegingskader en een gedragscode AI ontwikkeld, waarin randvoorwaarden en uitgangspunten zijn uitgewerkt. Eindhoven heeft wel flankerend beleid dat relevant en van toepassing is op de inzet van algoritmes en AI, bijvoorbeeld op het gebied van privacy en informatiebeveiliging. De bouwblokkenmethode wordt breed toegepast bij de ontwikkeling en ingebruikname van ICT. Daarnaast is er de laatste jaren gewerkt aan het ontwikkelen van ethische hulpstructuren, zoals een waardenkader en het oprichten van een ethisch team. Op deze manier hoopt de gemeente een goede afweging te maken over de verantwoorde inzet van digitalisering en technologie.

Vraag 2

Welke algoritmes en AI-systemen gebruikt de gemeente en met welk doel?

Antwoord

Algoritmes De gemeente heeft negen algoritmes geregistreerd met impact op burgers en bedrijven in haar interne (niet-openbare) register. Het merendeel van de algoritmes werkt op basis van vooraf geprogrammeerde regels of criteria. Slechts één algoritme is datagestuurd en zelflerend. De gemeente acht het aannemelijk dat er in werkelijkheid een groter aantal algoritmes wordt toegepast binnen de gemeentelijke organisatie, wat zou betekenen dat het huidige interne register onvolledig is. Eindhoven heeft slechts twee algoritmes in het (openbare) landelijk algoritmeregister gepubliceerd. Het gaat om een algoritme dat wordt ingezet bij parkeercontroles en voor het begeleiden van mensen naar passend werk. De gemeente gebruikt algoritmes vooral om processen efficiënter te maken, dienstverlening te verbeteren, handhaving te effectueren en te komen tot een consistentere en objectievere uitvoering. AI-systemen De gemeente onderhoudt daarnaast een lijst van AI-initiatieven. De lijst beschrijft mogelijke toepassingen waar de gemeente gebruik wil maken van AI. Geen van de initiatieven op de lijst is echter nog in gebruik genomen.

pagina 40/60

Nota van bevindingen

7.1.2

Thema uitvoering en praktijk

Vraag 3

Worden beleidsdoelstellingen met behulp van algoritmes en AI doeltreffend en doelmatig behaald?

Antwoord

De gemeente ziet verschillende voordelen in het gebruik van algoritmes en AI. De belangrijkste zijn efficiëntie (algoritmes dragen bij om administratieve processen te automatiseren en te versnellen), betere dienstverlening (bijvoorbeeld het sneller en doelmatiger afhandelen van verhuisaangiftes) en consistentie van besluitvorming (gelijke gevallen worden gelijk behandeld). De effectiviteit wordt echter niet systematisch gemeten: er ontbreekt structurele monitoring en evaluatie die inzicht geeft of en zo ja hoe algoritmes bijdragen aan beleidsdoelen.

Vraag 4

In hoeverre zijn risico’s rond ethiek, privacy en governance (onderkend en) geborgd?

Antwoord

De gemeente investeert aan de voorkant in het in kaart brengen van risico’s. Dat gebeurt onder andere door middel van privacy toetsen (quickscan en DPIA) en een instrument om beveiligingsrisico’s in kaart te brengen (SIA). Daarnaast heeft de gemeente een intern ethisch team dat binnen projecten kan ondersteunen bij het maken van belangen- en waardenafwegingen. Ook is er een actieve externe ethische commissie die onafhankelijk op zaken reflecteert en daarover adviseert. Hierdoor worden op verschillende manieren risico’s in kaart gebracht en (beheers)maatregelen getroffen. Er vindt echter geen structurele evaluatie of monitoring plaats van de genomen maatregelen. De risicobeheersing van de gemeente is daardoor niet sluitend.

Vraag 5

Hoe is de organisatiestructuur ingericht rond algoritmes en AI? Hoe zijn de rollen en verantwoordelijkheden verdeeld?

Antwoord

De governance en organisatiestructuur rond algoritmes en AI zijn nog in ontwikkeling. De inrichting van rollen en verantwoordelijkheden is dus nog niet helder en eenduidig vastgelegd. In de praktijk zijn bij algoritme- en AI-projecten doorgaans een proceseigenaar en een privacy officer betrokken, maar duidelijke sturing op het nemen én actueel c.q. volledig houden mitigerende maatregelen hebben wij niet gezien. De aanstelling van een compliance officer met als specifiek aandachtsgebied AI wordt overwogen, maar is nog niet gerealiseerd.

Vraag 6

In hoeverre geeft de organisatiecultuur van de gemeente voldoende ruimte om te experimenten en innoveren met AI-toepassingen?

Antwoord

Er wordt op dit moment weinig tot niet geëxperimenteerd met AI-toepassingen. Alhoewel er wel voorbereidingen worden getroffen met het aanstellen van een expertisegroep AI en het inventariseren van kansrijke AI-initiatieven, worden concrete plannen en projecten aangehouden in afwachting van formele besluitvorming over het AI-beleid. Dit onderzoek laat zien dat binnen de ambtelijke organisatie op operationeel en tactisch niveau enthousiasme en energie bestaat om met AItoepassingen aan de gang te gaan, maar dat het uitblijven van besluitvorming op strategisch en bestuurlijk niveau nieuwe ontwikkelingen afremt. Er is geen sprake van een strikte en weloverwogen strategie van risicomijding bij besluitvorming, maar feit is wel dat er binnen de gemeente veel nadruk wordt gelegd op risicobeheersing. De processen en instrumenten die hiervoor worden ingezet, werken in de praktijk

pagina 41/60

Nota van bevindingen

vertragend voor innovatie en leren. Tot slot kan de organisatiecultuur niet los worden gezien van de periode van verscherpt toezicht door de Autoriteit Persoonsgegevens. Er is de afgelopen jaren veel tijd en energie gegaan naar het op orde brengen van de omgang met persoonsgegevens en het privacy management.

7.1.3

Thema leren en vooruitkijken

Vraag 7

Welke voorbereidingen treft Eindhoven voor toekomstige opgaven rond algoritmes en AI?

Antwoord

De gemeente treft voorbereidingen voor de toekomst, onder andere met het AIbeleid dat in ontwikkeling is en de lijst met AI-initiatieven die in kaart is gebracht. De gemeente bereidt zich daarmee actief voor op de (Europese) AI-verordening. Ook op organisatieniveau worden kennis en ervaring gebundeld, onder meer met het oprichten van de expertisegroep AI en community AI. Ook werkt de gemeente al aan AI-geletterdheid door het aanbieden van trainingen via de Eindhoven Academy.

Vraag 8

Wil en kan de gemeente Eindhoven een voortrekkersrol pakken binnen de regio bij de toepassing van AI?

Antwoord

Eindhoven werkt actief samenwerkt met een aantal regionale en landelijke partners en kennisnetwerken, zoals de HTC, Digital Sundai en Regiotour AI & Algorimtes van het ministerie van BZK. Er is echter geen sprake van het pakken van een voortrekkersrol in de regio. De gemeente heeft een tijdje voorop gelopen, onder andere met de implementatie van de AI-verordening, maar is in veel ontwikkelingen stil komen te staan door het uitblijven van besluitvorming over het AI-beleid. Dit zorgt ervoor dat de gemeente nu geen voorloper meer is op dit gebied. Er ligt op dit moment ook geen concrete ambitie om een voortrekkersrol te pakken.

Vraag 9

Welke verbeterpunten zijn er voor de gemeente op het gebied van algoritmes en AI?

Antwoord

Er zijn verschillende verbeterpunten denkbaar die uit dit onderzoek volgen: • • • •

Beleidsmatig: het vastleggen van het afwegingskader en de gedragscode zorgt voor meer duidelijkheid binnen de organisatie. Registratie: het interne algoritmeregister is nog niet volledig en kan beter worden gevuld. Risicobeheersing: de gemeente kan werken aan een betere borging van risicobeheersing door meer aandacht te hebben voor monitoring en evaluatie. Innovatie en experimenten: er vinden op dit moment nog geen AI-experimenten plaats waardoor het lerend vermogen van de organisatie beperkt is.

Vraag 10

Wat kan de gemeente leren van ervaringen van andere gemeenten en voorlopers op het gebied van AI-gebruik?

Antwoord

Andere gemeenten en overheidsorganisaties laten zien dat succesvol AI-gebruik vraagt om duidelijke kaders, structuur en mandaat (zoals in Zaanstad), brede betrokkenheid binnen de organisatie (zoals in Limburg) en een cultuur van leren door te doen met kleinschalige experimenten (zoals in Goes). Ook overheidsbrede samenwerking en kennisdeling via netwerken als Platform AI & Overheid helpen om laagdrempelig van elkaar te leren. Niet alle lessen die zijn opgedaan bij andere

pagina 42/60

Nota van bevindingen

gemeenten zijn nieuw voor Eindhoven. Het belang van klein beginnen en experimenteren kwam al naar voren in het onderzoeksrapport Responsible AI dat door de gemeente is uitgevoerd.

7.1.4

Thema rol van de gemeenteraad

Vraag 11

In hoeverre voert de gemeenteraad proactief zijn sturende, controlerende, en volksvertegenwoordigende verantwoordelijkheid uit?

Antwoord

De gemeenteraad heeft op dit moment weinig directe bemoeienis met het onderwerp algoritmes en AI, wat deels te verklaren is door het relatief nieuwe karakter van het onderwerp. De raad heeft wel veel aandacht voor ethiek, en stond onder andere aan de basis voor het oprichten van de ethische commissie.

Vraag 12

Hoe wordt de raad betrokken bij en geïnformeerd over (de uitvoering van) het beleid ten aanzien van algoritmes?

Antwoord

De raad wordt nauwelijks geïnformeerd over algoritmes en AI. De informatieverstrekking vanuit het college van B&W is minimaal. In de afgelopen vijf jaar is slechts één collegebrief gestuurd over de aansluiting bij het landelijk algoritmeregister. Er is ook weinig om de raad over te informeren vanuit de ambtelijke organisatie. Het beleid is niet vastgesteld en kan dus ook niet met de raad worden gedeeld. Verdere ontwikkelingen zijn ook in afwachting van het beleid.

7.2

Beoordeling normenkader

Bij de start van het onderzoek is in overleg met de Eindhovense rekenkamer een normenkader opgesteld. Op basis van deze normen zijn de bevindingen systematisch getoetst en voorzien van een kwalitatief oordeel (rood, oranje, groen, grijs). • • • •

Een rood vlak betekent dat er niet aan de norm voldaan wordt. Een oranje vlak betekent dat er gedeeltelijk aan de norm wordt voldaan. Een groen vlak betekent dat er (grotendeels) aan de norm wordt voldaan. Een grijs vlak betekent dat de norm niet kon worden beoordeeld op basis van de bevindingen.

De toetsing van de bevindingen aan het normenkader leidt tot de conclusies van dit onderzoek. Hieronder wordt per thema toegelicht in welke mate de gemeente aan de norm voldoet.

7.2.1

Thema beleid

Norm

Oordeel

I. De gemeente heeft een visie en beleid voor de inzet van algoritmes en AIsystemen II. De gemeente beschikt over een actueel overzicht van algoritmes en AIsystemen die worden ontwikkeld, in gebruik zijn en zijn uitgefaseerd III. De doelstellingen van de algoritmes en AI-systemen die worden gebruikt zijn gedefinieerd en vastgelegd Norm I. De vertraagde besluitvorming rond het beleid zorgt op dit moment voor stilstand en voor een situatie waarin geen AI-initiatieven kunnen worden opgepakt terwijl daar wel behoeften voor in kaart pagina 43/60

Nota van bevindingen

zijn gebracht. Concrete plannen en projecten vinden geen doorgang in afwachting van formele besluitvorming over het AI-beleid. Dit staat innovatie op dit moment in de weg. Hoewel er (nog) geen formeel vastgelegd beleid is voor de inzet van algoritmes en AI-systemen, heeft de gemeente wel nagedacht over de randvoorwaarden en uitgangspunten voor verantwoord gebruik. Deze zijn uitgewerkt in een afwegingskader en gedragscode AI. De formele besluitvorming over deze documenten duurt echter lang, zo laat dit onderzoek zien. Maar de huidige situatie zorgt ook voor andere risico’s, met name ten aanzien van ongereguleerd gebruik. Er zijn geen formele richtlijnen, maar generatieve AI-tools worden al wel door medewerkers gebruikt. Dit geeft risico op datalekken en verlies van grip op data, omdat veel medewerkers gebruik maken van gratis, niet-gecontracteerde AI-tools. Het valt niet uit te sluiten dat er ook bedrijfsgevoelige of vertrouwelijke documenten door medewerkers met deze AI-tools worden verwerkt. Ook vergroot het ontbreken van vastgesteld AI-beleid de kans dat ongewenste of onbeveiligde toepassingen worden gebruikt, waardoor de organisatie risico’s loopt op het gebied van privacy, beveiliging en controle over haar eigen informatie. Een laatste effect dat de rekenkamer ziet is dat door het uitblijven van vastgesteld beleid er geen collectief leerproces op gang is gekomen.

Er vinden geen gecontroleerde experimenten plaats. Hierdoor is het lastig om als organisatie te bepalen hoe je met AI als nieuwe technologie wil omgaan. Al deze elementen maken dat de rekenkamer oordeelt dat de gemeente niet aan de norm heeft voldaan. Norm II. Eindhoven heeft twee algoritmes openbaar gemaakt in het landelijk algoritmeregister. Daarnaast heeft de gemeente een intern register opgezet met daarin negen algoritmes. Ook is er een lijst met AI-initiatieven opgesteld. Eindhoven heeft stappen gezet om de inventarisatie van de in gebruik zijnde algoritmes structureel op orde te brengen. De gemeente is zich er van bewust dat dit inzicht nog niet volledig is. Hierdoor komt de rekenkamer tot het oordeel dat de gemeente gedeeltelijk aan de norm voldoet. Norm III. Hoewel het aantal registraties van algoritmes nog beperkt is, zijn de registraties zelf kwalitatief. De vastgelegde informatie over de algoritmes is over het algemeen volledig en bevat duidelijke beschrijvingen van de doelstellingen en impact van de betreffende algoritmes. Daarom is deze norm positief beoordeeld.

pagina 44/60

Nota van bevindingen

7.2.2

Thema uitvoering en praktijk

Norm

Oordeel

IV. De gemeente maakt expliciete afwegingen over het gebruik van algoritmes en AI-systemen, zowel gericht op de voordelen en kansen als risico’s V. De gemeente is transparant over het gebruik van algoritmes en AI-systemen en legt hier verantwoording over af VI. De inzet van algoritmes en AI-systemen is doeltreffend en doelmatig om beleidsdoelstellingen te behalen VII. Bij de ontwikkeling en het gebruik van algoritmes en AI-systemen worden diverse expertises, perspectieven en rollen betrokken. VIII. De gemeente heeft risicomanagement voor algoritmes en AI-systemen ingericht IX. De gemeente heeft rollen en verantwoordelijkheden rond het gebruik, de beheersing en monitoring verdeeld en ingericht X. De medewerkers die met algoritmes en AI-systemen werken zijn deskundig en voldoende toegerust om de risico’s te beheersen XI. De organisatiecultuur staat innovatieve oplossingen en experimenten met AI niet in de weg Norm IV. De gemeente maakt afwegingen bij de inzet van algoritmes en AI-systemen, waarbij de nadruk met name ligt op het identificeren en beheersen van risico’s. Er zijn procedures, methodieken en processen ontwikkeld om risico’s in kaart te brengen, zoals een quickscan, DPIA’s, SIA’s en vormen van ethische toetsing. Hoewel deze aanpak bijdraagt aan het verantwoord gebruik, is er hierdoor minder oog voor de kansen en voordelen.

Innovatie kan worden belemmerd als de nadruk vanaf het begin al te sterk ligt op risicobeheersing. Dit leidt tot een beoordeling dat de gemeente gedeeltelijk aan de norm voldoet. De uitdaging voor de gemeente ligt in het vinden van een balans, waar zowel aandacht is op de voordelen en kansen als de risico’s. Norm V. De gemeente heeft twee algoritmes in het landelijk algoritmeregister gepubliceerd. De gemeente stelt dat dit de enige impactvolle algoritmes zijn die worden gebruikt. Andere gemeenten hebben vergelijkbare algoritmes wél in het landelijk algoritmeregister gepubliceerd, waar Eindhoven dat niet doet. Voorbeelden hiervan zijn anonimiseringssoftware en vroegsignalering schulden. Intern heeft de gemeente een uitgebreidere inventarisatie negen algoritmes, maar dit overzicht is niet openbaar. Dit maakt het huidig gebruik van algoritmes in beperkte mate transparant is, concludeert de rekenkamer. Ook de huidige verantwoording over het algoritmegebruik is zeer beperkt. Het college van B&W heeft de afgelopen vijf jaar één collegebrief gestuurd over de aansluiting bij het landelijke algoritmeregister. Structurele of periodieke verantwoording over algoritme en AI ontbreekt. De beperkte verantwoording en transparantie leiden tot een negatieve beoordeling van deze norm. Norm VI.

De belangrijkste meerwaarde in het gebruik van algoritmes en AI wordt gezien in het verbeteren van efficiëntie, consistentie en de kwaliteit van dienstverlening. Er zijn voorbeelden waar algoritmes hieraan bijdragen, zoals in het geval van het automatisch verwerken van verhuisaangiftes. Het is echter lastig om te stellen dat algoritmes en AI-systemen doeltreffend en doelmatig werken om pagina 45/60

Nota van bevindingen

beleidsdoelstellingen te behalen, omdat Eindhoven de impact van de inzet niet structureel meet of monitort. Dit leidt tot de conclusie dat algoritmes waarschijnlijk wel bijdragen aan de doeltreffendheid en doelmatigheid van de uitvoering van beleid, maar hier worden geen aantoonbare bewijzen over bijgehouden. Dus de gemeente voldoet daarmee hooguit gedeeltelijk aan deze norm. Norm VII. De gemeente betrekt actief verschillende expertises en disciplines bij de ontwikkeling en toepassing van algoritmes en AI-systemen. Een voorbeeld is de expertisegroep en community AI, waarin medewerkers uit verschillende domeinen en met diverse expertises werken aan ontwikkeling, impactbepaling en kennisdeling rond algoritmes en AI. De inzet van het interne ethisch team en de externe ethische commissie dragen bovendien bij aan verdere reflectie en maken het mogelijk dat de gemeente kwalitatieve afwegingen over technologie kan maken. De werking van deze gremia laten zien dat in Eindhoven multidisciplinair wordt samengewerkt. Dit leidt tot een positieve beoordeling van de norm Norm VIII. De gemeente heeft de eerste stappen in de risicobeheersingscyclus ingericht, waaronder het identificeren en wegen van risico’s. Er worden risico’s beschreven en gewogen, bijvoorbeeld met het uitvoeren van DPIA’s. De gemeente maakt een plan hoe ze de risico’s wil mitigeren door het nemen van maatregelen.

Maar het ontbreekt nog aan een structureel proces voor de opvolging, monitoring en evaluatie van de risico’s. Er is daarmee nog geen sprake van borging van het risicomanagement. Dit resulteert in de beoordeling dat de gemeente gedeeltelijk aan de norm voldoet. Norm IX. De verdeling van rollen en verantwoordelijkheden bij de inzet van algoritmes en AI is in ontwikkeling. In de praktijk zijn doorgaans een proceseigenaar en een privacy officer betrokken, wat een deugdelijke basis biedt voor risicobeheersing. Er vindt echter geen structurele sturing plaats op de maatregelen. Voor AI wordt gewerkt aan explicietere afspraken over rollen en verantwoordelijkheden, bijvoorbeeld door de mogelijke aanstelling van een compliance officer rond AI, maar dit is tot op heden nog niet gerealiseerd omdat het afwegingskader nog niet is vastgesteld. Deze zaken leiden tot de conclusie dat Eindhoven gedeeltelijk aan de norm voldoet. Norm X. De gemeente werkt aan het vergroten van de deskundigheid van medewerkers op het gebied van algoritmes en AI. Zo is er binnen de organisatie aandacht voor AI-geletterdheid door het aanbieden van trainingen. Er is nog weinig ruimte geweest om in de praktijk ervaring met AI op te doen en te leren binnen een experimentele omgeving. Hierdoor blijft de ontwikkeling van AIcompetenties tot op heden beperkt.

We hebben bij het casusonderzoek gezien dat de gemeente in de praktijk leunt op externe expertise, bijvoorbeeld bij het op orde brengen van DPIA’s. Dit zagen we terug bij de casus Passport for Work waarin een extern bureau tot tweemaal toe is ingeschakeld om de DPIA te herijken. Deze zaken bij elkaar genomen lijkt de gemeente gedeeltelijk aan de norm te voldoen. Norm XI. Binnen de organisatie bestaat onder medewerkers energie en bereidwilligheid om te experimenteren met AI en de kansen daarvan te beproeven, maar toch komt dit nog weinig van de grond. De rekenkamer constateert dat de nadruk binnen het management in dominante mate ligt op risicobeheersing en controle. Het uitblijven van formele besluitvorming over het AI-beleid zorgt voor stilstand. De gemeente heeft processen en structureren ingericht die bijdragen aan een weloverwogen en verantwoord gebruik, maar die tegelijkertijd ook lijken te zorgen voor stroperigheid en vertraging. Een mooi voorbeeld hiervan is teruggezien in de bestudeerde casus ECHO Dembrane. De casus laat zien dat er onder medewerkers ideeën bestaan hoe ze met AI hun werk makkelijker kunnen uitvoeren, maar dat een initiatief om dit te realiseren moeilijk van de grond komt. De gemeente kiest niet voor het pagina 46/60

Nota van bevindingen

instellen van een experiment of een proof-of-concept om praktijkervaring op te doen, maar wil eerst de formele route en bouwblokkenmethode doorlopen. Dit vertraagt de praktische toepassing en innovatie. De gekozen structuur en ingerichte processen met een nadruk op risicobeheersing staan de medewerkers slecht toe om flexibel en snel met innovatieve oplossingen en experimenten aan de slag te gaan. De rekenkamer beoordeelt dat de gemeente gedeeltelijk voldoet aan de norm.

7.2.3

Thema leren en vooruitkijken

Norm

Oordeel

XII. De gemeente heeft oog voor innovatieve AI-oplossingen XIII. De gemeente kijkt naar ervaringen van andere overheden XIV. De gemeente treft voorbereidingen op een toekomstig gebruik van algoritmes en AI-systemen XV. De gemeente organiseert evaluaties en brengt geleerde lessen in praktijk Norm XII. Er is door de CIO-office een lijst met AI-initiatieven opgesteld. De lijst biedt inzicht in de functionele behoeften en wensen naar de toepassing van AI binnen de sectoren. Daarnaast heeft Eindhoven een uitgebreid onderzoek laten doen naar Responsible AI, waarmee ze laat zien oog te hebben voor innovatieve (en verantwoorde) AI-oplossingen. Veel van deze initiatieven blijven echter op dit moment steken in de verkennende fase. De stap naar daadwerkelijk toepassen blijkt weerbarstig. De oorzaken hiervoor zijn onder norm XI genoemd. Het resultaat is dat de meeste AIinitiatieven nu niet worden opgepakt. Dit leidt tot het oordeel dat de gemeente gedeeltelijk aan de norm voldoet. Norm XIII. De gemeente zoekt actief de samenwerking op met andere overheden en kennisnetwerken om te leren van hun ervaringen. Zo nemen medewerkers deel aan landelijke en regionale initiatieven, zoals het CIO-Beraad van 100.000+ gemeenten, de vakvereniging IMG100.000+ en de Regiotour AI & Algoritmes van het ministerie van BZK. Deze deelname biedt waardevolle mogelijkheden voor kennisdeling.

Toch kunnen de geleerde lessen uit deze netwerken nog beperkt vertaald naar concrete toepassingen binnen de eigen organisatie doordat besluitvorming over het beleid op zich laat wachten. Dit zorgt ervoor dat de rekenkamer oordeelt dat de gemeente gedeeltelijk aan de norm heeft voldaan. Norm XIV. De gemeente treft op meerdere manieren voorbereidingen voor de toekomst als het aankomt op algoritmes en AI. Er is gewerkt aan een gedragscode voor generatieve AI en een afwegingskader. Ook zijn een expertisegroep AI en community AI ingericht om kennisdeling te bevorderen. Ten slotte treft de gemeente voorbereidingen om te (gaan) voldoen aan de AIverordening. De rekenkamer constateert wel dat de nadruk momenteel sterk ligt op het op orde brengen van randvoorwaarden en dat er nog weinig collectieve leerervaringen zijn opgedaan. Dit maakt het lastig om kansen van de technologie te benutten. Hierdoor is het oordeel dat de gemeente gedeeltelijk aan de norm voldoet. Norm XV. Op dit moment voert de gemeente in beperkte mate structurele evaluaties uit van de inzet van algoritmes. Voor AI-systemen zijn evaluaties niet aan de orde. Veel initiatieven bevinden zich nog in de ontwikkelings- of verkenningsfase, waardoor er beperkt ervaring met implementatie en uitvoering zijn opgedaan.

Er is wel aandacht voor het opbouwen van kennis via de Eindhoven Academy en de community AI, maar dit richt zich vooral op kennisdeling en bewustwording en in mindere mate op formele evaluatie of terugkoppeling van leerervaringen. De rekenkamer concludeert dat het nog te pagina 47/60

Nota van bevindingen

vroeg om te beoordelen in hoeverre de gemeente actief leert van eerdere ervaringen rond AI. Voor algoritmes worden geleerde lessen in beperkte mate in de praktijk gebracht. De norm is daarom beoordeeld als gedeeltelijk voldaan.

7.2.4

Thema rol van de gemeenteraad

Norm

Oordeel

XVI. De gemeenteraad geeft proactief invulling aan zijn kaderstellende en controlerende verantwoordelijkheden bij algoritmes en AI-systemen XVII. De gemeenteraad wordt geïnformeerd over en betrokken bij het beleid en de uitvoering rond algoritmes en AI-systemen Norm XVI. De gemeenteraad heeft tot op heden slechts in beperkte mate aandacht besteed aan het onderwerp algoritmes en AI. Dit is deels te verklaren omdat het een relatief nieuw en complex onderwerp is, waarin het voor de gemeenteraad, net zozeer als het college van B&W en de ambtelijke organisatie nog zoeken is naar een passende rol. De raad heeft geen proactieve invulling gegeven aan de kaderstellende rol voor algoritmes en AI. Wel heeft de raad eerder een leidende rol gehad in het ethisch en verantwoord toepassen van technologie. De externe ethische commissie is mede op voordracht van de gemeenteraad in Eindhoven ingesteld. Ten aanzien van de controlerende verantwoordelijkheid valt op dat raadsleden incidenteel en vooral reactief schriftelijke vragen hebben gesteld en een enkele motie hebben ingediend. Dit alles leidt tot de conclusie dat er gedeeltelijk aan de norm is voldaan. Norm XVII. De informatievoorziening aan de gemeenteraad over algoritmes en AI is op dit moment minimaal. Het college rapporteert slechts incidenteel over de inzet van algoritmes.

In de onderzoeksperiode is één collegebrief teruggevonden over de aansluiting van Eindhoven op het landelijk algoritmeregister. Daarnaast ontvangt de gemeenteraad een periodiek bericht dat de gedragscode is uitgesteld, langs de lijn van het uitvoeringsprogramma bestuursakkoord. De beperkte informatievoorziening beperkt de raad om effectief invulling te geven aan haar controlerende taak. Dit leidt tot een negatief oordeel op deze norm.

7.3

Conclusie (beantwoording hoofdvraag)

Aan de hand van de beantwoording van de deelvragen en de beoordeling van het normenkader kunnen wij de centrale onderzoeksvraag beantwoorden. Deze luidt als volgt: Wat is de actuele stand van zaken rond ontwikkelingen en toepassing van algoritmes en AI in de gemeente Eindhoven en in hoeverre is zij geprepareerd om algoritmes en AI zo intelligent en veilig mogelijk in te zetten bij het realiseren van maatschappelijke opgaven? Actuele stand van zaken De gemeente Eindhoven heeft de afgelopen jaren stappen gezet in het ontwikkelen van beleid en het inventariseren van algoritmes en AI-initiatieven. Medewerkers investeren tijd in de ontwikkelingen rond AI en algoritmes. Er zijn conceptversies van een afwegingskader en een gedragscode AI opgesteld, en er bestaat een intern algoritmeregister met negen algoritmes. Slechts twee algoritmes zijn openbaar gepubliceerd. Binnen de organisatie leeft het besef dat AI kansen biedt voor efficiëntere dienstverlening en het oplossen van maatschappelijke opgaven, maar het daadwerkelijke gebruik en experimenteren met AI blijft beperkt. Dit komt vooral doordat formele besluitvorming over het AI-beleid uitblijft. pagina 48/60

Nota van bevindingen

Mate van voorbereiding Eindhoven is op dit moment onvoldoende geprepareerd om algoritmes en AI intelligent en veilig in te zetten. Het ontbreken van duidelijke kaders, richtlijnen en een volledige registratie leidt tot onzekerheid en risico’s: medewerkers gebruiken AI-toepassingen zonder heldere regels, wat gevolgen kan hebben voor privacy en transparantie. Er is wel aandacht voor risicobeheersing en ethiek, maar structurele monitoring en evaluatie ontbreken. Het ontbreken van kaders zorgt ook voor het uitblijven van experimenten en mogelijkheid tot innovatie. Hierdoor is het lastig om als organisatie te leren en te verbeteren. Gemeenteraad De gemeenteraad heeft tot nu toe slechts beperkt proactief invulling gegeven aan haar kaderstellende en controlerende rol, en de informatievoorziening vanuit het college is minimaal. Er is incidenteel gerapporteerd over de inzet van algoritmes, zoals de aansluiting op het landelijk algoritmeregister, maar structurele en transparante communicatie ontbreekt. Hierdoor is de raad nog onvoldoende in positie om effectief te sturen en te controleren op het gebied van AI. Conclusie De gemeente Eindhoven staat aan het begin van de ontwikkeling en toepassing van algoritmes en AI.

Er zijn voorbereidingen getroffen, maar zonder vastgestelde kaders en beleid is de organisatie nog niet in staat om AI verantwoord, veilig en effectief in te zetten voor maatschappelijke opgaven. Investeren in een stevig fundament van beleid, heldere afspraken en een lerende cultuur is essentieel om innovatie te versnellen, risico’s te beheersen en het vertrouwen van burgers en medewerkers te vergroten.

pagina 49/60

Nota van bevindingen

Bijlage A

Geïnterviewde personen

Individuele interviews Functie Privacy Officer en jurist Strategisch informatie adviseur Strategisch informatiemanager Inkoopjurist Business informatieanalist/procesmanager CISO Coördinator ethische commissie FG CIO Directeur algemene dienstverlening (ad interim) en directieadviseur Wethouder wonen, wijken, ruimte en dienstverlening Gemeentesecretaris en adviseur gemeentesecretaris Gesprekspartners voor de casusbesprekingen Casus Functie Aangifte verwerken

-

Privacy Officer Materiedeskundige Burgerzaken Business/informatieanalist en lid expertisegroep AI Product Owner Burgerzaken CISO Procesmanager Strategisch Informatiemanager Afdelingshoofd Ondersteunende diensten

ECHO Dembrane

-

Procesmanager en lid expertisegroep AI Business/informatieanalist en lid expertisegroep AI AVG contactpersoon afdeling Stadsbeheer Privacy Officer

Passport for Work

-

Interne kennishouder en liaison tussen Eindhoven en partners Afdelingshoofd Arbeidsmarkt Strategisch Informatiemanager Ruimtelijk domein Strategisch Informatiemanager Privacy jurist sector Economie & Cultuur Voormalig afdelingshoofd Arbeidsmarkt en liaison tussen Eindhoven en partners CISO Projectleider PfW Organiq

-

pagina 50/60

Nota van bevindingen

Organisatie

Onderwerp

Gemeente Goes

Chatbot Guus 3.0

Gemeente Zaanstad

AI-aanpak in Zaanstad

Gemeente Utrecht

Inrichten AI-governance

Provincie Noord-Brabant

Chatbot sAmmIe

Provincie Limburg

Platform GovChat-NL

VNG

AI-governance kader

Ministerie van BZK en ECP | Platform voor de InformatieSamenleving

Platform AI & Overheid

Bijlage B

Bestudeerde documentatie

Bestudeerde documentatie, op volgorde van nieuw naar oud. Documentnaam

Datum

Gemeente Eindhoven Intern algoritmeregister

Juli 2025

Lijst met AI-initiatieven

Juli 2025

Gedragscode gebruik AI in het algemeen en Generatieve AI in het bijzonder, versie 1.3

Mei 2025

Advies Ondernemingsraad bij gedragscode generatieve AI

Mei 2025

Privacybeleid AVG - Beleidskader gegevensbescherming

Mei 2025

Afwegingskader AI – Principes en maatregelen, versie 0.8

Maart 2025

Advies Ethische Commissie Advies over toepassing generatieve AI

November 2024

Advies Functionaris Gegevensbescherming (FG) bij concept DR dossier “Verantwoorde inzet van algoritmes en AI in Eindhoven”

November 2024

Reactie Functionaris Gegevensbescherming (FG) bij DR dossier concept “Gedragscode gebruik Artificiële Intelligentie (AI)”

April 2024

Eindrapportage Reponsible AI

April 2024

Evaluatie Impact Assessment Mensrechten en Algoritmes sessie

April 2024

Verslag Ethische Commissie met eerste advies over gedragscode

Februari 2024

Visie & Strategie Informatievoorziening (iVisie / iStrategie) 2023-2027

2023

Bestuursakkoord Samen Morgen Mooier Maken

Juni 2022

Samenvatting Werkwijze toepassing waardenkader

Mei 2021

Gemeenteraad Raadsvragen van Nicolas Knoester (FvD) over AI en de Woo

September 2025

Raadsvragen van Inge Teklenburg (Volt) over AVG hoe staat het ermee

November 2023

pagina 51/60

Nota van bevindingen

Raadsinformatiebrief Voortgang Ethische Commissie

Oktober 2023

Collegebrief Publicatie algoritmes in landelijk algoritmeregister

Juli 2023

Aangenomen Amendement A1A Inwoners in het i-visier

April 2023

Motie Doe het veilig en ethisch verantwoord

Maart 2023

Raadsvoorstel Ethiek en Digitalisering

Mei 2021

Vrije Motie Computer says no? – Openbaar algoritmeregister

Februari 2021

Commissienotitie Ethiek en Digitalisering

Juni 2020

Documentatie m.b.t. de bestudeerde casussen Informatie over de databeveiliging en technische beschrijving Echo van Dembrane, geraadpleegd via; https://dembrane.notion.site/compliance-trust-atdembrane?pvs=74

September 2025

i-klantvraagformulier Echo Dembrane

Juni 2025

DPIA Passport for Work, versie 1.1

Juni 2025

Beslishulp AI-classificatie Echo stemopname

Juni 2025

PUM bij Passport for Work

Mei 2025

Quickscan gegevensverwerking Participatieavond Beheerkader Groen

April 2025

Reactie Functionaris Gegevensbescherming (FG) bij DPIA Passport for Work

Februari 2025

PUM bij Passport for Work

Januari 2025

SIA eDiensten Burgerzaken Centric

September 2024

Adlasz: Maatschappelijke business case Passport for Work 2024-2028

Juni 2024

Operationele eisen en kaders op basis van bouwblokken, versie 2.1

Mei 2024

Centric: Module Inzicht Controles: Controles, berekening scores, drempelwaarde en gewicht

2023

PUM bij DPIA Behandelen aangifte migratie

2023

Privacy Company: Update DPIA Passport for Work, versie 2.1

November 2022

DPIA Beheer Persoonsgegevens (Register BRP)

Mei 2022

Privacy Company: DPIA PoC Passport for Work, versie 1.1

November 2021

DPIA – risico’s en maatregelen bij Passport for Work

Mei 2021

Getekend subsidiecontract met Urban Innovative Actions voor de implementatie van Passport for Work

Mei 2019

Partnerovereenkomst voor Passport for Work

Februari 2019

Flyer Module Inzicht

Zonder datum

Externe documentatie Landelijk algoritmeregister, geraadpleegd via: https://algoritmes.overheid.nl/nl

Oktober 2025

Autoriteit Persoonsgegevens: Aan de slag met algoritmeregistratie

Juli 2025

Ministerie van BZK: Handreiking Algoritmeregister – Aan de slag met het Algoritmeregister

Mei 2025

VNG: Position paper AI, algoritmes en gemeenten

Maart 2025

pagina 52/60

Nota van bevindingen

Autoriteit Persoonsgegevens: Pas op met gebruik chatbot DeepSeek

Januari 2025

Bijlage C

Afkortingen

Afkorting

Betekenis

AI

Artificiële intelligentie / Artificial Intelligence

AICO

AI Compliance Officer

ANPR-auto

Automatic number plate recognition / automatische kentekenherkenning

AP

Autoriteit Persoonsgegevens

AVG

Algemene Verordening Gegevensbescherming

BZK

Binnenlandse Zaken en Koninkrijksrelaties

CIO

Chief Information Officer

CIO-office

Het kantoor dat de CIO ondersteunt

CISO

Chief Information Security Officer

College van B&W

College van Burgermeester en Wethouders

CPO

Chief Privacy Officer

DPIA

Data Protection Impact Assessment

DR

Directieraad

FG

Functionaris Gegevensbescherming

HTC

High Tech Campus

IAMA

Impact Assessment Mensenrechten en Algoritmes

IBD

Informatie Beveiligingsdienst

OR

Ondernemingsraad

PfW

Passport for Work

P&O

Sector Personeel & Organisatie

PUM

Planning Uitvoering Maatregelen

RACI-matrix

Responsible, Accountable, Consulted, Informed-matrix

SIA

Security Impact Analyse

VNG

Vereniging van Nederlandse Gemeenten

Woo

Wet open overheid

pagina 53/60

Nota van bevindingen

Bijlage D Thema Beleid

Normenkader Te hanteren norm ▪ ▪

▪ Uitvoering en praktijk

▪

▪ ▪ ▪ ▪ ▪ ▪ ▪ Leren en vooruitkijken

▪ ▪ ▪ ▪

Rol van de gemeenteraad

▪

▪

pagina 54/60

De gemeente heeft een visie en beleid voor de inzet van algoritmes en AI-systemen De gemeente beschikt over een actueel overzicht van algoritmes en AI-systemen die worden ontwikkeld, in gebruik zijn en zijn uitgefaseerd De doelstellingen van de algoritmes en AI-systemen die worden gebruikt zijn gedefinieerd en vastgelegd De gemeente maakt expliciete afwegingen over het gebruik van algoritmes en AI-systemen, zowel gericht op de voordelen en kansen als risico’s De gemeente is transparant over het gebruik van algoritmes en AIsystemen en legt hier verantwoording over af De inzet van algoritmes en AI-systemen is doeltreffend en doelmatig om beleidsdoelstellingen te behalen Bij de ontwikkeling en het gebruik van algoritmes en AI-systemen worden diverse expertises, perspectieven en rollen betrokken.

De gemeente heeft risicomanagement voor algoritmes en AIsystemen ingericht De gemeente heeft rollen en verantwoordelijkheden rond het gebruik, de beheersing en monitoring verdeeld en ingericht De medewerkers die met algoritmes en AI-systemen werken zijn deskundig en voldoende toegerust om de risico’s te beheersen De organisatiecultuur staat innovatieve oplossingen en experimenten met AI niet in de weg De gemeente heeft oog voor innovatieve AI-oplossingen De gemeente kijkt naar ervaringen van andere overheden De gemeente treft voorbereidingen op een toekomstig gebruik van algoritmes en AI-systemen De gemeente organiseert evaluaties en brengt geleerde lessen in praktijk De gemeenteraad geeft proactief invulling aan zijn kaderstellende en controlerende verantwoordelijkheden bij algoritmes en AIsystemen De gemeenteraad wordt geïnformeerd over en betrokken bij het beleid en de uitvoering rond algoritmes en AI-systemen