Document · PDF

Eindrapport Pblq

Raadsvergadering 31 maart 2025, gemeente enschedeBij agendapunt: Rekenkameronderzoek Algoritmen29.524 woorden

Open het PDF bij de gemeente ↗Naar de vergadering →

Tekst van het document

Uit het bestand gehaald, zonder opmaak, tabellen en afbeeldingen · deel 1 van 4

Algoritmen en AI in Enschede project 7762 7 januari 2025

Inhoudsopgave 1.

Inleiding

1.1 1.2 1.3

Aanleiding Vraagstelling Leeswijzer

1 2 4

Algoritmen in Enschede; stand van zaken

2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8

Inleiding Visie en beleid Inventarisatie algoritmen Algoritmen en beleidsterreinen Functie van algoritmen Impact van algoritmen Type algoritmen Stakeholders bij de ontwikkeling en inzet van algoritmen

5 5 9 10 12 13 14 16

Afwegingen en waarborgen

3.1 3.2 3.3 3.3.1 3.3.2 3.4 3.5 3.6

Inleiding Uitgangspositie Risico’s, afwegingen en waarborgen Risico’s bij gebiedsgericht handhaven Risicobeheersing bestaande algoritmen Besluitvorming Transparantie De positie van de gemeenteraad

19 20 20 22 23 24 24 24

Zicht op de toekomst

4.1 4.2 4.2.1 4.2.2 4.2.3 4.3

Inleiding Toekomst met algoritmen en AI Over de algemene uitgangssituatie Bouwstenen en randvoorwaarden Ethiek en algoritmen De gemeenteraad in positie

28 29 29 30 34 36

Conclusies en aanbevelingen

5.1 5.2

Toepassing van het normenkader Beantwoording van de onderzoeksvragen

38 40

Bredere reflectie en aanbevelingen

6.1 6.1.1 6.1.2 6.2

Slotbeschouwing en aanbevelingen Stappen naar een bewust en verantwoord algoritmegebruik Kritische kanttekeningen Aanbevelingen

44 44 46 48

Bijlage A

Geraadpleegde documentatie

Bijlage B

Geraadpleegde functionarissen

Bijlage C

Casusbeschrijvingen

Bijlage D

Gesproken experts

Bijlage E

Overzicht geïnventariseerde algoritmen

Inleiding

1.1

Aanleiding

De laatste jaren is er veel aandacht ontstaan voor de toepassing van algoritmen binnen de overheid. Een algoritme is een set aan regels en instructies die een computer uitvoert. Met algoritmen kunnen grote hoeveelheden data in samenhang worden geanalyseerd om vervolgens gericht besluiten te nemen. Algoritmen helpen de overheid om uitvoeringstaken te automatiseren en sneller en slimmer uit te voeren. Ze dragen daarmee in beginsel bij aan effectiever en efficiënter beleid. Gemeenten maken al langer gebruik van algoritmen, bijvoorbeeld bij het uitvoeren van parkeercontroles door scanauto’s, het monitoren van verkeersdrukte en verkeersstromen of het helpen te voorspellen hoe de vraag naar Wmo-voorzieningen zich gaat ontwikkelen. Ook de gemeente Enschede zet algoritmen in, onder meer voor digitale dienstverlening, data-analyses in het sociaal domein en bij stedelijke ontwikkeling. 1 Algoritmen worden tegenwoordig ook door de overheid ingezet om te bepalen of burgers recht hebben op specifieke voorzieningen, zoals bijvoorbeeld huur- of zorgtoeslag. Besluiten die op basis van algoritmen worden genomen kunnen zo verstrekkende gevolgen hebben voor de levens van individuele burgers. Het is daarom van grote maatschappelijke waarde dat een zorgvuldige afweging ten grondslag ligt aan (de besluitvorming over) het gebruik van algoritmen.

Een andere belangrijke ontwikkeling is het toegenomen gebruik van artificiële intelligentie (AI) door overheden2. In het bijzonder gaat er tegenwoordig veel aandacht uit naar generatieve AI. Met generatieve AI kunnen gebruikers op basis van een commando of opdracht ‘content’ creëren. Een voorbeeld is het genereren van tekst zoals met ChatGPT. Parallel aan het toegenomen belang van algoritmen binnen overheden is er sprake van relevante ontwikkelingen in de regelgeving. Zo is een belangrijke juridische ontwikkeling de AI-Verordening. Deze verordening is een wetgevend kader van de Europese Unie dat gericht is op het reguleren van AI om de veiligheid en fundamentele rechten van mensen te waarborgen. De verordening is op 1 augustus 2024 in werking getreden en wordt gefaseerd geïmplementeerd. Voor overheden zal dit betekenen dat ze verplicht worden om transparant te zijn over het gebruik en de werking van AIsystemen, onder meer via verplichte registratie van hoog-risico AI-systemen. Daarnaast worden overheden verplicht om grondige risicobeoordelingen uit te voeren voordat ze hoog-risico AI-systemen gaan inzetten. Gezien deze verschillende ontwikkelingen en de maatschappelijke relevantie van de thematiek heeft de Rekenkamer van Enschede het initiatief genomen om het huidige en toekomstige gebruik van algoritmen en AI binnen de gemeentelijke organisatie te laten onderzoeken.

In het onderzoek wordt gekeken naar het bestaande beleid voor het gebruik van algoritmen en vormen van risicobeheersing. Want ook als er sprake is van afgewogen beleid en een zorgvuldige en afgewogen besluitvorming, zijn er bij het gebruik van algoritmen risico’s.

Dit blijkt uit de door het College van B&W verstrekte antwoorden op door de fractie van D66 op 16 oktober 2020 gestelde vragen Dit blijkt onder meer uit onderzoeken van de Algemene Rekenkamer en onderzoeksinstituut TNO

pagina 1/77

Januari 2025

Algoritmen en AI in Enschede

Definities De begrippen algoritmen en AI zijn hierboven al kort geïntroduceerd. De specifieke definities die in dit onderzoek worden gehanteerd, zijn de volgende: Definities algoritmen en AI Een algoritme is een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden, om een taak of proces uit te voeren of tot een besluit te komen (bron: Algemene Rekenkamer). De term artificiële intelligentie verwijst naar systemen die zijn ontworpen door mensen en die, door hun omgeving te analyseren en met een zekere mate van autonomie, actie ondernemen om specifieke doelen te bereiken (bron: Europese Commissie). Algoritmen en AI kennen diverse toepassingsgebieden, maar zijn in de basis op dezelfde manier opgebouwd. AI-modellen bestaan uit duizenden algoritmen die als bouwblokken fungeren. AI onderscheidt zich omdat het gaat om algoritmen die zelfstandig beslissingen nemen of uitkomsten genereren.

1.2

Vraagstelling

Het uitgevoerde onderzoek heeft een verkennend en inventariserend karakter. De centrale probleemstelling bij dit onderzoek kent de volgende formulering: Centrale probleemstelling Op welke manier maakt de gemeente Enschede gebruik van algoritmen, hoe worden afwegingen gemaakt, de risico’s beheerst en verantwoording afgelegd én hoe bereidt de gemeente zich voor op de toekomst? Op basis van deze probleemstelling zijn drie clusters van onderzoeksvragen geformuleerd. Het eerste cluster heeft betrekking op het inventariseren van het huidige gebruik van algoritmen binnen Enschede. Hier horen de volgende vragen bij: Inventarisatie van huidige toepassing van algoritmen in Enschede 1. 2. 3. 4.

Wat is de visie en het beleid van de gemeente Enschede op het gebied van algoritmen? Welke algoritmen worden momenteel gebruikt en welke doeleinden dient dat? Op welke beleidsterreinen worden algoritmen gebruikt? Welke stakeholders zijn bij de ontwikkeling en het gebruik van algoritmen betrokken?

Het tweede cluster van onderzoeksvragen richt zich op de afwegingen en waarborgen die Enschede hanteert bij het huidige gebruik van algoritmen. Dit gebeurt aan de hand van de volgende onderzoeksvragen: Afwegingen en waarborgen bij de toepassing van algoritmen in Enschede 5. Welke afwegingen worden bij het gebruik van algoritmen gemaakt en welke belangen en perspectieven worden meegewogen?

pagina 2/77

Januari 2025

Algoritmen en AI in Enschede

6. Welke waarborgen worden gehanteerd en hoe worden de risico’s bij (het gebruik van) algoritmen beheerst? 7. Hoe vindt besluitvorming over het gebruik van algoritmen plaats en waar is de verantwoordelijkheid belegd? 8. In hoeverre is er sprake van transparantie en hoe wordt verantwoording afgelegd? 9. Op welke manier wordt de gemeenteraad over algoritmen geïnformeerd en betrokken?

Het laatste cluster van onderzoeksvragen richt zich op de toekomst. De volgende vragen zijn daarvoor relevant: Toekomstig gebruik van algoritmen in Enschede 10. Welke voorbereidingen treft Enschede voor een toekomstig gebruik van algoritmen en/of AI? 11. Hoe wordt de gemeenteraad in positie gebracht om zijn sturende, controlerende en volksvertegenwoordigende verantwoordelijkheid waar te maken? 12. Welke lessen zijn er te trekken uit ervaringen uit andere gemeenten en overheidsorganisaties en hoe zijn deze te vertalen naar Enschede? In rekenkameronderzoeken is het gebruikelijk om met een normenkader te werken. Een dergelijk kader verschaft de mogelijkheid om de opgedane inzichten te kunnen beoordelen. Zoals aangegeven heeft dit onderzoek vooral een verkennend en inventariserend karakter. Bij het vaststellen van het normenkader is daarmee rekening gehouden. De gehanteerde normen zijn gekoppeld aan de onderzoeksvragen in elke fase van het onderzoek. Het normenkader is daarnaast gevormd uit een toetsingskader algoritmes van de Algemene Rekenkamer3.

Fase

Te hanteren norm

Inventariseren

▪ De gemeente heeft een visie en beleid voor de inzet van algoritmen. ▪ De gemeente heeft een duidelijk overzicht met welk doel, voor welke toepassingsgebieden en in welke beleidsterreinen algoritmen worden ingezet.

Verdiepen

▪ De gemeente maakt afwegingen voor gebruik van algoritmen waarbij verschillende belangen en perspectieven worden (mee)gewogen. Deze afwegingen zijn inzichtelijk, uitlegbaar en vastgelegd. ▪ De gemeente hanteert waarborgen om algoritmen verantwoord te gebruiken, bijvoorbeeld door periodieke monitoring. ▪ Bij de ontwikkeling en het gebruik van algoritmen worden diverse belanghebbenden en rollen betrokken. ▪ De risico’s bij het gebruik van algoritmen worden beheerst, bijvoorbeeld door risicomanagement, toegangsbeveiliging, dataminimalisatie en maatregelen om bias te vermijden. ▪ De gemeente heeft rollen en verantwoordelijkheden rond besluitvorming, gebruik en beheersing van algoritmen duidelijk en ingericht. ▪ De gemeente is transparant over het gebruik van algoritmen en legt hier verantwoording over af.

Voor meer informatie over het toetsingskader algoritmes van de Algemene Rekenkamer zie https://www.rekenkamer.nl/onderwerpen/algoritmes/toetsingskader

pagina 3/77

Januari 2025

Algoritmen en AI in Enschede

▪ De raad wordt geïnformeerd over het beleid en de uitvoering rondom algoritmen. Vooruitkijken

1.3

▪ De gemeente treft voorbereidingen op een toekomstig gebruik van algoritmen en/of AI. ▪ De gemeenteraad wordt voldoende in positie gebracht om zijn sturende, controlerende en volksvertegenwoordigende verantwoordelijkheden waar te maken.

Leeswijzer

In de volgende drie hoofdstukken worden de bevindingen bij elk cluster van onderzoeksvragen beschreven. Zo wordt in hoofdstuk 2 ingegaan op de visie en het beleid binnen de gemeente. Tevens worden in dit hoofdstuk de resultaten van de inventarisatie van de door de gemeente gebruikte algoritmen gepresenteerd. In hoofdstuk 3 wordt beschreven welke afwegingen bij de inzet van algoritmen worden gemaakt, hoe wordt geanticipeerd op risico’s en hoe verantwoordelijkheden zijn toebedeeld. In hoofdstuk 4 wordt vooruitgekeken; hoe anticipeert de gemeente op toekomstig gebruik van algoritmen? Op welke wijze wordt de gemeenteraad hierbij betrokken? In dit hoofdstuk wordt mede gebruik gemaakt van de inzichten die te ontleend zijn aan de gesprekken met verschillende experts. In het vijfde en zesde hoofdstuk worden alle opgedane inzichten samengevat en worden de onderzoeksvragen beantwoord. Door middel van een ijking van de bevindingen aan de geformuleerde normen worden enkele conclusies en aanbevelingen geformuleerd.

pagina 4/77

Januari 2025

Algoritmen en AI in Enschede

Algoritmen in Enschede; stand van zaken

2.1

Inleiding

De eerste doelstelling van het onderzoek is om in kaart te brengen welke algoritmen er door de gemeente Enschede worden gebruikt en welk beleid er voor het gebruik van algoritmen geldt. De volgende vragen staan daarmee in dit hoofdstuk centraal: Inventarisatie van huidige toepassing van algoritmen in Enschede 1. 2. 3. 4.

Om inzicht te krijgen in de achterliggende visie en het beleid bij de inzet van algoritmen in Enschede zijn eerst de relevante beleidsdocumenten geïnventariseerd en geanalyseerd. De aldus verkregen inzichten zijn verder verdiept aan de hand van gesprekken met de direct bij dit beleid betrokken functionarissen. Een overzicht van zowel de documenten als de geraadpleegde functionarissen binnen de gemeente Enschede is opgenomen in respectievelijke bijlage A en bijlage B.

2.2

Visie en beleid

De gemeente Enschede heeft nog geen uitgeschreven en vastgelegd beleid dat specifiek is gericht op het gebruik van algoritmen. Louter het bredere gemeentelijke ICT- en databeleid bevat de kaders voor de inzet van algoritmen. Dit beleid bestaat onder meer uit: Het strategisch informatiebeveiligings- en privacybeleid. Dit beleid wordt om de drie jaar geactualiseerd. De laatste versie van het beleid heeft betrekking op de periode 2022-2025. Deze laatste versie, vastgesteld in het najaar van 2022, bevat echter geen verwijzing naar algoritmen of AI. Het strategisch beleid is verder uitgewerkt, bijvoorbeeld in procedures voor het uitvoeren van Data Protection Impact Assessments (DPIA) en het actueel houden van het verwerkingsregister. Het gemeentelijk databeleid. Dit bestaat uit een datastrategie (2018) en een ‘koersdocument dataorganisatie’ (2022). In deze documenten is onder meer aandacht voor de gemeentelijke ambities met betrekking tot datagedreven werken. Cloudbeleid (2016). Hierin staan de kaders genoemd die Enschede in acht wil nemen bij het gebruik van (mobiele) applicaties die in de cloud draaien. Ondanks het gegeven dat er geen expliciet beleid is voor algoritmen, is er de laatste jaren wel sprake van de nodige beleidsmatige aandacht voor de toepassing van algoritmen.

Er bestaan binnen de organisatie al enkele documenten waarin verschillende aspecten bij het gebruik van algoritmen aan de orde worden gesteld. Dit rapport benoemt er drie: (1) De Nota Waardengedreven Digitalisering, (2) Het algoritmeregister en (3) gemeentelijke richtlijnen voor het gebruik van ChatGPT. (1) Nota Waardengedreven Digitalisering De ethische commissie van de gemeente Enschede heeft een advies geschreven over de ethische aspecten bij digitalisering van beleid. De rol van de ethische commissie wordt in het onderstaande roze kader verder toegelicht. pagina 5/77

Januari 2025

Algoritmen en AI in Enschede

Over de ethische commissie van Enschede Sinds enkele jaren bestaan er in een aantal gemeenten zogeheten ethische commissies. Dat geldt onder meer voor Enschede. Volgens de website van Enschede is de ethische commissie “een commissie die antwoord geeft op morele en ethische vragen. De leden van de commissie werken niet bij de gemeente en zijn hierdoor volledig onafhankelijk.” De ethische commissie ondersteunt de gemeente bij het maken van morele afwegingen. Deze commissie kan gevraagd en ongevraagd advies geven. De ethische commissie richt zich op de volle breedte van het gemeentelijk beleid. Dat gaat dus verder dan louter aandacht besteden aan ethische afwegingen bij digitaliseringskwesties. Het secretariaat van deze commissie wordt ingevuld door een medewerker die ook verbonden is aan de CIO-office. Wisselwerking tussen de activiteiten van de ethische commissie en digitaliseringsvraagstukken vindt zo al snel plaats. De eerdere adviezen van de ethische commissie die betrekking hebben op digitaliseringskwesties hebben naar zeggen van betrokkenen in de organisatie sterk bijgedragen aan aandacht voor de ethische aspecten bij digitalisering. Het advies van de ethische commissie over de ethische aspecten bij digitalisering is gebruikt bij de Nota Waardengedreven Digitalisering die het College van B&W in november 2023 heeft vastgesteld.

De Nota Waardengedreven Digitalisering richt zich op de volle breedte van de toepassing van digitale middelen en applicaties binnen de gemeente Enschede. Dat betreft dus (veel) meer dan louter het toepassen van algoritmen. In de nota worden belangrijke waarden onderscheiden voor een ethisch verantwoorde toepassing van digitalisering. Deze zijn: Ethisch verantwoorde afweging van waarden (uit de Nota Waardengedreven Digitalisering) -

Transparant: De gemeente wil transparant en duidelijk zijn over de afweging die ze maakt tussen de waarden die een rol spelen bij een project en het besluit dat daarop volgt. Het doel hiervan is dat inwoners en andere belanghebbenden besluiten beter begrijpen en kunnen accepteren. Onderdeel hiervan is dat de gemeente actief communiceert over de gemaakte ethische afwegingen. Open: Ethiek is geen wiskunde volgens de gemeente. Bij het maken van een ethische afweging gaat het niet om de keuze tussen goed of fout. De gemeente vindt het belangrijk dat binnen het bestuur en organisatie een open gesprek plaatsvindt. In de gesprekken moet er ruimte en respect voor verschillende invalshoeken zijn. Zorgvuldig: Een ethische analyse van digitalisering en datagebruik moet zorgvuldig en systematisch gebeuren. Twee methodes worden in dat kader genoemd, namelijk een Data Protection Impact Assessment (DPIA) en een Impact Assessment Mensenrechten en Algoritmes (IAMA). De ethische commissie Enschede heeft op basis van haar ervaringen met concrete casussen geconstateerd dat er nog geen methode bestaat die op alle soorten casussen toepasbaar is. De gemeente Enschede besluit daarom per geval van data-gebruik of inzet van technologie, of een ethische analyse nodig is. Dat zal lang niet altijd het geval zijn.

Cyclisch: Ethiek is volgens de gemeente een werkwoord en dat betekent dat ethiek onderdeel moet zijn van een cyclus. Een ethische analyse zou op meerdere momenten tijdens de levenscyclus van een project of proces moeten worden uitgevoerd met het oog op tussentijdse veranderingen en voortschrijdend inzicht.

pagina 6/77

Januari 2025

Algoritmen en AI in Enschede

Selectief: Een ethische toetsing is zeker niet bij alle vormen van datagebruik en digitalisering nodig. De gemeente denkt dat het vooral zinvol is om een ethische check te doen bij nieuwe vormen van datagebruik en digitalisering, en bij toepassingen met potentieel grote impact op de veiligheid of vrijheden van inwoners of gevolgen voor kwetsbare inwoners.

In het bovenstaande wordt verwezen naar een zogeheten ‘Impact Assessment Mensenrechten en Algoritmes’ (IAMA). Dit is een instrument dat helpt bij het beoordelen van de invloed van algoritmen op mensenrechten. Het is bedoeld ter ondersteuning van zorgvuldige besluitvorming of, en zo ja, hoe algoritmen worden ingezet. Het instrument is ontwikkeld door de Data School van de Universiteit Utrecht. In de nota Datagedreven digitalisering worden enkele concrete activiteiten aangekondigd om het ethisch bewustzijn van medewerkers bij digitaliseringsvraagstukken te stimuleren, onder andere het organiseren van inspiratiesessies en workshops. Ook wordt genoemd dat mensen die regelmatig een ethische analyse uitvoeren en mensen die affiniteit hebben met ethiek via de Enschede School een basistraining krijgen aangeboden. Ook wordt een lijst met aandachtspunten aangekondigd waarmee iedereen die data en digitale middelen gebruikt kan beoordelen of een DPIA, IAMA en/of ethische check uitgevoerd moet worden. Verder wordt erop gewezen dat bij inkoop van producten en diensten afspraken moeten worden gemaakt over ontwerpprincipes van (nieuwe) technologieën.

De gemeente stelt in dit verband: “Als opdrachtgever zijn wij verantwoordelijk voor de data die wij gebruiken en dus ook voor de toepassing van het algoritme als dat in een dienst zit die wij inkopen.” Eveneens wordt het voornemen4 genoemd om met inwoners in gesprek te gaan over de impact van data en technologie, via een open, ethisch gesprek. Ook wil de gemeente ‘de stad’ informeren over de inzet van digitale middelen met als doel om daarover transparant te zijn. Een sensorregister en algoritmeregister dragen daaraan bij. (2) Algoritmeregister Enschede is medio 2023 gestart met het in kaart brengen van algoritmen en deze te verzamelen in een intern register. Terwijl Enschede aan de slag ging met het interne register werd ook een landelijk algoritmeregister door het ministerie van BZK geopend. Gezien het beschikbaar komen van het landelijk algoritmeregister heeft Enschede ervoor gekozen niet verder te investeren in het eigen register, maar de (hoog-risico) algoritmen in het landelijk register te laten opnemen. Enschede heeft inmiddels één algoritme laten registreren5 (peildatum november 2024). De reden hiervoor is dat de gemeente heeft gewacht op de definitieve versie van de publicatiestandaard.6 Deze standaard biedt richtlijnen en instructies voor overheidsorganisaties voor het vullen van het algoritmeregister.

Het publiceren van algoritmen in het algoritmeregister is momenteel nog niet verplicht, maar er wordt wel aan wetgeving gewerkt die samenhangt met de Europese AI-Verordening. Overheden worden geacht om hoog-risico algoritmen te publiceren. Dit zijn algoritmen die een significante impact op de

In de zomer van 2024 heeft de gemeente in het Enschedepanel verschillende vragen opgenomen over het gebruik van algoritmen binnen de gemeente Zie: https://kennispunttwente.nl/enschedepanel/inwoners/resultaten/bestuurbedrijfsvoering/algoritme-als-hulpmiddel-geschikt-voor-gemeente-enschede-maar-ook-zorgen-bij-inwoners Het gaat om een algoritme dat wordt gebruikt binnen anonimiseringssoftware waarmee (persoons)gegevens of anderszins vertrouwelijke informatie in een document wordt herkend. Voor meer informatie zie: https://algoritmes.overheid.nl/nl/algoritme/anonimiseringssoftware-gemeente-enschede/16456482. Onlangs is de publicatiestandaard vastgesteld en zal Enschede meer algoritmen in het register laten opnemen. De publicatiestandaard van het Algoritmeregister is recentelijk vastgesteld in versie 1.0. Deze versie werd goedgekeurd en gepubliceerd op 29 november 2024. Dit betekent dat overheidsorganisaties vanaf dat moment een gestandaardiseerde manier hebben om informatie over hun algoritmes te publiceren

pagina 7/77

Januari 2025

Algoritmen en AI in Enschede

rechten en vrijheden van individuen hebben. Naast deze categorie wil het ministerie van BZK dat overheden algoritmen in het register zetten die directe (maatschappelijke) impact en rechtsgevolgen voor mensen hebben, bijvoorbeeld bij profilering of risico-indicatie voor controles of beoordeling van subsidies.7 (3) Gebruik van generatieve AI door ambtenaren Sinds het lanceren van ChatGPT in november 2022 is er binnen de overheid veel discussie over het gebruik van dit soort generatieve AI-tools door ambtenaren. Het standpunt van de rijksoverheid luidt dat het gebruik van (niet ingekochte) generatieve AI alleen is toegestaan als de tools aantoonbaar voldoen aan geldende wet- en regelgeving (zoals de AVG) en dat er per geval een risicoanalyse moet worden uitgevoerd. Omdat het van de meeste tools onduidelijk is hoe deze zich verhouden tot de AVG8, wordt het gebruik in de praktijk ontraden. De gemeente Enschede kiest een andere lijn dan het standpunt van de rijksoverheid. De gemeente publiceerde in november 20239 richtlijnen voor het gebruik van ChatGPT waarin staat dat medewerkers onder voorwaarden de tool kunnen gebruiken. De belangrijkste overweging daarbij was dat in het geval van verbieden vermoedelijk de situatie zou ontstaan dat medewerkers via privéapparaten alsnog van deze tool, of anders van vergelijkbare, gebruik zouden maken.

De gemeente koos daarom voor gecontroleerd gebruik. De geformuleerde richtlijnen zijn de volgende: Richtlijnen voor het gebruik van ChatGPT 1. Jij bent verantwoordelijk voor je werk – als je ChatGPT in je werk gebruikt blijf je daar zelf verantwoordelijk voor. 2. Geef voldoende context bij je vraag – ChatGPT kent de achtergrond van jouw vraag niet. Geef voldoende achtergrondinformatie om een goed antwoord te krijgen. Deel alleen informatie die al openbaar is of mag worden. 3. Gebruik geen persoonlijke of vertrouwelijke informatie in je vraag – Denk hierbij aan bedrijfskritische, persoonlijke of gevoelige informatie. Want alles wat jij erin stopt wordt openbaar en kan door anderen weer gebruikt worden. 4. Wees je ervan bewust dat ChatGPT niet actueel is – ChatGPT geeft mogelijk verouderde of niet-actuele informatie. Dergelijke toepassingen zijn getraind met informatie tot een bepaalde datum en zijn daarom niet op de hoogte van recente gebeurtenissen. 5. Controleer of de uitkomst juist en volledig is – ChatGPT is getraind op heel veel informatiebronnen die niet allemaal gecontroleerd zijn. Controleer daarom zelf de uitvoer op juist- en volledigheid. Verbeter zo nodig of vul aan. Jij bent inhoudsdeskundig. 6. Gebruik van ChatGPT leidt mogelijk tot plagiaat – ChatGPT schrijft teksten op basis van veel bestaande teksten. Delen van de uitvoer kunnen bestaan uit teksten van anderen.

Als ChatGPT een vraag eerder heeft gehad kan het dezelfde uitvoer genereren. Je hebt daarnaast zelf niet het auteursrecht op de teksten die ChatGPT voor je maakt. 7. ChatGPT is geen zoekmachine – Gebruik ChatGPT niet voor opvragen of controleren van feiten. Het maakt teksten op basis van veel informatiebronnen, wat betekent dat de informatie soms onjuist kan zijn, zelfs als de teksten er goed uitzien. 8. Let op de ethische aspecten bij het gebruik van ChatGPT – Wees zowel kritisch bij het formuleren van vragen als bij het beoordelen van antwoorden. Stel alleen vragen die je ook aan

Meer informatie over het soort algoritmen dat overheden geacht worden om in het Algoritmeregister te publiceren staat beschreven in een handreiking, zie: https://algoritmes.pleio.nl/wiki/view/9719101e-b82e-4043-8837ecdacded24c2/handreiking-algoritmeregister Dit blijkt onder meer uit een brief van de Autoriteit Persoonsgegevens van oktober 2023 over het gebruik van generatieve AI binnen de rijksoverheid, zie: 2 Brief Autoriteit Persoonsgegevens | Brief | Rijksoverheid.nl In mei 2024 heeft de gemeente een nieuwe versie gepubliceerd die meer algemeen geldt voor generatieve AI. Hierbij is ook duurzaamheid als onderwerp opgenomen.

pagina 8/77

Januari 2025

Algoritmen en AI in Enschede

een collega durft te stellen. Gegeven antwoorden kunnen vooroordelen bevatten, discriminerend zijn of stigmatiserend werken.” Samengevat kan over het beleid worden vastgesteld dat de gemeente Enschede geen apart beleid heeft voor algoritmen. De afgelopen jaren zijn er wel enkele documenten verschenen waarin het gebruik van algoritmen en AI aan de orde wordt gesteld. Daarnaast zijn wel diverse beleidsdocumenten die betrekking hebben op vormen van digitalisering en datagebruik en hoe de gemeente dit wenst aan te pakken en organiseren. Dit valt onder de brede noemer van digitaliseringsbeleid. Het gebruik van algoritmen valt hier dus ook onder.

2.3

Inventarisatie algoritmen

In het kader van dit rekenkameronderzoek is in nauwe samenwerking met de CIO-office10 van Enschede een uitvraag gedaan in de organisatie welke algoritmen en/of AI-systemen de gemeente allemaal gebruikt. Daarbij is een aantal stappen doorlopen die in het volgende figuur zijn samengevat en daaronder verder worden toegelicht.

Het vertrekpunt voor de inventarisatie was het bepalen van een passende definitie zodat er helderheid bestaat over wat een algoritme inhoudt. Zoals in het inleidende hoofdstuk al aan bod is gekomen, is in dit onderzoek de definitie aangehouden van de Algemene Rekenkamer. Deze definitie wordt ook gebruikt in het landelijk algoritmeregister. De consequentie van deze definitie is dat er vele algoritmen zijn. Zelfs de simpelste rekenregel, zoals een bewerking in een Excelsheet, wordt beschouwd als een algoritme. De inventarisatie resulteert daarmee - niet verwonderlijk gezien de brede definitie - in een grote hoeveelheid algoritmen. Het gaat immers niet alleen om de algoritmen die voor de gemeentelijke producten en diensten worden gebruikt, maar ook algoritmen die in de bedrijfsvoering van de gemeente worden toegepast. Dat betreft bijvoorbeeld de talloze rekenregels die in begrotingssoftware, planningsoftware, salarissoftware, verzuimsoftware enzovoort aanwezig zijn. In afstemming met de Rekenkamer hebben de onderzoekers de selectiecriteria daarna aangescherpt, waarbij de focus voor de inventarisatie kwam te liggen op algoritmen die invloed hebben op dienstverleningsprocessen voor inwoners, bedrijven en/of de gemeentelijke organisatie.

De inventarisatie geeft daarmee inzicht in algoritmen die (in)direct invloed hebben op besluiten, acties, planning en beleidsvorming van de gemeente. Dit geeft de geïnventariseerde algoritmen maatschappelijke relevantie. Eveneens is ervoor gekozen om dit onderzoek te beperken tot het in kaart brengen van algoritmen die uitsluitend gebruikt worden door de gemeente Enschede. De algoritmen van samenwerkingsverbanden waar Enschede in participeert, denk bijvoorbeeld aan het Gemeentelijk Belastingkantoor Twente, zijn voor dit onderzoek buiten beschouwing gelaten.

CIO is de afkorting voor Chief Information Officer, de ambtenaar die verantwoordelijk is voor de toepassing van informatie in de organisatie. De CIO en zijn staf worden aangeduid met de term ‘CIO-office’.

pagina 9/77

Januari 2025

Algoritmen en AI in Enschede

Het resultaat van de inventarisatie is opgenomen in bijlage E. In totaal betreft het 70 algoritmen. Zoals gezegd betreft het hier een eerste inventarisatie, waarbij de keuze is gemaakt om enkele selectiecriteria aan te scherpen. Het overzicht is daarmee zeker niet volledig. Alle gegevens uit de inventarisatie zijn door de gemeente zelf aangeleverd. Deze gegevens zijn door de onderzoekers op logica en consistentie gecontroleerd, maar zijn uiteindelijk een vorm van self-assessment door de gemeente. In de hierna volgende paragrafen, 2.4, tot en met 2.7, worden de algoritmen die de gemeente gebruikt nader beschreven en geduid. Hierbij wordt geput uit de informatie uit de uitgevoerde inventarisatie. In paragraaf 2.4 wordt allereerst beschreven binnen welke beleidsterreinen algoritmen worden gebruikt. Hierbij wordt zoveel mogelijk gebruik gemaakt van concrete voorbeelden. Daarna wordt in paragraaf 2.5 en 2.6 ingegaan op de functie van algoritmen en de impact van het gebruik. Ten slotte wordt in paragraaf 2.7 een onderscheid gemaakt in het type algoritmen dat de gemeente gebruikt, te onderscheiden naar regel-gebaseerde en datagedreven algoritmen. Als je deze paragrafen voor het eerst leest, helpt het om te starten met het bekijken van de inventarisatie onder Bijlage E. Dit geeft een beter beeld van de algoritmen die de gemeente gebruikt.

Dit maakt het makkelijker om de onderstaande beschrijvingen en duiding beter te volgen en doorgronden.

2.4

Algoritmen en beleidsterreinen

Als gezegd is de inventarisatie van 70 algoritmen niet volledig voor alle gemeentelijke systemen en processen. Omdat het niet gaat om een uitputtend overzicht is voor deze rapportage gekozen voor een overwegend kwalitatieve typering en duiding van de algoritmen. Kwantitatieve overzichten worden slechts beperkt weergegeven. Enkele kerngegevens zijn dan de volgende: Van de 70 geïnventariseerde algoritmen zijn er 66 daadwerkelijk in gebruik, 3 worden er niet meer gebruikt en 1 algoritme bevindt zich nog in de ontwikkelfase; De gemeente Enschede kent drie beleidsinhoudelijke domeinen, namelijk het fysiek domein, het sociaal domein en bedrijfsvoering & dienstverlening. Uit het algemene overzicht in bijlage E blijkt dat algoritmen in alle domeinen van de gemeente worden ingezet ter ondersteuning van de uitvoering van gemeentelijke processen en diensten. 23 van de geïnventariseerde algoritmen hebben betrekking op het fysieke domein; 18 op het sociaal domein, 21 op dienstverlening en bedrijfsvoering. 8 algoritmen kennen een generieke, gemeentebrede toepassing. De inzet van algoritmen vindt vaak plaats binnen gemeentelijke informatiesystemen of applicaties die het werk digitaliseren en soms zelfs automatiseren. Hieronder worden enkele voorbeelden gegeven van algoritmen in systemen en applicaties die door hun werking direct invloed hebben op de gemeentelijke dienstverlening. Domein

Proces of dienst

Functie van het algoritme

Fysiek

Verlenen van omgevingsvergunning

Met algoritmen worden juridische regels, zoals hoe groot een dakkapel mag zijn, omgezet naar begrijpelijke vragenbomen waarmee de initiatiefnemer direct kan zien of ergens een vergunning voor nodig is of niet.

pagina 10/77

Januari 2025

Algoritmen en AI in Enschede

Fysiek

Afhandelen van een melding openbare ruimte

Met algoritmen worden meldingen openbare ruimte gecategoriseerd en naar de juiste gemeentelijke afdeling gerouteerd. Denk bijvoorbeeld aan een melding die gaat over zwerfafval. Met behulp van de algoritmen in het systeem wordt ervoor gezorgd dat deze melding bij TwenteMilieu terecht komt.

Bedrijfsvoering en dienstverlening

Uitgifte van reisdocumenten en rijbewijzen

Als een burger een reisdocument of rijbewijs komt ophalen, wordt het afhaalbewijs gescand. Dit vormt de trigger voor de kluis waar deze documenten opgeslagen liggen om het juiste document naar de balie te sturen. Als de burger dan aan de beurt is, ligt het product al klaar.

Bedrijfsvoering en dienstverlening

Digitaal aanvragen van burgerzaken

Digitaal systeem waarin inwoners en ondernemers digitaal hun burgerzaken regelen en producten aan kunnen vragen. De algoritmen helpen bij het categoriseren, valideren en afhandelen van gegevens die in deze processen worden gebruikt.

Sociaal

Matching van sociale werkplaatsen

De algoritmen in het systeem helpen bij het matchen van mensen met een lichamelijke, psychische of verstandelijke handicap, die niet onder normale omstandigheden kunnen werken, aan sociale of beschutte werkplaatsen in de gemeente op basis van hun competentieprofiel.

Sociaal domein

Vroegsignalering schulden11

Het algoritme helpt bij de prioritering van signalen van mogelijke schuldopbouw om te bepalen waar de gemeente als eerste mee aan de slag gaat. De gemeente ontvangt waarschuwingen van bijvoorbeeld energiebedrijven of woningbouwcorporaties van mensen die hun rekeningen niet meer betalen. Niet alle gevallen kunnen persoonlijk, door het afleggen van een huisbezoek of zoeken van telefonisch contact, worden opgelost. Het algoritme zorgt daarom voor categorisering en prioritering van alle signalen die binnenkomen.

Bovenstaande voorbeelden laten zien hoe algoritmen in processen en diensten worden gebruikt die directe impact hebben op de gemeentelijke dienstverlening. Maar dat is niet de enige plek waar algoritmen door de gemeente worden gebruikt. Er zijn ook minder zichtbare processen waar algoritmen ondersteunend worden ingezet en die slechts indirect raken aan dienstverlening. Voor het schetsen van een beeld van de diversiteit en reikwijdte van algoritmegebruik is het zinvol om een aantal hiervan uit te lichten:

Dit proces en de rol van algoritmen hierbij is als casus nader uitgewerkt onder bijlage C.

pagina 11/77

Januari 2025

Algoritmen en AI in Enschede

Afdeling of organisatieonderdeel

Functie van het algoritme

Ruimtelijke ontwikkeling en beheer; Stadsdeelbeheer

Algoritmen die helpen bij verkeersafwikkeling. Met verkeersafwikkeling wordt in kaart gebracht hoe het verkeer in de stad wordt afgewikkeld over bestaande wegen. Deze informatie kan worden meegenomen bij nieuwe gebiedsontwikkeling en de aanleg van nieuwe infrastructuur.

Omgeving en Recht; Vergunnen

Algoritmen ten behoeve van modellering en doen van voorspellingen op het gebied van omgevingslawaai, luchtkwaliteit en geur.

Concernstaf; Communicatie

Algoritmen die worden ingezet bij het monitoren van online berichtgeving over de gemeente Enschede zodat de communicatie-afdeling ziet wat er speelt, welke vragen er op social media worden gesteld en welke onderwerpen leven. Deze informatie wordt door de gemeente gebruikt om proactief op te reageren en/of een communicatiestrategie op af te stemmen.

Webteam

Algoritmen in een tool die de gemeente gebruikt om de eigen website (enschede.nl) te optimaliseren en beter vindbaar te maken via zoekmachines.

Generiek, alle domeinen

Het opstellen van managementrapportages ter voorbereiding op besluitvorming. Algoritmen kunnen helpen om data te structureren, analyseren en visualiseren. Ook is het mogelijk om op basis van historische data voorspellingen doen voor toekomstige ontwikkelingen

2.5

Functie van algoritmen

Hierboven zijn al verschillende voorbeelden van algoritmen en de functie die ze hebben binnen een proces of dienst toegelicht. Het overzicht van de geïnventariseerde algoritmen onder Bijlage E geeft ook inzicht in de functie van de algoritmen binnen de gemeentelijke diensten en processen, te onderscheiden naar informeren, adviseren en beslissen. Het overzicht met algoritmen laat zien dat het merendeel van de algoritmen, namelijk 45 van de 70, informerend wordt ingezet. Een kleiner gedeelte (11) heeft een adviserende functie en slechts zeven algoritmen zijn aangemerkt als beslissend. Van zeven algoritmen heeft de gemeente niet gerapporteerd welke functie deze hebben. Het merendeel van de in Enschede gebruikte algoritmen heeft een informerend of adviserend karakter. Daarmee zijn zij ondersteunend aan een proces dat door een mens wordt uitgevoerd, zoals dit gebeurt bij handhaving. De handhaver gebruikt voor het uitvoeren van taken een applicatie met algoritmen, bijvoorbeeld voor het genereren van rapportages of het doorzetten van acties. Hetzelfde gebeurt in het sociaal domein. Daar ondersteunt een applicatie met algoritmen de medewerker bij het opstellen van ondersteuningsplannen en het verkrijgen van een volledig klantbeeld. De algoritmen nemen in dit geval geen beslissingen.

Ze kunnen worden uitgelegd als een vorm van automatisering van procestaken die vroeger misschien handmatig en op papier werden uitgevoerd. Er zijn ook gevallen waarin een algoritme zorgt voor vernieuwing of innovatie waarmee tot nieuwe inzichten kan worden gekomen. Denk bijvoorbeeld aan het sneller uitvoeren van complexe risicoanalyses op basis van verschillende databronnen. Zulke risicoanalyses konden vroeger waarschijnlijk niet worden gemaakt. Een voorbeeld hiervan is het informatiegestuurd en

pagina 12/77

Januari 2025

Algoritmen en AI in Enschede

gebiedsgericht handhaven12. Geregistreerde incidenten worden hierbij gebruikt om op een stadskaart zogeheten hotspots aan te geven; plekken waar in het verleden incidenten hebben plaatsgevonden. De gemeente werkt momenteel aan een dashboard dat is bedoeld om patronen in overlast te herkennen en proactief op te kunnen handhaven. De functie van het algoritme is daarmee om verschillende data bij elkaar te brengen, te structureren en nieuwe inzichten te genereren. Bij zowel de functie ‘informeren’ als ‘adviseren’ is er nog sprake van menselijke tussenkomst. Menselijke tussenkomst verwijst naar de betrokkenheid van een mens in een proces om een besluit te nemen of actie te treffen. Er is dan geen sprake van volledige automatisering. De systemen met algoritmen geven de ambtenaar informatie of advies over de te treffen actie, maar het is de ambtenaar die de uiteindelijke actie daadwerkelijk uitvoert. Voorbeelden van menselijke tussenkomst uit het algoritmeoverzicht zijn bijvoorbeeld het versturen van boetes en het indienen van zorgdeclaraties. In een klein aantal gevallen (7) werken algoritmen volledig autonoom en dus beslissend in een (deel van een) proces. Er is in die gevallen geen sprake meer van menselijke tussenkomst.

Dit gebeurt bijvoorbeeld bij de toepassing van Open Spraak Herkenning: de software bepaalt volledig zelfstandig waar de telefonische vraag van de burger binnen de gemeente thuishoort. Bij de routering komt geen medewerker aan te pas (in tegenstelling tot het daadwerkelijk telefonisch te woord staan van de burger en in behandeling nemen van de vraag). Dit voorbeeld laat zien hoe delen van een proces of dienst geautomatiseerd kunnen zijn, zonder dat dit hoeft te betekenen dat de hele dienstverlening door computers en algoritmen wordt uitgevoerd.

2.6

Impact van algoritmen

Het algoritmeoverzicht laat zien dat algoritmen in feite in alle domeinen en in diverse dienstverleningsprocessen worden gebruikt. Ze hebben dus een aantoonbare maatschappelijke impact. Deze impact verschilt naar gelang de context waarbinnen en de consequenties waarmee een algoritme in een proces of dienst worden ingezet. Het is lastig om hier algemeen strekkende uitspraken over te doen. De maatschappelijke impact hangt samen met een risico van een algoritme. Over het algemeen geldt dat hoe hoger het risico van het gebruik van het algoritme, hoe hoger de maatschappelijke impact. Door de gemeente is een beoordeling gedaan binnen welke risicocategorie een algoritme valt. Hierbij wordt een onderscheid gemaakt naar: •

•

Hoog risico: Algoritmen die als hoog risico worden aangemerkt worden gebruikt in bijvoorbeeld vervoer (waarbij het leven en gezondheid van inwoners in gevaar kan worden gebracht zoals zelfrijdende auto's), in onderwijs (denk aan anti-spiek software of nakijkapplicaties), bij werkgelegenheid (cv-sorteer/matchingsoftware voor wervingsprocedures), in essentiële openbare diensten (bijvoorbeeld aanvragen van paspoort/rijbewijs), bij handhaving (specifiek bij het in het geding komen van grondrechten), beheer van migratie, asiel en grenstoezicht (bijvoorbeeld geautomatiseerde behandeling van visumaanvragen) en democratische processen (bijvoorbeeld algoritmen bij verkiezingsprocedures). Beperkt risico: Beperkt risico gaat over algoritmen waarbij een mogelijk gebrek aan transparantie speelt hoe een algoritme werkt of tot een bepaalde uitkomst komt. Bijvoorbeeld

Dit proces en de rol van algoritmen hierbij is als casus nader uitgewerkt onder bijlage C.

pagina 13/77

Januari 2025

Algoritmen en AI in Enschede

•

bij het gebruik van systemen zoals chatbots, waarbij mensen zich er niet altijd van bewust zijn dat ze interactie hebben met een machine. Laag risico: Deze algoritmen leveren weinig risico op voor de fundamentele mensenrechten of veiligheid van burgers. Het gaat bijvoorbeeld om beslisbomen of rekenregels in systemen zonder directe impact op burgers. Of het beschrijven van informatie en gegevens in dashboards of systemen.

De voorbeelden per risicocategorie zijn afgeleid van de AI-Verordening. Het gaat nadrukkelijk om voorbeelden; de daadwerkelijke risico-inschatting moet van geval tot geval worden gemaakt. De gemeente heeft ten behoeve van dit rekenkameronderzoek een eigen beoordeling gedaan. De lijst met algoritmen onder bijlage E laat zien dat slechts twee algoritmen zijn aangemerkt als hoogrisico namelijk (1) de algoritmen die worden gebruikt ten behoeve van informatie-gestuurd handhaven en (2) algoritmen die worden gebruikt ter ondersteuning van vroegsignalering van schuldenproblematiek13. Van 14 algoritmen kan worden gesteld dat de gemeente stelt dat deze een beperkt risico kennen, 53 hebben een laag risico, 1 algoritme is nog in ontwikkeling.

2.7

Type algoritmen

Onder de verzamelterm algoritmen bevindt zich een breed scala aan technieken en methoden. Uit het overzicht van algoritmen wordt duidelijk dat verschillende algoritmen betrekking hebben op rekenregels en beslisbomen. Rekenregels zijn ontworpen voor geautomatiseerde berekeningen, zoals het bepalen van leges of het calculeren van bouwkosten. Een beslisboom is een schema van mogelijke uitkomsten gebaseerd op een reeks gerelateerde keuzes die helpt bij het categoriseren van informatie. Dit wordt bijvoorbeeld gebruikt bij digitale aanvraagformulieren van de gemeente. Rekenregels en beslisbomen zijn regel-gebaseerd (als-dan-algoritmen). Dat wil zeggen dat het gaat om algoritmen die werken op basis van door mensen geformuleerde regels en handmatig door mensen zijn geconfigureerd. Dit gebeurt bijvoorbeeld op basis van wetten of verordeningen. Denk aan toepasbare regels binnen software in het Omgevingsloket waarmee initiatiefnemers kunnen nagaan of een vergunning of melding voor hun voorgenomen initiatief nodig is. De algoritmen vertalen de juridische regels naar relevante vragen voor de initiatiefnemer in een formulier met daarachter een vragenboom-structuur. Hierdoor krijgt de initiatiefnemer een overzicht van de maatregelen die getroffen moeten worden. Het gros van de algoritmen uit het algoritmeoverzicht betreft regelgebaseerde algoritmen.

Naast de regel-gebaseerde algoritmen worden er door de gemeente in een klein aantal gevallen algoritmen gebruikt op basis van machine learning technieken. Hierbij worden data gebruikt om patronen te herkennen. Dit soort algoritmen worden ook wel aangeduid als data-gedreven algoritmen, die ofwel begeleid (supervised) of onbegeleid (unsupervised) getraind worden. Over het algemeen kan worden gezegd dat de data-gedreven algoritmen complexer en minder transparant in elkaar steken dan regel-gebaseerde algoritmen. Dit hoeft echter niet te betekenen dat data-gedreven algoritmen ook risicovoller dan regel-gebaseerde algoritmen in het gebruik zijn. Dit hangt onder andere af van het proces of dienst waarbinnen het algoritme wordt toegepast, en welke werkinstructies en beheersmaatregelen zijn geformuleerd.

Beiden gevallen zijn voor dit onderzoek als casus bestudeerd. Hierop wordt nader ingegaan in hoofdstuk 3.

pagina 14/77

Januari 2025

Algoritmen en AI in Enschede

De gemeente Enschede gebruikt veel minder data-gedreven algoritmen dan regel-gebaseerde algoritmen. Toch kunnen in het algoritme-overzicht enkele gevallen worden teruggevonden van datagebaseerde algoritmen, bijvoorbeeld: Categoriseren Meldingen Openbare Ruimte De applicatie Signalen zorgt voor het automatisch categoriseren van meldingen openbare ruimte op basis van machine learning. De applicatie werkt op basis van algoritmen die woorden uit de beschrijving van de melding van een burger herkent en op basis daarvan bepaalt waar de melding past en opgepakt moet worden. Hierdoor hoeft de melder niet meer aan te geven waar zijn of haar melding betrekking op heeft. Automatisch lakken en anonimiseren 14 De gemeente gebruikt speciale software op basis van Natural Language Processing om binnen documenten persoonsgegevens en andere vertrouwelijke (financiële) gegevens automatisch te kunnen lakken. Dit moet bijvoorbeeld gebeuren bij het anonimiseren in het kader van openbaar maken of delen van stukken. Automatische nummerbordherkenning De gemeente gebruikt systemen in de buitenruimte op basis van Optical Character Recognition: een techniek waarmee afbeeldingen worden omgezet naar tekst door middel van patroonherkenning. Hiermee kunnen nummerborden worden uitgelezen in de applicatie CityAccess, om te bepalen of voertuigen toegang tot de binnenstad hebben.

Als voertuigen zonder ontheffing in de binnenstad rijden kunnen ze een boete krijgen. Spraakherkenning De gemeente zet Open Vraag Spraakherkenning in om telefonische vragen van burgers naar de juiste medewerkers te routeren. De persoon die naar de gemeente belt, kan inspreken waar zijn of haar vraag over gaat. Op basis hiervan bepaalt de software bij welke gemeentelijke afdeling de vraag het beste thuishoort.

Dit proces en de rol van algoritmen hierbij is als casus nader uitgewerkt en beschreven in hoofdstuk 3.

pagina 15/77

Januari 2025

Algoritmen en AI in Enschede

2.8

Stakeholders bij de ontwikkeling en inzet van algoritmen

In paragraaf 2.2, bij het beschrijven van het gemeentelijk beleid, is al verwezen naar de Nota Waardengedreven Digitalisering. In deze nota zijn ook de verantwoordelijkheden van verschillende spelers in de gemeentelijke organisatie benoemd als het aankomt op een ethische inzet van digitale middelen. Deze zijn: Spelers en hun rollen bij ethische afwegingen m.b.t digitalisering -

Gemeenteraad: De raad bespreekt de ethische visie en werkwijze in haar Commissie Bestuur en Middelen. De raad ziet erop toe dat college en organisatie handelen volgens de vastgestelde visie en werkwijze (democratische controle). College van B&W: Het college stelt de ethische visie en werkwijze vast en committeert zich daarmee aan een ethisch verantwoorde inzet van data en technologie, zoals beschreven in de visie. Management: Directie, clustermanagers, afdelingshoofden en teamleiders committeren zich aan een ethisch verantwoorde inzet van data en technologie. Zij zien erop toe dat medewerkers de juiste ethische werkwijze hanteren, als onderdeel van ‘integraalmanagement’. Ethisch netwerk: Er komt een ethisch netwerk met daarin medewerkers vanuit de organisatie die veel kennis en ervaring hebben met ethische afwegingen bij waardengedreven digitalisering. In het ethisch netwerk zitten onder meer de functionaris gegevensbescherming (FG), privacyofficers, de chief information security officer (CISO) en de twee secretarissen van de ethische commissie. Het idee is dat het ethisch netwerk andere medewerkers kan ondersteunen bij vraagstukken.15 Medewerkers: Medewerkers moeten een bepaald ethisch bewustzijn en basiskennis hebben. Zij moeten in ieder geval weten wanneer een ethische afweging nodig is en zorgen dat deze afweging goed wordt uitgevoerd.

CIO: Gemeente-brede sturing op het ethisch bewustzijn van de gemeentelijke organisatie ligt in handen van de CIO-office. Ethische commissie Enschede: De commissie blijft net als voorgaande jaren fungeren als extern ethisch klankbord voor de gemeente. Gevraagd en ongevraagd kan zij reflecteren op vooral complexe, ethische casussen. Met die reflecties geeft de commissie inzicht in de waarden die een rol spelen binnen een casus en legt zij ethische dilemma’s bloot waarover het gemeentebestuur uiteindelijk een politieke afweging moet maken en beslissen.

Het gaat hier om voorgenomen beleid. In de praktijk is gedurende het onderzoek niet gebleken dat deze spelers al elk hun bovenbeschreven rol kennen en zo invullen. Maar duidelijk is dat er met deze nota uitgewerkte opvattingen bestaan over een mogelijke ethisch verantwoorde werkwijze bij digitalisering; een werkwijze die ook van toepassing zal zijn bij de inzet van algoritmen, maar in de praktijk nog verder vorm moet krijgen.

In november 2024 is dit netwerk voor de eerste keer bijeen geweest.

pagina 16/77

Januari 2025

Algoritmen en AI in Enschede

Chief Information Officer

Business Information Manager

Functionaris Gegevensbescherming

Functies en rollen

Aandachtsfunctionaris

Chief Data Officer

Chief Information Security Oficer Figuur 1: Functies en rollen die in de praktijk bij algoritmen betrokken zijn

Over diezelfde praktijk valt nog het volgende op te merken. De CIO-office onder leiding van de CIO speelt een belangrijke rol bij het coördineren van ICT-toepassingen en het bewaken dat deze op een verantwoorde wijze worden ingezet. Enschede kent ook een Chief Information Security Officer (CISO) en een Chief Data Officer (CDO). Binnen de CIO-office is eind 2023 een senior adviseur met als specifieke aandachtsgebieden AI en algoritmen aangewezen. Deze medewerker is gecertificeerd AI compliance officer (CAICO®). Daarnaast heeft binnen de gemeentelijke organisatie de Functionaris Gegevensbeheer (FG) een onafhankelijke, wettelijk vastgelegde, verantwoordelijkheid om vast te stellen of bij de toepassing van ICT-applicaties recht wordt gedaan aan de bepalingen van de Algemene Verordening Gegevensbescherming (AVG). Ook de FG heeft het voornemen om het certificaat AI compliance officer te behalen. Tot slot zijn de rollen van aandachtsfunctionaris en business information manager relevant. De aandachtsfunctionaris werkt vanuit het gemeentelijk IT-bedrijf en bedient een van de beleidsinhoudelijke domeinen bij de brede inzet van ICT-systemen en -toepassingen. De aandachtsfunctionaris werkt daarin intensief samen met de business information manager; een functie binnen een van de beleidsinhoudelijke domeinen.

De business information manager is verantwoordelijk om wensen, ideeën en aanpassingen binnen ICT en informatievoorziening te kunnen pagina 17/77

Januari 2025

Algoritmen en AI in Enschede

vertalen naar functionele en technische eisen. Door zijn directe verbondenheid met een domein heeft deze functionaris een goed begrip van de binnen het domein plaatsvindende functionele toepassing van systemen en processen. De business information manager waarborgt de afstemming van de informatiekundige visie, strategie en beleid binnen het domein. De business information manager analyseert, adviseert, selecteert en prioriteert daartoe, in samenwerking met het i-kernteam, de projecten en programma’s in het domein. Volgens het functieprofiel behoort tot de taken van deze rol onder meer het initiëren, organiseren, professionaliseren en borgen van de implementatie van datagedreven werken binnen en buiten het domein. Andere resultaten die een business information manager geacht wordt te bereiken zijn het adviseren over de kwalitatieve en/of kwantitatieve aspecten van IT-plannen en het beoordelen van nieuwe ontwikkelingen en inzichten op strategisch niveau binnen het eigen vakgebied op mogelijkheden en implicaties voor de gemeentelijke organisatie; Als er behoefte is aan nieuwe applicaties of aanpassingen aan bestaande applicaties verkennen de aandachtsfunctionaris en de business information manager de achtergronden van de vraag en inventariseren de mogelijke oplossingen.

Op basis daarvan adviseren zij gezamenlijk aan de afdelingsleiding over de wijze waarop adequaat aan de behoefte tegemoetgekomen kan worden. Sinds enige tijd, mede als gevolg van de werkzaamheden van de ethische commissie, de Nota Waardengedreven Digitalisering en tevens als gevolg van dit rekenkameronderzoek, besteden de aandachtsfunctionaris en de business information manager ook nadrukkelijk aandacht aan de in de (nieuwe) applicaties aanwezige algoritmen. Zij verdiepen zich in de werking, stellen daarover vragen aan de leverancier en betrekken de algoritmen in een DPIA, en eventueel in een IAMA. Voor de aanschaf van nieuwe applicaties met algoritmen wordt samengewerkt met de medewerkers van de inkoopafdeling van de gemeente. De gemeente Enschede heeft namelijk het beleid dat zij zelf in de regel geen ICT-applicaties -of systemen bouwt en ontwikkelt, maar deze op de markt inkoopt. Gebruik van algoritmen Volgens het algemene IT-beleid zijn de inhoudelijke proceseigenaren (afdelingshoofden/directeuren) verantwoordelijk voor een correcte inzet van digitale middelen en het gebruik van data. Daaronder valt ook een correcte inzet van algoritmen. De aandachtsfunctionaris en de business information manager hebben wat dit betreft louter een adviserende en ondersteunende rol.

pagina 18/77

Januari 2025

Algoritmen en AI in Enschede

Afwegingen en waarborgen

3.1

Inleiding

Dit hoofdstuk betreft een verdieping van het in het vorige hoofdstuk in het algemeen beschreven beleid. Daarbij staan de volgende onderzoeksvragen centraal: Afwegingen en waarborgen bij de toepassing van algoritmen in Enschede 5. Welke afwegingen worden bij het gebruik van algoritmen gemaakt en welke belangen en perspectieven worden meegewogen? 6. Welke waarborgen worden gehanteerd en hoe worden de risico’s bij (het gebruik van) algoritmen beheerst? 7. Hoe vindt besluitvorming over het gebruik van algoritmen plaats en waar is de verantwoordelijkheid belegd? 8. In hoeverre is er sprake van transparantie en hoe wordt verantwoording afgelegd? 9. Op welke manier wordt de gemeenteraad over algoritmen geïnformeerd en betrokken? Om tot beantwoording van deze vragen te komen is gesproken met functionarissen die vanwege hun functie en verantwoordelijkheden bekend zijn met de binnen Enschede gangbare randvoorwaarden en waarborgen bij de toepassing van algoritmen. Deze functies en rollen staan beschreven onder bijlage B. Daarnaast zijn, in overleg met de rekenkamer, drie toepassingen van algoritmen binnen de gemeente geselecteerd voor een verdiepend onderzoek. Bij het selecteren van deze casussen is meegewogen dat het moet gaan om een toepassing van algoritmen die (potentieel) maatschappelijke impact heeft.

Tijdens de verdiepende gesprekken is gesproken over de fase van ideevorming over de inzet van algoritmen, de ontwikkeling, implementatie, uitvoering en het beheer. Per casus is zo nagegaan om welke redenen voor dit specifieke algoritme is gekozen, welke afwegingen daaraan ten grondslag liggen, welke stakeholders hierbij zijn betrokken, hoe de gemaakte keuzes zijn gedocumenteerd en/of verantwoord en hoe de (aanvullende) risico’s worden beheerst. Het gaat om de volgende casussen: De toepassing van een algoritme bij de aanpak vroegsignalering schulden: Per 1 januari 2021 is de wetswijzing op de Wet gemeentelijke schuldhulpverlening (Wgs) van kracht. Met deze wijziging is vroegsignalering van schulden op basis van signalen door derden een wettelijk taak voor gemeenten geworden. Bepaalde bedrijven en instanties moeten sinds 1 januari 2021 gemeenten waarschuwen als zij zien dat hun klanten hun rekeningen niet betalen. Het gaat hierbij om verhuurders van woningen, drinkwaterbedrijven, energieleveranciers en zorgverzekeraars. Op basis van de signalen benaderen gemeenten bewoners met betaalachterstanden proactief om hen hulp aan te bieden. Algoritmen ondersteunen bij het selecteren van de signalen die de gemeente met hogere urgentie oppakt.

De ontwikkeling van een algoritme om gericht overlast in de stad te beperken: Op basis van meldingen over overlast (waaronder ook rondslingerend afval) en observaties van BOA’s en de politie kan inzichtelijk gemaakt worden op welke locaties in de stad en op welke momenten zich intensieve overlast voordoet. Het is het voornemen van de gemeente om die meldingen op basis van algoritmen te combineren en te analyseren om zo dergelijke ‘hotspots’ te kunnen aanwijzen. Dat maakt het ook mogelijk om de overlast gericht en tijdig in te perken. Het gebruik van een algoritme om documenten te anonimiseren. De gemeente publiceert met grote regelmaat documenten. Dat gebeurt bijvoorbeeld als resultaat van een procedure in het kader van de Wet Open Overheid. Deze documenten kunnen tot pagina 19/77

Januari 2025

Algoritmen en AI in Enschede

personen herleidbare gegevens bevatten. De gemeente gebruikt een tool met algoritmen om dergelijke persoonsinformatie gericht te kunnen opzoeken en ‘weg te lakken’. In bijlage C zijn deze casussen meer uitgebreid beschreven.

3.2

Uitgangspositie

In de gevoerde gesprekken is de indruk16 verkregen dat Enschede beschikt over een goed uitgewerkt digitaliseringsbeleid en de bijbehorende organisatie. Er is sprake van een actieve CIO-office die het beleid coördineert en verder ontwikkelt. In de gesprekken is genoemd dat de verantwoordelijk portefeuillehouder nauw betrokken is bij het digitaliseringsbeleid. Met deze portefeuillehouder is in het kader van het onderzoek tevens gesproken, daarin is deze constatering bevestigd. Dit onderzoek richt zich specifiek op de inzet en toepassing van algoritmen. De algemene indruk dat er sprake is van een degelijk ICT-beleid en professionele ICT-organisatie is vooral bedoeld om aan te geven dat er daarmee ook een gunstige uitgangspositie is voor verantwoord beleid en gebruik van algoritmen. Dat bevindt zich nog wel in de beginfase. Er zijn veel plannen, ambities en voornemens, maar weinig is nog structureel uitgewerkt in aanpakken, processen of procedures. 17 Naast de gesprekken met medewerkers die relatief goed bekend zijn met de inzet van algoritmen binnen de gemeente is in de casussen juist gesproken met medewerkers die op grotere afstand staan van het digitaliseringsbeleid en meer betrokken zijn bij de uitvoering van beleid. In die gesprekken blijkt onder andere dat er de nodige onbekendheid is met de aanwezigheid en het functioneren van algoritmen.

Het gegeven dat simpele rekenregels al als algoritmen worden beschouwd, met bijbehorende risico’s, leidt in de gesprekken bijvoorbeeld tot de nodige discussie. De gesproken medewerkers zien - wat betreft de ontwikkeling en professionalisering op gebied van algoritmen - paralellen met de inwerkingtreding van de Algemene Verordening Gegevensbescherming (AVG) in 2018. De AVG droeg bij aan de nodige aandacht voor privacy, gegevensbescherming en informatiebeveiliging. Het leidde ook tot de introductie van nieuwe rollen en verantwoordelijkheden, zoals die van de Functionaris Gegevensbescherming (FG), privacy-officers en een Chief Information Security Officer (CISO). Ondertussen hebben die, naar mening van verschillende medewerkers, elk hun positie wel gevonden in de organisatie en is er brede aandacht voor privacy en informatieveiligheid. Het uitvoeren van Data Protection Impact Assessments (DPIA) is eveneens gebruikelijk geworden en ingebed in processen. Verschillende medewerkers spreken de verwachting uit dat er zich een vergelijkbaar patroon zal ontwikkelen als het gaat om een verantwoorde toepassing van algoritmen. Momenteel wordt kennis genomen van landelijk beleid, onder meer doordat medewerkers van de CIO-office een actieve rol vervullen in werkgroepen van het ministerie van BZK en van de VNG. Dit beleid wordt vertaald naar de context van Enschede.

Volgend deel →

De tekst is automatisch uit het bestand gehaald en kan afwijken van het origineel (kolommen, tabellen en koppen lopen door elkaar). Het officiële stuk bij de gemeente is leidend. Bron: https://api1.ibabs.eu/publicdownload.aspx?site=enschede&id=0405f6ab-03f9-4ca0-aba3-866065c2432e