Eindrapport Pblq
Tekst van het document
pagina 38/77
Januari 2025
Algoritmen en AI in Enschede
Normen met betrekking tot de verdieping Nr.
Geformuleerde norm
Oordeel
3
De gemeente maakt afwegingen voor gebruik van algoritmen waarbij verschillende belangen en perspectieven worden (mee)gewogen. Deze afwegingen zijn inzichtelijk, uitlegbaar en vastgelegd.
Negatief
4
De gemeente hanteert waarborgen om algoritmen verantwoord te gebruiken, bijvoorbeeld door periodieke monitoring.
Neutraal
5
Bij de ontwikkeling en het gebruik van algoritmen worden diverse belanghebbenden en rollen betrokken.
Neutraal
6
De risico’s bij het gebruik van algoritmen worden beheerst, bijvoorbeeld door risicomanagement, toegangsbeveiliging, dataminimalisatie en maatregelen om bias te vermijden.
Neutraal
7
De gemeente heeft rollen en verantwoordelijkheden rond besluitvorming, gebruik en beheersing van algoritmen duidelijk en ingericht.
Negatief
8
De gemeente is transparant over het gebruik van algoritmen en legt hier verantwoording over af.
Negatief
9
De raad wordt geïnformeerd over het beleid en de uitvoering rondom algoritmen.
Negatief
Binnen dit cluster zijn de oordelen overwegend neutraal tot negatief. Zoals al eerder genoemd staat het beleid met betrekking tot algoritmen binnen Enschede nog aan het begin. Er worden geen gestructureerde afwegingen gemaakt, rollen en verantwoordelijkheden zijn voor algoritmen niet belegd, hooguit situationeel bepaald. Er is nog geen sprake van transparantie bij gebrek aan een duidelijk algoritmeoverzicht. Daardoor wordt de gemeenteraad ook niet geïnformeerd. Dat toch drie keer een ‘neutraal’ oordeel wordt verstrekt, komt omdat binnen de organisatie wel degelijk aandacht is voor risico’s en manieren om die te beheersen. Denk hierbij bijvoorbeeld aan de betekenis van menselijke tussenkomst. Daarnaast laat het onderzoek zien dat risicobeheersing wel onderwerp van gesprek is binnen de gemeente en dat hierbij verschillende belanghebbenden en rollen worden betrokken. Bovendien zijn er vanuit het reguliere ICT-beleid van de gemeente verschillende waarborgen gerealiseerd, bijvoorbeeld tijdens de aanschaf van nieuwe applicaties en systemen. Het laatste cluster aan normen heeft betrekking op de fase van vooruitkijken. Het gaat dan om de volgende: Normen met betrekking tot de fase van vooruitkijken Nr.
Geformuleerde norm
Oordeel
10
De gemeente treft voorbereidingen op een toekomstig gebruik van algoritmen en/of AI.
Positief
11
De gemeenteraad wordt voldoende in positie gebracht om zijn sturende, controlerende en volksvertegenwoordigende verantwoordelijkheden waar te maken
Negatief
Als gezegd wordt het gesprek over een verantwoorde toepassing van algoritmen binnen de organisatie gevoerd. In die zin worden er voorbereidingen getroffen. Daarnaast bereidt de gemeente zich voor op een toegenomen gebruik van AI, getuigen de richtlijnen die onder meer beschikbaar zijn.
pagina 39/77
Januari 2025
Algoritmen en AI in Enschede
De gemeenteraad is over de toepassing van algoritmen en het mogelijke beleid niet geïnformeerd en kan daarmee zijn verantwoordelijkheden en taken niet waarmaken. De laatste norm wordt daarom negatief beoordeeld.
5.2
Beantwoording van de onderzoeksvragen
Met alle verstrekte informatie kunnen de onderzoeksvragen worden beantwoord. De beantwoording van de onderzoeksvragen zal per cluster gebeuren, zoals ook de eerdere hoofdstukken zijn opgebouwd. Inventarisatie van huidige toepassing van algoritmen in Enschede Vraag 1
Wat is de visie en het beleid van de gemeente Enschede op het gebied van algoritmen?
Antwoord
Er is momenteel binnen de gemeente Enschede geen sprake van expliciet en vastgelegd beleid voor algoritmen en/of AI. Wel wordt er over uitgangspunten, randvoorwaarden en de beheersing van risico’s nagedacht, maar vastgesteld moet worden dat beleidsvoornemens meestal nog niet zijn geïmplementeerd of worden uitgevoerd. Daarnaast worden er processen ingericht die tot doel hebben om bij te dragen aan een verantwoord gebruik van algoritmen. Dit gebeurt bijvoorbeeld bij de aanschaf van nieuwe applicaties. Op hele specifieke onderdelen, zoals het gebruik van ChatGPT, zijn daarnaast spelregels geformuleerd. Ondanks dat er geen expliciet algoritmebeleid is, is er binnen Enschede wel breder digitaliseringsbeleid. Dat bestaat onder meer uit een databeleid, privacy- en informatiebeveiligingsbeleid en ICT-beleid.
Vraag 2
Welke algoritmen worden momenteel gebruikt en welke doeleinden dient dat?
Antwoord
De verrichte inventarisatie heeft een oogst opgeleverd van ruim zeventig algoritmen die relevant zijn in processen en diensten voor burgers en bedrijven. Het is zeer aannemelijk dat er in werkelijkheid vele malen meer algoritmen worden toegepast binnen de gemeentelijke organisatie, maar voor dit onderzoek zijn uitsluitend de algoritmen in beeld gebracht die invloed hebben op dienstverleningsprocessen voor inwoners, bedrijven en/of de gemeentelijke organisatie. Het verkregen overzicht is opgenomen in bijlage E van dit rapport. Het overzicht met algoritmen laat zien dat het merendeel van de algoritmen, namelijk 45 van de 70, informerend wordt ingezet. Een kleiner gedeelte (11) heeft een adviserende functie en slechts zeven algoritmen zijn aangemerkt als beslissend. Van zeven algoritmen heeft de gemeente niet gerapporteerd welke functie deze hebben.
Vraag 3
Op welke beleidsterreinen worden algoritmen gebruikt?
Antwoord
Algoritmen worden op alle beleidsterreinen gebruikt: zowel in het sociaal domein, fysiek domein als in bedrijfsvoering en dienstverlening. Algoritmen werken informerend, adviserend en in mindere mate beslissend binnen de uitvoering van taken, processen of diensten. Ze worden gebruikt bijvoorbeeld als onderdeel van ICTsystemen, digitale formulieren of webapplicaties.
Vraag 4
Welke stakeholders zijn bij de ontwikkeling en het gebruik van algoritmen betrokken?
Antwoord
Binnen de organisatie zijn diverse functionarissen betrokken bij de ontwikkeling en het gebruik van algoritmen. Dat betreft voor een belangrijk deel medewerkers van de CIOoffice en het IT-bedrijf. De in alle domeinen aanwezige aandachtsfunctionarissen en de
pagina 40/77
Januari 2025
Algoritmen en AI in Enschede
business information managers krijgen eveneens meer en meer oog voor de uitdagingen bij het benutten van algoritmen. De technische ontwikkeling, beheer en onderhoud van algoritmen worden uitgevoerd door externe leveranciers. Het tweede cluster van onderzoeksvragen richt zich op de afwegingen en waarborgen die Enschede hanteert bij het huidige gebruik van algoritmen. Afwegingen en waarborgen bij de toepassing van algoritmen Vraag 5
Welke afwegingen worden bij het gebruik van algoritmen gemaakt en welke belangen en perspectieven worden meegewogen?
Antwoord
Er is binnen de organisatie, mede als gevolg van de werkzaamheden van de ethische commissie, aandacht voor de ethische aspecten van digitalisering in het algemeen, en het benutten van algoritmen in het bijzonder. Bij de inzet van nieuwe applicaties die persoonsgegevens verwerken, wordt in de regel een Data Protection Impact Assessment gedaan om de risico’s met betrekking tot de verwerking van persoonsgegevens in kaart te brengen. In dat verband komen de risico’s van algoritmen voor betrokkenen ook aan bod, maar dat is niet alomvattend. Bij bestaande applicaties heeft geen systematische inventarisatie van de aanwezigheid en toepassing van algoritmen plaatsgevonden.
Vraag 6
Welke waarborgen worden gehanteerd en hoe worden de risico’s bij (het gebruik van) algoritmen beheerst?
Antwoord
Bij gebrek aan vastgelegd beleid is er geen sprake van een structurele inzet van waarborgen bij het gebruik van algoritmen. Er is wel sprake van een groeiend bewustzijn onder medewerkers die werken met algoritmen. Zij hanteren uit eigen initiatief verschillende spelregels om risico’s te beheersen. Zo zijn ze zich bewust van het belang ‘menselijke tussenkomst’, voordat de resultaten van de toepassing van algoritmen leiden tot vervolgactiviteiten. In andere woorden: de medewerker houdt controle op het proces waarin algoritmen worden gebruikt. Daarnaast heeft Enschede aandacht voor certificering en het auditen van externe leveranciers. Ook is er ruimte voor training van medewerkers en wordt er ingezet op evaluaties. Deze zaken dragen ook bij aan waarborging en beheersing, maar ze worden nog niet structureel en organisatie-breed toegepast bij alle algoritmen, en ze zijn niet vastgelegd in beleid of procedures.
Vraag 7
Hoe vindt besluitvorming over het gebruik van algoritmen plaats en waar is de verantwoordelijkheid belegd?
Antwoord
Er zijn geen besluitvormingsprocessen ingericht specifiek voor het gebruik van algoritmen. De besluitvorming maakt nu onderdeel uit van de reguliere procedures om tot besluiten te komen over de inzet van ICT-applicaties binnen de gemeentelijke organisatie. Dat betekent dat de aandachtsfunctionarissen en business information managers hierover adviseren en uiteindelijk besluitvorming binnen de CIO-office en het lijnmanagement plaatsvindt. Zo nodig geeft de FG ook een advies. Deze zaken worden uiteindelijk ook bij het college van B&W geagendeerd.
Vraag 8
In hoeverre is er sprake van transparantie en hoe wordt verantwoording afgelegd?
Antwoord
Het belang van transparantie en verantwoording wordt breed onderkend, maar er is nog geen sprake van een totaaloverzicht van in gebruik zijnde algoritmen en AI-
pagina 41/77
Januari 2025
Algoritmen en AI in Enschede
systemen. De gemeente is wel het initiatief gestart om het landelijk algoritmeregister te vullen, maar dat staat nog in de kinderschoenen. Dit rekenkameronderzoek vormt eigenlijk pas de eerste gestructureerde poging van de gemeente om algoritmen in kaart te brengen en beschrijven. Er kan nog niet worden gesproken van verantwoording afleggen, omdat er momenteel geen rapportages of overzichten met het College van B&W of de gemeenteraad over algoritmen worden gedeeld. Het onderwerp algoritmen is vooralsnog ook nog niet aan de bestuurstafels besproken. Vraag 9
Op welke manier wordt de gemeenteraad over algoritmen geïnformeerd en betrokken?
Antwoord
Momenteel gebeurt dat beperkt tot niet. Impliciet komt het aan de orde in de context van reguliere rapportages over de inzet van ICT. De gemeenteraad wordt alleen betrokken en bevraagd over de totstandkoming van nieuw digitaliseringsbeleid.
Het laatste cluster van onderzoeksvragen richt zich op de toekomst. Toekomstig gebruik van algoritmen in Enschede Vraag 10
Welke voorbereidingen treft Enschede voor een toekomstig gebruik van algoritmen en/of AI?
Antwoord
Binnen de organisatie worden verschillende voorbereidingen getroffen om meer transparantie en verantwoord gebruik van algoritmen en AI na te streven. Er wordt onder meer algemeen beleid voor digitalisering en algoritmen voorbereid. Ook in het beleid met betrekking tot waardengedreven digitalisering worden verschillende plannen en ambities geschetst die tot doel hebben om meer transparantie over het algoritmegebruik te geven. Maar deze plannen en ambities zijn pas in beperkte mate uitgevoerd.
Vraag 11
Hoe wordt de gemeenteraad in positie gebracht om zijn sturende, controlerende en volksvertegenwoordigende verantwoordelijkheid waar te maken?
Antwoord
Op dit moment zijn er nog geen concrete plannen om de raad in positie te brengen om zijn sturende, controlerende en volksvertegenwoordigende verantwoordelijkheid waar te maken. Verschillende raadsleden zouden wel graag meer over de ontwikkelingen geïnformeerd willen worden, zo blijkt uit de raadsbijeenkomst die in het kader van dit rekenkameronderzoek is uitgevoerd. Daarnaast ligt er een behoefte om regulier geïnformeerd te worden welke algoritmen door de gemeente worden gebruikt en welke afwegingen hierbij worden gemaakt.
Vraag 12
Welke lessen zijn er te trekken uit ervaringen uit andere gemeenten en overheidsorganisaties en hoe zijn deze te vertalen naar Enschede?
Antwoord
Er zijn diverse (overheids-)organisaties actief met het opstellen van handreikingen over het ontwikkelen van (voorbeeld-)beleid en procedures om op een verantwoorde wijze met algoritmen en AI om te gaan. Dat betreft onder meer het Ministerie van BZK, de Algemene Rekenkamer en de Autoriteit Persoonsgegevens. Ook de VNG is op dit terrein actief om goede voorbeelden te verzamelen en breder beschikbaar te stellen voor andere gemeenten. Bovendien zijn er andere, overwegend grote gemeenten waar relevante ervaringen worden opgedaan. Uit alle voorbeelden is af te leiden dat beleid met betrekking tot algoritmen en AI integraal deel uit zou moeten maken van het algemene ICT-beleid van een organisatie. Zo moet er aandacht zijn voor de kwaliteit van de data en informatie waar algoritmen
pagina 42/77
Januari 2025
Algoritmen en AI in Enschede
gebruik van maken. Ook dient de ICT-infrastructuur op orde te zijn en moeten er procedures zijn om de informatie veilig te benutten. Daarnaast dient er veel aandacht te zijn voor de ethische aspecten bij de toepassing van algoritmen. Een wezenlijk aandachtspunt uit ervaringen van buiten is de rol van externe leveranciers bij het leveren van software en applicaties met algoritmen. Individuele gemeenten kunnen de consequenties van het benutten van algoritmen in die toepassingen veelal niet overzien. In het leveranciersbeleid zouden afspraken kunnen worden vastgelegd waarbij van leveranciers garanties worden gevraagd voor meer transparantie over algoritmen en een verantwoorde inzet daarvan.
pagina 43/77
Januari 2025
Algoritmen en AI in Enschede
6.
Bredere reflectie en aanbevelingen
6.1
Slotbeschouwing en aanbevelingen
Dit rekenkameronderzoek heeft nadrukkelijk een verkennend karakter; het is de eerste keer dat er gestructureerd onderzoek in Enschede wordt gedaan naar de toepassing van algoritmen en AI. Het is vanuit dat oogpunt niet vreemd om te zien dat het spiegelen van de huidige situatie aan het normenkader resulteert in een kritische en relatief strenge beoordeling. Het normenkader beschrijft een ideaaltypische situatie waarin het gebruik van algoritmen bewust, gestructureerd en voorspelbaar plaatsvindt, waarbinnen rollen en verantwoordelijkheden expliciet zijn gemaakt en activiteiten gebeuren binnen de bredere verantwoordingsstructuur die de gemeente kent. Dit onderzoek laat zien dat de praktijk in Enschede (nog) niet met deze ideaaltypische situatie overeenkomt. De vraag die dit oproept is of de gemeente daarmee tekortschiet en daarmee steken laat vallen of dat deze constatering niet automatisch negatieve consequenties heeft. Deze slotbeschouwing dient om deze twee perspectieven tegenover elkaar te zetten, en zodoende de onderzoeksbevindingen en het oordeel uit het normenkader nader te onderbouwen en in breder perspectief te plaatsen. Dit zorgt voor een brede reflectie op dit uitgebreide onderzoeksrapport en vormt een logische opmaat naar aanbevelingen.
6.1.1
Stappen naar een bewust en verantwoord algoritmegebruik
De slotbeschouwing start met de waarneming dat de gemeente Enschede algoritmen overal in de organisatie inzet, of het nu in de bedrijfsvoering, sociaal domein, ruimtelijke ordening of bij publieke dienstverlening is. Het gebruik van algoritmen loopt parallel aan de opkomst van ICT bij gemeenten. Het kan niet vaak genoeg worden benadrukt dat algoritmen niet nieuw zijn. Regel-gebaseerde algoritmen worden al jaar en dag voor verschillende toepassingen gebruikt, denk bijvoorbeeld aan digitale formulieren en rekenregels. Hierin vormt Enschede geen uitzondering op wat er bij andere overheidsorganisaties gebeurt. Tegenover regel-gebaseerde algoritmen staan datagedreven algoritmen, die werken op basis van complexere machine learning technieken. Dit onderzoek laat zien dat deze laatste soort algoritmen nog maar beperkt door de gemeente Enschede wordt gebruikt. Tijdens dit onderzoek zijn slechts een handjevol voorbeelden gevonden, bijvoorbeeld een algoritme dat ondersteunt bij het weglakken van persoonsgegevens in documenten. Dit slimme algoritme kan geautomatiseerd persoonsgegevens in gemeentelijke documenten herkennen en een voorstel doen om deze weg te lakken. Het feit dat Enschede datagedreven algoritmen in vergelijking tot regel-gebaseerde algoritmen nog minder inzet, komt overeen met de ontwikkelingen bij andere overheidsorganisaties.
Toch is de verwachting dat de komende jaren, ook in Enschede, steeds meer datagedreven algoritmen gebruikt gaan worden. Datagedreven algoritmen worden in de volksmond geplaatst onder de noemer van artificiële intelligentie (AI). Een vorm van AI die in het bijzonder een vlucht neemt is generatieve AI. Met generatieve AI kunnen gebruikers op basis van een commando of opdracht ‘content’ creëren. Een voorbeeld is het genereren van tekst (bijvoorbeeld met ChatGPT) of het genereren van een afbeelding (bijvoorbeeld met Midjourney). Generatieve AI-tools zijn breed op het internet beschikbaar en kunnen voor diverse doeleinden worden ingezet. Dit onderzoek laat zien dat de gemeente Enschede al vroegtijdig over het gebruik van generatieve AI heeft nagedacht en daarover een standpunt heeft ingenomen. Zo zijn er spelregels over de inzet van ChatGPT die onder alle medewerkers zijn verspreid. Daarnaast zijn er sinds 2024 ook bredere richtlijnen voor het gebruik
pagina 44/77
Januari 2025
Algoritmen en AI in Enschede
van generatieve AI verschenen, waarbij onder meer ook duurzaamheid als onderwerp is meegenomen. De spelregels en richtlijnen laten zien dat Enschede niet louter negatief tegenover dit soort nieuwe tools staat; de gemeente streeft met name een gecontroleerd en verantwoord gebruik door medewerkers na. Hierbij doet de gemeente een beroep op de verantwoordelijkheid van individuele medewerkers en vraagt het daarbij aandacht voor ethisch handelen. Met deze spelregels en richtlijnen neemt Enschede een afwijkend standpunt in ten opzichte van de rijksoverheid. Zonder een waardeoordeel uit te spreken welke werkwijze beter of slechter is, laat dit voorbeeld wel zien dat Enschede een eigen koers probeert te varen en medewerkers op een goede manier probeert toe te rusten op het gebruik van een nieuwe technologie als generatieve AI. Het onderzoek laat zien dat algoritmen verschillende functies hebben binnen dienstverleningsprocessen. Ze hebben daarmee maatschappelijke relevantie. Voor dit onderzoek is onderscheid gemaakt tussen informerende, adviserende en besluitvormende algoritmen. Uit de inventarisatie van algoritmen komt naar voren dat Enschede algoritmen vooral informerend inzet. Dat betekent dat een algoritme informatie geeft over een proces. De gebruiker of medewerker gebruikt deze informatie om tot een beslissing te komen, bijvoorbeeld bij beleidsontwikkeling.
In mindere mate worden algoritmen adviserend in processen ingezet. In zulke gevallen geeft het algoritme een aanbeveling om bepaalde acties te nemen of een keuze te maken. Een voorbeeld hiervan is het uitsturen van boetes voor voertuigen die zonder toestemming in gebieden rijden waar dat niet mag. Het algoritme geeft op basis van kentekenherkenning aan welke voertuigen in overtreding zijn geweest, maar het is aan de medewerker van de gemeente om een boete wel of niet uit te schrijven. Tot slot zijn er algoritmen die zonder menselijke tussenkomst opereren. Dit zijn beslissende of besluitvormende algoritmen. Deze worden nog maar op kleine schaal binnen Enschede ingezet, bijvoorbeeld bij het categoriseren en afhandelen van meldingen openbare ruimte. In het algemeen geldt hoe groter de rol van een algoritme in een besluitvormingsproces, handeling of keuze, hoe meer risico er bestaat zodra er fouten worden gemaakt. Hier moet in het treffen van waarborgen en instellen van checks en balances rekening mee gehouden worden. Het onderzoek laat zien dat de gemeente nog geen expliciet beleid voor algoritmen heeft. Dit zou erop kunnen wijzen dat er niet gestructureerd door de gemeente wordt nagedacht hoe algoritmen worden ingezet en hoe risicobeheersing effectief kan plaatsvinden. Maar dat zou geen recht doen aan de huidige situatie.
Enschede heeft namelijk al wel divers digitaliseringsbeleid dat ook raakt aan en van toepassing is op de inzet van algoritmen. Dit onderzoek laat zien dat de gemeente initiatieven in gang zet en beleid ontwikkelt rondom een verantwoorde en ethische inzet van technologie en digitalisering. De belangrijkste uiting hiervan is de Nota Waardengedreven Digitalisering. Deze nota maakt duidelijk dat de gemeente ethische overwegingen en waarborgen bij digitalisering een expliciete plek wil geven. De nota doet ook een aanzet om rollen en verantwoordelijkheden ten aanzien van verantwoorde digitalisering te beschrijven. De nota laat zien dat de gemeente stappen zet om deze zaken, waaronder algoritmen, op een goede en verantwoorde manier aan te pakken. De gemeente Enschede volgt een aanpak die vergelijkbaar is met wat bij andere overheidsorganisaties gebeurt. Het credo ‘waardengedreven digitaliseren’ staat bijvoorbeeld ook centraal in de werkagenda die het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties in 2023 heeft uitgebracht voor het brede digitaliseringsbeleid van de rijksoverheid. De ambities stemmen grotendeels overeen. Ook het beeld dat in interviews is verkregen stemt hoopvol als het gaat om een bewuste en verantwoorde inzet van algoritmen in Enschede. De interviews laten zien dat de kern van pagina 45/77
Januari 2025
Algoritmen en AI in Enschede
medewerkers die zich met digitalisering en technologie bezighoudt, zich bewust is van mogelijke risico’s en valkuilen, zoals discriminatie, ongelijke behandeling en foutieve uitkomsten. De gesproken medewerkers van de CIO-office betrachten een terughoudende en zorgvuldige opstelling in het gebruik van algoritmen. Daarnaast is er grote aandacht voor het belang van menselijke tussenkomst: de situatie waarin een medewerker altijd meekijkt en de regie houdt op een uitkomst die met behulp van een algoritme is verkregen. Menselijke tussenkomst is een waarborg om (onbedoelde) uitwassen door technologie en digitalisering te voorkomen. Daarnaast zet de gemeente instrumenten in om mogelijke risico’s van het gebruik van digitale systemen en algoritmen inzichtelijk te krijgen. De gemeente kent bijvoorbeeld vaste procedures om een Data Protection Impact Assessment (DPIA) uit te voeren. Hiermee tracht de gemeente privacyrisico’s van gegevensverwerkingen in kaart te brengen, daarnaar te handelen en te zoeken naar manieren om deze risico’s te verkleinen. Voor een casus waarin slimme algoritmen zouden worden gebruikt om bankafschriften geautomatiseerd in te lezen, is zelfs een keer geëxperimenteerd met het uitvoeren van een Impact Assessment Mensenrechten en Algoritmen (IAMA).
Dit voorbeeld laat zien dat de gemeente Enschede proactief stappen zet om risico’s van de inzet van digitale systemen en algoritmen in kaart te brengen, en daarmee deze zaken serieus neemt. Samengevat kan worden gesteld dat er binnen de organisatie van de gemeente Enschede zeker aandacht is voor een toepassing van algoritmen (en AI) op een ethische en verantwoorde manier die anticipeert op mogelijke risico’s.
6.1.2
Kritische kanttekeningen
Naast de voorgaande optimistische bespiegelingen kunnen er ook een aantal kritische kanttekeningen worden geplaatst bij de huidige manier waarop Enschede met algoritmen en AI omgaat. Dat start met de constatering dat de huidige aandacht voor een bewuste en verantwoorde omgang met algoritmen vooralsnog beperkt blijft tot een kleine groep sleutelpersonen die deel uitmaakt van of in nauw contact staat met de CIO-office. De medewerkers buiten de CIO-office zijn zich vaak veel minder bewust van de brede aanwezigheid van algoritmen in ICT-systemen. Evenmin hebben zij een beeld van de werking van een algoritme, zelfs als dat algoritme een belangrijke bijdrage levert aan het proces of de dienst waar de medewerker in kwestie bij betrokken is. Een voorbeeld hiervan is een proces rondom de vroegsignalering van schulden dat in dit onderzoek nader is bestudeerd. Binnen dit proces filtert en selecteert een algoritme de gevallen die met extra aandacht door de gemeente worden opgepakt. De medewerkers konden echter niet verklaren hoe deze selectie- en filteringscriteria tot stand zijn gekomen. Dat is risicovol, omdat daarmee de menselijke controle over het proces verwatert. Het zorgt voor een situatie waarin te makkelijk wordt geleund op wat het algoritme voorschrijft zonder de onderliggende selectiecriteria te kennen.
Een ander risico dat in dit onderzoek ten aanzien van algoritmegebruik is geconstateerd betreft gebiedsgericht handhaven. Dit is nog geen uitgewerkte praktijk, maar wordt in een pilot beproefd. Toch zijn er serieuze risico’s en aandachtspunten om rekening mee te houden, zoals het gevaar van het optreden van een self-fulfilling prophecy en confirmation bias zodra je meer gaat handhaven op plekken waar eerdere overtredingen zijn geconstateerd. De gemeente is zich van deze gevaren bewust en probeert hier actief op in te spelen tijdens de pilot. Daarnaast is de gemeente voor veel applicaties afhankelijk van externe leveranciers. Weliswaar wordt met hen wel het gesprek gevoerd over de aanwezigheid en werking van algoritmen in hun applicaties, echter geven medewerkers van de gemeente aan dat zij niet in de positie zijn om zo’n applicatie volledig te doorgronden. Daarmee kunnen ze evenmin de werking van de door de leverancier verstrekte garanties in de dagelijkse praktijk beoordelen. Dit is kwetsbaar. pagina 46/77
Januari 2025
Algoritmen en AI in Enschede
De kennis, kunde en ervaring met een verantwoorde inzet van algoritmen blijven vooralsnog dus beperkt tot een kleine groep mensen die bijna allen betrokken zijn bij de CIO-office. Het thema algoritmen wordt niet tot nauwelijks op management- of bestuursniveau besproken. Het gebrek aan bestuurlijke betrokkenheid is een gemiste kans, omdat het door experts, die voor dit onderzoek zijn geraadpleegd, als een van de bouwblokken en randvoorwaarden wordt aangemerkt voor een bewuste en verantwoorde inzet van algoritmen. Bestuurlijke betrokkenheid kan eraan bijdragen om middelen voor een adequate en verantwoorde inzet van algoritmen en AI vrij te maken. Deze middelen kunnen bijvoorbeeld worden ingezet voor voldoende capaciteit om beheersmaatregelen en checks en balances te effectueren. Maar ze kunnen ook worden aangewend voor het faciliteren van opleidingen en trainingen om medewerkers bewuster met algoritmen en AI om te laten gaan. Ook de gemeenteraad wordt tot op heden in Enschede niet gestructureerd over de inzet van algoritmen geïnformeerd. Hierdoor kunnen raadsleden hun kaderstellende en controlerende verantwoordelijkheden niet waarmaken terwijl algoritmen, zoals dit onderzoek laat zien, wel degelijk een belangrijke rol hebben in de uitvoering van gemeentelijke taken, processen en diensten.
Algoritmen zouden daarentegen net als andere onderwerpen ‘gewoon’ onderdeel moeten zijn van de democratische besluitvormingscyclus. Hier heeft Enschede nog stappen te zetten. Daarnaast heeft dit onderzoek laten zien dat de gemeente niet over een volledig overzicht beschikt welke algoritmen en AI-systemen momenteel worden gebruikt. Dat overzicht moest speciaal voor dit rekenkameronderzoek door de gemeentelijke organisatie worden opgesteld. De huidige inventarisatie heeft geresulteerd in zo’n 70 algoritmen, maar hiervan is bekend dat dit nog (lang) niet gaat om een volledig overzicht. Voor dit onderzoek is alleen gefocust op algoritmen die invloed hebben op dienstverleningsprocessen voor inwoners, bedrijven en/of de gemeentelijke organisatie. In werkelijkheid zal het aantal algoritmen dat de gemeente gebruikt dus veel hoger zijn dan 70. Het is weliswaar geen doel op zich om al deze algoritmen gedetailleerd in kaart te brengen en te beschrijven, maar het is wel noodzakelijk en voorwaardelijk om te kunnen bepalen waar de gemeente mogelijk (extra) risico loopt of waar ze graag extra waarborgen wil treffen. De gemeente wil bewust en verantwoord met algoritmen omgaan, hiervoor moet zij tenminste weten wat in huis wordt gebruikt. Inzicht start bij overzicht, maar dat is momenteel niet volledig aanwezig.
De gemeente doet er in de ogen van de onderzoekers daarom goed aan om de huidige inventarisatie verder aan te vullen, aan te scherpen zodat vanuit een beter overzicht gestuurd kan gaan worden. Dit is een stap die door andere overheidsorganisaties die met dit thema bezig zijn, ook wordt gezet. Een andere bevinding is dat de gemeente slechts twee algoritmen heeft aangemerkt als hoog-risico. 14 algoritmen zijn gelabeld als beperkt risico en 53 zouden een laag risico hebben. De onderzoekers doen geen uitspraken of deze risicoclassificatie klopt; dat ligt niet in de aard van dit verkennende onderzoek. Maar het lijkt er wel op alsof de gemeente risico’s van bepaalde algoritmen soms lager inschat dan wettelijke richtlijnen, zoals de AI-Verordening, voorschrijven. Dit geldt bijvoorbeeld voor algoritmen die betrekking hebben op werkgelegenheid, zoals matchingsoftware voor wervingsprocedures, openbare diensten, zoals aanvragen van een paspoort of rijbewijs, bij handhaving en bij verkiezingen. Algoritmen binnen deze categorieën zijn volgens de AI-Verordening hoog-risico. De inventarisatie van algoritmen onder bijlage E laat zien dat Enschede ook op deze terreinen algoritmen gebruikt, maar deze niet allemaal als hoog-risico heeft geclassificeerd. Op basis van een actueel algoritmeoverzicht kan de gemeente ook starten met meer (pro)actieve vormen van risicobeheersing.
In dit onderzoek is vastgesteld dat hier voor alle bestaande algoritmen nog geen sprake van is. Alleen in de processen die leiden tot de aankoop van nieuwe systemen met algoritmen is sprake van het actief nemen van beheersmaatregelen en/of het treffen van waarborgen. pagina 47/77
Januari 2025
Algoritmen en AI in Enschede
Tot slot merken de onderzoekers op dat de beleidsplannen en voornemens, bijvoorbeeld uit de Nota Waardengedreven Digitalisering, in de praktijk nog niet zijn geïmplementeerd. Dit kan komen omdat het beleid pas kort geleden is ingesteld en dat het tijd kost om dit te implementeren. Toch lagen er wel kansen om hier al verder mee te zijn. Een voorbeeld hiervan is de ambitie die de gemeente uitspreekt om transparant over de inzet van algoritmen naar inwoners te zijn door algoritmen in het algoritmeregister te publiceren. Hier kan de gemeente nog stappen in zetten. Een nuancering van de kritische constateringen is wel dat Enschede in de benadering en toepassing niet wezenlijk afwijkt van andere overheden. Zeker, sommige overheden zijn wellicht in beleid, aandacht en risicobeheersing verder, maar dit betreft vrijwel steeds overheden met een grotere capaciteit dan Enschede, zoals de gemeenten Amsterdam, Rotterdam of Eindhoven, of onderdelen van de rijksoverheid.
6.2
Aanbevelingen
De slotbeschouwing laat zien dat Enschede op de goede weg is richting een bewuste en verantwoorde inzet van algoritmen en AI, maar dat er ook nog aandachtspunten en risico’s zijn waar de gemeente rekening mee moet houden. De onderzoekers willen daarom een aantal aanbevelingen suggereren die de gemeente in acht kan nemen ter bevordering van professionalisering en een verantwoorde aanpak van algoritmen. 1. Breng algoritmen en AI-systemen die de gemeente gebruikt verder in kaart in een algoritmeoverzicht. Hanteer de inventarisatie uit dit rekenkameronderzoek als logisch startpunt. Beschrijf de algoritmen aan de hand van een aantal vaste kenmerken. Gebruik hiervoor bijvoorbeeld de vaste indeling die in het landelijk algoritmeregister wordt voorgeschreven. a. Zorg ervoor dat tenminste de hoog-risico en impactvolle algoritmen in het landelijk algoritmeregister worden gepubliceerd27. b. Ga na aan welke verplichtingen de gemeente voor hun AI-systemen is verbonden op basis van de AI-verordening die op dit moment wordt ingevoerd. Tref voorbereidingen voor een zorgvuldige implementatie van deze nieuwe regelgeving. 2. Zorg ervoor dat het opgestelde algoritmeoverzicht van de gemeente ook met de gemeenteraad wordt gedeeld. Bedenk hoe dit overzicht onderdeel kan uitmaken van een breder debat met raadsleden over waardengedreven digitaliseren. 3.
Gebruik het algoritmeoverzicht als uitgangspunt om de risicobeheersing van cruciale processen en diensten onder de loep te nemen en mogelijk te versterken. Gebruik de bouwstenen uit hoofdstuk 4 als ankerpunt. 4. Werk beleid of richtlijnen voor algoritmegebruik binnen Enschede verder uit. Dat hoeft niet op zichzelf te staan maar kan ook deel uitmaken van het bredere digitaliseringsbeleid dat binnen Enschede in ontwikkeling is. Beleidsvorming kan bijdragen aan duidelijkere uitgangspunten en randvoorwaarden waar algoritmegebruik aan dient te voldoen en wat er daarbij van medewerkers wordt verwacht. Dit zorgt voor een voorspelbaardere en meer verantwoorde inzet. a. Gebruik het Algoritmekader van de rijksoverheid als basis voor het nieuwe beleid. Het Algoritmekader beschrijft de wettelijke eisen uit bestaande wet- en regelgeving (zoals de AVG, de AI-verordening en de Algemene wet bestuursrecht) die voor het gebruik van algoritmen door de overheid gelden. 27
De richtlijnen welke algoritmen gepubliceerd moeten worden staan nader gespecificeerd in de Handreiking algoritmeregister
pagina 48/77
Januari 2025
Algoritmen en AI in Enschede
5. Blijf leren. Het kennisgebied over een verantwoorde inzet van algoritmen en AI door de overheid is nog volop in ontwikkeling. Er wordt op verschillende plekken binnen de overheid momenteel beproefd wat wel en niet goed werkt. Daarnaast gaan de ontwikkelingen in de (AI)-technologie razendsnel wat vraagt om een adaptieve en flexibele aanpak. Het is daarom cruciaal dat de gemeente zich blijft inzetten voor een lerende aanpak, het ontwikkelen van een gemeenschappelijke taal binnen de organisatie en het samenbrengen van verschillende expertises, afdelingen en domeinen om dit mogelijk te maken. Dit reikt verder dan alleen de CIOoffice. Leer ook van anderen, bijvoorbeeld door je aan te sluiten bij landelijke initiatieven en communities van het ministerie van BZK en van de VNG.
pagina 49/77
Januari 2025
Algoritmen en AI in Enschede
Bijlage A
Geraadpleegde documentatie
Documentatie van de gemeente Enschede Documentnaam
Jaar
Richtlijnen: gebruik van generatieve AI
2024
Nota Waardengedreven Digitalisering: ethische visie op het gebruik van data en technologie
2023
Memo algoritmeregister en (concept) algoritmeregister
2023
Richtlijnen voor gebruik ChatGPT
2023
Datastrategie
2018
Koersdocument data-organisatie gemeente Enschede
2022
Strategisch informatiebeveiligings- en privacybeleid (2022-2025)
2022
Beleid en procedure voor het uitvoeren van DPIA’s
2023
Procedure voor het actueel houden van het verwerkingsregister
2023
Inkoopvoorwaarden GIBIT 2023
2023
Informatiebeleid gemeente Enschede
2007
Kaders voor het werken in de cloud
2016
Reflecties van de ethische commissie
20212023
Externe documentatie Documentnaam
Auteur / organisatie
Jaar
Algoritmekader (Bètaversie)
Ministerie van BZK
2024
Quickscan AI in publieke dienstverlening III
TNO
2024
Kleur bekennen - vervolgonderzoek naar algoritmes
Rekenkamer Rotterdam
2024
Rapportage AI- en algoritmerisico’s Nederland
Autoriteit Persoonsgegevens, Directie coördinatie algoritmes
2024
Toetsingskader algoritmes
Algemene Rekenkamer
2023
Onderzoekskader algoritmes
Auditdienst Rijk
2023
Implementatiekader ‘Verantwoorde inzet van algoritmen’
Ministerie van BZK
2023
Algoritmen - Hoe Amsterdam algoritmen beter kan toepassen
Rekenkamer Amsterdam
2023
Handreiking algoritmen en AI
VNG, Informatiebeveiligingsdienst
2023
Handreiking algoritmeregister
Ministerie van BZK
2023
The AI ethics maturity model: a holistic approach to advancing ethical data science in organizations
Joris Krijger et al.
2022
pagina 50/77
Januari 2025
Algoritmen en AI in Enschede
Gekleurde technologie - verkenning ethisch gebruik algoritmes
Bijlage B
Rekenkamer Rotterdam
2021
Geraadpleegde functionarissen
Rol of functie
Afdeling
Aandachtsfunctionarissen
IT-bedrijf
Adviseur privacy en informatiebeveiliging
CIO-office
Afdelingsmanager
Handhaven Openbare Ruimte
Bedrijfsvoeringadviseur en data-analist
Omgeving en Recht
Business information manager
Fysiek domein
Business information manager
Werk & Inkomen
Business intelligence consultant
IT-bedrijf
Chief data officer (CDO)
CIO-office
Chief information officer (CIO)
CIO-office
Chief information security officer (CISO)
CIO-office
CIO-adviseur en certified AI compliance officer
CIO-office
Operationeel expert
Handhaven Openbare Ruimte
Senior adviseur informatiemanagement
IT-bedrijf
Senior adviseurs
CIO-office
Senior strategisch adviseur
Concernstaf & Ethische Commissie
Wethouder
College van B&W
pagina 51/77
Januari 2025
Algoritmen en AI in Enschede
Bijlage C
Casusbeschrijvingen
In het kader van dit onderzoek zijn drie concrete toepassingen van algoritmen bestudeerd in de vorm van casusonderzoek. Hieronder is een samenvatting opgenomen van de drie onderzochte casussen.
Casus 1: Vroegsignalering schulden De casus gaat over hoe de gemeente Enschede omgaat met vroegsignalering van schulden. Dit proces heeft betrekking op het helpen van mensen voordat hun schulden te groot worden. Sinds 1 januari 2021 is dit een wettelijke taak voor gemeenten, op basis van de Wet gemeentelijke schuldhulpverlening (Wgs). Bedrijven zoals verhuurders, drinkwaterbedrijven, energieleveranciers en zorgverzekeraars moeten de gemeente waarschuwen als hun klanten hun rekeningen niet betalen. Ze hoeven hiervoor geen toestemming te vragen aan de klant. De gemeente krijgt dus signalen van deze bedrijven en benadert vervolgens de bewoners met betaalachterstanden om hulp aan te bieden. In Enschede sturen ze eerst een brief naar mensen met schulden. Maar omdat mensen met schulden vaak hun brieven niet openen, doen ze ook huisbezoeken of bellen ze op. De reacties van mensen zijn heel verschillend. Sommigen schamen zich voor hun schulden en reageren afwijzend, terwijl anderen verontwaardigd zijn en zich afvragen hoe de gemeente aan hun gegevens komt. Maar er zijn ook mensen die de hulp waarderen. De gemeente biedt verschillende vormen van hulp aan. Ze geven financieel advies, helpen met betalingsregelingen en verwijzen mensen door naar de Stadsbank voor budgetbeheer als de schulden te hoog zijn.
Om te bepalen wie de gemeente als eerste gaat helpen, gebruikt de gemeente algoritmen. Dit zijn regels die bepalen hoe ze met de signalen omgaan. Bijvoorbeeld, ze controleren of de persoon nog op het gemelde adres woont (BRP-controle). Dubbele meldingen krijgen prioriteit, omdat deze wijzen op urgentere financiële problemen. Crisissignalen, zoals afsluiting van gas, water of licht, worden met hoge prioriteit opgepakt. Hoge betalingsachterstanden boven de 5000 euro worden telefonisch afgehandeld. Alle overige signalen worden per brief afgehandeld. De regels voor deze algoritmen worden regelmatig geëvalueerd en moeten soms langs het college van B&W of de gemeenteraad voor goedkeuring. Er wordt momenteel gesproken over nieuwe regels en een betere onderbouwing daarvan op basis van kwantitatieve data. Enschede vertrouwt op data van signaalpartners en voert gesprekken met de leverancier over de gebruikte algoritmen. De gemeente is afhankelijk van de leverancier voor de goede uitvoering van de vroegsignalering-processen. Er zijn verschillende waarborgen en maatregelen getroffen om ervoor te zorgen dat het systeem, de data en de algoritmen op een juiste manier werken. Er is echter geen actieve risicobeheersing, zoals een DPIA of IAMA. Samengevat, de gemeente Enschede heeft een uitgebreide aanpak voor vroegsignalering van schulden.
Ze werken met betrouwbare data en leveranciers om ervoor te zorgen dat de signalering en hulpverlening effectief en respectvol verloopt. Ze gebruiken algoritmen om te bepalen wie ze als eerste helpen en bieden verschillende vormen van hulp aan, zoals financieel advies, betalingsregelingen en doorverwijzing naar de Stadsbank.
Casus 2: Gebiedsgerichte handhaving Binnen de afdeling Handhaven Openbare Ruimte zijn 28 BOA’s actief in drie verschillende wijkteams. Als er signalen zijn over overlast, worden die in een digitaal systeem (CityControl) opgenomen. De pagina 52/77
Januari 2025
Algoritmen en AI in Enschede
BOA’s pakken vervolgens die meldingen op. In de applicatie CityControl worden de meldingen en de opvolging daarvan geregistreerd. In dit systeem kunnen de BOA’s ook zelf meldingen registreren. Het idee is nu dat de beschikbare informatie uit het systeem benut gaat worden bij gebiedsgericht handhaven. Dat betekent dat er gericht gestuurd gaat worden op meldingen. De gemeente Enschede gaat daarvoor samen met de leverancier een eigen dashboard ontwikkelen en dat ook beheren. Het dashboard is bedoeld om patronen in overlast te herkennen en proactief te kunnen handhaven. Bovendien moet het mogelijk worden dat medewerkers van andere gemeentelijke afdelingen en medewerkers van de politie meldingen kunnen doen. Er is al gewerkt aan de ontwikkeling van een prototype. De privacy-officer is daar ook bij betrokken geweest en heeft geadviseerd over het ontsluiten en het beheer van de data. Het prototype is tijdens een pilot beproefd. Het einddoel van de pilot met gebiedsgerichte handhaving is dat er een dashboard is dat inzicht geeft in de hotspots binnen Enschede, de plek waar deze zich voordoen en de momenten waarop die spelen. Dat biedt inzicht en overzicht en draagt bij aan gerichte reacties. Belangrijk is dan wel dat er gewerkt wordt met data die een goede basis hebben in de praktijk en die geverifieerd zijn. De pilot is nu feitelijk afgerond.
Binnenkort kan begonnen worden met de bouw van het dashboard. Als gezegd maakt het dashboard gebruik van de bestaande applicatie CityControl die afgenomen wordt van een externe leverancier. De externe aanbieder is via een aanbesteding geselecteerd. De gemeente doet al lang zaken met deze aanbieder. In de aanbesteding is gevraagd naar garanties, zoals een BIO-verklaring. Er worden ook pentesten gedaan. De leverancier doet ook zaken met de politie en heeft daarom al veel waarborgen en garanties. De gemeente zorgt zelf voor de data en informatie die ingebracht worden in de applicatie. Daarvan is goed bekeken of die informatie van voldoende kwaliteit is en of die gebruikt mag worden. Op basis daarvan worden de overzichten gemaakt. De inrichting is echt in de beginfase, de eerste rekenregels, bewerkingen en algoritmen worden nu bepaald. Daarbij gebeurt er nu dus nog niets standaard of automatisch. In eerste instantie gaat het om simpele bewerkingen, zoals optellingen van meldingen en de weergave daarvan per gebied. De eerste rekenregels, bewerkingen en algoritmen zijn ontstaan op basis van gesprekken met medewerkers van de afdeling. In een volgende fase zal worden bekeken of en hoe data van andere ketenpartners kan worden ingebracht. Momenteel is de ambitie dat louter overzichten worden gemaakt.
In een volgende fase zal worden getoetst of er ook patronen kunnen worden herkend, op basis waarvan proactief gehandeld kan worden. Op dit moment zijn eventuele risico’s bij het inrichten en benutten van het dashboard nog niet structureel geïnventariseerd. Die moeten in de praktijk nog blijken. Vanuit privacy is gekeken naar de omvang van de data en het gebied waar ze betrekking op hebben. Daarbij is vooral bekeken of de data op een dusdanige schaalgrootte zitten dat ze niet herleidbaar zijn tot personen. De pilot, die deel uitmaakt van het programma datagedreven werken in fysiek domein, is daarnaast geëvalueerd. Er zal nog een DPIA plaatsvinden op het moment dat het dashboard actief wordt. Dan zal ook de functionaris gegevensbescherming meekijken en mede beoordelen. De wethouder is bekend met de pilot en de ambitie om het dashboard te ontwikkelen. De raad in Enschede heeft geregeld belangstelling voor een goede handhaving in de stad. Om die reden komt er pagina 53/77
Januari 2025
Algoritmen en AI in Enschede
ook een rapportagetool, zodat de raad kan worden verteld wat er is gebeurd en er verantwoording kan worden afgelegd.
Casus 3: Anonimiseringssoftware Datamask is een generieke tool voor alle medewerkers die documenten wil anonimiseren. Dat kan betrekking hebben op Wet Open Overheid (Woo)-verzoeken of de publicatie van vergunningen. Alle medewerkers binnen Enschede hebben toegang tot Datamask. De tool kan standalone worden ingezet. Er is ook een versie die gekoppeld is aan het Document Management Systeem (DMS) van Enschede, waar documenten geanonimiseerd kunnen worden en weer opgeslagen in het DMS. Datamask herkent op basis van algoritmen bepaalde patronen (zoals naam, burgerservicenummer, bankrekeningnummer) waarbij de software voorstelt om deze informatie weg te lakken. De betrokken medewerker moet het voorstel beoordelen, c.q. accepteren of weigeren. Daarnaast kan medeweker ook andere zaken in het document weglakken. Binnen de tool zijn al bepaalde patronen gedefinieerd, zoals BSN of namen. Medewerkers kunnen handmatig een black en white-list toevoegen, zoals bijvoorbeeld de namen van bestuurders, c.q. de personen die ondertekenen. De tool is normaal gesproken zo getraind om deze namen weg te lakken, maar dat hoeft juist niet. Het eigenaarschap van Datamask berust bij de CIO-office, de verantwoordelijkheid voor de toepassing zit bij de afdeling. Op zich is dat geen nieuwe verantwoordelijkheid. Voorheen was elke afdeling ook al verantwoordelijk voor de te publiceren documenten.
In die zin is Datamask louter ondersteunend en versnellend in het werk. Er zijn verschillende controles en waarborgen voor dit proces ingesteld. Op het publiceren van documenten, en daarmee ook op de toepassing van Datamask, worden audits uitgevoerd, dat is niet veranderd. Daarnaast wordt de applicatie nooit autonoom ingezet, er is altijd menselijke controle over de voorgestelde weggelakte delen. Bij AVG- en Woo-verzoeken kijken de AVG- en Woo-coördinator ook nog altijd naar het resultaat, dus in zekere zin is er dan sprake van een dubbele menselijke controle. De medewerkers worden tot slot getraind in het gebruik van Datamask. Er zijn sessies op afdelingen gegeven waarin ook uitleg over de applicatie is gegeven. Er staan instructies in het leerportaal en er zijn handleidingen beschikbaar. De gemeente is blij met deze software omdat de tool zorgvuldiger werkt dan mensen die handwerk verrichten. Daarnaast is het ook efficiënter. De kennis over welke algoritmen er binnen de software actief zijn, welke keuzen daarbij zijn gemaakt, berust bij de leverancier. Of dat helemaal klopt, dat kan Enschede niet doorzien. Bovendien, een leverancier vertelt niet hoe het precies werkt, alleen hoe ze werken. Alleen via de black en white-list heeft een gebruiker invloed op de werking.
Tijdens de aanbestedingsprocedure heeft de leverancier ook toegelicht hoe processen zijn ingericht, In dat verband zijn er waarborgen gegeven over de opslag van gegevens, encryptie, toegang tot de omgeving van Datamask, beveiliging tot die omgeving. Verder benadrukt de leverancier dat de tool is gecertificeerd, en dat er in dat verband geregeld audits plaatsvinden Tijdens de invoering heeft Datamask op de zogenaamde bewakingslijst gestaan, hetgeen standaardroutine is bij nieuwe applicaties. Dit betekent dat de tool meer consciëntieus wordt pagina 54/77
Januari 2025
Algoritmen en AI in Enschede
gemonitord. Voorafgaand aan het officiële gebruik is er een DPIA uitgevoerd, waarbij alle risico’s zijn geïnventariseerd. Voorafgaand aan de gemeentebrede introductie van Datamask is een pilot geëvalueerd. Een gemeentebrede evaluatie zal binnen een jaar plaatsvinden. Momenteel wordt aan de gebruikers gevraagd om ervaringen te melden, en in het bijzonder of er risico’s worden ervaren. Mochten er risico’s worden gesignaleerd, dan wordt ook om een toelichting gevraagd door de applicatie-eigenaar, de CIO. Deze ervaringen worden meegenomen in de evaluatie.
pagina 55/77
Januari 2025
Algoritmen en AI in Enschede
Bijlage D
Gesproken experts
Organisatie
Rol / functie
Directie coördinatie algoritmes bij de Autoriteit Persoonsgegevens
Senior coördinator en senior inspecteur
Adviescollege ICT-toetsing
Onderzoeker
Erasmus Universiteit
Promovendus AI en ethiek
Ministerie van BZK, team Data, AI en algoritmes
Beleidsmedewerker
Gemeente Eindhoven
Onderzoeker
Avans Hogeschool
Lector digitalisering (tevens verbonden aan de ethische commissie van de gemeente Eindhoven)
Vereniging Nederlandse Gemeenten
Beleidsadviseur algoritmen en digitale grondrechten
Algemene Rekenkamer
Onderzoekers digitalisering
Rekenkamer Rotterdam
Onderzoeker
Rekenkamer Amsterdam
Onderzoeker
pagina 56/77
Januari 2025
Algoritmen en AI in Enschede
Bijlage E
Overzicht geïnventariseerde algoritmen
De geïnventariseerde algoritmen zijn gestructureerd beschreven aan de hand van de volgende kenmerken: Naam: de naam van het algoritme Domein: het domein waarbinnen het algoritme wordt gebruikt Status: of het algoritme actief in gebruik is of niet meer wordt gebruikt Doel: samenvatting van het doel waarvoor het algoritme wordt ingezet Beschrijving: beschrijving van het proces, de dienst, toepassing, applicatie of het systeem waarbinnen het algoritme wordt gebruikt Werking algoritme: hierbij worden drie functies onderscheiden: o Informerend: Het algoritme geeft informatie over een proces. De gebruiker kan deze informatie gebruiken om een beslissing te nemen. o Adviserend: Het algoritme beveelt een of meerdere acties aan, bijvoorbeeld op basis van specifieke kenmerken of keuzes die gemaakt worden. o Beslissend: het algoritme neemt besluiten zonder verdere menselijke tussenkomst. Het algoritme opereert autonoom. Maatschappelijke impact en risico-inschatting: de impact van de toepassing van het algoritme voor burgers en bedrijven. We hebben ervoor gekozen om deze impact af te leiden van de volgende risicocategorieën: (1) hoog risico, (2) beperkt risico en (3) laag risico. Over het algemeen geldt dat hoe hoger het risico van het gebruik van het algoritme, hoe hoger de maatschappelijke impact. De gekozen risicoinschatting berust op een eigen oordeel van de gemeente.
Het gaat hier dus om een vorm van self-assessment. Afweging voor gebruik: of het gebruik van het algoritme een eigen keuze van de gemeente is of voortvloeit uit een wettelijke, landelijke verplichting. Op de volgende pagina’s worden in totaal 70 algoritmen op basis van deze kenmerken gestructureerd beschreven. Alle gegevens uit de inventarisatie zijn door de gemeente zelf aangeleverd. Deze gegevens zijn door de onderzoekers op logica en consistentie gecontroleerd, maar zijn uiteindelijk een vorm van self-assessment door de gemeente.
pagina 57/77
Januari 2025
PBLQ – Algoritmen en AI in Enschede
Nr.
Domein
Naam
Status
Doel
Beschrijving
Werking
RisicoAfweging voor inschatting gebruik
1
Fysiek
Berkeley Bridge Modeler
In gebruik
Toepasbare regels Omgevingswet
Voor Toepasbare Regels (de vertaling van juridische regels naar begrijpelijke vragenbomen in het digitale Omgevingsloket)
Informerend
Laag
Inzet op basis van keuze gemeente
2
Fysiek
C.A.R.S.
In gebruik
Beheertool voor technische installaties
Beperkt
Inzet op basis van keuze gemeente
3
Fysiek
Capacito
In gebruik
Rekentool voor het berekenen van verkeersafwikkeling
Laag
Inzet op basis van keuze gemeente
4
Fysiek
Centric Leefomgeving
In gebruik
VTH-functionaliteit
Platform en beheerportaal dat wordt gebruikt Beslissend om inzicht te krijgen in de werking van technische installaties op basis van beschikbare data. Buiten analysemogelijkheden biedt het platform ook de mogelijkheid voor besturing op afstand. Bevat 5 modules die gebruikt kunnen worden Informerend voor verschillende vormen van capaciteit/wachttijd berekeningen. Deze worden gebruikt om te bepalen of er voldoende verkeersafwikkeling is Het zaaksysteem voor vergunning, toezicht en Informerend handhaving processen. Ook BIBOB-processen worden in het systeem afgehandeld. Er zit een functionaliteit in voor Legesberekening, dit is het enige algoritme wat erin gebruikt wordt
Laag
Wettelijke verplichting
pagina 58/77
Januari 2025
PBLQ – Algoritmen en AI in Enschede
Nr.
Domein
Naam
Status
Doel
Beschrijving
Werking
5
Fysiek
Chepp
In gebruik
App gebruikt door handhaving ter ondersteuning.
App gebruikt door de medewerkers van handhaving ter ondersteuning van inspecties & controles. Chepp heeft functionaliteiten voor ARBO, sport & evenementen en de bouw. Handhaving heeft impact op inwoners en bedrijven, de app ondersteunt in dit proces. Het geeft bv een overzicht van relevante informatie bij een controle, genereert rapportages o.b.v. ingevulde gegevens, je kan deadlines stellen voor acties, acties doorzetten, etc. In de kern is het een informerende applicatie met een ander adviserende factoren bijvoorbeeld op het gebied van risicofactoren.
Informerend
6
Fysiek
CityControl
In gebruik
Digitale platform voor de parkeer, camera en de brede handhaving
Modules in gebruik: CityAccess (bestuurlijke boete), BikeControl, Informatie gestuurd handhaven, en toegang stadserf via camera's.
7
Fysiek
CityControl | CityAccess
In gebruik
Controle en handhaving via cameratoezicht
CityAccess wordt voornamelijk gebruikt voor toegang tot de binnenstad. Gewhiteliste nummerborden hebben toegang, wanneer een niet gewhitelist nummerbord de stad in rijdt wordt er automatisch een digitaal dossier gegenereerd. Voor het uitsturen van boetes is spraken van menselijke tussenkomst
Adviserend
Laag
Inzet op basis van keuze gemeente
8
Fysiek
CityControl | BikeControl
In gebruik
Controle en handhaving verkeerd gestalde fietsen
Laag
Inzet op basis van keuze gemeente
9
Fysiek
CityControl | Handhaven
In gebruik
Bestuursrechtelijke controles
BikeControl wordt gebruikt ter ondersteuning Informerend van handhavers bij het registreren en labelen van verkeerd gestalde fietsen op basis van de geldende APV. Genereert automatisch rapporten op basis van ingevulde informatie. Ondersteunt bij de uitvoer van Informerend bestuursrechtelijke controles op het gebied van Recreatievoertuigen, voertuigwrakken en zwerfafval. Handhaver dient zelf een controle uit te voeren, gegevens te verzamelen en te registreren. Vervolgens kan de app bestuursrechtelijke documentatie automatisch genereren.
Laag
Inzet op basis van keuze gemeente
pagina 59/77
Januari 2025
PBLQ – Algoritmen en AI in Enschede
RisicoAfweging voor inschatting gebruik Laag Wettelijke verplichting
Nr.
Domein
Naam
Status
Doel
Beschrijving
10
Fysiek
CityControl | informatie gestuurd handhaven
In gebruik
Handhaving op basis van data
Staat de gemeente toe om aandachtsgebieden Adviserend aan te wijzen met een hoge mate van overlast om hier gerichter te handhaven. Daarnaast worden alle overtredingen/overlast gevende situaties centraal geregistreerd, de app maakt dan een 'hotspot' kaart o.b.v. deze informatie. In de applicatie CityControl worden de meldingen en de opvolging daarvan geregistreerd. Dat is in essentie het zaaksysteem van de afdeling. In dit systeem kunnen de Boa's ook zelf meldingen registreren. Ook de controle op de naleving van de alcoholwet en het toezicht op de coffeeshops ligt bij de Boa's en wordt geregistreerd in CityControl. Het idee is nu dat de beschikbare informatie wordt benut bij gebiedsgericht handhaven. Dat betekent dat er gericht gestuurd gaat worden op meldingen. Het einddoel van de pilot met gebiedsgerichte handhaving is dat er een dashboard is dat inzicht geeft in de hotspots binnen Enschede, de plek waar ze zich voordoen en de momenten waarop die spelen. Dat biedt inzicht en overzicht en draagt bij aan gerichte reacties. Belangrijk is dan wel dat er gewerkt wordt met data die een goede basis hebben in de praktijk en die geverifieerd zijn. Het doel om dit te doen is het veiliger maken van de stad.
pagina 60/77
Januari 2025
PBLQ – Algoritmen en AI in Enschede
Werking
RisicoAfweging voor inschatting gebruik Hoog Inzet op basis van keuze gemeente
Nr.
Domein
Naam
Status
Doel
Beschrijving
11
Fysiek
CityPermit
In gebruik
Centraal platform voor beheer en uitgifte van vergunningen
Online parkeervergunningen systeem waarmee Beslissend burgers en bedrijven automatisch hun parkeerzaken kunnen regelen. Kan daarnaast gebruikt worden om contactmomenten met de aanvrager vast te leggen, financiële afhandeling van uitgegeven vergunningen en het samenstellen van rapportages
12
Fysiek
GeoMilieu
In gebruik
Rekentool voor GeoMileu
Software voor het presenteren, berekenen, Informerend beoordelen en maken van voorspellingen op het gebied van omgevingslawaai, luchtkwaliteit en geur.
Laag
Inzet op basis van keuze gemeente
13
Fysiek
IBIS voor Infra
In gebruik
Rekentool voor bouwprojecten
Rekentool die gebruikt wordt voor het maken van berekeningen van bouwkosten
Informerend
Laag
Inzet op basis van keuze gemeente
14
Fysiek
Kikker
In gebruik
Mapping tool die gebruikt wordt voor opstellen van rapportages
Software met meerdere functionaliteiten maar wordt voornamelijk gebruikt voor rioleringsbeheer, groenbeheer en wegbeheer.
Informerend
Laag
Inzet op basis van keuze gemeente
15
Fysiek
OmniTRANS
In gebruik
Modelleren van verkeer- en vervoerstromen
Software voor het modelleren van verkeersstromen, wordt gebruikt in besluitvorming voor vervoervraagstukken
Informerend
Laag
Inzet op basis van keuze gemeente
pagina 61/77
Januari 2025
PBLQ – Algoritmen en AI in Enschede
Werking
RisicoAfweging voor inschatting gebruik Beperkt Wettelijke verplichting
Nr.
Domein
Naam
Status
Doel
Beschrijving
Werking
16
Fysiek
Pipe Flow Expert
In gebruik
Rekentool
Rekentool die gebruikt wordt voor het uitvoeren van verschillende berekeningen rondom de buizen die onder Enschede liggen. Applicatie is internationaal zeer bekend en wordt gebruikt door een breed scala aan internationale bedrijven.
Informerend
17
Fysiek
Roosterplanning
In gebruik
App voor roosterplanning
Roosterplanning wordt geleverd door Csequential, maar is een partnerproduct van VIsma|Raet. Daarmee is het beschikbaar als tegel in Youforce en maakt het gebruik van de koppelvlakken die Visma|Raet realiseert. Roosterplanning heeft een eigen database en kent daarmee zelfstandige gegevensuitwisseling. App wordt gebruikt door handhavers openbare ruimte (Boa's). Applicatie maakt (o.a.) zelfroosteren en koppeling ORT mogelijk.
Informerend
pagina 62/77
Januari 2025
PBLQ – Algoritmen en AI in Enschede
RisicoAfweging voor inschatting gebruik Laag Inzet op basis van keuze gemeente
Laag
Inzet op basis van keuze gemeente
Nr.
Domein
Naam
Status
Doel
Beschrijving
Werking
18
Fysiek
Schijfwerking KIP
In gebruik
Berekenen van dakplaten als kipsteun
Informerend
19
Fysiek
Signalen
In gebruik
Ontvangen en afhandelen meldingen openbare ruimte
Wordt gebruikt om berekeningen door bouwmaatschappij te controleren. Dit moet in dezelfde applicatie als waarin de bouwmaatschappij aanlevert. Weinig bouwmaatschappij gebruiken deze applicatie, waardoor de applicatie soms jaren niet wordt gebruikt, maar wel noodzakelijk blijft. "smart' omgang met meldingen openbare ruimte. Het 'smart' aspect heeft betrekking op het automatisch categoriseren van meldingen. Dit automatisch categoriseren wordt verbeterd op basis van machine learning. Meldingen die gecategoriseerd kunnen worden gaan automatisch door naar de behandelaar. Wanner zij niet gecategoriseerd kunnen worden komen zij in een 'overig' bak terecht waarbij een medewerker deze handmatig doorzet.
Beslissend
Beperkt
Wettelijke verplichting
20
Fysiek
Slim Melden
Niet meer in gebruik
MOR app
Betreft MOR: meldingen openbare ruimte Is niet langer in gebruik
Adviserend
Beperkt
Inzet op basis van keuze gemeente
21
Fysiek
Tercera-GO!
In gebruik
Plan software (Ruimtelijke Ordening)
Omgevingsdocumenten (voorheen Tecera-go) helpt bij het creëren, controleren, publiceren en bewaren van omgevingsdocumenten (zoals omgevingsplannen) door onder andere: -Begrippen en werkingsgebieden te koppelen aan je bibliotheek -Documenten en wijzigingsbesluiten (inclusief toepasbare regels) inhoudelijk te controleren en technisch valideren -Besluiten bekend te maken, beschikbaar te stellen en aan te bieden aan het DSO -Besluiten eenvoudig te delen met anderen
Informerend
Laag
Inzet op basis van keuze gemeente
pagina 63/77
Januari 2025
PBLQ – Algoritmen en AI in Enschede
RisicoAfweging voor inschatting gebruik Laag Inzet op basis van keuze gemeente
Nr.
Domein
Naam
Status
Doel
Beschrijving
Werking
22
Fysiek
Vtel
In gebruik
Verwerking en analyse verkeerstellingen
Verwerking en analyse verkeerstellingen
Informerend
23
Fysiek
Woningtelling
Niet meer in gebruik
Rekentool
Informerend
Beperkt
Inzet op basis van keuze gemeente
24
Dienstverlening ArcGIS Desktop
In gebruik
het maken van kaarten op basis van actuele data
Informerend