Eindrapport Pblq

Er vinden initiatieven plaats om ervaringen op te doen en worden rollen en verantwoordelijkheden bij diverse functionarissen belegd. Het leeuwendeel van deze activiteiten wordt gecoördineerd door de CIO-office.

3.3

Risico’s, afwegingen en waarborgen

Medewerkers die nauw betrokken zijn bij het digitaliseringsbeleid van Enschede (dit betreft veelal medewerkers van de CIO-office) hebben sinds enige tijd ook nadrukkelijk aandacht voor de toepassing van algoritmen, de risico’s die daarmee gepaard gaan en de randvoorwaarden waarbinnen 16

17

In het onderzoek stond de kwaliteit van het digitaliseringsbeleid van Enschede niet centraal. Vandaar dat louter gesproken kan worden over ‘een indruk’. In december 2024 is de concretisering van het beleid met betrekking tot AI en algoritmen besproken en vastgesteld in de CIO-raad. De opbrengsten hiervan vielen echter buiten de scope van dit onderzoek.

pagina 20/77

Januari 2025

Algoritmen en AI in Enschede

dat plaats zou moeten vinden. Als startpunt voor die toegenomen aandacht wordt vaak verwezen naar het werk van de ethische commissie. Een andere belangrijke aanjager van een toegenomen bewustzijn is dit rekenkameronderzoek. Dit bewustzijn werd vooral gestimuleerd door de gehanteerde – brede - definitie van algoritmen in dit onderzoek. Zoals eerder geschetst heeft de uitvraag voor het algoritmeoverzicht onder meer plaatsgevonden via de aandachtsfunctionarissen en business information managers. Deze rollen hebben in reactie daarop aangegeven zich meer bewust te zijn geworden van de al omvangrijke aanwezigheid van algoritmen in het dagelijks werk van hun collega’s, en daarmee van de noodzaak om beleid te ontwikkelen voor een verantwoorde toepassing en inzet. Alle in het kader van het onderzoek gesproken medewerkers zijn er goed mee bekend dat toepassing van algoritmen niet zonder maatschappelijke risico’s is. Om die reden benadrukken zij allen er louter terughoudend en zorgvuldig mee om te willen gaan. In het geval van vroegsignalering van schulden is er bijvoorbeeld sprake van verschillende controles op de kwaliteit van de aangeleverde gegevens. Bij het eerste huisbezoek is het aan de inwoner om aan te geven of die openstaat voor de ondersteuning door de gemeente. Discriminerende algoritmes Een bekend risico van algoritmen is het gevaar op discriminatie.

De Directie Coördinatie Algoritmes van de Autoriteit Persoonsgegevens heeft meermaals gewaarschuwd voor discriminerende algoritmen. Met name bij algoritmen om fraude op te sporen bestaat een groot risico op discriminerende uitkomsten. Een voorbeeld hiervan is het gebruik van de frauderisicokaart waarmee risico’s op bijstandsfraude worden opgespoord. De fraudescorekaart is omschreven als een geautomatiseerd systeem dat bijstandsgerechtigden een score geeft op basis van persoonlijke kenmerken, zoals beroep, woonwijk en opleidingsniveau. De score moet aanduiden of bij deze mensen een hogere kans op fraude bestaat. De Autoriteit Persoonsgegevens heeft over het gebruik bij vijf gemeenten om opheldering gevraagd. Dergelijke algoritmen om fraude op te sporen zijn in Enschede niet aangetroffen. De medewerkers zien zeker ook voordelen aan de toepassing van algoritmen, zowel wat efficiency als effectiviteit betreft. In enkele casussen werd benadrukt dat het gebruik van algoritmen tot meer betrouwbare en volledige resultaten leidde dan wanneer die specifieke taak door mensen zou worden uitgevoerd. Dat geldt bijvoorbeeld voor het weglakken van persoonlijke gegevens in openbaar te maken documenten. Als waarborg dat geen misstanden zouden ontstaan, gaven de deelnemers aan de gesprekken aan dat zij menselijke betrokkenheid bij de controle van de opbrengsten van groot belang vonden.

Wederom in het geval van het anonimiseren van documenten worden de resultaten eerst nog door een medewerker gecontroleerd. De deelnemers aan de casusbesprekingen gaven aan niet te weten hoe het algoritme concreet in elkaar steekt. In verschillende casussen, zoals bij het anonimiseren van de documenten en de schuldhulpverlening, werd de ICT-tool waarbinnen de algoritme(n) een rol speelden afgenomen van een externe leverancier. De onbekendheid met de werking van het algoritme in kwestie kwam daarmee mede voort uit het feit dat het voor menigeen vrijwel onmogelijk is om de werking van een ICT-applicatie te doorgronden. Sommigen gaven aan daar bij een leverancier wel navraag naar te hebben gedaan, maar hebben ervaren dat de leverancier daar niet altijd open over wil of kan zijn. In pagina 21/77

Januari 2025

Algoritmen en AI in Enschede

het algemeen noemen leveranciers dat zij zich conformeren aan geldende regelgeving en standaarden. In het geval van de schuldhulpverlening ging het bijvoorbeeld om een door een leverancier - in overleg met de rijksoverheid, de VNG en de belangenorganisatie (Divosa) ontwikkelde applicatie, die regelmatig onderwerp was van audits. Bij de ontwikkeling waren verschillende testen en controles uitgevoerd, waarbij de applicatie ook was getoetst aan wet- en regelgeving. Als het gaat om de introductie en toepassing van nieuwe applicaties, waaronder applicaties die algoritmen bevatten, gelden binnen de organisatie de volgende procedures. De aandachtsfunctionaris en business information manager verkennen gezamenlijk de achtergrond van een verzoek om een nieuwe applicatie te introduceren. In die verkenning besteden zij niet alleen aandacht aan de meerwaarde van de applicatie, maar ook aan risico’s en randvoorwaarden. In dat verband worden ook de FG, privacy-officers, juristen en inkopers geraadpleegd. Als er sprake is van verwerking van persoonsgegevens wordt er in Enschede in de regel een DPIA uitgevoerd. Als er na de keuze om de applicatie in te zetten nog aarzelingen bestaan over de werking komt de applicatie op een zogenaamde bewakingslijst te staan. Dat betekent dat ook na de introductie de werking van de applicatie in de praktijk met meer aandacht wordt gevolgd.

Dit is bijvoorbeeld ook gebeurd met de anonimiseringssoftware om persoonsgegevens uit documenten te lakken.

3.3.1

Risico’s bij gebiedsgericht handhaven

Ook de voorbereidingen op het mogelijke gebruik van algoritmen om gebiedsgericht handhaven te ondersteunen kennen een intensieve voorbereiding. Bij gebiedsgericht handhaven wordt er op basis van eerdere incidenten en meldingen naar patronen en hotspots in de stad gezocht. Deze informatie wordt gebruikt als overweging bij de inzet van toekomstige handhavingscapaciteit. De gemeente werkt het gebiedsgericht handhaven prudent via een pilot uit. Hierbij worden verschillende expertises, rollen en personen bij betrokken. De aanpak die de gemeente volgt en de voorzorgsmaatregelen die de gemeente in acht neemt, lijken op het eerste oog deugdelijk. Toch liggen er in deze datagestuurde manier van werken ook serieuze risico’s besloten waar niet zomaar aan voorbij kan worden gegaan. Deze risico’s verdienen het om hier extra benoemd te worden als waarschuwing om onbedoelde effecten te voorkomen. Er worden drie risico’s in het bijzonder gezien: Als er meer gehandhaafd wordt op een plek in de stad vanwege eerdere meldingen, kan dit leiden tot een self-fulfilling prophecy. Dit betekent dat de gemeente, gesterkt door informatie uit het verleden, in een specifiek gebied waarschijnlijk nog meer overtredingen gaat constateren. Deze overtredingen worden nu extra opgemerkt, omdat er meer handhaving is om deze overtredingen te zien.

Maar dit maakt dit gebied niet per definitie onveiliger dan een ander gebied. Het laat alleen zien dat er meer handhaving is om mogelijke overtredingen op te merken. Zonder extra handhavingscapaciteit zouden deze overtredingen waarschijnlijk ongezien waren gepasseerd. Het vinden van extra overtredingen resulteert in meer registraties wat de indruk versterkt dat dit gebied problematisch is, zelfs als dat niet het geval is ten opzichte van andere gebieden waar minder intensief gehandhaafd wordt. Gebiedsgericht handhaven kan ook leiden tot het fenomeen van confirmation bias. Dit heeft betrekking op de neiging van mensen om informatie te zoeken of te interpreteren op een manier die hun bestaande overtuigingen bevestigt. Handhavers kunnen zich richten op gedrag dat hun vermoedens bevestigt terwijl ze andere relevante informatie over het hoofd zien omdat deze niet overeenkomt met hun eerdere vermoedens. Dit kan leiden tot eenzijdige en onjuiste conclusies over de vermeende onveiligheid van een bepaald gebied. pagina 22/77

Januari 2025

Algoritmen en AI in Enschede

Tot slot kan het experiment van gebiedsgericht handhaven worden geassocieerd met de risico’s van predictive policing. Dit verwijst naar het risico dat algoritmen en AI-systemen, die getraind zijn op historische gegevens, bestaande vooroordelen en ongelijkheden kunnen versterken. Als een algoritme bijvoorbeeld leert dat in een bepaald gebied in het verleden meer overtredingen zijn geregistreerd, en daardoor wordt gemarkeerd als hotspot, kan dit potentieel leiden tot disproportionele handhaving en mogelijk onrechtvaardige behandeling van de bewoners. Strikt gezien gaat deze casus niet om policing, maar handhaving van minder invasieve meldingen, zoals parkeercontroles en toezicht op de alcoholwet. Maar het risico dat erachter schuilgaat is gelijk. Predictive policing kan zonder passende waarborgen leiden tot rechtsongelijkheid. Deze opsomming maakt duidelijk dat experimenteren met gebiedsgericht handhaven niet zonder risico’s is. De gemeente doet er goed aan om zorgvuldig te werk te gaan en na te denken over de verzorgen waarborgen om deze risico’s te voorkomen. De aanpak via een pilot die nu wordt gevolgd, en het gesprek dat de onderzoekers met de betrokkenen hebben gevolgd, laten zien dat medewerkers van de gemeente n zich van deze risico’s bewust zijn.

3.3.2

Risicobeheersing bestaande algoritmen

Overigens hebben bovenstaande aandachtspunten en waarborgen vooral betrekking op de toepassing van nieuwe applicaties. Of en in welke mate algoritmen aanwezig zijn in bestaande applicaties en of dit tot bepaalde risico’s leidt, is nog grotendeels onbekend. Bij een gebrek aan inzicht is het onduidelijk welke consequenties het gebruik van de in die applicaties werkzame algoritmen hebben. Directbetrokkenen binnen de CIO-office zijn zich van deze lacune bewust, maar geven aan niet over de capaciteit te beschikken om voor alle applicaties op de aanwezigheid van algoritmen te toetsen en risicoanalyses uit te voeren. In de praktijk betekent dit dat risico’s van in gebruik zijnde algoritmen niet proactief worden geïnventariseerd. Dit betekent dat in de praktijk pas actie wordt ondernomen om een risico of probleem op te lossen wanneer het expliciet wordt gemeld door een gebruiker of medewerker. In de gesprekken wezen verschillende deelnemers erop dat niet alleen het gebruik van algoritmen risico’s met zich meebrengt. Er kunnen ook verantwoord ingerichte algoritmen zijn die vanwege een gebruik van onvolledige gegevens of gegevens van onvoldoende kwaliteit bijdragen aan twijfelachtige of ongewenste beslissingen.

Zo waren er in de beginfase van het gebruik van de applicatie voor schuldhulpverlening door een externe partij gegevens aangeleverd waarin bij bedragen een komma op een verkeerde positie was geplaatst. Op verzoek van het ministerie van Binnenlandse Zaken heeft Enschede in 2023 een casus beschikbaar gesteld waarop samen met de Universiteit Utrecht een Impact Assessment Mensenrechten en Algoritmes (IAMA) is uitgevoerd. Medewerkers van de gemeente Enschede zijn hierbij betrokken en hebben zo kennis kunnen maken met de methode. De casus betrof een tool waarmee bankafschriften automatisch ingelezen kunnen worden. De gemeente vraagt bankafschriften op als onderdeel van rechtmatigheidstoetsen bij het verstrekken van de bijstandsuitkering. De ervaringen van de betrokken medewerkers waren gemengd. Het uitvoeren van een IAMA kost weliswaar veel tijd, maar het multidisciplinaire gesprek dat wordt gevoerd is als positief ervaren. Zo zitten er mensen aan tafel van beleid en uitvoering, en worden daarnaast mensen betrokken vanuit privacy, informatiebeveiliging, juridische zaken en communicatie. Dit zorgt voor een zinvol gesprek omdat meerdere invalshoeken en belangen bij elkaar worden gebracht, hetgeen bijdraagt aan het kunnen maken van een brede ethische afweging. Het nadeel van IAMA is echter dat het veel tijd kost.

Daarnaast bestaat de vraag of de aandachtspunten volgend uit de IAMA niet ook aan het licht waren pagina 23/77

Januari 2025

Algoritmen en AI in Enschede

gekomen met behulp van andere toetsen, zoals een DPIA. Een DPIA is in Enschede onderdeel van het reguliere proces bij aanschaf van nieuwe applicaties. Een IAMA is tot dusver niet bij andere tools of applicaties uitgevoerd.

3.4

Besluitvorming

In het vorige hoofdstuk is al een beschrijving gegeven van het beleid en de daarin opgenomen verantwoordelijkheden bij de aanschaf en het gebruik van ICT-applicaties. Daar is vermeld dat binnen de gemeentelijke organisatie de inhoudelijke proceseigenaren (afdelingshoofden/directeuren) verantwoordelijk zijn voor een correcte inzet van digitale middelen en het gebruik van data. Dat betreft daarmee ook de correcte inzet van algoritmen. In hoofdstuk 2 is al genoemd dat niet alle proceseigenaren zich van deze verantwoordelijkheid bewust zijn of daarnaar handelen. Die indruk is bevestigd in de groepsgesprekken rond de verschillende casussen.

3.5

Transparantie

Enschede had in 2023 de ambitie om zelf een algoritmeregister in te richten en openbaar te maken. Met zo’n overzicht wordt de nodige transparantie over het gebruik en de werking van algoritmen gerealiseerd. Gezien het beschikbaar komen van een landelijk algoritmeregister is Enschede gestopt met het ontwikkelen en vullen van een eigen register. Op dat moment bevatte het gemeentelijke register zes algoritmen. Enschede heeft momenteel één algoritme laten registreren in het landelijke register in afwachting van de ontwikkeling van de publicatiestandaard (zie uitleg onder paragraaf 2.2). Zowel voor raadsleden als voor geïnteresseerde (en mogelijk belanghebbende) inwoners bestaat er daarmee feitelijk geen inzicht in de binnen de gemeentelijke organisatie in gebruik zijnde algoritmen. In het kader van dit rekenkameronderzoek zijn in nauwe samenwerking met de organisatie meer dan 70 algoritmen geïnventariseerd en kort beschreven. De desbetreffende bijlage (E) bij dit rapport is daarmee een wezenlijke verbetering voor het verschaffen van inzicht. Inzicht in de aanwezigheid en werking van algoritmen is van belang omdat algoritmen bijdragen aan het maken van keuzen, bijvoorbeeld over welke inwoners als eerste voor ondersteuning door de gemeente bij beginnende schulden in aanmerking komen.

Medewerkers van de gemeente die hebben deelgenomen aan de gesprekken die in het kader van dit rekenkameronderzoek zijn belegd, zijn zich ervan bewust dat dergelijke keuzen onvermijdelijk effecten met zich meebrengen; effecten die voor sommige inwoners gunstig, maar voor anderen ongunstig zijn. Immers, waar op basis van een algoritme sommige inwoners als eersten ondersteuning krijgen, krijgen anderen die als laatsten. De deelnemers benadrukken dat die effecten expliciet moeten worden gemaakt en bestuurlijk afgedekt moeten worden. Dat impliceert dat het college van B&W geïnformeerd moet worden over de werking en consequenties van het algoritme en daarmee expliciet instemmen. In complexe of politiekgevoelige afwegingen geldt dat ook voor de gemeenteraad. Overigens bleek in de gesprekken ook dat de deelnemers niet altijd wisten hoe de in de algoritmen aangebrachte criteria tot stand waren gekomen, in het bijzonder of hier een besluit van het college aan ten grondslag lag. Mede op basis van het gevoerde gesprek formuleerden de deelnemers het voornemen om hier alsnog aandacht aan te besteden.

3.6

De positie van de gemeenteraad

In de context van het rekenkameronderzoek heeft een gesprek met raadsleden plaatsgevonden. Het doel van deze bijeenkomst was om raadsleden over het onderzoek te informeren en om het gesprek te voeren over hun rolneming bij algoritmen. De uitnodiging voor de raadsbijeenkomst is aan alle pagina 24/77

Januari 2025

Algoritmen en AI in Enschede

fracties verstuurd. Uiteindelijk hebben vertegenwoordigers van vier fracties aan de raadsbijeenkomst deelgenomen. De deelnemers waren over het algemeen goed ingevoerd in de betekenis en werking van algoritmen en waren zich bewust van de risico’s. Deze kennis en bewustzijn kwamen voort uit een persoonlijke interesse in het onderwerp of zijn ontstaan omdat ze in hun professionele werk met algoritmen en/of AI te maken krijgen. In deze paragraaf wordt een samenvatting gegeven van het gesprek dat tijdens de raadsbijeenkomst is gevoerd en de opvattingen die de raadsleden daarin hebben geuit. Omdat niet alle fracties vertegenwoordigd waren kunnen deze opvattingen niet worden beschouwd als representatief voor de gemeenteraad. De gemeenteraad van Enschede wordt met enige regelmaat geïnformeerd over relevante ontwikkelingen met betrekking tot de inzet van ICT en digitalisering in het gemeentelijk beleid. De raad wordt ook in de positie gebracht om daar kaders voor aan te geven. Dit betreft echter het algemene ICT-beleid. Voor zover in dit onderzoek is gebleken is de raad louter in februari 2024 geïnformeerd over de toepassing van algoritmen in de organisatie, waarbij ook een koppeling is gemaakt met de ethische uitdagingen die daarmee verbonden zijn.

De raadsleden waarmee in het kader van dit onderzoek is gesproken, stelden vast dat tijdens beraadslagingen, in de raad of in een commissie, niet tot nauwelijks gesproken wordt over de rol van algoritmen. Op zich is dat geen bijzonderheid; algoritmen als technische beslisregels zijn nogal gedetailleerd en specifiek voor het algemeen bestuur om uitvoerig te behandelen. De rol van de gemeenteraad is niet gericht op het controleren of nalopen van de (technische) werking van algoritmen. De gemeenteraad heeft daarentegen wel een duidelijke rol in het bespreken van de keuzes en afwegingen die rond de inzet van algoritmen worden gemaakt. Het gaat dan om een inhoudelijk en politiek gesprek over de keuzes in de uitvoering en de prioriteiten die daarin worden gelegd. De deelnemers aan de bijeenkomst voor dit onderzoek benadrukten het belang om de raad goed in die positie te brengen, iets dat tot op heden naar hun mening weinig tot niet is gebeurd. Wél wordt de raad in Enschede betrokken bij brede digitaliseringskwesties. Zo heeft de functionaris gegevensbescherming een informatieve presentatie aan de raad gegeven. Daarnaast heeft er begin 2024 een flexavond plaatsgevonden over digitalisering. Tijdens deze bijeenkomst mochten raadsleden meepraten en hun prioriteiten aangeven. De raad wordt daarvoor in de positie gebracht om kaders voor aan te geven.

De uitwerking van de opbrengsten van die flexavond was voor de deelnemers aan het deze raadsbijeenkomst niet bekend. Er is tijdens de bijeenkomst met de raadsleden ook gesproken over de maatschappelijke meerwaarde van het gebruik van algoritmen door de gemeente. De aanwezigen stelden dat er op papier veel mogelijkheden zijn om met algoritmen en AI de publieke dienstverlening te verbeteren, maar dat dit wel doordacht en verstandig moet gebeuren. Het doel en middel moeten niet met elkaar worden verward; algoritmen en AI zijn geen doel op zich om als overheid te gaan gebruiken. Er moet van geval tot geval worden bekeken of de inzet van algoritmen of AI meerwaarde heeft of niet. Daarbij moet ook het alternatief worden afgewogen dat een ambtenaar een taak zelf uitvoert zonder algoritmen. Vergunningverlening is een thema waarbij de aanwezige raadsleden zich goed bij konden voorstellen dat algoritmen worden ingezet. Als een initiatiefnemer wil weten of een omgevingsvergunning noodzakelijk is, helpt het om de daarover geldende regels in een vragenboom te zetten zodat de gebruiker snel ziet wat er wel en niet is toegestaan. Algoritmen kunnen in dit geval helpen om feitelijke beleidsregels te automatiseren.

Bovendien maakt het de uitvoering over het algemeen minder foutgevoelig dan wanneer een persoon de beleidsregels zou toetsen, mits de beleidsregels op een goede manier in vragenbomen zijn omgezet, zo luidde de opvatting van de gesproken raadsleden. pagina 25/77

Januari 2025

Algoritmen en AI in Enschede

Er zijn echter ook gevallen waar de deelnemers aangaven waakzamer te zijn om algoritmen in te zetten. Als er bijvoorbeeld gevoelige persoonsgegevens moeten worden verwerkt, was de gedeelde opvatting dat de gemeente terughoudend zou moeten zijn met grootschalig gebruik van algoritmen. Dat betrof bijvoorbeeld de dienstverlening in het sociaal domein. De risico’s hier zijn vele malen groter, zo luidde de mening van de deelnemers. Zo’n risico-inschatting moet meespelen in de overweging om wel of geen algoritmen te gebruiken. De aanwezige raadsleden gaven daarnaast aan dat verschillende algoritmen niet over één kam mogen worden geschoren. De inzet moet van geval tot geval bekeken en afgewogen worden, waarbij geldt: ‘bezint eer ge begint’. De raadsleden achtten het behulpzaam om algoritmen te categoriseren, bijvoorbeeld naar toepassingsgebied, impact en (technische) werking. Daarnaast vonden raadsleden het nuttig om een (ethisch) afwegingskader te laten ontwerpen dat kan worden gebruikt bij de afweging om wel of geen algoritme in een specifieke situatie in te zetten. Het afwegingskader zou in de ogen van de deelnemers moeten bestaan uit een aantal vaste onderdelen.

Genoemd zijn onder meer: Doel: Wat is het doel waarmee de gemeente een algoritme inzet? Maatschappelijke doelstelling: Welke maatschappelijke- of beleidsdoelstelling worden met het algoritme nagestreefd? Type gegevens: Welke gegevens worden voor het algoritme gebruikt? Betreft dit ook (gevoelige) persoonsgegevens? Risico’s: Welke risico’s kent de inzet van het algoritme in deze situatie? Kosten: Welke kosten moeten voor de inzet van het algoritme worden gemaakt? En hoe duur is het alternatief om het op een andere manier zonder algoritme te doen? Een dergelijk ethisch afwegingskader zou kunnen bijdragen aan zowel de kaderstellende als controlerende verantwoordelijkheid van raadsleden bij algoritmen. De deelnemende raadsleden konden zich goed voorstellen dat het college van B&W, eventueel met hulp van expertise van buiten, het voortouw neemt bij de ontwikkeling van het afwegingskader. Tijdens de raadsbijeenkomst is ook aandacht gevraagd voor de kwaliteit van de data waarmee het algoritme werkt, zoals persoonsgegevens. Deze kwaliteit is mede bepalend voor de kwaliteit van de uitkomst die met een algoritme gegenereerd kan worden. Om te voorkomen dat een algoritme bijvoorbeeld (onbedoeld) discrimineert, is het cruciaal dat wordt toegezien op het soort gegevens waarmee het algoritme werkt, zo werd door raadsleden benadrukt.

Naast de afwegingen die aan de inzet van algoritmen ten grondslag zouden moeten liggen, zijn er door de deelnemers ook verschillende waarborgen genoemd die tijdens het gebruik steeds moeten gelden. Allereerst is gewezen op het belang van goed opgeleide medewerkers. De gemeente moet ervoor zorgen dat ambtenaren die met algoritmen of AI werken voldoende op de hoogte zijn en zich bewust zijn van de ethische aspecten en de risico’s. Als voorbeeld is tijdens de raadsbijeenkomst gewezen op de inzet van ChatGPT door ambtenaren. De gesproken raadsleden gaven aan dat ze duidelijk een meerwaarde in de inzet van dit soort tools zien. Maar de gebruikers dienen zich er tegelijkertijd van bewust te zijn dat hun gegevens en de input gebruikt kunnen worden voor training van het algoritme zelf, en daarmee door de desbetreffende ontwikkelaar. De gebruiker geeft het eigenaarschap van de pagina 26/77

Januari 2025

Algoritmen en AI in Enschede

data uit handen aan grote technologiebedrijven, waarvan lang niet altijd duidelijk is wat er met deze data gebeurt. Hier moet de gemeente voor oppassen, zeker als het gaat om mogelijk gevoelige bedrijfsgegevens. Het is belangrijk dat de gebruiker aan de voorkant de risico’s van AI-tools kent om deze verstandig te kunnen gebruiken. Training en opleiding zijn hiervoor in de ogen van raadsleden erg belangrijk Een tweede waarborg die tijdens de raadsbijeenkomst is benadrukt, is dat er altijd sprake moet zijn van menselijke tussenkomst bij de toepassing van algoritmen. Die tussenkomst is nodig om de uitkomsten van algoritmen op waarde te kunnen schatten. Het mag bijvoorbeeld niet zo zijn dat een burger terecht komt in situaties van ‘computer says no’. Dat betekent dat een gemeentelijke medewerker altijd vanuit diens specifieke expertise moet nagaan of het resultaat van de toepassing van een algoritme betrouwbaar is. De medewerker is en blijft in de ogen van de deelnemers altijd (eind)verantwoordelijk voor het proces of resultaat. Die verantwoordelijkheid mag niet worden afgeschoven op een systeem, computer of algoritmen; dit zijn hulpmiddelen zijn die het werk weliswaar kunnen versimpelen of efficiënter kunnen maken, maar in de ogen van raadsleden niet verantwoordelijk gehouden kunnen worden.

Daarnaast zou een inwoner altijd de mogelijkheid moeten hebben om zijn of haar vraagstuk door een ambtenaar te laten beoordelen bij een menselijk loket. Dit komt in aanvulling op de bestaande waarborgen van bezwaar en beroep. Ten derde hamerden de aanwezige raadsleden op het belang van transparantie bij de inzet van algoritmen. Daarmee wordt bedoeld dat de gemeente inzichtelijk moet kunnen maken hoe het algoritme werkt en welke data worden gebruikt. De gemeente kan aan transparantie werken door de gebruikte algoritmen te publiceren in het landelijk algoritmeregister, zo werd aangegeven. Bij niet alle typen algoritme lukt het om transparant te zijn; van vormen van artificiële intelligentie zoals deep learning is bekend dat het zeer lastig te herleiden is hoe de algoritmen werken en op welke manier ze tot een uitkomst komen. Dat botst op het uitgangspunt van transparantie, waardoor de aanwezige raadsleden aangaven terughoudend te willen zijn met ondoorzichtige AI. Het belang van terughoudendheid werd nog meer benadrukt als met de AI ook persoonsgegevens zouden worden gebruikt. Tot slot is het volgens raadsleden belangrijk om de toepassing van algoritmen begrijpelijk en overzichtelijk te houden.

Natuurlijk vereist het gebruik van algoritmen (en zeker) AI bijzondere technische- en programmeerkennis, maar deze mag volgens de deelnemers niet doorslaggevend zijn om een breed maatschappelijk gesprek te voeren. Niet iedereen in de gemeenteraad heeft de kennis en kunde rondom algoritmen. De reflex is daarom al snel om er niet over te willen praten omdat het te complex in elkaar zou steken. Volgens de gesproken raadsleden is dat een misvatting: als algoritmen worden besproken in relatie tot de maatschappelijke doelen die ermee worden nagestreefd, en welke keuzes daaronder liggen, zou het juist een geschikt en belangrijk gespreksonderwerp kunnen zijn.

pagina 27/77

Januari 2025

Algoritmen en AI in Enschede

4.

Zicht op de toekomst

4.1

Inleiding

Als laatste fase in de uitvoering van het onderzoek is aandacht besteed aan de vraag hoe Enschede zich voorbereidt op de komende jaren waarin het gebruik van algoritmen en AI naar verwachting gaat toenemen. Dit gebeurde ter beantwoording van de laatste drie onderzoeksvragen: Toekomstig gebruik van algoritmen in Enschede 10. Welke voorbereidingen treft Enschede voor een toekomstig gebruik van algoritmen en/of AI? 11. Hoe wordt de gemeenteraad in positie gebracht om zijn sturende, controlerende en volksvertegenwoordigende verantwoordelijkheid waar te maken? 12. Welke lessen zijn er te trekken uit ervaringen uit andere gemeenten en overheidsorganisaties en hoe zijn deze te vertalen naar Enschede? Vanzelfsprekend is ook hierover gesproken met functionarissen van de gemeente die betrokken zijn bij het beleid over algoritmen. De onderzoekers hebben bovendien kennisgenomen van algemene ontwikkelingen en opvattingen met betrekking tot de toepassing van algoritmen binnen de overheid. Om die inzichten te verdiepen is ook van gedachten gewisseld met medewerkers van de volgende instanties: De Algemene Rekenkamer was in zeker opzicht trendsetter met het publiceren van een eerste versie voor een toetsingskader ten behoeve van algoritmen in 2021. De Algemene Rekenkamer voert op basis van haar wettelijke taken audits uit bij onderdelen van de rijksoverheid.

Dit toetsingskader is bedoeld om structuur aan te brengen in het toetsen van de toepassing van algoritmen. Deze eerste versie was mede gebaseerd op een verkennend onderzoek naar de toepassing van algoritmen binnen de rijksoverheid. Het toetsingskader is in 2023 herzien. In het kader wordt aandacht besteed aan verschillende perspectieven: sturing op en verantwoording van algoritmen, het IT-beheer, privacyaspecten, de werking van de algoritmen zelf (aangeduid als ‘model en data’) en ethiek. Met gebruikmaking van dit kader worden in de jaarlijkse verantwoordingsonderzoeken drie algoritmen onderzocht. Dit gebeurt echter alleen bij onderdelen van de rijksoverheid; de Algemene Rekenkamer is geen toezichthouder bij decentrale overheden. Het ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) heeft in juni 2023 het implementatiekader ‘Verantwoorde inzet van algoritmen’ gepubliceerd. Eén van de initiatieven die het ministerie van BZK ook heeft ontwikkeld is een landelijk register waarvoor alle overheden worden uitgenodigd om hun algoritmen aan te melden. Het publiceren van algoritmen in het algoritmeregister is momenteel nog niet verplicht, maar er wordt wel aan wetgeving gewerkt die samenhangt met de Europese AI-Verordening. Momenteel (peildatum november 2024) bevat het algoritmeregister 561 algoritmen.

In 2023 werd de Autoriteit Persoonsgegevens aangewezen als coördinerend toezichthouder voor algoritmen en AI in Nederland18. Deze taak is ontstaan uit de groeiende behoefte aan transparantie en verantwoording bij het gebruik van algoritmen, vooral gezien de impact die deze kunnen hebben op fundamentele rechten en vrijheden van individuen. De Autoriteit Persoonsgegevens heeft hiervoor een aparte directie opgericht, de Directie Coördinatie

18

Deze rol staat naast de bestaande taak van de Autoriteit Persoonsgegevens als toezichthouder op de verwerking van persoonsgegevens, die voortvloeit uit de Algemene Verordening Gegevensbescherming (AVG). Als met algoritmen en/of AI persoonsgegevens worden verwerkt, vallen die dus onder de reikwijdte van de AVG.

pagina 28/77

Januari 2025

Algoritmen en AI in Enschede

Algoritmes. Deze directie richt zich op het identificeren en analyseren van overkoepelende risico’s van algoritmes en AI bij overheden, dus ook decentrale overheden. Twee keer per jaar publiceert de directie een rapportage waarin ze kennis en inzichten deelt over de ontwikkelingen en risico’s van algoritmen. Het Adviescollege ICT-toetsing is ingesteld voor de algehele verbetering van de beheersing van ICT-projecten en informatiesystemen binnen de (rijks-)overheid. Vanuit deze opdracht verdiepen verschillende medewerkers van dit college zich al langere tijd in het functioneren, de meerwaarde en de risico’s van algoritmen die binnen de rijksoverheid worden ingezet. De Vereniging van Nederlandse Gemeenten; vanuit de taak en functie van de VNG wil deze vereniging gemeenten adviseren over en ondersteunen bij een verantwoorde inzet van ICT, waaronder algoritmen en AI. Medewerkers van de VNG volgen en inventariseren deze ontwikkelingen en delen de opgedane inzichten met gemeenten. De VNG faciliteert een kennisplatform data en samenleving met daarbinnen een aparte community data & algoritmen. Naast medewerkers van deze instanties is gesproken met een persoon die zich op wetenschappelijke basis bezighoudt met de toepassing van algoritmen binnen de overheid. Daarnaast is gesproken met onderzoekers van zowel de Rekenkamer Rotterdam als van de Rekenkamer Amsterdam.

Deze rekenkamers hebben eerder onderzoek gedaan naar de toepassing van algoritmen binnen die gemeenten. Voorts is gesproken met een medewerker van de gemeente Eindhoven, een gemeente die door verschillende van onze gesprekspartners is genoemd als een als het gaat om algoritmen vooruitstrevende gemeente. In dat verband is ook gesproken met een contactpersoon van de ethische commissie van Eindhoven, die bovendien eerder betrokken is geweest bij een ander rekenkameronderzoek naar de toepassing van algoritmen. De volledige lijst met geraadpleegde experts staat onder Bijlage D.

4.2

Toekomst met algoritmen en AI

4.2.1

Over de algemene uitgangssituatie

Uit de met diverse experts gevoerde gesprekken komt om te beginnen naar voren dat een grote meerderheid van de (overheids-)organisaties nog aan het begin staat van een bewust en verantwoord gebruik van algoritmen en AI. Ondanks dat algoritmen in velerlei vormen al jaren bij de overheid worden gebruikt, was daar tot voor kort weinig gerichte aandacht voor. Algoritmen werden louter beschouwd als onderdeel van binnen de overheden gebruikte systemen en applicaties. De ICTsystemen werden vooral functioneel benaderd, niet zozeer vanuit het perspectief wat er ‘onder de motorkap gebeurt’. De toeslagenaffaire is een belangrijke aanleiding geweest om nadrukkelijk verder te kijken dan louter functioneel. Deze affaire heeft duidelijk gemaakt dat een ondoordacht gebruik van algoritmen door de overheid grondrechten van burgers ernstig kan schaden.19 De opkomst van generatieve AI, zoals ChatGPT, is een andere overweging geweest bij de toegenomen aandacht en bewustzijn de laatste jaren.

19

De Belastingdienst gebruikte een geautomatiseerd systeem op basis van algoritmen om te bepalen welke toeslagaanvragen extra gecontroleerd moesten worden. Dit systeem maakte gebruik van verschillende criteria, waaronder ‘dubbele nationaliteit’, wat leidde tot een verhoogde kans dat mensen met een tweede nationaliteit geselecteerd werden voor nader onderzoek. Dit leidde tot een situatie dat personen met een migratieachtergrond onevenredig vaak verdacht werden van fraude.

pagina 29/77

Januari 2025

Algoritmen en AI in Enschede

De toegenomen aandacht betekent volgens de experts nog niet dat er sprake is van bewust en weloverwogen gebruik. Dat komt vooral omdat overheden op dit moment geen volledig beeld hebben van de bij hun aanwezige en werkzame algoritmen en AI-systemen. Het ontbreekt aan overzicht, mede omdat de systemen en applicaties van overheden voor een belangrijk deel door externe leveranciers worden geleverd of in samenwerkingsverbanden worden gebruikt. Omdat veel overheden het vraagstuk van algoritmen en AI nog onvoldoende overzien, lukt het ook niet om gericht en gestructureerd controle te hebben en sturing te geven. Bij slechts een klein aantal gemeenten20 is volgens de VNG sprake van een dusdanig goed toegeruste, professionele organisatie om de uitdagingen gestructureerd en voorspelbaar op te pakken. Bij andere gemeenten is er nog sprake van een lagere volwassenheid. Deze gemeenten pakken de risicobeheersing van algoritmen nog ad hoc of situationeel aan. Ze zoeken naar processen en procedures om dit vastgelegd en voorspelbaar uit te voeren. Dat is niet zo vreemd: veel overheidsorganisaties verkennen op dit moment goede aanpakken om te komen tot een bewust en verantwoord gebruik van algoritmen. Zoals eerder genoemd, publiceren steeds meer overheden (waaronder gemeenten) hun algoritmen in het landelijk algoritmeregister. Dit draagt bij aan meer transparantie.

Daarnaast dwingt ook de komst van nieuwe wetgeving, in het bijzonder de AI-Verordening, meer transparantie af. Naast deze externe ontwikkelingen zetten overheidsorganisaties zelf ook stappen en groeit de professionalisering. TNO 21 constateert dat het gebruik van AI door publieke organisaties aanzienlijk toeneemt. In vergelijking met 2021, toen het onderzoek voor het laatst werd uitgevoerd zijn er nu 1,5 keer meer AI-toepassingen binnen de overheid. Vooral gemeenten zijn grote gebruikers, met 105 van de 266 gevonden toepassingen. Bij deze cijfers zijn vormen van generatieve AI nog buiten beschouwing gelaten. Daarnaast benadrukt TNO dat de volwassenheid waarmee overheidsorganisaties AI-toepassingen inzetten, groeit. Deze groeiende volwassenheid betekent dat er meer volwaardige implementaties zijn in plaats van alleen experimenten of proefprojecten. AI-systemen worden dus steeds vaker in de dagelijkse praktijk gebruikt en geïntegreerd in de reguliere processen van overheidsinstanties, inclusief de verantwoordingsstructuren en risicobeheersing. Algoritmen, waaronder in toenemende mate AI, worden meer en meer bij overheidsorganisaties ingezet ten behoeve van publieke dienstverlening. Over de hele linie is er nog een onvolledig overzicht van de inzet van algoritmen en hun gevolgen. Dit inzicht neemt wel toe.

4.2.2

Bouwstenen en randvoorwaarden

Met de experts is ook gesproken over wat er nodig is voor verdere professionalisering bij overheidsorganisaties om tot een bewuste en verantwoorde inzet van algoritmen te komen. Om de kansen van algoritmen en AI voor publieke dienstverlening te kunnen pakken, stellen deze experts dat er goede aandacht moet zijn voor essentiële randvoorwaarden. Zij wijzen daarop op randvoorwaarden die een meer generieke betekenis hebben dan louter voor algoritmen en AI. Deze randvoorwaarden gelden veeleer voor de algemene toepassing van ICT binnen overheidsorganisaties. Uit de gesprekken zijn de volgende randvoorwaarden en bouwstenen afgeleid.

20 21

Naar indruk van medewerkers van de VNG betreft dit overwegend gemeenten met meer dan 100.000 inwoners. Zie Quickscan AI in de Publieke Dienstverlening (2024). TNO heeft in het onderzoek specifiek gekeken naar data-gedreven algoritmen. Eerder in het rapport lieten we al zien dat het gebruik van regelgebaseerde algoritmen bij de overheid wijdverspreid is.

pagina 30/77

Januari 2025

Algoritmen en AI in Enschede

Informatiehuishouding op orde

Bestuurlijke betrokkenheid

Borging bij vaste rollen

Slimme inzet van hulpmiddelen

Leveranciers management

Een verdere invulling van deze bouwstenen is de volgende: Informatiehuishouding op orde Wat er met algoritmen en AI bereikt kan worden, wordt in grote mate bepaald dat de kwaliteit van de gegevens of data waarmee het algoritme werkt. Hiervoor geldt het aloude principe ‘garbage in = garbage out’ waarmee wordt bedoeld dat systemen alleen maar goede en zinnige uitkomsten kunnen genereren als ze gevoed worden met de juiste data. Wat de juiste data zijn, wordt situationeel bepaald. Op deze plek wordt vooral het belang van een hoge datakwaliteit benadrukt. Dit kan voor gemeenten (en overheden in het algemeen) lastig zijn, omdat de informatiehuishouding vaak niet op orde is.22 Het wordt dan vervolgens ingewikkeld om maatschappelijke opgaven of beleidsdoelstellingen data-gedreven en ondersteund door algoritmen of AI aan te pakken. De gemeente moet eerst goed weten welke data ze voor het algoritme of AI gebruiken en wat de kwaliteit van deze data is. Het risico op verkeerde of onjuiste conclusies is groot zolang de datakwaliteit tekortschiet. Er zou bijvoorbeeld een verhoogd risico kunnen zijn op (onbedoelde) discriminerende uitkomsten (zie kader hieronder). Het advies van de geraadpleegde experts luidt dat een bewust en verantwoord gebruik van algoritmen start bij een goede datakwaliteit. Deze is onlosmakelijk verbonden met de eigen informatiehuishouding.

22

Zie bijvoorbeeld het advies van het Adviescollege Openbaarheid en Informatiehuishouding, mede ingegeven door de VNG: Informatiehuishouding overheid nog niet op orde (acoi.nl).

pagina 31/77

Januari 2025

Algoritmen en AI in Enschede

Bestuurlijke betrokkenheid Een andere belangrijke bouwsteen betreft bestuurlijke betrokkenheid. Dat klinkt vanzelfsprekend, maar dat gebeurt voor algoritmen en AI nog betrekkelijk weinig. Algoritmen als gespreksonderwerp komen weinig op de besluitvormingstafel terecht, omdat algoritmen vooral als een technische aangelegenheid worden gezien. Dat is een misvatting, zo geven experts nadrukkelijk aan: algoritmen kunnen niet los worden gezien van de beleidsmatige keuzes die eronder liggen. In wezen is een algoritme niets meer dan een middel om bepaalde keuzes te automatiseren op basis van een vast recept. De onderliggende keuzes zijn echter wel vaak politiek en moreel geladen. Daarmee is de inzet van algoritmen niet waardenvrij of neutraal. Dat betreft bijvoorbeeld de algoritmen die ondersteuning bieden bij het selecteren van signalen bij vroegsignalering van schulden. Hiermee wordt bepaald welke mensen wel intensiever worden benaderd voor hulp bij beginnende schuldenopbouw en welke niet. Het laat zien dat algoritmen, net als andere uitvoeringsvraagstukken, onder de verantwoordelijkheid van het algemeen en dagelijks bestuur vallen. De implicatie hiervan is dat algoritmen en AI als onderwerp juist op besluitvormingstafels aan bod moet komen. Hier ontstaat ook het belang van bestuurlijke betrokkenheid. Er zijn binnen gemeenten verschillende manieren om hier invulling aan te geven.

Richting het college van B&W en of de gemeenteraad kan bijvoorbeeld door ambtelijk betrokkenen worden aangekaart hoe algoritmegebruik samenhangt met keuzes in de uitvoering. Hierbij zou voor bestuurders inzichtelijk gemaakt kunnen worden welke (selectie)criteria of parameters worden gebruikt waarmee het algoritme werkt, en wat eventuele alternatieven zijn om het proces zonder algoritme(n) uit te voeren. Dit leidt tot een gesprek waarbij los wordt gekomen van algoritmen als technisch uitvoeringsmiddel, en waarbij de bestuurders vanuit een voor hun passende rol worden betrokken. Dit verhoogt het bestuurlijk eigenaarschap. Bestuurlijke betrokkenheid draagt ook bij aan het vrijmaken van middelen die nodig zijn om blijvend aandacht te houden voor het belang van algoritmen en AI. De besteding van middelen kan betrekking hebben op voldoende capaciteit om beheersmaatregelen en checks en balances te effectueren. Maar je kan ook denken aan financiële middelen voor het faciliteren van opleidingen en trainingen om medewerkers bewuster met algoritmen en AI om te laten gaan. Ook een ethische commissie kan behulpzaam zijn voor het reflecteren op de inzet van technologie en afwegingen en keuzes (voor bestuurders) inzichtelijk te maken.

Dit heeft waarde, zo geven ook de geraadpleegde experts aan, maar moet geen ontsnappingsroute zijn om weg te blijven van de bestuurlijke verantwoordelijkheid om eigen waardenafwegingen en keuzes te maken. De ethische commissie moet niet om advies worden gevraagd als onderdeel van het afvinken van een checklist. De meerwaarde van reflecties van de ethische commissies ligt nadrukkelijk naast en niet in plaats van bestuurlijke betrokkenheid. Borging bij vaste rollen Een andere vraag waar gemeenten zich momenteel over buigen of er specifieke functies en verantwoordelijkheden ingeregeld moeten worden ten dienste van een bewust en verantwoord algoritmegebruik. De meeste gemeenten beschikken over een aparte CIO-office. Het ligt voor de hand om van daaruit ook beleid en regels voor algoritmen te stellen. Tegelijkertijd worden er bij organisaties voor algoritmen en AI nieuwe rollen en functies in het leven worden geroepen, zoals de algoritmeofficer of de AI compliance-officer.

pagina 32/77

Januari 2025

Algoritmen en AI in Enschede

Naar mening van de verschillende experts bestaat er geen one-size-fits-all-oplossing voor gemeenten. Zij benadrukken dat het juist belangrijk is dat er wordt aangesloten bij al gangbare en afgesproken structuren en procedures binnen een organisatie. Als een CIO-office een coördinerende rol heeft voor informatie- en digitaliseringsvraagstukken, dan ligt het voor de hand om de verantwoordelijkheid voor algoritmen en AI daar te beleggen. Maar de verantwoordelijkheid voor een verantwoorde toepassing van algoritmen zou eveneens kunnen worden ondergebracht bij een functionaris gegevensbescherming of een CIO. Het punt hier is dat het bovenal passend zou moeten zijn bij hoe een (ambtelijke) organisatie nu al ingericht is en functioneert. Binnen de vaste organisatie is het voor alle beleidsvraagstukken van belang dat er afspraken worden gemaakt en rollen en verantwoordelijkheden worden verdeeld. Dat is voor het dossier algoritmen en AI niet anders. Het beleggen van zulke verantwoordelijkheden is een randvoorwaarde om te komen tot een bewust en verantwoord gebruik van algoritmen en AI. Slimme inzet van hulpmiddelen De laatste jaren is steeds meer tooling ontwikkeld die overheden ondersteunt bij het in kaart brengen van risico’s of het formuleren van beheersmaatregelen voor de inzet van technologie. Dat betreft ook algoritmen en AI.

Voorbeelden zijn de Impact Assessment Mensenrechten en Algoritmes (IAMA), De Ethische Data Assistent (DEDA) en de bekendere Data Protection Impact Assessment (DPIA). Ieder van deze instrumenten heeft natuurlijk zo zijn waarde. Tegelijkertijd moet de toepassing van elk van deze instrumenten geen doel op zich worden, ook omdat zij vragen om de nodige tijd en capaciteit om ze daadwerkelijk in te zetten. De door ons gesproken experts pleiten voor een slimme inzet van hulpmiddelen waarbij van geval tot geval door gemeenten wordt bekeken om welke technologie het gaat, wie daarbij worden betrokken en welke doelgroep dat aangaat. Hier moet het hulpmiddel op worden geselecteerd; het instrument moet passen bij de waargenomen uitdaging. Het moet niet zo zijn dat eerst wordt gekozen voor een instrument en dat pas daarna wordt bepaald welk doel deze dient. Daarnaast zijn er nog legio toetsingskaders 23 die overheden kunnen gebruiken om ervoor te zorgen dat algoritmen op een verantwoorde en transparante manier worden ingezet. Deze toetsingskaders helpen onder meer bij kwaliteitsborging, risicobeheersing, verantwoording en transparantie en het naleven van wet- en regelgeving. Stuk voor stuk zijn het informatieve en behulpzame middelen voor de overheid om op een verantwoorde manier met algoritmen te kunnen werken.

Maar ook hiervoor geldt, zo geven experts aan, dat ze niet door elkaar moeten worden gebruikt. Door het woud van goedbedoelde toetsingskaders en hulpmiddelen kan een gemeente het overzicht verliezen of te veel tijd daaraan besteden. Dat kan leiden tot bureaucratisering en het remmen van innovatie. Het advies is om te kijken welk toetsingskader een organisatie het beste ligt en van daaruit eens een twee- of drietal algoritmen onder de loep te nemen. Twee of drie klinkt weinig vanuit de aanname dat er vele honderden algoritmen door een gemeente worden gebruikt. Maar toezichthouders wijzen erop dat de lessen die men uit goed geselecteerde casussen haalt vaak breder te vertalen zijn naar andere processen en diensten waar algoritmen worden gebruikt. Hiermee kan een toetsingskader op een doelmatige manier ingezet worden.

23

Dat betreft met name het Toetsingskader Algoritmes van de Algemene Rekenkamer, het Implementatiekader ‘Verantwoorde inzet van algoritmen’ van het ministerie van BZK en het Onderzoekskader algoritmes van de Auditdienst Rijk. Het ministerie van BZK werkt ook nog aan een Algoritmekader waarin alle bestaande wetten, normen, regels en expertise samengebracht wordt op een logische plaats.

pagina 33/77

Januari 2025

Algoritmen en AI in Enschede

Leveranciersmanagement Het laatste bouwblok betreft leveranciersmanagement. Een groot deel van de verantwoorde inzet ligt bij leveranciers die de algoritmen in hun systemen gebruiken die gemeenten vervolgens afnemen. Van leveranciers mag ook wat worden verwacht, zo geven experts aan. Leveranciers kunnen zich bijvoorbeeld laten certificeren door aan te tonen dat ze hun risicomanagement op orde hebben en bijvoorbeeld op een deugdelijke manier omgaan met gegevens en informatiebeveiliging. Daarnaast zijn er mogelijkheden om leveranciers te onderwerpen aan externe toetsen en audits. Er is sinds kort ook een internationale standaard (de ISO/IEC 42001) die gaat over het implementeren en voortdurend verbeteren van beheersystemen voor kunstmatige intelligentie (AI). Er zijn enkele leveranciers die nadrukkelijk zelf de stap naar voren zetten en openheid geven over het soort algoritmen en AI dat binnen hun systemen wordt toegepast. Dit gebeurt op verzoek van overheden, maar soms ook uit eigen beweging omdat leveranciers weten dat overheden deze informatie nodig hebben, bijvoorbeeld voor publicatie in het landelijk algoritmeregister. Van de gemeente kan worden verwacht dat deze hun rol als opdrachtgever van externe leveranciers op verantwoorde wijze invult.

Dat betekent onder meer dat bij de verwerving van nieuwe applicaties gebruik wordt gemaakt van de laatste (wettelijke) eisen, normen en voorwaarden. Dat hoeven gemeenten niet allemaal zelf uit te zoeken, De VNG onderhoudt bijvoorbeeld het landelijk instrument GIBIT. Deze afkorting staat voor Gemeentelijke Inkoop bij IT Toolbox. Deze Toolbox bevat onder andere inkoopvoorwaarden, kwaliteitsnormen en checklists, die gemeenten helpen bij het professionaliseren van de inkoop van ICT-diensten en –producten. De GIBIT is in 2023 geactualiseerd onder meer met extra eisen ten aanzien van algoritmen. Deze gaan onder meer over een hoogwaardige kwaliteit van de door leveranciers gebruikte algoritmen. Daarnaast is er een gebruikersbeperking in opgenomen. Deze stelt dat de verwerkte data in het algoritme in eigendom blijft van de gemeente en door de leverancier niet mag worden gebruikt voor eigen doeleinden, mits volledig geanonimiseerd en/of gebruikt wordt om het algoritme aan te scherpen. Ten slotte bepaalt de GIBIT dat de leverancier de gemeente moet kunnen uitleggen en verantwoorden hoe het algoritme werkt en hoe deze tot beslissingen komt.

4.2.3

Ethiek en algoritmen

Zeker sinds de toeslagenaffaire is de aandacht voor een ethisch verantwoorde toepassing van algoritmen sterk toegenomen. Toetsen als de Impact Assessment Mensenrechten en Algoritmes (IAMA) of de Ethische Data Assistent (DEDA) zijn hier met nadruk op gericht. De gedachteontwikkeling over wat een ethisch verantwoorde werkwijze is bij de inzet van algoritmen maakt een sterke ontwikkeling door. Een resultaat daarvan is een volwassenheidsmodel voor het operationaliseren en implementeren van een ethische benadering bij AI-gebruik.24 De inzichten uit dit model zijn ook bruikbaar voor de toepassing van algoritmen. Het model geeft een praktische vertaling van talloze bestaande richtlijnen, principes en technische oplossingen die moeten bijdragen aan ethische ontwikkeling en gebruik van algoritmen en AI. Bij de ontwikkeling van het model is gebruik gemaakt van literatuuronderzoek en inzichten uit praktische werksessies met grote publieke en private organisaties. Het volwassenheidsmodel is niet bedoeld als een blauwdruk. Evenmin vormt het model de gouden standaard die door alle organisaties blindelings toegepast kan worden. Het volwassenheidsmodel

24

De officiële titel luidt “The AI ethics maturity model: a holistic approach to advancing ethical data science in organizations”. Het model is ontwikkeld door de Erasmus Universiteit en beschreven in het wetenschappelijke tijdschrift AI and Ethics van Springer, zie: https://link.springer.com/article/10.1007/s43681-022-00228-7.

pagina 34/77

Januari 2025

Algoritmen en AI in Enschede

wordt hier met name gebruikt als kapstok om te analyseren wat er binnen een organisatie nodig is om te komen tot een bewust en verantwoord gebruik van algoritmen en AI. AI-ethiek moet in afstemming en samenhang worden ontwikkeld met bestaande (aansturings)structureren en processen binnen een organisatie. Eén van de daarvoor ontwikkelde modellen spreekt wat dit betreft over een holistische betrokkenheid van verschillende organisatorische dimensies. Schematisch kunnen de dimensies als volgt worden weergegeven:

Bewustzijn en cultuur

Hulpmiddelen

Beleid Ethisch volwassenheids model voor AI Aansturing en verantwoording

Ontwikkelprocessen Communicatie en training

De uitleg bij deze verschillende onderdelen van het model is als volgt: Bewustzijn en cultuur; Dit betreft het bevorderen van het bewustzijn bij medewerkers over de mogelijkheden en onmogelijkheden van algoritmen en AI en de manieren om daar mee om te gaan. Cultuur gaat over de mate waarin dit bewustzijn vanuit de organisatie in de richting van de medewerkers wordt gestimuleerd. Beleid; is er sprake van beleid over een ethisch algoritmen- en AI-gebruik, bijvoorbeeld in de vorm van richtlijnen of vastgelegde afspraken? Het beleid beschrijft de uitvoering van principes die leiden tot ethisch AI-gebruik. Centraal hierbij staan bijvoorbeeld principes als eerlijkheid, uitlegbaarheid, verantwoordelijkheid, transparantie en ‘human in the loop’. Aansturing en verantwoording; Dit betreft de ethische checks en balances die in acht worden genomen bij de ontwikkeling en gebruik van algoritmen en AI. Het gaat hier om besluitvormingsprocessen en de rol van ethische afwegingen in risicomanagement en compliance.

Communicatie en training; Hier gaat het om de mate waarin er binnen organisaties aandacht is voor communicatie en training met betrekking tot algoritmen en AI; welke worden gebruikt, hoe ze worden gebruikt, welke ethische afwegingen hieraan ten grondslag liggen, welke risico’s er zijn en hoe wordt hiermee omgegaan? Ontwikkelprocessen gaan over de hele levenscyclus van het bouwen, testen, gebruiken en evalueren van algoritmen en AI. Het model schrijft voor dat het belangrijk is om in alle fases aandacht te hebben voor ethische aspecten om te komen tot een bewust en verantwoord gebruik.

pagina 35/77

Januari 2025

Algoritmen en AI in Enschede

Hulpmiddelen zijn methodes en instrumenten die bijdragen om beleid en ethische principes op een goede manier te implementeren. Denk aan impact assessments, audits en participatieve methodes zoals Delphi-studies25 De dimensies kunnen op verschillende volwassenheidsniveaus door organisaties zijn doorgevoerd. De niveaus beschrijven hoever organisaties zijn gevorderd in het implementeren en operationaliseren van de verschillende zaken. De kracht zit in een multidimensionale aanpak waarbij de dimensies niet geïsoleerd maar in samenhang worden doorgevoerd. In het model worden de volgende niveaus onderscheiden: Niveau 1: het gebeurt louter onder individuele medewerkers, voorlopers; Niveau 2: het gebeurt binnen enkele teams binnen de organisatie en er wordt nagedacht over bredere borging; Niveau 3: er zijn organisatiebrede richtlijnen, afspraken en beleid; Niveau 4: de richtlijnen, afspraken en beleid zijn breed geïmplementeerd en er zijn checks en balances voor extra waarborgen; Niveau 5: er is sprake van organisatiebrede integratie van het voorgaande zaken, aangevuld door training, monitoring en evaluatie ten behoeve van continue verbetering. Voor Enschede kan worden geconstateerd dat enkele van deze onderdelen van een ethisch volwassenheidsmodel – soms in rudimentaire vorm (niveau 1 à 2) – aanwezig zijn.

Dit blijkt onder meer uit het feit dat er geconcentreerd binnen de organisatie, bij de CIO-office, over deze zaken wordt nagedacht. De activiteiten van de ethische commissie en de Nota Waardengedreven Digitalisering moeten een impuls geven aan het ethisch bewustzijn in de organisatie, maar veel van de plannen uit het beleid moeten nog geïmplementeerd worden.

4.3

De gemeenteraad in positie

Algoritmen ondersteunen de uitvoering van het beleid van de gemeente. Dat betreft bijvoorbeeld het automatisch categoriseren van meldingen openbare ruimte, of het matchen van mensen met een lichamelijke, psychische of verstandelijke handicap op basis van hun competentieprofiel aan sociale of beschutte werkplaatsen in de gemeente. Dit zijn maatschappelijke onderwerpen waar de gemeenteraad regelmatig over komt te spreken en besluiten over neemt. De Directie Coördinatie Algoritmes van de Autoriteit Persoonsgegevens stelt dat het gebruik van algoritmen en AI-systemen in de publieke sector onderdeel moeten zijn van de democratische cyclus van sturing en verantwoording. Zolang de inzet van algoritmen een bestuurlijke en politieke lading kennen, zijn ze zinvol en belangrijk om in een volksvertegenwoordigend orgaan (in dit geval de gemeenteraad) te bespreken. De gemeenteraad heeft de verantwoordelijkheid om beleid en uitvoering te sturen (kaderstellen) en controleren. Algoritmen en AI spelen daarin een wezenlijke rol. Ze maken daarom ook deel uit van de democratische beheersingscyclus. In het onderstaande figuur wordt deze relatie duidelijker gemaakt.26

25

26

Een Delphi-studie is een onderzoeksmethode waarbij de meningen van een groot aantal experts worden gevraagd ten aanzien van een onderwerp waar geen overeenstemming over bestaat. Door de antwoorden van de andere experts te verzamelen en terug te koppelen wordt in een aantal rondes geprobeerd tot consensus te komen. Het figuur is ontleend van de Rapportage AI- en algoritmerisico’s in Nederland, editie 3, door de Directie Coördinatie Algoritmes van de Autoriteit Persoonsgegevens.

pagina 36/77

Januari 2025

Algoritmen en AI in Enschede

De toepassing van algoritmen is tevens een maatschappelijke uitdaging, mede gezien eerder gebleken misstanden bij de rijksoverheid. Ook daarom is het van belang dat de gemeenteraad over de actuele toepassing in Enschede wordt geïnformeerd en in staat is om zijn controlerende en kaderstellende verantwoordelijkheden waar te maken. Zoals in paragraaf 3.6 al is genoemd, gebeurt dit in Enschede (nog) niet.

pagina 37/77

Januari 2025

Algoritmen en AI in Enschede

5.

Conclusies en aanbevelingen

In dit verkennende onderzoek is informatie verzameld over het beleid, de risico’s, beheersing, verantwoording en de toekomstige uitdagingen bij het gebruik van algoritmen en AI door de gemeente Enschede. In dit hoofdstuk worden de bevindingen allereerst gespiegeld aan het normenkader. Dit leidt tot een beoordeling van de bevindingen. Vervolgens worden in paragraaf 5.2 alle onderzoeksvragen langsgegaan en kernachtig beantwoord op basis van de informatie uit de eerdere hoofdstukken. Hoofdstuk 6 is een aanvulling op hoofdstuk 5 door het bieden van een reflectie. Het doel van deze reflectie is om de onderzoeksbevindingen in breder perspectief te beschouwen, met daarbij speciale aandacht voor toekomstige ontwikkelingen en uitdagingen, en wat Enschede kan leren van andere overheden. De slotbeschouwing wordt afgesloten met enkele aanbevelingen.

5.1

Toepassing van het normenkader

Bij aanvang van het onderzoek is in overleg met de Rekenkamer een normenkader opgesteld. Het normenkader doet dienst als beoordeling van de opgedane inzichten. Hieronder worden de gehanteerde normen genoemd en wordt ook het oordeel gepresenteerd. Deze oordelen worden onder elk cluster kernachtig toegelicht. De oordelen komen daarna in de reflectie in hoofdstuk 6 nader aan bod. Normen met betrekking tot de inventarisatie Nr.

Geformuleerde norm

Oordeel

1

De gemeente heeft een visie en beleid voor de inzet van algoritmen.

In beperkte mate

2

De gemeente heeft een duidelijk overzicht met welk doel, voor welke toepassingsgebieden en in welke beleidsterreinen algoritmen worden ingezet

Negatief

Hoewel een expliciete visie op de inzet van algoritmen en concreet en uitgewerkt beleid ontbreken, is het oordeel toch niet negatief. De overweging daarbij is dat binnen de organisatie al wel wordt nagedacht over zo’n visie en het beleid. Er zijn beleidsdocumenten die dat laten zien, zoals de Nota Waardengedreven Digitalisering en de richtlijnen voor het gebruik van ChatGPT. In het verlengde daarvan zou ook het oordeel ‘in beperkte mate’ overwogen kunnen worden als het gaat om het beschikken van een duidelijk overzicht. Immers, de gemeente heeft eerst geïnvesteerd in een eigen register, heeft thans het voornemen om algoritmen toe te voegen aan het landelijke algoritmeregister en heeft actief meegewerkt aan het verkrijgen van een overzicht ten behoeve van dit rekenkameronderzoek. Het oordeel ten aanzien van deze norm luidt echter toch negatief omdat een duidelijk overzicht van algoritmen, ondanks alle voornemens en inspanningen, vooralsnog ontbreekt. En het onderzoek heeft laten zien dat Enschede de in beeld zijnde algoritmen vooralsnog niet heeft gepubliceerd in het algoritmeregister. Het tweede cluster aan normen heeft betrekking op de onderzoeksvragen die gaan over de verdiepingsfase. Het gaat om de volgende: