Document · PDF

Bijlage 2 Onderzoek algoritmes in het GH - Eindrapport gemeente Zuidplas A24.000665

Gemeenteraad 28 mei 2024, gemeente ZuidplasBij agendapunt: Rv Algoritmeonderzoek Groene Hart Rekenkamer12.854 woorden

Open het PDF bij iBabs ↗Naar de vergadering →

Tekst van het document

Uit het bestand gehaald, zonder opmaak, tabellen en afbeeldingen · deel 1 van 2

November 2023

Onderzoek naar algoritmes in gemeente Zuidplas Eindrapport

www.technopolis-group.com

November 2023

Onderzoek naar algoritmes in gemeente Zuidplas Eindrapport Gerwin Evers, Erika van der Linden, Jules van de Meulengraaf, Willeke van der Varst, Bauke van der Veldt, Roel Bottema, Chiel Scholten en Ben Kokkeler

Onderzoek naar algoritmes in gemeente Zuidplas

Inhoudsopgave Managementsamenvatting _____________________________________________________________ 3 Lijst van gebruikte afkortingen ___________________________________________________________ 6 1 Inleiding _____________________________________________________________________________ 7 1.1 Aanleiding en doel: waarom dit onderzoek? _______________________________________________ 7 1.2 Blijvende aandacht voor algoritmes _______________________________________________________ 8 1.3 Definitie: wat verstaan we onder algoritmes? _______________________________________________ 8 1.4 Normenkader ____________________________________________________________________________ 9 1.5 Onderzoeksaanpak______________________________________________________________________ 10 1.6 Leeswijzer _______________________________________________________________________________ 10

2 Overkoepelende bevindingen _______________________________________________________ 11 2.1 Context _________________________________________________________________________________ 11 2.2 Gebruik algoritmes ______________________________________________________________________ 11 2.3 Bevindingen rondom bewustzijn __________________________________________________________ 12 2.4 Bevindingen rondom besluitvorming ______________________________________________________ 13 2.5 Bevindingen rondom toezicht ____________________________________________________________ 14

3 Onderliggende bevindingen en analyse _____________________________________________ 15 3.1 Analyse rondom bewustzijn ______________________________________________________________ 15 3.2 Analyse rondom besluitvorming __________________________________________________________ 17 3.3 Analyse rondom toezicht _________________________________________________________________ 21

4 Usecases ___________________________________________________________________________ 23 4.1 Centric Burgerzaken _____________________________________________________________________ 23 4.2 Groeimodel _____________________________________________________________________________ 26

Bijlage A

Onderzoeksaanpak _______________________________________________________ 29

Bijlage B

Enquêtevragenlijst _________________________________________________________ 32

Onderzoek naar algoritmes in gemeente Zuidplas

Managementsamenvatting Aanleiding In de periode november 2022 tot juli 2023 heeft onderzoeksbureau Technopolis in opdracht van de Groene Hart Rekenkamer (GHR) een onderzoek uitgevoerd naar het algoritmegebruik in de gemeenten Gouda, Waddinxveen, Zuidplas en Bodegraven-Reeuwijk. Dit rapport presenteert de bevindingen voor de gemeente Zuidplas. De algemene aanleiding voor dit onderzoek zijn eerdere incidenten met ongewenst, onjuist of ongeïnformeerd gebruik van algoritmen door zowel de Rijksoverheid als diverse gemeenten. Hoewel er geen directe zorgwekkende signalen waren over het algoritmegebruik van de gemeenten in het Groene Hart, heeft de Groene Hart Rekenkamer uit voorzorg besloten dit onderzoek uit te laten voeren naar het gebruik van algoritmes. De doelstelling van dit onderzoek is om in kaart te brengen hoe geïnformeerd de gemeenten zijn over hun inzet van algoritmes, hoe de besluitvorming hierover plaatsvindt en in hoeverre er sprake is van systematisch toezicht op het gebruik van algoritmes door de gemeenten. Deze studie heeft een verkennend karakter en moet bijdragen aan het vergroten van de kennis en het goed geïnformeerd handelen van gemeenten over hun inzet van algoritmes.

Voor dit onderzoek hanteren we de definitie die gebruikt is in het onderzoek van de Rekenkamer van de Gemeente Rotterdam: ‘Een algoritme is een set instructies die door een computer wordt uitgevoerd, om te komen tot een beslissing of om te komen tot informatie die, in dit geval, de ambtenaar gebruikt om een beslissing te nemen’1

Context Gemeente Zuidplas wil meer datagedreven gaan werken. Op dit moment is de digitale volwassenheid van de gemeente nog op een laag niveau. Een van de speerpunten voor de organisatieontwikkeling van de gemeente is om die digitale volwassenheid naar een hoger niveau te tillen. Daarvoor ontwikkelt de gemeente momenteel een plan van aanpak. Dat betekent dat de gemeente in een proces is om ook meer competenties binnen de organisatie en kaders voor het gebruik van data en algoritmes te ontwikkelen. Aangezien Gemeente Zuidplas nog maar beperkt datagedreven werkt, gebruikt de gemeente ook nog maar weinig algoritmes en zijn er weinig medewerkers die specifieke kennis van data-analyse en algoritmes hebben. Desondanks zijn er al wel algoritmes de organisatie ‘ingeslopen’ via de inkoop van software. Ook is er een eigen ‘groeimodel’ voor ondersteuning van de meerjarenplanning ontwikkeld waarin eenvoudige algoritmes zijn opgenomen.

Bevindingen In Nederland is er nog geen formeel algoritmenormenkader vastgesteld waaraan gemeenten moeten voldoen. Voor dit verkennende onderzoek hebben we daarom een voorlopig normenkader opgesteld. Dit normenkader geeft aan waar een gemeente idealiter zou moeten staan op het gebied van bewustzijn van, besluitvorming over en toezicht op algoritmes. Dit normenkader is opgesteld aan de hand van verschillende richtlijnen die aangeven hoe gemeenten met algoritmes dienen om te gaan zoals de principes

1 Rekenkamer Rotterdam (2021). Gekleurde technologie: verkenning ethisch gebruik algoritmes. Online beschikbaar

via: https://rekenkamer.rotterdam.nl/wp-content/uploads/2020/11/R.P.20.06-gekleurde-technologie.pdf

Onderzoek naar algoritmes in gemeente Zuidplas

geformuleerd in de AVG, de Europese AI-wet en de ontwikkelingen rondom het algoritmeregister waar gemeenten op termijn ook op moeten aansluiten. Op basis van deskstudie, interviews met bestuurders en ambtenaren, en een enquête verspreid onder de ambtelijke en bestuurlijke organisatie is de gemeente beoordeeld aan de hand van dit normenkader. In de onderstaande secties vindt u in de tabellen de beoordeling van de gemeente gevolgd door een overkoepelende toelichting. Bevindingen rondom bewustzijn over algoritmes Norm

Beoordeling norm

Beoordeling ontwikkeling

De gemeente weet waar ze algoritmes inzet

Voldoet in beperkte mate aan de norm…

…, maar de gemeente wil wel aandacht besteden aan algoritmes in een plan van aanpak naar meer data-gedreven werken.

De gemeente weet waarvoor ze algoritmes inzet

Voldoet in beperkte mate aan de norm…

…, die kennis blijft vooralsnog vooral op afdelingsniveau.

De gemeente weet waarom ze algoritmes inzet

Voldoet in beperkte mate aan de norm…

…, een goed beeld hiervan of visie hierop ontbreekt vooralsnog.

Gemeente Zuidplas is terughoudend in het gebruik van algoritmes. Het onderwerp algoritme leeft niet sterk binnen de gemeente, maar zowel het college als de raad zien graag meer innovatie en datasturing binnen de organisatie. Om hierop in te spelen wordt in het concernplan 2021-2024 ook geïnvesteerd in het bevorderen van datageletterdheid en datagestuurd werken. Tegelijkertijd komen algoritmes al wel de organisatie in, voornamelijk via inkoop van software. Het gaat daarbij om automatisering van analyses en efficiëntere processen. De applicatiebeheerders zijn verantwoordelijk voor de functionele eisen van de inkoop van software en daarmee algoritmes. Daarbij besteden zij geen aandacht aan de algoritmes in de software en waarvoor en waarom de software die gebruikt. De gemeente heeft op dit moment geen compleet overzicht van de algoritmes die zij gebruikt. De gemeente bevindt zich in het stadium van bewustwording. Op afdelingsniveau weten betrokken ambtenaren waarvoor zij algoritmes gebruiken – al weten zij niet altijd dat wat ze gebruiken onder de noemer algoritme valt. Op organisatieniveau weet men dat niet, voornamelijk doordat overzicht ontbreekt.

Het gebruik van algoritmes heeft vooral betrekking op de gemeentelijke dienstverlening, door bijvoorbeeld het gebruik van algoritmes in Centric Burgerzaken, en het ruimtelijk/veiligheidsdomein, bijvoorbeeld door het gebruik van ANPRcamera’s. Bevindingen rondom besluitvorming over algoritmes Norm

Beoordeling norm

Beoordeling ontwikkeling

De gemeente neemt geïnformeerde besluiten over de inzet van algoritmes

Voldoet in kleine mate aan de norm…

…, de gemeente wil wel kennis opbouwen over data en algoritmes om beter te kunnen begrijpen, informeren en besluiten.

Bij de besluitvorming worden ethische overwegingen meegenomen

Voldoet niet aan de norm…

…, maar de gemeente vindt (data-)ethiek wel belangrijk en wil dat meenemen in haar informatiebeleidsplan en is bekend met het ethisch normenkader voor algoritmes van de VNG.

Onderzoek naar algoritmes in gemeente Zuidplas

Bij de besluitvorming zijn de impliciete aannames achter het algoritme en de gebruikte data bekend

Voldoet niet aan de norm…

…, de gemeente wil wel meer bewustwording over algoritmes, maar stelt niet de juiste kennis in huis te hebben.

Bij de besluitvorming is de gemeente zich bewust van de implicaties van de inzet van het algoritme voor de uitvoeringspraktijk

Voldoet in kleine mate aan de norm…

…, en zou in de stap tot meer data-gedreven werken daar aandacht aan moeten besteden.

Op de normen rondom bewustwording scoort de gemeente Zuidplas niet goed. Aan de inzet van algoritmes bij de gemeente Zuidplas gaan vaak geen goed geïnformeerde besluiten vooraf. Ook zal het niet voor elke bestuurder en raadslid duidelijk zijn of informatie of inzichten die ten grondslag liggen aan besluiten, gebaseerd zijn op algoritmes. De gemeente heeft geen vastgelegd ethisch kader voor de inkoop of het gebruik voor algoritmes en neemt ethische overwegingen doorgaans niet expliciet mee. Alleen wanneer een DPIA vereist is, worden aspecten als privacy en veiligheid meegenomen. Dat gebeurt niet bij elk algoritme. De aannames achter algoritmes en de implicaties van de inzet ervan zijn voor ambtenaren vaak niet duidelijk. Een uitzondering vormt het door de gemeente ontwikkelde ‘groeimodel’. Geïnterviewde personen geven aan dat er binnen de gemeente te weinig kennis is van algoritmes en data om alle implicaties en processen volledig te doorgronden. De gemeente wil een hogere datavolwassenheid bereiken, waarbij dergelijke kennis en vaardigheden ook zal moeten toenemen binnen de eigen organisatie. Op dat vlak heeft de gemeente Zuidplas een heldere ambitie, maar bestaat het risico dat de gemeente langzamer gaat dan de ontwikkelingen op het gebied van data en algoritmes die de organisatie (of de organisaties om de gemeente heen) insluipen. Norm

Beoordeling norm

Beoordeling ontwikkeling

De gemeente houdt toezicht op het gebruik van algoritmes

Voldoet in kleine mate aan de norm…

…, van goed toezicht en controle is nog geen sprake, maar de gemeente erkent wel het belang ervan m.n. voor de toekomst.

De gemeente grijpt zo nodig doelbewust in op de werking van algoritmes en of wijkt van de uitkomsten af

Voldoet niet aan de norm…

…, dit gebeurt niet altijd en soms te laat.

Het toezicht op algoritmes is binnen de gemeente Zuidplas niet georganiseerd. Ambtenaren houden geen toezicht op de werking van algoritmes, maar controleren alleen resultaten. Dat gebeurt naar eigen inzicht en verantwoording van de betrokken ambtenaar – het is voor niemand duidelijk of die controle altijd plaatsvindt. Uit interviews blijkt dat ambtenaren niet de juiste kennis hebben om goed te kunnen controleren of toezicht houden. Daardoor kunnen biases of onjuistheden in uitkomsten sluipen. Ambtenaren erkennen dat hierin mogelijk risico’s schuilen, zeker als de gemeente gebruik gaat maken van algoritmes die meer impact kunnen hebben op de burger. De gemeente werkt wel aan een plan van aanpak voor meer datagedreven werken, waarin toezicht ook een plek zou kunnen hebben. Het ingrijpen op de werking van algoritmes heeft nog weinig plaatsgevonden bij gemeente Zuidplas. Ambtenaren en bestuurders nemen aan dat ingekochte algoritmes, of algoritmes die namens de gemeente worden gebruikt, naar behoren werken. De gemeente beschikt momenteel niet over de juiste processen, kennis en mensen om de werking van een algoritme te kunnen controleren. Ook bij de inkoop vinden dergelijke checks of kritische vragen doorgaans niet plaats. Verdere ontwikkeling van de digitale volwassenheid van gemeente Zuidplas is nodig om goed toezicht te kunnen houden.

Onderzoek naar algoritmes in gemeente Zuidplas

Lijst van gebruikte afkortingen AI

Artificiële intelligentie (kunstmatige intelligentie)

ANPR

Automatic Number Plate Recognition (automatische kentekenplaatherkenning)

AVG

Algemene Verordening Gegevensbescherming

CISO

Chief Information Security Officer

BAG

Basisregistratie Adressen en Gebouwen

BSN

Burgerservicenummer

BRP

Basisregistratie Personen

DPIA

Data Protection Impact Assessment

Functionaris Gegevensbescherming

GHR

Groene Hart Rekenkamer

NAW

Naam, adres en woonplaats

NLP

Natural Language Processing

WOO

Wet Open Overheid

Onderzoek naar algoritmes in gemeente Zuidplas

1 Inleiding 1.1

Aanleiding en doel: waarom dit onderzoek?

In de periode november 2022 tot juli 2023 heeft onderzoeksbureau Technopolis in opdracht van de Groene Hart Rekenkamer (GHR) een onderzoek uitgevoerd naar het algoritmegebruik in de gemeenten Gouda, Waddinxveen, Zuidplas en Bodegraven-Reeuwijk. Dit deelrapport presenteert de bevindingen voor de gemeente Zuidplas. Digitalisering heeft steeds meer invloed op het dagelijkse leven. De verandering naar een digitale samenleving roept technische, sociale, juridische en ethische vragen op over wat er wel en niet kan. Een actueel voorbeeld hiervan is het gebruik van algoritmes: waar gemeenten altijd al ‘beslisregels’ gebruikten om bijvoorbeeld subsidies toe te kennen, zien we dat ook hier meer geavanceerde mogelijkheden ontstaan. Evenals dat in de particuliere sector het geval is (om consumenten zo gericht mogelijk te kunnen bereiken) zien we dat ook gemeenten steeds vaker gebruik maken van algoritmes om hun taken effectiever en efficiënter uit te voeren en hun dienstverlening te verbeteren. De algemene aanleiding voor dit onderzoek zijn eerdere incidenten met ongewenst, onjuist of ongeïnformeerd gebruik van algoritmes door de overheid. Een in het oog springend voorbeeld is de toeslagenaffaire waarbij algoritmes gebruikt werden om de kans op fraude te berekenen, waardoor burgers op basis van etnische en sociale kenmerken (onjuist) werden aangemerkt als mogelijke fraudeurs.

Dergelijke incidenten beperken zich echter niet tot de Rijksoverheid; ook bij gemeenten kwamen misstanden in algoritmegebruik aan het licht, zoals in het onderzoek dat de Rekenkamer Rotterdam in 2021 uitvoerde 2. Daaruit bleek dat de ingezette algoritmes konden leiden tot uitkomsten die een impliciete bias bevatten gebaseerd op factoren waarvan de verklarende correlatie niet is aangetoond. Ook in de Gemeente Nissewaard bleek dat een algoritme dat gebruikt werd voor fraudedetectie niet betrouwbaar was3. In datzelfde jaar stond het College voor de Rechten van de Mens in een onderzoek specifiek stil bij de ethische vraagstukken voor de inzet van algoritmes door gemeenten 4. Door deze incidenten rijzen er steeds meer vragen in de samenleving over het gebruik van algoritmes door de overheid. Met het oog op deze maatschappelijke vragen heeft de Groene Hart Rekenkamer uit voorzorg besloten dit onderzoek uit te laten voeren naar het gebruik van algoritmes door de gemeenten in het Groene Hart. Er waren geen directe zorgwekkende signalen over het algoritmegebruik bij gemeenten die aanleiding gaven tot dit onderzoek. De doelstelling van dit onderzoek is om in kaart te brengen hoe geïnformeerd de gemeenten zijn over hun inzet van algoritmes, hoe de besluitvorming hierover plaatsvindt en in hoeverre er sprake is van systematisch toezicht op het gebruik van algoritmes door de gemeenten.

Deze studie heeft een verkennend karakter en moet bijdragen aan het vergroten van de kennis en het goed geïnformeerd handelen van gemeenten over hun inzet van algoritmes.

2 Rekenkamer Rotterdam (2021). Gekleurde technologie: verkenning ethisch gebruik algoritmes. Online beschikbaar

via: https://rekenkamer.rotterdam.nl/wp-content/uploads/2020/11/R.P.20.06-gekleurde-technologie.pdf 3 TNO. (2021). Eindrapportage van de Nissewaard casus. https://www.nissewaard.nl/bestuur-en-organisatie/bestuur-

en-organisatie/onderzoek-tno-naar-algoritme.htm 4 H+P (2021). Hoe gemeenten besluiten over algoritmen & mensenrechten. Online beschikbaar via:

https://hooghiemstra-en-partners.nl/wp-content/uploads/2021/07/Onderzoeksrapport-algoritmen-enmensenrechten-gemeenten-29062021-afgerond.pdf

Onderzoek naar algoritmes in gemeente Zuidplas

1.2

Blijvende aandacht voor algoritmes

De keuze voor dit onderzoek staat ook in een bredere maatschappelijke ontwikkeling waarbij er in de afgelopen jaren meer aandacht is gekomen voor de rol die algoritmes spelen in de maatschappij in het algemeen en binnen de overheid in het bijzonder. De introductie van generatieve AI-tools zoals ChatGPT hebben ervoor gezorgd dat beleidsvraagstukken over hoe om te gaan met algoritmes naar verwachting ook in de komende jaren hoog op de politieke agenda zullen blijven staan. Op Europees niveau zijn ontwikkelingen in volle gang met o.a. de voorgestelde wetgeving voor kunstmatige intelligentie in de AI-wet. Deze wetgeving heeft tot doel de ontwikkeling, implementatie en het gebruik van AI-systemen binnen de EU te reguleren en waarborgen te bieden voor de rechten en veiligheid van haar burgers. Ook op nationaal niveau zijn er onder andere via de het initiatief voor een algoritmetoezichthouder en de opzet van het nationale algoritmeregister ontwikkelingen om transparantie te bevorderen voor maatschappelijk verantwoorde inzet van algoritmes door publieke organisaties. Op gemeenteniveau zien we dat met name de grotere gemeenten, die in veel gevallen zelf ook te maken hebben gehad met misstanden, actief bezig zijn hun omgang met algoritmes tegen het licht te houden.

Zo hebben de gemeenten Rotterdam en Amsterdam een algoritmeregister en interne experts die zich specifiek bezighouden met algoritmes. Hoewel het per gemeente zal verschillen hoeveel middelen zij hiervoor beschikbaar kunnen maken, zullen ook kleinere gemeenten actief moeten gaan nadenken over de inzet van algoritmes om te voldoen aan de toekomstige verplichte aansluiting op het algoritmeregister. Naast deze onmiddellijke verantwoordelijkheid van een gemeente voor maatschappelijk verantwoorde toepassing van AI in het algemeen en algoritmes in het bijzonder, is er ook de voorbeeldrol jegens burgers en ondernemers. Het leeuwendeel van algoritme toepassingen is te vinden in de apparaten die burgers gebruiken en in diensten die commerciële aanbieders aanbieden. Gemeenten kunnen hier slechts in beperkte mate invloed op uitoefenen; ze kunnen wel de expertise bij burgers en ondernemers vergroten en het goede voorbeeld geven.

1.3

Definitie: wat verstaan we onder algoritmes?

Er is internationaal nog geen eenduidige definitie voor wat er precies verstaan wordt onder een algoritme. Voor dit onderzoek hanteren we de definitie die gebruikt is in het onderzoek van de Rekenkamer van de Gemeente Rotterdam: ‘Een algoritme is een set instructies die door een computer wordt uitgevoerd, om te komen tot een beslissing of om te komen tot informatie die, in dit geval, de ambtenaar gebruikt om een beslissing te nemen’5 Binnen deze definitie vallen een grote verscheidenheid aan algoritmes. Algoritmes kunnen zowel relatief simpele handelingen zijn, zoals geautomatiseerd cijfermatige berekeningen uitvoeren, als complexe handelingen zijn, zoals het besturen van een zelfrijdende auto. Wij volgen de indeling in typen algoritmes die onder meer ook door het Ministerie van Justitie en

5 Rekenkamer Rotterdam (2021). Gekleurde technologie: verkenning ethisch gebruik algoritmes. Online beschikbaar

via: https://rekenkamer.rotterdam.nl/wp-content/uploads/2020/11/R.P.20.06-gekleurde-technologie.pdf

Onderzoek naar algoritmes in gemeente Zuidplas

Veiligheid6 gehanteerd wordt. In de navolgende tabel geven we per type algoritme aan wat er binnen en buiten het bereik van dit onderzoek valt. Tabel 1

Typen algoritmes

Type algoritme

Voorbeelden binnen bereik

Voorbeelden buiten bereik

Beschrijvend (Wat gebeurt er?)

• Identificeren van huizen waar zonnepanelen op daken liggen op basis van satellietdata

• Geavanceerde data-analyses in Excel door medewerkers (d.w.z. niet geautomatiseerd)

• Automatische vertaling van teksten voor burgers in andere talen • Automatisch anonimiseren van teksten of onleesbaar maken van privacygevoelige gegevens Diagnostisch (Waarom gebeurt het?)

• Automatische analyse van factoren die meespelen bij het besluiten tot het aanschaffen van zonnepanelen

• Analyse van een vragenlijst over factoren die meespelen in de keuze voor zonnepanelen (d.w.z. niet geautomatiseerd)

Voorspellend (Wat zal er gebeuren?)

• Geautomatiseerde opsporing van uitkeringsfraude

• Een kwalitatieve analyse van een toekomstscenario

• Handhaving illegaal verhuren van Airbnb’s o.b.v. geautomatiseerde data-analyse van meldingen bij de gemeente, persoonsgegevens, en gegevens over gebouwen Voorschrijvend (Wat moet gebeuren?)

• Automatische parkeercontrole d.m.v. scanauto’s uitgerust met camera’s, beeldherkenningsalgoritmes en kentekenmatching. • Verkeerslichten geautomatiseerd op groen zetten op basis van verkeersdata

• Outlook die voorspelt op wat voor toekomstig tijdstip een email het beste verstuurd kan worden of suggesties geeft voor automatische antwoorden

• Verkeersboetes uitdelen op basis van automatische matching van flitscontroledata en kentekendata

Bron: Technopolis, 2023

1.4

Normenkader

In Nederland is er nog geen formeel algoritmenormenkader vastgesteld waaraan gemeenten moeten voldoen. Voor dit verkennende onderzoek hebben we daarom een voorlopig normenkader opgesteld dat we in Tabel 2 presenteren. Dit normenkader geeft aan waar een gemeente idealiter zou moeten staan op het gebied van bewustzijn van, besluitvorming over en toezicht op algoritmes. Dit normenkader is opgesteld aan de hand van verschillende richtlijnen die aangeven hoe gemeenten met algoritmes dienen om te gaan zoals de principes geformuleerd in de AVG, de Europese AI-wet en de ontwikkelingen rondom het algoritmeregister waar gemeenten op termijn ook op moeten aansluiten. In de volgende hoofdstukken beoordelen we de gemeenten aan de hand van dit normenkader waarbij de gemeente ‘niet’, ‘in kleine’, ‘in beperkte’, ‘in grote’ of ‘in volledige’ mate aan een norm kan voldoen.

6 Ministerie van Justitie en Veiligheid. (2021). Richtlijnen voor het toepassen van algoritmen door overheden en

publieksvoorlichting over data-analyses. https://open.overheid.nl/documenten/ronl-1411e45f-b822-49fa-98952d76e663787b/pdf

Onderzoek naar algoritmes in gemeente Zuidplas

Tabel 2

Normenkader

Categorie

Norm

Bewustzijn

De gemeente weet waar ze algoritmes inzet De gemeente weet waarom ze algoritmes inzet De gemeente weet waarvoor ze algoritmes inzet

Besluitvorming

De gemeente neemt geïnformeerde besluiten over de inzet van algoritmes Bij de besluitvorming worden ethische overwegingen meegenomen Bij de besluitvorming zijn de impliciete aannames achter het algoritme en de gebruikte data bekend Bij de besluitvorming is de gemeente zich bewust van de implicaties van de inzet van het algoritme voor de uitvoeringspraktijk

Toezicht

De gemeente houdt toezicht op het gebruik van algoritmes De gemeente grijpt zo nodig doelbewust in op de werking van algoritmes en of wijkt van de uitkomsten af

Bron: Technopolis, 2023

1.5

Onderzoeksaanpak

Voor iedere gemeente is dezelfde onderzoeksaanpak gehanteerd. Deze onderzoeksaanpak maakt gebruik van de volgende databronnen: •

Deskstudie: bestudering van relevante documenten (zoals visies op digitalisering, DPIA’s, etc.) aangeleverd door de gemeenten of verzameld door het projectteam.

•

Interviews: tijdens onze bezoeken aan de gemeenten hebben we gesproken met diverse bestuurders en ambtenaren over hun ervaringen met algoritmes.

•

Enquête: een online vragenlijst die door onze contactpersonen is verspreid binnen de ambtelijke en bestuurlijke organisatie.

Naast een rapportage per gemeente hebben we in het totaal ook 8 usecases (2 per gemeente) uitgewerkt waarin we op basis van een beknopte casestudy inzicht geven in de besluitvorming over en implementatie van een specifiek algoritme.

1.6

Leeswijzer

In het volgende hoofdstuk presenteren we de overkoepelende bevindingen uit deze studie. Het daaropvolgende hoofdstuk geeft inzicht per norm in de resultaten van de bredere analyse. Tot slot vindt u in hoofdstuk 4 de twee nader bekeken algoritme-usecases van de gemeente Zuidplas. In Bijlage A staat een verdere toelichting op de gehanteerde onderzoeksaanpak. In Bijlage B vindt u de enquêtevragenlijst.

Onderzoek naar algoritmes in gemeente Zuidplas

2 Overkoepelende bevindingen 2.1

Context

Gemeente Zuidplas wil meer data-gedreven gaan werken. Op dit moment is de digitale volwassenheid van de gemeente nog op een laag niveau. Een van de speerpunten voor de organisatieontwikkeling van de gemeente is om die digitale volwassenheid naar een hoger niveau te tillen. Daarvoor ontwikkelt de gemeente momenteel een plan van aanpak. Dat betekent dat de gemeente in een proces is om ook meer competenties binnen de organisatie en kaders voor het gebruik van data en algoritmes te ontwikkelen. Aangezien Gemeente Zuidplas nog maar beperkt data-gedreven werkt, gebruikt de gemeente ook nog maar weinig algoritmes en zijn er weinig medewerkers die specifieke kennis van data-analyse en algoritmes hebben. Desondanks zijn er al wel algoritmes de organisatie ‘ingeslopen’ via de inkoop van software. Ook is er een eigen ‘groeimodel’ voor ondersteuning van de meerjarenplanning ontwikkeld waarin eenvoudige algoritmes zijn opgenomen. Binnen deze context hebben wij gekeken in hoeverre Gemeente Zuidplas voldoet aan de normen die in sectie 1.4 zijn geïntroduceerd. De bevindingen in dit hoofdstuk kunnen gemeenten meenemen in hun verdere planvorming en in het realiseren van een meer datagedreven en meer digitaal volwassen organisatie.

De nadere analyse in het volgende hoofdstuk, en de usecases in het hoofdstuk daarna, kunnen ook toezichthouders zoals de gemeenteraad en de Groene Hart Rekenkamer behulpzaam zijn in de komende jaren.

2.2

Gebruik algoritmes

In de interviews en enquête hebben we ambtenaren specifiek gevraagd naar de algoritmes die ze in hun eigen werk of breder binnen de organisatie zijn tegengekomen. Een overzicht van deze benoemde algoritmes vindt u in Tabel 3. Daarnaast refereerden ambtenaren ook naar algoritmes die mogelijk door samenwerkingsverbanden zoals de Belastingsamenwerking Gouwe-Rijnland worden ingezet en naar het incidentele gebruik (als experiment) van ChatGPT voor het schrijven van teksten. Tabel 3

Ingezette algoritmes binnen de gemeente Zuidplas

Type algoritme

Naam

Domein

Toelichting

Beschrijvend (Wat gebeurt er?)

Meetsystemen in rioleringssystemen

Ruimtelijk

Sensoren in het rioleringssysteem zijn op het internet aangesloten waardoor ambtenaren kunnen zien of systemen werken, hoeveel water er doorheen komt en welke streng van de riolering bij hevige regenval slecht functioneert of binnenkort onderhoud nodig heeft.

Voorspellend (Wat zal er gebeuren?)

Groeimodel ter ondersteuning van meerjarenplanning

Overig

Model dat gebruikt wordt om te voorspellen hoe in de komende jaren de bevolking in de gemeente gaat groeien. Op basis daarvan bepaalt de gemeente de vereiste groei van de eigen organisatie en bijbehorend budget.

Simulatiesoftware verkeersstromen

Ruimtelijk

Simulatiesoftware dat op basis van verkeer- en snelheidsdata verkeersstromen modelleert als

Onderzoek naar algoritmes in gemeente Zuidplas

Type algoritme

Naam

Domein

Toelichting informatie voor het aanleggen van nieuwe wegen en het ontwikkelen van verkeersbeleid.

Voorschrijvend (Wat moet er gebeuren?)

ANPR Camera’s

Ruimtelijk/veiligheid

Deze camera’s kunnen kentekens herkennen m.b.v. beeldherkenningsalgoritmes. Vervolgens checkt het systeem of deze kentekens een ontheffing hebben om bijv. in een gebied in te komen. Indien dat niet het geval is, schrijft het systeem een boete uit.

Zivver

Overig

Een platform/softwaresysteem waarmee ambtenaren veilig online kunnen communiceren en (grote) bestanden kunnen uitwisselen. Zivver maakt gebruik van algoritmes (machine learning en classificatie) om te detecteren of een gebruiker bijv. gevoelige informatie deelt of berichten waarschijnlijk naar de verkeerde persoon verzendt.

Datamask

Dienstverlening

Clouddienst die gemeenteambtenaren kunnen helpen met het geautomatiseerd anonimiseren van documenten (i.e. zwartlakken van namen, BSN-nummers, mailadressen of NAW-gegevens in documenten die gepubliceerd worden in het kader van een WOO-verzoek).

Centric Burgerzaken

Dienstverlening

Een systeem van Centric dat als doel heeft om de dienstverleningsprocessen van gemeenten zo gebruiksvriendelijk mogelijk te maken voor ambtenaren.

Bron: enquête en interviews met ambtenaren en bestuurders van Gemeente Zuidplas

2.3

Bevindingen rondom bewustzijn

Norm

Beoordeling norm

Beoordeling ontwikkeling

De gemeente weet waar ze algoritmes inzet

Voldoet in beperkte mate aan de norm…

…, maar de gemeente wil wel aandacht besteden aan algoritmes in een plan van aanpak naar meer data-gedreven werken.

De gemeente algoritmes inzet

weet

waarvoor

Voldoet in beperkte mate aan de norm…

…, die kennis blijft vooralsnog vooral op afdelingsniveau.

De gemeente algoritmes inzet

weet

waarom

Voldoet in beperkte mate aan de norm…

…, een goed beeld hiervan of visie hierop ontbreekt vooralsnog.

Onderzoek naar algoritmes in gemeente Zuidplas

concernplan 2021-2024 ook geïnvesteerd in het bevorderen van datageletterdheid en datagestuurd werken. Tegelijkertijd komen algoritmes al wel de organisatie in, voornamelijk via inkoop van software. Het gaat daarbij om automatisering van analyses en efficiëntere processen. De applicatiebeheerders zijn verantwoordelijk voor de functionele eisen van de inkoop van software en daarmee algoritmes. Daarbij besteden zij geen aandacht aan de algoritmes in de software en waarvoor en waarom de software die gebruikt. De gemeente heeft op dit moment geen compleet overzicht van de algoritmes die zij gebruikt. De gemeente bevindt zich in het stadium van bewustwording. Op afdelingsniveau weten betrokken ambtenaren waarvoor zij algoritmes gebruiken – al weten zij niet altijd dat wat ze gebruiken onder de noemer algoritme valt. Op organisatieniveau weet men dat niet, voornamelijk doordat overzicht ontbreekt. Het gebruik van algoritmes heeft vooral betrekking op de gemeentelijke dienstverlening, door bijvoorbeeld het gebruik van algoritmes in Centric Burgerzaken, en het ruimtelijk/veiligheidsdomein, bijvoorbeeld door het gebruik van ANPRcamera’s. Voor een verdere toelichting verwijzen wij u naar sectie 3.1.

2.4

Bevindingen rondom besluitvorming

Norm

Beoordeling norm

Beoordeling ontwikkeling

De gemeente neemt geïnformeerde besluiten over de inzet van algoritmes

Voldoet in kleine mate aan de norm…

…, de gemeente wil wel kennis opbouwen over data en algoritmes om beter te kunnen begrijpen, informeren en besluiten.

Bij de besluitvorming worden overwegingen meegenomen

ethische

Voldoet niet aan de norm…

…, maar de gemeente vindt (data-)ethiek wel belangrijk en wil dat meenemen in haar informatiebeleidsplan en is bekend met het ethisch normenkader voor algoritmes van de VNG.

Bij de besluitvorming zijn de impliciete aannames achter het algoritme en de gebruikte data bekend

Voldoet niet aan de norm…

…, de gemeente wil wel meer bewustwording over algoritmes, maar stelt niet de juiste kennis in huis te hebben.

Bij de besluitvorming is de gemeente zich bewust van de implicaties van de inzet van het algoritme voor de uitvoeringspraktijk

Voldoet in kleine mate aan de norm…

…, en zou in de stap tot meer data-gedreven werken daar aandacht aan moeten besteden.

Onderzoek naar algoritmes in gemeente Zuidplas

algoritmes en data om alle implicaties en processen volledig te doorgronden. De gemeente wil een hogere datavolwassenheid bereiken, waarbij dergelijke kennis en vaardigheden ook zal moeten toenemen binnen de eigen organisatie. Op dat vlak heeft de gemeente Zuidplas een heldere ambitie, maar bestaat het risico dat de gemeente langzamer gaat dan de ontwikkelingen op het gebied van data en algoritmes die de organisatie (of de organisaties om de gemeente heen) insluipen. Voor een verdere toelichting verwijzen wij u naar sectie 3.2.

2.5

Bevindingen rondom toezicht

Norm

Beoordeling norm

Beoordeling ontwikkeling

De gemeente houdt toezicht op het gebruik van algoritmes

Voldoet in kleine mate aan de norm…

…, van goed toezicht en controle is nog geen sprake, maar de gemeente erkent wel het belang ervan m.n. voor de toekomst.

De gemeente grijpt zo nodig doelbewust in op de werking van algoritmes en of wijkt van de uitkomsten af

Voldoet niet aan de norm…

…, dit gebeurt niet altijd en soms te laat.

Voor een verdere toelichting verwijzen wij u naar sectie 3.3.

Onderzoek naar algoritmes in gemeente Zuidplas

3 Onderliggende bevindingen en analyse 3.1

Analyse rondom bewustzijn

3.1.1

De gemeente weet waar ze algoritmes inzet

Het algemene beeld uit de interviews en enquête is dat de gemeente Zuidplas in beperkte mate weet dat het algoritmes inzet en waar het deze inzet. Het beeld is gefragmenteerd, de gemeente heeft geen volledig overzicht. Beoordeling: Gemeente Zuidplas voldoet in beperkte mate aan de norm Een groot gedeelte van de ambtenaren en politici in de gemeente denkt dat er geen algoritmes binnen de eigen gemeentelijke organisatie worden ingezet, terwijl dit wel het geval is. Uit de enquête (zie navolgend figuur) blijkt dat voornamelijk binnen de eigen afdeling respondenten overzicht hebben van het gebruik van algoritmes door henzelf of een externe partij. Zij hebben echter geen overzicht over algoritmegebruik bij andere afdelingen. Uit interviews blijkt dat het onderwerp algoritmes niet leeft binnen de gemeente, ondanks dat de gemeente Zuidplas voor diverse doeleinden algoritmes inzet, zoals simulatiesoftware van verkeerstromen, ChatGPT (incidenteel voor het schrijven van een tekst), groeimodellen, algoritmes binnen Centric Burgerzaken en anderen (zie het overzicht in Tabel 3). Mogelijke verklaringen hiervoor zijn dat het voor ambtenaren soms niet duidelijk is wat er precies binnen de definitie “algoritme” valt, of dat zij niet weten (of zich niet realiseren) dat er in sommige applicaties algoritmes verwerkt zitten.

Er zijn een aantal specifieke personen binnen de gemeente die meer zicht hebben op het gebruik van algoritmes zoals de data-analist en de concerncontroller die het groeimodel heeft ontwikkeld. De gesproken ambtenaren geven in de interviews aan dat het per algoritme verschilt in hoeverre zij weten welke data verwerkt wordt in de algoritmes die zij gebruiken. Bij een aantal van de gebruikte algoritmes, is het de ambtenaren zeer duidelijk welke data er gebruikt wordt en hoe, zoals bij het groeimodel. Bij ingekochte applicaties geven ambtenaren aan dat zij niet precies weten welke data deze applicaties gebruiken en zij de data verwerken. De gemeente Zuidplas heeft nog geen centraal overzicht van de inzet van algoritmes in de gemeente. Geïnterviewde ambtenaren geven aan dat zij voor de start van dit onderzoek niet bewust hebben stilgestaan bij welke applicaties precies onder de term ‘algoritme’ vallen en ook niet hoe deze werken. Wel gaven ambtenaren aan dat er plannen zijn om in de toekomst meer algoritmes in te zetten en zijn er verschillende personen binnen de gemeente, waaronder de gemeentesecretaris, betrokken bij de ontwikkeling van een Plan van Aanpak voor het toekomstige algoritmegebruik voor meer data-gedreven werken. Figuur 1 In hoeverre weet u of er algoritmes worden ingezet op de volgende niveau's? (n=23) Namens uw gemeente (bijv.

door uw gemeente ingehuurde partijen)’ Binnen uw gemeente Namens uw afdeling (bijv. door uw afdeling ingehuurde partijen) Binnen uw afdeling 0% Ja, één algoritme

20%

Ja, meerdere algoritmes

40%

60%

Nee

Weet ik niet

80%

100%

Bron: enquête Technopolis, 2023

Onderzoek naar algoritmes in gemeente Zuidplas

3.1.2

De gemeente weet waarvoor ze algoritmes inzet

Over het algemeen weten ambtenaren die bekend zijn met de inzet van een algoritme door de gemeente waarvoor de gemeente dit algoritme inzet. Ambtenaren zetten algoritmes in voor verschillende doeleinden: van diagnostische doeleinden tot controlemiddel voor processen. Beoordeling: Gemeente Zuidplas voldoet in beperkte mate aan de norm Geïnterviewde ambtenaren geven aan dat zij grotendeels weten waarvoor algoritmes binnen de gemeente ingezet worden. Zij geven aan dat veel van de ingezette algoritmes diagnostisch van aard zijn, bijvoorbeeld om te voorspellen wanneer er onderhoud aan bepaalde installaties binnen de gemeente moet plaatsvinden. Verder gebruikt de gemeente Centric om burgergegevens vast te leggen en worden groeimodellen gebruikt om te voorspellen hoeveel (meer) geld er naar bepaalde afdelingen binnen de gemeente moet gaan. Verder zetten ambtenaren voorschrijvende algoritmes in zoals Zivver, die controleert of de informatie die in een mail staat beveiligd zou moeten worden of niet. Een deel van de geïnterviewde ambtenaren geeft aan huiverig te zijn over verder algoritmegebruik binnen de gemeente. Ambtenaren geven aan dat zij het gebruik van algoritmes op het gebied van zaken die directe impact op burgers kunnen hebben voorlopig nog niet gewenst vinden. Een voorbeeld dat men aanhaalt is het inzetten van opsporingsalgoritmes in relatie tot de toeslagenaffaire.

Verder geven veel ambtenaren aan dat, zeker als burgers direct de impact van een besluit van een algoritme ondervinden, dit algoritme altijd handmatig door hen gecontroleerd wordt om te voorkomen dat er een fouten optreden. Dat is echter niet voldoende: goed toezicht vereist het vierogenprincipe – dat wil zeggen dat bij mogelijk impact op de burger de controle van één persoon op een algoritme niet volstaat. 3.1.3

De gemeente weet waarom ze algoritmes inzet

Over het algemeen zijn ambtenaren die zich bewust zijn van de inzet van algoritmes binnen de gemeente zich ook bewust van waarom de gemeente een algoritme inzet. Ambtenaren zetten algoritmes voornamelijk in voor automatiseringsdoeleinden, waardoor processen efficiënter en effectiever afgehandeld kunnen worden. Beoordeling: Gemeente Zuidplas voldoet in beperkte mate aan de norm De gesproken ambtenaren geven aan dat zij grotendeels weten waarom de gemeente gekozen heeft om een bepaald algoritme in te zetten. Ambtenaren binnen de gemeente Zuidplas zetten algoritmes voornamelijk in om processen te automatiseren, voornamelijk zodat deze processen sneller afgehandeld kunnen worden. Voorbeelden hiervan zijn de verwerking van burgergegevens in Centric software en automatische kentekenregistratie door middel van ANPR. Geïnterviewde ambtenaren geven tevens aan dat het gebruik van algoritmes processen effectiever en nauwkeuriger maken, omdat algoritmes menselijke fouten voorkomen. Wel geven zij aan dat de uitkomst van de meeste algoritmes handmatig worden gecontroleerd, zoals een uitkomst op een aangifte in Centric Burgerzaken. Dat moet voorkomen dat er geen fouten in het proces sluipen en alles eerlijk en volgens protocol verloopt. Uit de enquête blijkt dat de meeste ambtenaren überhaupt niet op de hoogte zijn van algoritmegebruik binnen de gemeente en dus ook niet waarom.

Uit interviews blijkt dat de gemeente Zuidplas wel degelijk algoritmes inzet binnen de gemeente, maar uit de enquête blijkt dat veel respondenten hiervan niet op de hoogte zijn. Hierdoor heeft een groot gedeelte

Onderzoek naar algoritmes in gemeente Zuidplas

van de ambtenaren geen idee waarom algoritmes worden ingezet. Het gedeelte van de ambtenaren dat wel van het algoritmegebruik op de hoogte is, lijkt ook te weten waarom het algoritme wordt gebruikt. Het merendeel van de ambtenaren geeft aan dat zij niet weten hoe de ingezette algoritmes precies werken. Hoewel sommige ambtenaren aangeven dat zij wel weten waarom de gemeente een bepaald algoritme inzet (efficiëntie en effectiviteit), weten zij vaak niet precies hoe het algoritme werkt. In de toekomst wil de gemeente wel meer overzicht over de werking van algoritmes en meer personen betrekken bij de ontwikkeling van al bestaande tools, zoals het ‘groeimodel’, en eventueel nieuwe tools die gebruik maken van algoritmes.

3.2 3.2.1

Analyse rondom besluitvorming De gemeente neemt geïnformeerde besluiten over de inzet van algoritmes

Uit het onderzoek blijkt dat de gemeente over het algemeen geen goed beeld heeft over wie er worden geïnformeerd over de te gebruiken algoritmes en wie er uiteindelijk verstand hebben van de werking van een algoritme. Zowel op bestuurlijk als ambtelijk niveau lijkt er geen volledig beeld te zijn over wie de eindverantwoordelijken zijn voor het gebruik en beheer van verschillende algoritmes. Ook is het binnen de gemeente vaak niet duidelijk hoe een algoritme precies werkt, hoe de data binnen het systeem verwerkt wordt en welke data er nodig is. De expertise van een bestuurder bepaalt of deze kan inzien of de informatie die hij/zij ontvangt gebaseerd is op algoritmes. Alleen voor het gebruikte ‘groeimodel’ zijn betrokken ambtenaren, bestuurders en de raad op de hoogte van de werking en het feit dat dit een (eenvoudig) algoritme betreft. Beoordeling: Gemeente Zuidplas voldoet in kleine mate aan de norm Ambtenaren binnen de gemeente Zuidplas lijken geen goed overzicht te hebben over welke personen er worden meegenomen in het besluit tot de inzet van bepaalde algoritmes. Respondenten uit de enquête geven aan dat zij grotendeels (65%-95%) niet weten welke personen of organisatieonderdelen van de gemeente betrokken zijn bij besluitvorming over algoritmes, wat te zien is in Figuur 2.

Ook geïnterviewde ambtenaren geven aan dat zij niet altijd weten wie betrokken zijn bij de besluitvorming over algoritmes. Hiervoor zijn geen duidelijke procedures of protocollen. Veel medewerkers binnen de gemeente worden daardoor niet betrokken en ook niet geïnformeerd over het gebruik van het algoritme in processen of voor besluiten. Aangezien protocollen ontbreken en algoritmes vaak onderdeel zijn van software of niet herkend worden als zodanig, betrekken ambtenaren het college en de gemeenteraad vaak niet expliciet bij de besluitvorming over het gebruik van algoritmes. Ook informeren zij hen niet over of er een algoritme is gebruikt in de informatie die ten grondslag ligt aan besluitvorming. Wanneer een bepaalde afdeling binnen de gemeente gebruik maakt van een algoritme, lijken andere afdelingen hier niets vanaf te weten. Bestuurders krijgen wel uitkomsten van algoritmes toegestuurd, maar het is niet altijd duidelijk of zij ook weten waarop de uitkomsten gebaseerd zijn. Het hangt af van de kennis en achtergrond van een wethouder of hij/zij in staat is om te zien of de gedeelde informatie geautomatiseerd is geanalyseerd en of hij/zij daarop doorvraagt. In sommige gevallen weten bestuurders dat de informatie gebaseerd is op een algoritme. Een voorbeeld hiervan is het ‘groeimodel’, waarbij bestuurders betrokken zijn geweest bij de ontwikkeling.

Ambtenaren binnen de gemeente Zuidplas hebben vaak geen goed beeld hoe een algoritme werkt en hoe een algoritme de data verwerkt. Gesproken ambtenaren geven aan dat de gemeente veel software en andere systemen extern inkoopt, waarbij ambtenaren aannemen dat het systeem werkt zoals beschreven. De gemeente heeft weinig aandacht voor de

Onderzoek naar algoritmes in gemeente Zuidplas

precieze werking van de ingekochte algoritmes en lijkt hier ook maar beperkte interesse voor te hebben. Omdat personen binnen de gemeente vaak niet precies weten hoe een algoritme werkt, maakt dit het ook lastiger om data te verzamelen, omdat het niet precies duidelijk is waarom bepaalde data nodig is. Het is daardoor lastig aan burgers uit te leggen waarom de gemeente bepaalde data verzamelt. Wederom is de uitzondering op dit alles het ‘groeimodel’, een algoritme dat binnen de gemeente ontwikkeld is en waarvan precies duidelijk is wat het doet op basis van welke data. Het is veel ambtenaren niet duidelijk wat een algoritme precies inhoudt. Gesproken ambtenaren geven aan dat zij niet helemaal duidelijk hebben welke tools precies onder de term ‘algoritme’ vallen. Dit geeft aan dat de kennis over algoritmes onder ambtenaren van de gemeente Zuidplas laag is en zij niet bekend zijn met een heldere definitie van de term ‘algoritme’. Figuur 2 Op welke niveaus vindt de besluitvorming over algoritmes plaats, ofwel wie worden er expliciet gekend en geïnformeerd in de besluitvorming over algoritmegebruik? (n=23) De gemeenteraad Het voltallige gemeentebestuur (B&W) De verantwoordelijke wethouder De gemeentesecretaris Onze IT-/dataverantwoordelijken (bijv. CISO)

Ons samenwerkingsverband Mijn afdelingshoofd/-directie De uitvoerende ambtenaren in mijn afdeling 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Nooit

Soms

Altijd

Weet ik niet

Bron: enquête Technopolis, 2023

3.2.2

Bij de besluitvorming worden ethische overwegingen meegenomen

Vanuit zowel interviews als de enquête komt het beeld naar voren dat de gemeente Zuidplas, zowel op ambtelijk als bestuurlijk niveau, ethische overwegingen vooralsnog nauwelijks meeneemt in haar besluiten om een algoritme (of software met daarin algoritmes) in te zetten. Ambtenaren weten niet of er ethische aspecten zijn meegenomen in de besluitvorming. Alleen als de gemeente een DPIA uitvoert, is dit in beperkte mate het geval. Beoordeling: Gemeente Zuidplas voldoet niet aan de norm Ambtenaren binnen de gemeente Zuidplas geven aan dat de gemeente ethische overwegingen nauwelijks meeneemt in de besluitvorming rondom algoritmes. Dit komt naar voren uit zowel de interviews als de enquête. Ook is er een groot gedeelte van de ambtenaren (ongeveer 80%) niet op de hoogte van het feit of ethische overwegingen meegenomen worden in de besluitvorming of niet, wat te zien is in Figuur 3. Bij het gebruik van ANPR-camera’s heeft de gemeente echter wel een DPIA uitgevoerd waarin de impact op de privacy van de burger is geanalyseerd bij het gebruik van deze camera’s en bijbehorende algoritmes. Dat is een zorgvuldig en wettelijk (AVG) verplicht proces waarbij ook het college betrokken is

Onderzoek naar algoritmes in gemeente Zuidplas

geweest. DPIA’s worden echter niet altijd uitgevoerd bij het aanschaffen en implementeren van software en algoritmes. Gesproken ambtenaren gaven aan dat recent de VNG een ethisch document 7 heeft vastgesteld waarin een normenkader is opgenomen voor o.a. algoritmes. Ambtenaren geven aan dat het belangrijk is om hier in de toekomst meer aandacht aan te besteden en betere kaders op te stellen voor het personeel. Bij uitbestede opdrachten of ingekochte tools is niet duidelijk of derde partijen aandacht hebben besteed aan ethische vraagstukken. Een gesproken ambtenaar geeft als voorbeeld dat uitkeringsregistratie is uitbesteed aan de GR IJsselgemeenten en het niet duidelijk is of deze instantie ethische overwegingen heeft meegenomen bij het in gebruik nemen van de algoritmes binnen deze organisatie. Figuur 3 In hoeverre zijn ethische aspecten onderdeel bij de besluitvorming tot de inzet van algoritmes? (n=23)

10%

20%

30%

Geen onderdeel

40%

50%

Soms onderdeel

60%

70%

Vast onderdeel

80%

90%

100%

Weet ik niet

Bron: enquête Technopolis, 2023

3.2.3

Bij de besluitvorming zijn de impliciete aannames achter het algoritme en de gebruikte data bekend

Ambtenaren binnen de Gemeente Zuidplas hebben vaak niet duidelijk welke data algoritmes gebruiken en hoe algoritmes deze data verwerken. Ambtenaren kunnen daardoor ook niet goed inschatten welke biases vanuit de data in de uiteindelijke resultaten terechtkomen. Beoordeling: Gemeente Zuidplas voldoet niet aan de norm Ambtenaren geven aan dat zij niet weten op welke data de gebruikte algoritmes zich baseren. Figuur 4 laat duidelijk zien dat respondenten (ongeveer 80%) vaak niet weten of het duidelijk is op welke data algoritmes zich baseren. Voor minder dan 10% van de respondenten is het enigszins duidelijk welke data algoritmes gebruiken. Geïnterviewde ambtenaren geven ook aan dat zij vele databases hebben met enorm veel informatie, maar dat het voor hen niet altijd duidelijk is of zij deze ergens voor kunnen gebruiken. Het gebruik van algoritmes lijkt heel erg resultaatgericht, waarbij ambtenaren weinig stilstaan bij de data die verschillende tools gebruiken.

7 VNG (2022). Handreiking Digitale Ethiek. https://vng.nl/publicaties/handreiking-digitale-ethiek

Onderzoek naar algoritmes in gemeente Zuidplas

Figuur 4 In hoeverre is bij de besluitvorming tot inzet van algoritmes duidelijk op welke data de gebruikte algoritmes zich baseren? (n=23)

10%

20%

30%

40%

50%

60%

70%

Enigszins duidelijk

Enigszins onduidelijk

Niet duidelijk en niet onduidelijk

Weet ik niet

Zeer duidelijk

Zeer onduidelijk

80%

90%

100%

Bron: enquête Technopolis, 2023

De gemeente Zuidplas lijkt weinig tot geen aandacht te hebben voor eventuele biases in data die gebruikt worden door algoritmes. Zoals te zien in Figuur 5, weet het grootste gedeelte van de respondenten (ongeveer 85%) niet of ambtenaren en bestuurders bij besluitvorming stilstaan bij mogelijke biases in de data. Minder dan 10% van de respondenten denkt dat ambtenaren en bestuurders in het besluitvormingsproces altijd of meestal wel stilstaan bij dergelijke biases. Ook de meeste gesproken ambtenaren geven aan dat zij of niet weten of hierbij stilgestaan wordt. Een ambtenaar gaf ook aan dat hij niet de indruk had dat eventuele databiases worden meegenomen als overweging bij de aanschaf van nieuwe digitale systemen. Gesproken ambtenaren geven aan dat data voor nu voornamelijk een ondersteunende rol speelt in besluitvorming. Ambtenaren zeggen, waar mogelijk, vooral te kijken naar ervaringen van burgers en bevindingen van ambtenaren en daarop beleid aan te passen. Ook geven ambtenaren aan dat er na het toepassen van een algoritme altijd een handmatige check door een ambtenaar plaatsvindt. Wel geeft de gemeente aan dat zij in de toekomst meer met data wil gaan doen, maar dat de gemeente daarvoor mensen met meer data-expertise in huis moet halen.

Figuur 5 In hoeverre wordt bij de besluitvorming tot inzet van algoritmes duidelijk stilgestaan bij mogelijke biases binnen de dataverzameling? (n=23)

10% Altijd

20%

30%

40%

50%

Meestal wel

Soms

Vaak niet

60%

70%

Eigenlijk nooit

80%

90%

100%

Weet ik niet

Bron: enquête Technopolis, 2023

3.2.4

Bij de besluitvorming is de gemeente zich wel/niet bewust van de implicaties van de inzet van het algoritme voor de uitvoeringspraktijk

Binnen de gemeente Zuidplas lijken ambtenaren zich niet heel bewust bezig te houden met de implicaties van de inzet van algoritmes voor de uitvoeringspraktijk. Ambtenaren maken puur gebruik van de resultaten van de algoritmes en lijken hierbij geen rekening te houden met

Onderzoek naar algoritmes in gemeente Zuidplas

hoe het algoritme tot een bepaalde oplossing komt en wat dit voor invloed heeft op de uitvoeringspraktijk. Beoordeling: Gemeente Zuidplas voldoet in kleine mate aan de norm Ambtenaren lijken niet bewust bezig te zijn met de implicaties van de inzet van algoritmes voor de uitvoeringpraktijk. Dit is voornamelijk op te maken uit interviews waarin ambtenaren vrijwel niet stilstaan bij de implicaties die het gebruik van algoritmes met zich meebrengen. Ambtenaren geven voornamelijk aan dat het gebruik van algoritmes zeer resultaatgericht is en dat personen binnen de gemeente vaak niet expliciet stil staan bij het feit of er algoritmes betrokken zijn bij processen en hoe algoritmes de uitvoeringspraktijk kunnen beïnvloeden. Een uitzondering hierop is het groeimodel, waarvan de werking bij betrokkenen duidelijk is, evenals de implicaties ervan voor de begroting en groei van de organisatie. Ambtenaren geven aan dat er nog te weinig kennis is binnen de gemeente om goed na te gaan wat een algoritme nu precies doet. Een gesproken wethouder benadrukt dat bijvoorbeeld in het HR-systeem veel algoritmes zitten, waarbij het voor hem niet duidelijk is of alle regels in het systeem kloppen en hoe het systeem in zijn werk gaat.

Aangezien veel medewerkers binnen de gemeente een sociaaleconomische achtergrond hebben, is het voor hen ook vaak lastig te doorgronden hoe een algoritme nu precies werkt en wat de invloed is van deze werking op de resultaten van een onderzoek. De gemeente geeft aan dat voor meer datagedreven werken er andere/nieuwe competenties onder (een grotere groep) ambtenaren nodig zullen zijn. Dat vraagt om training en het aantrekken van medewerkers met sterke datacompetenties en analytische vaardigheden, waardoor zij bestaande data beter kunnen doorgronden en optimaal kunnen benutten, en ook de assumpties achter algoritmes kunnen begrijpen.

3.3 3.3.1

Analyse rondom toezicht De gemeente houdt toezicht op het gebruik van algoritmes

Vanuit zowel de enquête en interviews komt naar voren dat personeel binnen de gemeente vaak niet weet of er toezicht gehouden wordt op het gebruik van algoritmes. De enige vorm van controle en toetsing is het handmatig checken van de resultaten van een algoritme, waarbij sommige ambtenaren aangeven dat dit altijd gebeurt en andere dat zij niet weten of dit gebeurt. Beoordeling: Gemeente Zuidplas voldoet in kleine mate aan de norm Binnen de gemeente Zuidplas weten veel ambtenaren niet of er toezicht gehouden wordt op het gebruik van algoritmes. Geïnterviewde ambtenaren geven aan dat, zeker bij externe tools of uitbestede opdrachten, het niet duidelijk is of er iemand toezicht houdt op de werking van het algoritme. Ook nemen ambtenaren en bestuurders vaak aan dat de gebruikte data juist is en controleren ambtenaren niet of dit ook daadwerkelijk het geval is. De enige vorm van controle die de gemeente vaak gebruikt, is het controleren van de resultaten van het algoritme. Veel gesproken ambtenaren geven aan dat dit het geval is. Deze controle maakt onderdeel uit van procedures of afspraken, al gaven enkele ambtenaren aan dat ze niet weten of deze controle ook daadwerkelijk plaatsvindt. Ambtenaren die niet direct betrokken zijn bij het gebruik van het algoritme gaan ervan uit dat deze controle plaatsvindt, maar controleren dit niet.

De meeste algoritmes die de gemeente nu gebruikt, zijn van tevoren niet getoetst. Ambtenaren geven aan dat zij aannemen dat algoritmes in applicaties correct werken

Onderzoek naar algoritmes in gemeente Zuidplas

wanneer ze applicaties inkopen. De gemeente voert zelden DPIA’s – alleen bij de ingebruikname van ANPR-camera’s weten we dat de gemeente een DPIA heeft uitgevoerd. Ambtenaren geven aan dat de gemeente de toetsing van algoritmes aan de voorkant (bij de inkoop) moet verbeteren. Binnen de afdeling Openbare Veiligheid vindt er wel regelmatige toetsing plaats van de privacyveiligheid van geautomatiseerde systemen (o.a. ANPRcamera’s). Er is geen algoritmeregister binnen de gemeente Zuidplas. Volgens geïnterviewde ambtenaren heeft de gemeente geen volledig overzicht van de door haar gebruikte algoritmes. Hierdoor wordt toezicht houden op het gebruik van algoritmes bemoeilijkt. Ook geven ambtenaren aan dat ze de werking van algoritmes vaak niet begrijpen of kunnen doorgronden – zij weten bijvoorbeeld niet welke berekeningen of regels de algoritmes toepassen. Ook dat bemoeilijkt de controle van algoritmes binnen de gemeente. 3.3.2

De gemeente grijpt zo nodig doelbewust in op de werking van algoritmes en of wijkt van de uitkomsten af

De gemeente grijpt tot op heden nog niet tijdig in op de werking van algoritmes. Ambtenaren hebben ook nog weinig vastgesteld dat de algoritmes niet zouden werken zoals verwacht, wat deels komt door de beperkte controle op algoritmes Beoordeling: Gemeente Zuidplas voldoet niet aan de norm Ambtenaren en bestuurders nemen doorgaans aan dat de werking van een algoritme juist is (dat de berekeningen en regelsystemen waarop een algoritme gebaseerd is foutloos zijn) en dat de juiste data is aangeleverd. Daardoor heeft ingrijpen op de werking van een algoritme nog weinig plaatsgevonden. De meeste geïnterviewde ambtenaren geven aan dat zij nog nooit hebben hoeven ingrijpen op de werking van een algoritme. Dat deels kan komen door beperkt toezicht en controle. Wel gaan ambtenaren ervan uit dat, wanneer zij zelf niet betrokken zijn bij een algoritme, degene die wel betrokken zijn bij het algoritme ingrijpen als dit nodig is. Binnen de gemeente controleert echter niemand dit. Uit interviews blijkt dat ambtenaren alleen ingrijpen als na een menselijke check blijkt dat de resultaten (de uitkomsten van het algoritme) niet kloppen. Omdat de gemeente de benodigde kennis niet in huis heeft, is het lastig om in te grijpen op de werking van een algoritme.

Ambtenaren geven aan dat zij, omdat zij niet weten hoe een algoritme werkt, ook geen veranderingen aan kunnen brengen in het proces, zelfs als ze zouden constateren dat er iets fout gaat. Zij kunnen dit eventueel wel aangeven bij de leverancier van de tool. Wanneer er een abnormaliteit in de resultaten zit, grijpen ambtenaren niet altijd in op de werking van het algoritme. Geïnterviewde ambtenaren gaven aan dat bij een incident, wat te maken had met dubbele boekingen vanuit BUIG-gelden8, achteraf te hebben ingegrepen op de resultaten, maar dat de fout wel laat werd ontdekt. Een andere geïnterviewde ambtenaar gaf over een ander incident aan, dat te maken had met het integrale huisvestigingsplan, dat de gemeente constateerde dat resultaten consistent een half punt afweken van de verwachtte waarden, maar dat hier verder niks mee gedaan is.

Volgend deel →

De tekst is automatisch uit het bestand gehaald en kan afwijken van het origineel (kolommen, tabellen en koppen lopen door elkaar). Het officiële stuk bij iBabs is leidend. Bron: https://api.notubiz.nl/document/14059665/1