Document · PDF

Onderzoek naar algoritmes in het Groene Hart - Eindrapport gemeente Gouda v.10-11

Raadsvergadering 3 juli 2024, gemeente GoudaBij agendapunt: Besluit: Groene Hart Rekenkamer - onderzoek Algoritmen (Hamerstuk)14.441 woorden

Open het PDF bij de gemeente ↗Naar de vergadering →

Tekst van het document

Uit het bestand gehaald, zonder opmaak, tabellen en afbeeldingen · deel 1 van 2

November 2023

Onderzoek naar algoritmes in gemeente Gouda Eindrapport

www.technopolis-group.com

November 2023

Onderzoek naar algoritmes in gemeente Gouda Eindrapport Gerwin Evers, Erika van der Linden, Jules van de Meulengraaf, Willeke van der Varst, Christian Erven, Roel Bottema, Chiel Scholten en Ben Kokkeler

Onderzoek naar algoritmes in gemeente Gouda

Inhoudsopgave Managementsamenvatting _____________________________________________________________ 3 Lijst van gebruikte afkortingen ___________________________________________________________ 6 1 Inleiding _____________________________________________________________________________ 7 1.1 Aanleiding en doel: waarom dit onderzoek? _______________________________________________ 7 1.2 Blijvende aandacht voor algoritmes _______________________________________________________ 8 1.3 Definitie: wat verstaan we onder algoritmes? _______________________________________________ 8 1.4 Normenkader ____________________________________________________________________________ 9 1.5 Onderzoeksaanpak______________________________________________________________________ 10 1.6 Leeswijzer _______________________________________________________________________________ 10

2 Overkoepelende bevindingen _______________________________________________________ 11 2.1 Context _________________________________________________________________________________ 11 2.2 Gebruik algoritmen ______________________________________________________________________ 11 2.3 Bewustzijn _______________________________________________________________________________ 12 2.4 Besluitvorming ___________________________________________________________________________ 12 2.5 Toezicht _________________________________________________________________________________ 13

3 Onderliggende bevindingen en analyse _____________________________________________ 14 3.1 Bevindingen rondom bewustzijn __________________________________________________________ 14 3.2 Bevindingen rondom besluitvorming ______________________________________________________ 17 3.3 Bevindingen rondom toezicht ____________________________________________________________ 22

4 Usecases ___________________________________________________________________________ 26 4.1 Scanauto _______________________________________________________________________________ 26 4.2 Promen _________________________________________________________________________________ 29

Bijlage A

Onderzoeksaanpak _______________________________________________________ 34

Bijlage B

Enquêtevragenlijst _________________________________________________________ 37

Onderzoek naar algoritmes in gemeente Gouda

Managementsamenvatting Aanleiding In de periode november 2022 tot juli 2023 heeft onderzoeksbureau Technopolis in opdracht van de Groene Hart Rekenkamer (GHR) een onderzoek uitgevoerd naar het algoritmegebruik in de gemeenten Gouda, Waddinxveen, Zuidplas en Bodegraven-Reeuwijk. Dit rapport presenteert de bevindingen voor de gemeente Gouda. De algemene aanleiding voor dit onderzoek zijn eerdere incidenten met ongewenst, onjuist of ongeïnformeerd gebruik van algoritmen door zowel de Rijksoverheid als diverse gemeenten. Hoewel er geen directe zorgwekkende signalen waren over het algoritmegebruik van de gemeenten in het Groene Hart, heeft de Groene Hart Rekenkamer uit voorzorg besloten dit onderzoek uit te laten voeren naar het gebruik van algoritmes. De doelstelling van dit onderzoek is om in kaart te brengen hoe geïnformeerd de gemeenten zijn over hun inzet van algoritmes, hoe de besluitvorming hierover plaatsvindt en in hoeverre er sprake is van systematisch toezicht op het gebruik van algoritmes door de gemeenten. Deze studie heeft een verkennend karakter en moet bijdragen aan het vergroten van de kennis en het goed geïnformeerd handelen van gemeenten over hun inzet van algoritmes.

Voor dit onderzoek hanteren we de definitie die gebruikt is in het onderzoek van de Rekenkamer van de Gemeente Rotterdam: ‘Een algoritme is een set instructies die door een computer wordt uitgevoerd, om te komen tot een beslissing of om te komen tot informatie die, in dit geval, de ambtenaar gebruikt om een beslissing te nemen’1

Context Momenteel wordt er weinig gebruik gemaakt van algoritmes in de gemeente Gouda. De gemeente Gouda wil in de toekomst graag wel meer data-gedreven gaan werken. Hierbij onderkent de gemeente het belang en de mogelijkheden van de inzet van algoritmes voor haar eigen dienstverlening en voor de beleidsvorming. De gemeente omschrijft zichzelf als een ’fast follower‘; een gemeente die bekijkt hoe andere gemeenten algoritmes toepassen en afhankelijk daarvan deze ook in de eigen gemeente toepast. Gemeente Gouda denkt op dit moment al wel na over de inzet van algoritmes en hoe zij daarmee moeten omgegaan. Daarnaast is er binnen de gemeente enige onduidelijkheid over de definitie van een algoritme. Een landelijk richtlijn over algoritmes zou hier een belangrijke rol in kunnen spelen.

Bevindingen In Nederland is er nog geen formeel algoritmenormenkader vastgesteld waaraan gemeenten moeten voldoen. Voor dit verkennende onderzoek hebben we daarom een voorlopig normenkader opgesteld. Dit normenkader geeft aan waar een gemeente idealiter zou moeten staan op het gebied van bewustzijn van, besluitvorming over en toezicht op algoritmes. Dit normenkader is opgesteld aan de hand van verschillende richtlijnen die aangeven hoe gemeenten met algoritmes dienen om te gaan zoals de principes geformuleerd in de AVG, de Europese AI-wet en de ontwikkelingen rondom het algoritmeregister waar gemeenten op termijn ook op moeten aansluiten.

1 Rekenkamer Rotterdam (2021). Gekleurde technologie: verkenning ethisch gebruik algoritmes. Online beschikbaar

via: https://rekenkamer.rotterdam.nl/wp-content/uploads/2020/11/R.P.20.06-gekleurde-technologie.pdf

Onderzoek naar algoritmes in gemeente Gouda

Op basis van deskstudie, interviews met bestuurders en ambtenaren, en een enquête verspreid onder de ambtelijke en bestuurlijke organisatie is de gemeente beoordeeld aan de hand van dit normenkader. In de onderstaande secties vindt u in de tabellen de beoordeling van de gemeente gevolgd door een overkoepelende toelichting. Bevindingen over bewustzijn over algoritmes Norm

Beoordeling norm

Beoordeling ontwikkeling

Voldoet in beperkte mate aan de norm…

…, maar zal voor de wens om in de toekomst een verantwoorde datagedreven organisatie te zijn, een beter overzicht moeten hebben van de algoritmes die in gebruik zijn.

De gemeente weet waarom ze algoritmes inzet

Voldoet in grote mate aan de norm …

… en heeft duidelijk de voordelen van het gebruik van algoritmes in beeld.

De gemeente weet waarvoor ze algoritmes inzet

Voldoet in grote mate aan de norm…

… doordat domeinen zelf keuzes maken over de inzet van algoritmes, maar een centraal beeld of kader is in de toekomst wenselijk.

De gemeente algoritmes inzet

weet

waar

De gemeente Gouda gebruikt niet veel algoritmes. Gouda heeft geen centraal overzicht van welke algoritmes zij inzet. Dit kan deels worden verklaard door onduidelijkheid rondom de definitie van een algoritme bij ambtenaren. De reden en het doel van het gebruik van algoritmes heeft de gemeente scherp. Verschillende ambtenaren en bestuurders voorzien een data-gedreven toekomst voor de gemeente Gouda. De verschillende gesproken ambtenaren erkennen het belang van algoritmes binnen de toekomstige organisatie, onder andere om de dienstverlening en andere processen efficiënter te maken. Doordat de keuzes voor inzet van algoritmes bij de verschillende domeinen binnen de gemeente ligt, is er bij de betrokken domeinen een duidelijk beeld over het doel van de inzet van algoritmes. Dat zal voor betrokkenen buiten deze domeinen niet altijd het geval zijn. Bevindingen over besluitvorming over algoritmes Norm

Beoordeling norm

Beoordeling ontwikkeling

De gemeente neemt geïnformeerde besluiten over de inzet van algoritmes

Voldoet in grote mate aan de norm…

… er zijn procedures die opgevolgd worden, maar er moet bredere aandacht zijn voor de impact van de inzet van algoritmes.

Bij de besluitvorming worden overwegingen meegenomen

ethische

Voldoet in grote mate aan de norm…

…, de gemeente is hier actief mee bezig en volgt de ontwikkelingen ondanks dat de kaders vooralsnog niet toegepast zijn.

Bij de besluitvorming zijn de impliciete aannames achter het algoritme en de gebruikte data bekend

Voldoet in beperkte mate aan de norm…

… enerzijds zorgt in theorie het interne zaaksysteem voor een goed overzicht, anderzijds komt uit voorbeelden naar voren dat dit niet automatisch betekent dat bij de besluitvorming de impliciete aannames bekend zijn

Onderzoek naar algoritmes in gemeente Gouda

Bij de besluitvorming is de gemeente zich bewust van de implicaties van de inzet van het algoritme voor de uitvoeringspraktijk

Voldoet in beperkte mate aan de norm…

… doordat betrokkenen bij de uitvoeringspraktijk binnen de domeinen direct betrokken zijn bij de besluitvorming.

De gemeente tracht een evenwicht te vinden tussen het benutten van de voordelen van algoritmes en het waarborgen van ethische overwegingen. Gemeente Gouda kan echter nog meer stappen zetten om een meer verantwoorde en bewuste inzet van algoritmes te realiseren. De gemeente neemt besluiten over het gebruik van algoritmes op basis van procedures. Hoewel ambtenaren deze procedures opvolgen, is het van belang dat er ook bredere aandacht is voor de impact van de inzet van algoritmes tijdens besluitvorming. Een groep ambtenaren heeft geoefend met kaders die ethische aspecten belichten en ondersteuning bieden bij besluitvorming tot inzet van algoritmes. Deze exercitie is echter nog niet in de praktijk uitgevoerd. Het zaaksysteem van de gemeente biedt door de procesbeschrijving duidelijkheid over de data die processen gebruiken en de impliciete aannames die tijdens de dataverzameling plaatsvinden (d.w.z. volgens welke regels werkt het algoritme). Ten slotte, is de gemeente bewust van wat het effect van de inzet van algoritmes op de praktijk is. Al met al, is de gemeente actief bezig met het onderwerp algoritmes, maar is er nog ruimte voor verbetering. Bevindingen over toezicht op algoritmes Norm

Beoordeling norm

Beoordeling ontwikkeling

De gemeente houdt toezicht op het gebruik van algoritmes

Voldoet in beperkte mate aan de norm…

… er zijn verschillende (indirecte) manieren van toezicht binnen de gemeente, maar er zijn geen officiële procedures.

De gemeente grijpt zo nodig doelbewust in op de werking van algoritmes en of wijkt van de uitkomsten af

Voldoet in beperkte mate aan de norm…

… de gemeente heeft al eens ingegrepen, maar er zijn hiervoor geen toetsingskaders binnen de gemeente.

De gemeente houdt toezicht op het gebruik van algoritmes op diverse (indirecte) manieren: door processen ‘faalveilig’ te ontwerpen, altijd een ambtenaar onderdeel te laten zijn van de besluitvorming en het toepassen van DPIA’s. De gemeente heeft momenteel echter geen formele procedures vastgesteld voor toezicht op algoritmes. Bovendien ontbreken er richtlijnen voor bewuste interventie in de werking van algoritmes of het afwijken van uitkomsten van algoritmes. Desondanks heeft de gemeente al wel eens ingegrepen op de werking van algoritmes.

Onderzoek naar algoritmes in gemeente Gouda

Lijst van gebruikte afkortingen AI

Artificiële intelligentie (kunstmatige intelligentie)

ANPR

Automatic Number Plate Recognition (automatische kentekenplaatherkenning)

AVG

Algemene Verordening Gegevensbescherming

CISO

Chief Information Security Officer

BAG

Basisregistratie Adressen en Gebouwen

BSN

Burgerservicenummer

BRP

Basisregistratie Personen

DPIA

Data Protection Impact Assessment

Functionaris Gegevensbescherming

GHR

Groene Hart Rekenkamer

Gemeenschappelijke Regeling

NAW

Naam, adres en woonplaats

NLP

Natural Language Processing

TISO

Technical Information Security Officer

WOO

Wet Open Overheid

Onderzoek naar algoritmes in gemeente Gouda

1 Inleiding 1.1

Aanleiding en doel: waarom dit onderzoek?

In de periode november 2022 tot juli 2023 heeft onderzoeksbureau Technopolis in opdracht van de Groene Hart Rekenkamer (GHR) een onderzoek uitgevoerd naar het algoritmegebruik in de gemeenten Gouda, Waddinxveen, Zuidplas en Bodegraven-Reeuwijk. Dit deelrapport presenteert de bevindingen voor de gemeente Gouda. Digitalisering heeft steeds meer invloed op het dagelijkse leven. De verandering naar een digitale samenleving roept technische, sociale, juridische en ethische vragen op over wat er wel en niet kan. Een actueel voorbeeld hiervan is het gebruik van algoritmes: waar gemeenten altijd al ‘beslisregels’ gebruikten om bijvoorbeeld subsidies toe te kennen, zien we dat ook hier meer geavanceerde mogelijkheden ontstaan. Evenals dat in de particuliere sector het geval is (om consumenten zo gericht mogelijk te kunnen bereiken) zien we dat ook gemeenten steeds vaker gebruik maken van algoritmes om hun taken effectiever en efficiënter uit te voeren en hun dienstverlening te verbeteren. De algemene aanleiding voor dit onderzoek zijn eerdere incidenten met ongewenst, onjuist of ongeïnformeerd gebruik van algoritmen door de overheid. Een in het oog springend voorbeeld is de toeslagenaffaire waarbij algoritmes gebruikt werden om de kans op fraude te berekenen, waardoor burgers op basis van etnische en sociale kenmerken (onjuist) werden aangemerkt als mogelijke fraudeurs.

Dergelijke incidenten beperken zich echter niet tot de Rijksoverheid; ook bij gemeenten kwamen misstanden in algoritmegebruik aan het licht, zoals in het onderzoek dat de Rekenkamer Rotterdam in 2021 uitvoerde 2. Daaruit bleek dat de ingezette algoritmes konden leiden tot uitkomsten die een impliciete bias bevatten gebaseerd op factoren waarvan de verklarende correlatie niet is aangetoond. Ook in de Gemeente Nissewaard bleek dat een algoritme dat gebruikt werd voor fraudedetectie niet betrouwbaar was3. In datzelfde jaar stond het College voor de Rechten van de Mens in een onderzoek specifiek stil bij de ethische vraagstukken voor de inzet van algoritmes door gemeenten 4. Door deze incidenten rijzen er steeds meer vragen in de samenleving over het gebruik van algoritmen door de overheid. Met het oog op deze maatschappelijke vragen heeft de Groene Hart Rekenkamer uit voorzorg besloten dit onderzoek uit te laten voeren naar het gebruik van algoritmes door de gemeenten in het Groene Hart. Er waren geen directe zorgwekkende signalen over het algoritmegebruik bij gemeenten die aanleiding gaven tot dit onderzoek. De doelstelling van dit onderzoek is om in kaart te brengen hoe geïnformeerd de gemeenten zijn over hun inzet van algoritmes, hoe de besluitvorming hierover plaatsvindt en in hoeverre er sprake is van systematisch toezicht op het gebruik van algoritmes door de gemeenten.

Deze studie heeft een verkennend karakter en moet bijdragen aan het vergroten van de kennis en het goed geïnformeerd handelen van gemeenten over hun inzet van algoritmes.

2 Rekenkamer Rotterdam (2021). Gekleurde technologie: verkenning ethisch gebruik algoritmes. Online beschikbaar

via: https://rekenkamer.rotterdam.nl/wp-content/uploads/2020/11/R.P.20.06-gekleurde-technologie.pdf 3 TNO. (2021). Eindrapportage van de Nissewaard casus. https://www.nissewaard.nl/bestuur-en-organisatie/bestuur-

en-organisatie/onderzoek-tno-naar-algoritme.htm 4 H+P (2021). Hoe gemeenten besluiten over algoritmen & mensenrechten. Online beschikbaar via:

https://hooghiemstra-en-partners.nl/wp-content/uploads/2021/07/Onderzoeksrapport-algoritmen-enmensenrechten-gemeenten-29062021-afgerond.pdf

Onderzoek naar algoritmes in gemeente Gouda

1.2

Blijvende aandacht voor algoritmes

De keuze voor dit onderzoek staat ook in een bredere maatschappelijke ontwikkeling waarbij er in de afgelopen jaren meer aandacht is gekomen voor de rol die algoritmes spelen in de maatschappij in het algemeen en binnen de overheid in het bijzonder. De introductie van generatieve AI-tools, zoals ChatGPT, hebben ervoor gezorgd dat beleidsvraagstukken over hoe om te gaan met algoritmes naar verwachting ook in de komende jaren hoog op de politieke agenda zullen blijven staan. Op Europees niveau zijn ontwikkelingen in volle gang met o.a. de voorgestelde wetgeving voor kunstmatige intelligentie in de AI-verordening. Deze wetgeving heeft tot doel de ontwikkeling, implementatie en het gebruik van AI-systemen binnen de EU te reguleren en waarborgen te bieden voor de rechten en veiligheid van haar burgers. Ook op nationaal niveau zijn er onder andere via de het initiatief voor een algoritmetoezichthouder en de opzet van het nationale algoritmeregister ontwikkelingen om transparantie te bevorderen voor maatschappelijk verantwoorde inzet van algoritmes door publieke organisaties. Op gemeenteniveau zien we dat met name de grotere gemeenten, die in veel gevallen zelf ook te maken hebben gehad met misstanden, actief bezig zijn hun omgang met algoritmes tegen het licht te houden.

Zo hebben de gemeenten Rotterdam en Amsterdam een algoritmeregister en interne experts die zich specifiek bezighouden met algoritmes. Hoewel het per gemeente zal verschillen hoeveel middelen zij hiervoor beschikbaar kunnen maken, zullen ook kleinere gemeenten actief moeten gaan nadenken over de inzet van algoritmes om te voldoen aan de toekomstige verplichte aansluiting op het algoritmeregister. Naast deze onmiddellijke verantwoordelijkheid van een gemeente voor maatschappelijk verantwoorde toepassing van AI in het algemeen en algoritmes in het bijzonder, is er ook de voorbeeldrol jegens burgers en ondernemers. Het leeuwendeel van algoritmetoepassingen is te vinden in apparaten die burgers gebruiken en in diensten die commerciële aanbieders aanbieden. Gemeenten kunnen hier slechts in beperkte mate invloed op uitoefenen; ze kunnen wel de expertise bij burgers en ondernemers vergroten en het goede voorbeeld geven.

1.3

Definitie: wat verstaan we onder algoritmes?

Er is internationaal nog geen eenduidige definitie voor wat er precies verstaan wordt onder een algoritme. Voor dit onderzoek hanteren we de definitie die gebruikt is in het onderzoek van de Rekenkamer van de Gemeente Rotterdam: ‘Een algoritme is een set instructies die door een computer wordt uitgevoerd, om te komen tot een beslissing of om te komen tot informatie die, in dit geval, de ambtenaar gebruikt om een beslissing te nemen’5 Binnen deze definitie vallen een grote verscheidenheid aan algoritmes. Algoritmes kunnen zowel relatief simpele handelingen zijn, zoals geautomatiseerd cijfermatige berekeningen uitvoeren, als complexe handelingen zijn, zoals het besturen van een zelfrijdende auto. Wij volgen de indeling in typen algoritmes die onder meer ook door het Ministerie van Justitie en

5 Rekenkamer Rotterdam (2021). Gekleurde technologie: verkenning ethisch gebruik algoritmes. Online beschikbaar

via: https://rekenkamer.rotterdam.nl/wp-content/uploads/2020/11/R.P.20.06-gekleurde-technologie.pdf

Onderzoek naar algoritmes in gemeente Gouda

Veiligheid6 gehanteerd wordt. In de navolgende tabel geven we per type algoritme aan wat er binnen en buiten het bereik van dit onderzoek valt aan de hand van algemene voorbeelden (niet specifiek voor de gemeente Gouda). Tabel 1

Typen algoritmes

Type algoritme

Voorbeelden binnen bereik

Voorbeelden buiten bereik

Beschrijvend (Wat gebeurt er?)

• Identificeren van huizen waar zonnepanelen op daken liggen op basis van satellietdata

• Geavanceerde dataanalyses in Excel door medewerkers (d.w.z. niet geautomatiseerd)

• Automatische vertaling van teksten voor burgers in andere talen • Automatisch anonimiseren van teksten of onleesbaar maken van privacygevoelige gegevens Diagnostisch (Waarom gebeurt het?)

• Automatische analyse van factoren die meespelen bij het besluiten tot het aanschaffen van zonnepanelen

• Analyse van een vragenlijst over factoren die meespelen in de keuze voor zonnepanelen (d.w.z. niet geautomatiseerd)

Voorspellend (Wat zal gebeuren?)

• Geautomatiseerde opsporing van uitkeringsfraude er

• Een kwalitatieve analyse van een toekomstscenario

Voorschrijvend (Wat moet gebeuren?)

• Handhaving illegaal verhuren van Airbnb’s o.b.v. geautomatiseerde data-analyse van meldingen bij de gemeente, persoonsgegevens, en gegevens over gebouwen • Automatische parkeercontrole d.m.v. scanauto’s uitgerust met camera’s, beeldherkenningsalgoritmes en kentekenmatching. • Verkeerslichten geautomatiseerd op groen zetten op basis van verkeersdata • Verkeersboetes uitdelen op basis van automatische matching van flitscontroledata en kentekendata

• Outlook die voorspelt op wat voor toekomstig tijdstip een email het beste verstuurd kan worden of suggesties geeft voor automatische antwoorden

Bron: Technopolis, 2023

1.4

Normenkader

In Nederland is er nog geen formeel algoritmenormenkader vastgesteld waaraan gemeenten moeten voldoen. Voor dit verkennende onderzoek hebben we daarom een voorlopig normenkader opgesteld dat we in Tabel 2 presenteren. Dit normenkader geeft aan waar een gemeente idealiter zou moeten staan op het gebied van bewustzijn van, besluitvorming over en toezicht op algoritmes. Dit normenkader is opgesteld aan de hand van verschillende richtlijnen die aangeven hoe gemeenten met algoritmes dienen om te gaan zoals de principes geformuleerd in de AVG, de Europese AI-verordening en de ontwikkelingen rondom het nationale algoritmeregister waar gemeenten op termijn ook op moeten aansluiten. In de volgende hoofdstukken beoordelen we de gemeenten aan de hand van dit normenkader waarbij de gemeente ‘niet’, ‘in kleine’, ‘in beperkte’, ‘in grote’ of ‘in volledige’ mate aan een norm kan voldoen.

6 Ministerie van Justitie en Veiligheid. (2021). Richtlijnen voor het toepassen van algoritmen door overheden en

publieksvoorlichting over data-analyses. https://open.overheid.nl/documenten/ronl-1411e45f-b822-49fa-98952d76e663787b/pdf

Onderzoek naar algoritmes in gemeente Gouda

Tabel 2

Normenkader

Categorie

Norm

Bewustzijn

De gemeente weet waar ze algoritmes inzet De gemeente weet waarom ze algoritmes inzet De gemeente weet waarvoor ze algoritmes inzet

Besluitvorming

De gemeente neemt geïnformeerde besluiten over de inzet van algoritmes Bij de besluitvorming worden ethische overwegingen meegenomen Bij de besluitvorming zijn de impliciete aannames achter het algoritme en de gebruikte data bekend Bij de besluitvorming is de gemeente zich bewust van de implicaties van de inzet van het algoritme voor de uitvoeringspraktijk

Toezicht

De gemeente houdt toezicht op het gebruik van algoritmes De gemeente grijpt zo nodig doelbewust in op de werking van algoritmes en of wijkt van de uitkomsten af

Bron: Technopolis, 2023

1.5

Onderzoeksaanpak

Voor iedere gemeente is dezelfde onderzoeksaanpak gehanteerd. Deze onderzoeksaanpak maakt gebruik van de volgende databronnen: •

Deskstudie: bestudering van relevante documenten (zoals visies op digitalisering, DPIA’s, etc.) aangeleverd door de gemeenten of verzameld door het projectteam.

•

Interviews: tijdens onze bezoeken aan de gemeenten hebben we gesproken met diverse bestuurders en ambtenaren over hun ervaringen met algoritmes.

•

Enquête: een online vragenlijst die door onze contactpersonen is verspreid binnen de ambtelijke en bestuurlijke organisatie.

Naast een rapportage per gemeente hebben we in het totaal ook 8 usecases (2 per gemeente) uitgewerkt waarin we op basis van een beknopte casestudy inzicht geven in de besluitvorming over en implementatie van een specifiek algoritme.

1.6

Leeswijzer

In het volgende hoofdstuk presenteren we de overkoepelende bevindingen uit deze studie. Het daaropvolgende hoofdstuk geeft inzicht per norm in de resultaten van de bredere analyse. Tot slot vindt u in hoofdstuk 4 de twee nader bekeken algoritme-usecases van de gemeente Gouda. In Bijlage A staat een verdere toelichting op de gehanteerde onderzoeksaanpak. In Bijlage B vindt u de enquêtevragenlijst.

Onderzoek naar algoritmes in gemeente Gouda

2 Overkoepelende bevindingen 2.1 Context Momenteel wordt er weinig gebruik gemaakt van algoritmes in de gemeente Gouda. De gemeente Gouda wil in de toekomst graag wel meer data-gedreven gaan werken. Hierbij onderkent de gemeente het belang en de mogelijkheden van de inzet van algoritmes voor haar eigen dienstverlening en voor de beleidsvorming. De gemeente omschrijft zichzelf als een ’fast follower‘; een gemeente die bekijkt hoe andere gemeenten algoritmes toepassen en afhankelijk daarvan deze ook in de eigen gemeente toepast. Gemeente Gouda denkt op dit moment al wel na over de inzet van algoritmes en hoe zij daarmee moeten omgegaan. Daarnaast is er binnen de gemeente enige onduidelijkheid over de definitie van een algoritme. Een landelijk richtlijn over algoritmes zou hier een belangrijke rol in kunnen spelen.

2.2

Gebruik algoritmen

In de interviews en enquête hebben we ambtenaren specifiek gevraagd naar de algoritmes die ze in hun eigen werk of breder binnen de organisatie of samenwerkingspartners zijn tegengekomen. Een overzicht van de door ambtenaren genoemde algoritmes die binnen de gehanteerde definitie van algoritmes vallen, vindt u in de navolgende tabel. Tabel 3

Ingezette algoritmes binnen de gemeente Gouda

Type algoritme

Naam

Domein

Toelichting

Beschrijvend (Wat gebeurt er?)

SkyGEO/Cityscan (Sensar)

Ruimtelijk

Diensten die nauwkeurige verzakkingsmetingen doen a.d.h.v. satellietdata.

Polpo

Overig

Monitoringsoftware die Nederlandse en Europese politieke regelgeving/stukken geautomatiseerd monitort, verwerkt en categoriseert voor het gebruik binnen de gemeente.

Diagnostisch (Waarom gebeurt het?)

Cognos

Overige

Business intelligencesoftware. Het werd uit gesprekken met ambtenaren niet duidelijk waar en door wie deze tool wordt gebruikt in de gemeente.

Voorschrijvend (Wat moet er gebeuren?)

Kofax

Dienstverlening

Herkenningssoftware die gemeente Gouda gebruikt om facturen te herkennen tijdens het verwerken van inkomende (fysieke en online) post.

Scanauto

Ruimtelijk

Coöperatie Parkeerservice controleert voor de gemeente Gouda met scanauto’s of een geparkeerde auto het recht heeft om op een plek geparkeerd te staan (d.w.z. dat iemand parkeergeld heeft betaald of er een parkeervergunning is).

Octobox

Dienstverlening

Dienst die ambtenaren kan helpen met het geautomatiseerd anonimiseren van documenten (i.e. zwartlakken van namen, BSN-nummers, mailadressen of NAW-gegevens in documenten die gepubliceerd worden in het kader van een WOOverzoek).

Centric Burgerzaken: eDiensten

Dienstverlening

Een systeem van Centric dat als doel heeft om de dienstverleningsprocessen van gemeenten zo gebruiksvriendelijk mogelijk te maken. eDiensten wordt gebruikt om de aangifte Verhuizingen automatisch te verwerken.

Bron: Enquête en interviews met ambtenaren en bestuurders van gemeente Gouda

Onderzoek naar algoritmes in gemeente Gouda

2.3 Bewustzijn Norm

Beoordeling norm

Beoordeling ontwikkeling

Voldoet in beperkte mate aan de norm…

…, maar zal voor de wens om in de toekomst een verantwoorde datagedreven organisatie te zijn, een beter overzicht moeten hebben van de algoritmes die in gebruik zijn.

De gemeente weet waarom ze algoritmes inzet

Voldoet in grote mate aan de norm …

… en heeft duidelijk de voordelen van het gebruik van algoritmes in beeld.

De gemeente weet waarvoor ze algoritmes inzet

Voldoet in grote mate aan de norm…

… doordat domeinen zelf keuzes maken over de inzet van algoritmes, maar een centraal beeld of kader is in de toekomst wenselijk.

De gemeente algoritmes inzet

weet

waar

De gemeente Gouda gebruikt niet veel algoritmes. Gouda heeft geen centraal overzicht van welke algoritmes zij inzet. Dit kan deels worden verklaard door onduidelijkheid rondom de definitie van een algoritme bij ambtenaren. De reden en het doel van het gebruik van algoritmes heeft de gemeente scherp. Verschillende ambtenaren en bestuurders voorzien een data-gedreven toekomst voor de gemeente Gouda. De verschillende gesproken ambtenaren erkennen het belang van algoritmes binnen de toekomstige organisatie, onder andere om de dienstverlening en andere processen efficiënter te maken. Doordat de keuzes voor inzet van algoritmes bij de verschillende domeinen binnen de gemeente ligt, is er bij de betrokken domeinen een duidelijk beeld over het doel van de inzet van algoritmes. Dat zal voor betrokkenen buiten deze domeinen niet altijd het geval zijn. Voor een verdere toelichting verwijzen wij u naar sectie 3.1.

2.4 Besluitvorming Norm

Beoordeling norm

Beoordeling ontwikkeling

De gemeente neemt geïnformeerde besluiten over de inzet van algoritmes

Voldoet in grote mate aan de norm…

… er zijn procedures die opgevolgd worden, maar er moet bredere aandacht zijn voor de impact van de inzet van algoritmes.

Bij de besluitvorming worden overwegingen meegenomen

ethische

Voldoet in grote mate aan de norm…

…, de gemeente is hier actief mee bezig en volgt de ontwikkelingen ondanks dat de kaders vooralsnog niet toegepast zijn.

Bij de besluitvorming zijn de impliciete aannames achter het algoritme en de gebruikte data bekend

Voldoet in beperkte mate aan de norm…

Bij de besluitvorming is de gemeente zich bewust van de implicaties van de inzet van het algoritme voor de uitvoeringspraktijk

Voldoet in beperkte mate aan de norm…

… doordat betrokkenen bij de uitvoeringspraktijk binnen de domeinen direct betrokken zijn bij de besluitvorming.

Onderzoek naar algoritmes in gemeente Gouda

2.5 Toezicht Norm

Beoordeling norm

Beoordeling ontwikkeling

De gemeente houdt toezicht op het gebruik van algoritmes

Voldoet in beperkte mate aan de norm…

… er zijn verschillende (indirecte) manieren van toezicht binnen de gemeente, maar er zijn geen officiële procedures.

De gemeente grijpt zo nodig doelbewust in op de werking van algoritmes en of wijkt van de uitkomsten af

Voldoet in beperkte mate aan de norm…

… de gemeente heeft al eens ingegrepen, maar er zijn hiervoor geen toetsingskaders binnen de gemeente.

Onderzoek naar algoritmes in gemeente Gouda

3 Onderliggende bevindingen en analyse 3.1 3.1.1

Bevindingen rondom bewustzijn De gemeente weet waar ze algoritmes inzet

De gemeente maakt weinig gebruik van algoritmes. Een kleine groep ambtenaren heeft zicht op dit algoritmegebruik. Tegelijkertijd is er geen centraal overzicht van waar algoritmes gebruikt worden. Breder dan de kleine groep ambtenaren is er binnen de gemeente weinig zicht op algoritmegebruik door of namens de gemeente. Beoordeling: Gemeente Gouda voldoet in beperkte mate aan de norm

Gesproken ambtenaren geven aan dat de Gemeente Gouda in geringe mate gebruik maakt van algoritmes. Algoritmes zijn geen groot onderwerp binnen de Gemeente Gouda. Uit de interviews met ambtenaren en de documenten analyse komt wel naar voren dat datagedreven werken op termijn een belangrijk ontwikkeling voor de gemeente gaat zijn, maar nu de focus nog ligt op digitalisering van de dienstverlening en procesmatige afhandelingen. Hierbij geven ambtenaren ook aan dat zij denken dat algoritmes hierin een belangrijke rol zullen spelen, juist doordat algoritmes processen efficiënter kunnen laten verlopen. Op dit moment zijn de ambities van de Gemeente Gouda met betrekking tot algoritmes echter nog groter dan wat er tot nu toe daadwerkelijk gedaan wordt. Een voorbeeld hiervan is ondermijningssoftware; hoewel hiervoor de wens bestaat om het aan te schaffen, registreren de ambtenaren in kwestie momenteel signalen en onderzoeken van ondermijning echter nog handmatig in het generieke zaaksysteem (signalen van burgers, stadstoezicht, sociaal domein, etc.) en visualiseren ze deze op een kaart om samenhang in beeld te krijgen. Uit meerdere gesprekken met ambtenaren, de Strategische Verkenning van de Gemeente Gouda7 en de Beantwoording schriftelijke vragen m.b.t.

een onderzoek naar het eventueel instellen van een ethische commissie8 komt wel naar voren dat de gemeenteraad en het College discussies over data en privacy hebben en dat hierdoor er op dit gebied sprake is van toezicht. Een kleine groep ambtenaren (n=13) is zich bewust van het gebruik van algoritmes op hun eigen afdeling blijkt uit de interviews en enquête (zie Figuur 1). Respondenten hebben 23 keer (mogelijke) algoritmes genoemd in de enquête. Acht van de 13 ambtenaren die een algoritme genoemd hebben, geven aan dat de algoritmes in kwestie speciaal ontworpen zijn voor het gebruikte doel. Verder blijkt uit de Beantwoording schriftelijke vragen m.b.t. een onderzoek naar het eventueel instellen van een ethische commissie9 dat de gemeente Gouda geen algoritmes gebruikt zonder toezicht en besluit van een daartoe bevoegde ambtenaar. Samenvattend kan hieruit gesteld worden dat er binnen de organisatie weldegelijk kennis is over waar algoritmes ingezet worden, maar dat dit zich beperkt tot een relatief kleine groep. Over het gebruik van algoritmes namens de gemeente (d.w.z. door andere – door de gemeente gecontracteerde - partijen) is er minder kennis. Vier van de 13 ambtenaren geven aan dat zij zicht hebben op algoritmes die door een externe softwareleverancier beheerd

7 Strategische verkenningen: ruimte voor de uitvoering en sturen op realisatie. Een ambtelijke verkenning van

maatschappelijke opgaven. Gemeente Gouda. 8 Beantwoording schriftelijke raadsvragen m.b.t. een onderzoek naar het eventueel instellen van een ethische

commissie, Centraal juridische afdeling Gemeente Gouda, 2022. 9 Idem.

Onderzoek naar algoritmes in gemeente Gouda

worden. Het komt echter voor dat de gemeente dienstenpakketten inkoopt, waarbij algoritmes onderdeel zijn van de diensten. Dit kwam naar voren vanuit de usecase over Promen10, waarbij de gemeente een dienstenpakket waarbij er ook sprake was van een algoritme heeft ingekocht, maar niet specifiek geïnformeerd is over het algoritmegebruik. Doordat Promen een Gemeenschappelijke Regeling (GR) is (waarbij wethouders in het Dagelijks Bestuur zitten én de begroting van Promen goedgekeurd moet worden door de gemeente Gouda) zijn verschillende onderdelen van de gemeente Gouda wel geïnformeerd over de inkoop en het gebruik van game-based assessment (het algoritme). Er is geen centraal overzicht van gebruikte algoritmes binnen de gemeente Gouda. Hierbij speelt een rol dat er nog geen eenduidige definitie is van algoritmes en het daardoor niet duidelijk is wat hier precies wel en niet onder zou moeten vallen. In de gevoerde gesprekken kwam deze afbakeningskwestie meerdere keren aan bod. Wel zouden de algoritmes waarin met persoonsgegevens gewerkt worden, terug moeten komen in het centraal verwerkingsregister dat de gemeente bijhoudt in het kader van de AVG, maar algoritmes die niet met persoonsgegevens werken worden hier logischerwijs niet in opgenomen. Figuur 1 In hoeverre weet u of er algoritmes worden ingezet op de volgende niveaus? (n=39) Namens uw gemeente (bijv.

door uw gemeente ingehuurde partijen) Binnen uw gemeente

10%3% 3% 8% 5%

85% 18%

Namens uw afdeling (bijv. door uw afdeling ingehuurde partijen)

36%

Binnen uw afdeling

38% 0%

Nee

Ja, één algoritme

69% 0% 5%

59%

5% 10%

46%

10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Ja, meerdere algoritmes

Weet ik niet

Bron: enquête Technopolis, 2023

3.1.2

De gemeente weet waarom ze algoritmes inzet

Het is voor de gemeente Gouda duidelijk waarom ze algoritmes gebruiken. De gemeente heeft een duidelijke visie wat betreft datagedreven werken. Het is duidelijk dat algoritmes veel processen efficiënter kunnen maken. Beoordeling: Gemeente Gouda voldoet in grote mate aan de norm Geïnterviewde ambtenaren zien het efficiënter maken van processen als het belangrijkste voordeel van de inzet van algoritmes. In gevallen waarbij algoritmes in de gemeente Gouda gebruikt worden, is het belangrijkste doel om processen efficiënter te maken. Dit komt duidelijk naar voren uit de interviews met ambtenaren, uit de scanauto usecase en uit de enquête. Met name bij de scanauto usecase wisten de betrokken ambtenaren de voordelen van de scanauto ten opzichte van het handmatig scannen van auto’s goed en met data 10 De usecase over Promen gaat voornamelijk over het game-based assessment – een algoritme dat gebruikt wordt

om talenten van kandidaten die bij Promen komen objectief in beeld te krijgen. Voor meer informatie, zie de usecase over Promen.

Onderzoek naar algoritmes in gemeente Gouda

onderbouwd uiteen te zetten. Deze onderbouwing voor de inzet van de scanauto is ten tijde van de besluitvorming ook gecommuniceerd met de wethouder. Verder blijkt uit de Beantwoording raadsvraag PvdA over onderzoek naar Ethische Commissie11 dat de gemeente duidelijk in beeld heeft wat binnen de context van de gemeente Gouda de voordelen zijn van het gebruik van data-uitwisselingen en -vergelijkingen12. De gemeente Gouda wil in de komende jaren een slimme volger zijn wat betreft datagestuurd werken (en met name m.b.t. robotisering en kunstmatige intelligentie)13. Volgens de strategische verkenning14 stelt dit de gemeente Gouda in de toekomst in staat om “met slimmer data- en informatie gestuurd werken (…) actiever te sturen. Door het slimmer inzetten en analyseren van real-life data wordt het mogelijk om meer te kunnen voorspellen. Data wordt ook meer ingezet ten behoeve van managementinformatie”. Het nut van algoritmes wordt dus zeker onderkend binnen de gemeente. Naast de eerder genoemde reden om processen efficiënter te laten verlopen komt ook naar voren dat in de praktijk het goed gebruikt kan worden om signalen te herkennen en ontvangen in een vroeg stadium (bv. wanneer er te veel mensen op een adres ingeschreven staan is het een teken om dat te gaan onderzoeken).

Bij dit soort beslissingen zijn er volgens de gemeente altijd ambtenaren betrokken die een daadwerkelijk besluit nemen (in dit geval over gaan tot een onderzoek). De geïnterviewde ambtenaren geven aan dat ze de voordelen van algoritmes herkennen, maar dat het ook belangrijk is om de menselijke factor te houden. 3.1.3

De gemeente weet waarvoor ze algoritmes inzet

Over het algemeen is bij algoritmegebruik in de gemeente Gouda duidelijk aan welke (maatschappelijke) doelen de algoritmes bijdragen. Beoordeling: Gemeente Gouda voldoet in grote mate aan de norm In veel gevallen is het doel van de inzet van de algoritmes duidelijk. Voor een groot deel van de respondenten die op de hoogte zijn van het gebruik van algoritmes binnen de gemeente is het duidelijk voor welk doel deze gebruikt worden (zie Figuur 2). De efficiëntieslag waaraan algoritmes kunnen bijdragen vinden in meerdere domeinen binnen de gemeente plaats. Zo blijkt uit de enquête dat er algoritmes in het ruimtelijk domein, het sociaal domein, de bedrijfsvoering en bij samenwerkingsverbanden gebruikt worden. Daarnaast maken de domeinen zelf keuzes over welke algoritmes ze toepassen. In het geval van de scanauto heeft de gemeente een duidelijk doel, namelijk om de betalingsbereidheid van burgers (voor parkeren) te verhogen. In het geval van Octobox15 is de applicatie duidelijk een middel om de bedrijfsvoering efficiënter en effectiever te laten verlopen. Uit de enquête blijkt dat een groot deel van de ambtenaren die weet hebben van het gebruik van algoritmes ook goed zicht hebben op het doel van de inzet van algoritmes. Zo geven 8 van de 13 ambtenaren (61%) aan dat algoritmes speciaal zijn ontworpen voor het gebruikte

11 Beantwoording schriftelijke raadsvragen m.b.t. een onderzoek naar het eventueel instellen van een ethische

commissie, Centraal juridische afdeling gemeente Gouda, 2022. 12 De zeven redenen/voordelen van het gebruik van algoritmes zijn: het maken van beslissingen op maat,

transparantie, proactief inspelen op behoeftes, integrale aanpak complexe uitdagingen, Betere toegankelijkheid, betrouwbaarheid, bruikbaarheid en vindbaarheid van data, efficiëntie en betere afwegingen, besluitvorming en de dienstverlening . 13 Strategische verkenningen: ruimte voor de uitvoering en sturen op realisatie. Een ambtelijke verkenning van

maatschappelijke opgaven. Gemeente Gouda 14 Ibid. 15 Software met algoritmes die documenten (semi-)automatisch kan anonimiseren.

Onderzoek naar algoritmes in gemeente Gouda

doel. Verder geven 9 van de 13 ambtenaren (69%) aan dat het voor hen enigszins of zeer duidelijk is aan welk (maatschappelijk) doel het algoritme dat zij geïdentificeerd hebben bijdraagt (Figuur 2). Figuur 2 In hoeverre is het voor u helder aan welk (maatschappelijk) doel het gebruik van dit algoritme bijdraagt? (n=13)

10%

20%

30%

40%

50%

60%

70%

80%

90%

Zeer onduidelijk

Enigszins onduidelijk

Niet duidelijk en niet onduidelijk

Enigszins duidelijk

Zeer duidelijk

Weet ik niet

100%

Bron: enquête Technopolis, 2023. Alleen respondenten die aangegeven hebben dat ze op de hoogte waren van het gebruik van een algoritme kregen deze vraag te zien.

3.2 3.2.1

Bevindingen rondom besluitvorming De gemeente neemt geïnformeerde besluiten over de inzet van algoritmes

De gemeente Gouda heeft voldoende waarborgen in de besluitvorming waardoor het geïnformeerde besluiten over de inzet van algoritmes kan nemen. Desalniettemin kan er meer aandacht besteed worden aan bredere bewustwording over het gebruik van data en algoritmes en “niet-juridische” aspecten bij de besluitvorming rondom de inzet van algoritmes. Beoordeling: Gemeente Gouda voldoet in grote mate aan de norm De gemeente Gouda beschikt over verschillende procedures waarmee zij geïnformeerde besluiten over de inzet van algoritmes kan nemen. Zo zet de Handleiding Werkwijze Dataprojecten16 uiteen welke stappen ambtenaren kunnen – en in sommige gevallen moeten - nemen als ze een dataproject willen starten. Zo is volgens deze handleiding het uitvoeren van DPIA’s verplicht in verschillende situaties.17 Verder zijn een breed scala aan ambtenaren betrokken bij de besluitvorming rondom de inzet van algoritmes. Hieronder vallen de betrokken ambtenaren en projectleiders, de juridische en financiële afdeling, CISO, TISO en FG. De DPIA speelt een belangrijke rol in de besluitvorming. Een groot aantal van de eerdergenoemde ambtenaren zijn betrokken bij het proces van het opstellen van de DPIA’s. Volgens de FG is de DPIA is ook bedoeld om bredere bewustwording over datagebruik te creëren, naast het behandelen van het juridisch aspect.

In het algemeen worden DPIA’s bij gemeenten echter vaak als een afvinklijst afgewikkeld. Het is daarom opvallend dat er volgens de gemeente Gouda nog geen DPIA is uitgevoerd waarbij een algoritme betrokken was. In het geval van de scanauto, heeft de softwareleverancier zelf een DPIA, die niet met de gemeente gedeeld is, over het instrument uitgevoerd. Betrokken ambtenaren geven aan dat er voor de scanauto

16 Handleiding Werkwijze Dataprojecten, intern document gemeente Gouda 17 Bij een dataproject met een hoog risico (rechten en vrijheden van natuurlijke personen); het toepassen van

nieuwe technologieën; het systematisch en uitgebreid beoordelen van personen waarop besluiten voortvloeien over die personen; grootschalige verwerkingen van bijzondere persoonsgegevens of strafrechtelijke gegevens; en stelselmatige en grootschalige monitoring van openbaar toegankelijke ruimten.

Onderzoek naar algoritmes in gemeente Gouda

nog wel een DPIA binnen de gemeente uitgevoerd moet worden, maar dat dat tot nu toe niet gebeurd is. Uit enkele interviews met ambtenaren bleek dat in sommige gevallen bij het inkoop- en aanbestedingsbeleid er meer bewustzijn en aandacht moet zijn over de “niet-juridische” aspecten. Een praktijkvoorbeeld hiervan is de usecase van de scanauto. Ondanks dat er voor de inkoop- en aanbestedingsprocedure onderzoek gedaan is naar wat voor een effect de invoering zou hebben op de uitvoeringspraktijk, bleken er na de invoering een aantal zaken niet te kloppen. Onder andere kon de softwareleverancier de managementinformatie die de afdeling wilde hebben niet leveren en kwamen klachten over het systeem niet door naar de juiste afdelingen binnen de gemeente. Toen dit naar voren kwam, is er in samenspraak met Parkeerservice voor gekozen om te wisselen van softwareleverancier en de naheffingen intern bij Parkeerservice te laten verwerken. Desalniettemin heeft deze initiële periode wel voor problemen gezorgd. Ten slotte, blijkt ook uit de enquête dat er relatief weinig kennis is van wie er expliciet geïnformeerd wordt in de besluitvorming rondom algoritmegebruik (Figuur 3).

Figuur 3 Op welke niveaus vindt de besluitvorming over algoritmes plaats, ofwel wie worden er expliciet gekend en geïnformeerd in de besluitvorming over algoritmegebruik? (n=39) De gemeenteraad Het voltallige gemeentebestuur (B&W) De verantwoordelijke wethouder De gemeentesecretaris Onze IT-/dataverantwoordelijken (bijv. CISO) Ons samenwerkingsverband Mijn afdelingshoofd/-directie De uitvoerende ambtenaren in mijn afdeling 0% Nooit

10% Soms

20% Altijd

30%

40%

50%

60%

70%

80%

90% 100%

Weet ik niet

Bron: enquête Technopolis, 2023

3.2.2

Bij de besluitvorming worden ethische overwegingen meegenomen

Ethische overwegingen nemen ambtenaren binnen de gemeente Gouda mee in de besluitvorming rondom datavraagstukken. Uit verschillende documenten blijkt dat er zeker aandacht is voor ethische overwegingen, met name bij een kleine groep ambtenaren. Verder heeft een selecte groep ambtenaren ook al kennisgemaakt met instrumenten die helpen met het bespreken van ethische kwestie bij het ontwerp of tijdens de implementatie van dataprojecten. Beoordeling: Gemeente Gouda voldoet in grote mate aan de norm Uit verschillende documenten blijkt dat er aandacht is voor ethische overwegingen rondom data en algoritmes. Bij de uiteenzetting over het doel om in de komende jaren sterk te

Onderzoek naar algoritmes in gemeente Gouda

digitaliseren benoemt de strategische verkenning18 ook duidelijk dat bij de digitalisering hoort dat ethische aspecten moeten worden meegenomen. Verder benoemt de Handleiding Werkwijze Dataprojecten19 dat ambtenaren ethische aspecten tijdens het plannen van een dataproject mee kunnen nemen. Ten slotte, heeft het College ook vragen van de raad over een Ethische Commissie in behandeling genomen. Het College heeft afgewogen dat het op het moment van schrijven van de schriftelijke beantwoording een Ethische Commissie niet nodig is, maar dat een taak van het beleidsprogramma Het geheugen van Gouda zal zijn om dit te monitoren. Geïnterviewde ambtenaren benoemen dat er binnen de gemeente Gouda met een Ethische Data Assistent (DEDA)20 is kennisgemaakt en geoefend. Er is echter geen concrete casus geweest waarbij de DEDA toegepast is. Met een ander soortgelijk instrument, de Impact Assessment Mensenrechten en Algoritmes (IAMA) 21 is geen praktijkervaring opgedaan. Betrokken ambtenaren staan wel positief tegenover het toepassen van deze instrumenten. Verder moet met behulp van de DPIA’s volgens de FG de bewustwording rondom data en algoritmegebruik – waaronder ethische overwegingen – groter worden. Er zijn echter volgens de gemeente in de afgelopen jaren geen DPIA’s uitgevoerd waarbij een algoritme betrokken was.

Van de twaalf ambtenaren aangeven bekend te zijn met algoritmes in de gemeente geeft een relatief groep (9) geeft aan dat ethische aspecten een vast onderdeel zijn in de besluitvorming rondom de inzet van algoritmes. Tegelijkertijd komt naar voren dat het overgrote deel van de geïnterviewde ambtenaren aangeeft geen weet te hebben van algoritmegebruik of de besluitvorming erover. Dit is echter een andere uiting van dezelfde situatie: slechts een kleine groep ambtenaren heeft zicht op algoritme gebruik binnen de gemeente. Figuur 4 In hoeverre zijn ethische aspecten onderdeel bij de besluitvorming tot de inzet van algoritmes? (n=39)

10%

20%

30%

Geen onderdeel

40%

50%

Soms onderdeel

60%

70%

Vast onderdeel

80%

90%

100%

Weet ik niet

Bron: enquête Technopolis, 2023

18 Strategische verkenningen: ruimte voor de uitvoering en sturen op realisatie. Een ambtelijke verkenning van

maatschappelijke opgaven. Gemeente Gouda 19 Handleiding Werkwijze Dataprojecten, intern document gemeente Gouda 20 Een toolkit (ontworpen door Universiteit Utrecht samen met de Gemeente Utrecht) die helpt bij het in kaart

brengen van ethische kwesties bij dataprojecten, bij het documenteren van het beraadslagingsproces en bij de bevordering van de verantwoording aan de diverse stakeholders en het publiek. https://deda.dataschool.nl/ 21 Een instrument voor discussie en besluitvorming voor overheidsorganen. Het instrument maakt een interdisciplinaire

dialoog mogelijk door degenen die verantwoordelijk zijn voor de ontwikkeling en/of inzet van een algoritmisch systeem. https://www.rijksoverheid.nl/documenten/rapporten/2021/02/25/impact-assessment-mensenrechten-enalgoritmes

Onderzoek naar algoritmes in gemeente Gouda

3.2.3

Bij de besluitvorming zijn de impliciete aannames achter het algoritme en de gebruikte data bekend

De gemeente Gouda heeft een zaaksysteem 22, ook voor dataprojecten – het zogenaamde ‘datadictionary’ – dat helpt met het in kaart brengen van werkprocessen voor datagerelateerde processen. Verder heeft het toepassen van DPIA’s ook het doel om data-bewust handelen in de gemeente te bevorderen. Tegelijkertijd zijn er volgens de gemeente nog geen DPIAs uitgevoerd waarbij er sprake was van het gebruik van algoritmes en kwam uit de casestudie over scanauto’s naar voren dat het systeem niet naar behoren werkte. Beoordeling: Gemeente Gouda voldoet in beperkte mate aan de norm Veel processen in de gemeente Gouda zijn duidelijk beschreven in het zaaksysteem, dat dient als een systeem waar werkprocessen en informatie over de data opgeslagen zijn. Volgens de Handleiding Werkwijze Dataprojecten staat in het ‘datadictionary’ beschreven wie de beheerder van een applicatie is, op welke manier data wordt opgeslagen, welke data in een applicatie gebruik wordt en wat de kwaliteit van data is. 23 In dezelfde handleiding wordt ook een zogenaamde datasessie beschreven, waarvan het doel is dat ambtenaren duidelijk kunnen krijgen met welke data ze werken en welke aannames hieraan ten grondslag liggen. De handleiding presenteert ook een aantal voorbeelden van hoe data (en impliciete aannames m.b.t. dataverzameling) besproken kan worden tijdens het starten van een dataproject.

In het besluitvormingsproces zitten indirect controles over de data zelf en de aannames erachter ingebakken. Impliciete aannames moeten behandeld worden tijdens het opstellen van een DPIA volgens de FG. Op een databewuste manier kijken naar de effecten van het werken met data en algoritmes betekent dat je ook kijkt naar de kwaliteit van de data, privacy, dataveiligheid, ethische vraagstukken en in hoeverre die inbreuk maken op de autonomie van mensen. Zoals eerder benoemd, zijn er in de afgelopen jaren geen DPIAs uitgevoerd waarbij er gekeken werd naar algoritmes. Hierdoor is het onduidelijk of in de praktijk in de gemeente de DPIA’s ook daadwerkelijk bijdragen aan databewust werken. Uit enkele interviews met ambtenaren komt naar voren dat het inkoop- en aanbestedingsbeleid nog vaak losgekoppeld is van de discussies rondom impliciete aannames over data (d.w.z. a.d.h.v. welke regels beslissingen worden genomen). Ondanks dat de verantwoordelijke afdeling een vertraging tussen scannen van de auto’s en uitdelen van boetes in het systeem wilde hebben (om rekening te houden met bepaalde situaties (bv. het kopen van een parkeerkaartje), bleek dit in de praktijk niet zo te zijn, waardoor in sommige gevallen burgers onterecht een boete kregen. Ondanks dat dit dus duidelijk een wens was, bleek het in de praktijk niet goed geïmplementeerd te zijn.

Uit de enquête blijkt dat slechts een klein deel van de respondenten duidelijk heeft welke data gebruikt wordt en welke mogelijke bevooroordeling er bij de dataverzameling aanwezig kan zijn (Figuur 5 en Figuur 6). Dit komt overeen met de interviews met de ambtenaren. Daar kwam naar voren dat met name de ambtenaren verantwoordelijk voor de data zich hiermee bezighouden.

22 Een zaaksysteem ondersteunt gemeentes in het (digitaal) organiseren en documenteren van werkprocessen. 23 Handleiding Werkwijze Dataprojecten, intern document gemeente Gouda

Onderzoek naar algoritmes in gemeente Gouda

Figuur 5 In hoeverre wordt bij de besluitvorming tot inzet van algoritmes duidelijk stilgestaan bij mogelijke biases binnen de dataverzameling? (n=39)

10%

20%

30%

Eigenlijk nooit

40% Vaak niet

50% Soms

60%

70%

80%

Meestal wel

Altijd

Weet ik niet

90%

100%

Bron: enquête Technopolis, 2023 Figuur 6 In hoeverre is bij de besluitvorming tot inzet van algoritmes duidelijk op welke data de gebruikte algoritmes zich baseren? (n=39)

101

10%

20%

30%

Zeer onduidelijk Enigszins duidelijk

40%

50%

Enigszins onduidelijk Zeer duidelijk

60%

70%

80%

90%

100%

Niet duidelijk en niet onduidelijk Weet ik niet

Bron: enquête Technopolis, 2023

3.2.4

Bij de besluitvorming is de gemeente zich bewust van de implicaties van de inzet van het algoritme voor de uitvoeringspraktijk

Binnen de gemeente Gouda is in zekere mate bewustzijn over de impact van algoritmes op de uitvoeringspraktijk. Zoals eerder vermeld, is het voornaamste doel van algoritmegebruik het efficiënter maken van de uitvoeringspraktijk. Aangezien domeinen binnen de gemeente zelf kiezen welke tools ze gebruiken is er zeker een bewustzijn op domeinniveau. Desalniettemin blijkt uit de Promen usecase dat er bij het inkopen van dienstverleningspakketten (met algoritmes) er minder aandacht is voor algoritmegebruik. Beoordeling: Gemeente Gouda voldoet in beperkte mate aan de norm Volgens de geïnterviewde ambtenaren maken binnen de gemeente Gouda de domeinen in principe zelf een keuze over of en welke tools zij gebruiken in de uitvoeringspraktijk. Hierdoor hebben zij in theorie goed zicht op de effecten op de uitvoeringspraktijk. Verder kwam uit de interviews met ambtenaren naar voren dat het uitvoeren van DPIA’s ook bijdraagt aan de bewustwording rondom datagebruik naast dat het noodzakelijk is voor het behandelen van de juridisch aspecten. Dat wil zeggen dat de betrokken ambtenaren moeten nadenken over hoe het algoritme in de praktijk werkt, voor zowel de uitvoeringspraktijk als voor de andere stakeholders. Uit dezelfde interviews komt naar voren dat de afdelingshoofden niet betrokken zijn bij het opstellen van de DPIA’s, maar de CISO, TISO en de projectleiders.

Doordat de projectleiders betrokken zijn in het proces, is er in enige mate ook input vanuit de praktijk.

Onderzoek naar algoritmes in gemeente Gouda

De uitkomsten van de twee usecases geven een relatief gemengd beeld over hoe bewust de gemeente is over het effect op de uitvoeringspraktijk. In het geval van de introductie van de scanauto, stond het efficiënter maken van de uitvoeringspraktijk centraal. De Promen usecase is enigszins anders doordat het gaat om een Gemeenschappelijke Regeling (GR) en niet per se een toepassing van een algoritme door de Gemeente Gouda zelf is. Desalniettemin blijkt uit deze usecase dat in dit bijzondere geval er niet veel aandacht is voor de implicaties van het gebruik. De Gemeente Gouda koopt een pakket aan diensten, waarvan het algoritme (het game-based assessment) onderdeel van is. Een goed voorbeeld van waarbij het duidelijk is van hoe een algoritme een effect heeft op de uitvoeringspraktijk is Octobox dat ingezet wordt voor onder andere de Wet Open Overheid24. Octobox kan helpen bij het anonimiseren van data uit documenten. Omdat er een risico is dat het algoritme te veel óf te weinig wegstreept is er in de Gemeente Gouda ervoor gekozen om een ambtenaar de uitkomsten van Octobox te laten controleren en een uiteindelijk besluit te maken.

3.3 3.3.1

Bevindingen rondom toezicht De gemeente houdt toezicht op het gebruik van algoritmes

Over het algemeen houdt de Gemeente Gouda toezicht op het gebruik van algoritmes. Door processen te ontwikkelen waarbij ambtenaren onderdeel zijn van de besluitvorming, neemt de gemeente uitkomsten van algoritmes niet automatisch mee in de besluitvorming. Dat wil zeggen dat ambtenaren toezicht houden op de beslissingen. In de praktijk zijn er gezien de beperkte inzet van algoritmes nog weinig voorbeelden van toezicht op algoritmegebruik binnen de gemeente Gouda. Er zijn echter geen officiële procedures voor toezicht op algoritmes. Uit de usecase over de scanauto blijkt dat het toezicht beter had kunnen zijn. Beoordeling: Gemeente Gouda voldoet in beperkte mate aan de norm Over het algemeen zijn er in de gemeente Gouda verschillende manieren van toezicht op algoritmegebruik mogelijk. Dit komt met name doordat processen die gebruik maken van algoritmes bij de gemeente Gouda ontworpen zijn met de term ‘failsafe’ (faalveilig) in het achterhoofd. Dat wil zeggen dat in het ontwerp van processen rekening gehouden wordt met een ‘plan B’. Een voorbeeld hiervan is dat de gemeente Gouda er tijdens het ontwerp voor kiest dat een systeem geen automatische beslissingen kan nemen.

In het geval van de gemeente Gouda is de ‘faalveilig’ in het systeem dat er geen algoritmes gebruikt worden zonder toezicht van een ambtenaar en dat een ambtenaar altijd betrokken moet zijn bij een besluit dat gebaseerd is op een algoritme.25 Dit kwam ook naar voren uit meerdere interviews met ambtenaren. Een voorbeeld hiervan is het eerder genoemde Octobox. Wanneer er veranderingen in processen plaatsvinden of de leverancier nieuwe functionaliteiten aan systemen toevoegt, raken de CISO (met name met het oog op informatieveiligheid en privacy) en FG vaak betrokken. Zij controleren op zulke momenten de DPIA’s op de waarborgen die daarin opgenomen zijn en of de veranderingen daarmee in overeenstemming zijn. Zoals eerder vermeld, ligt momenteel de focus wat betreft de digitalisering in de gemeente veelal op informatieveiligheid en privacy. Het privacyteam houdt ook een register van verwerkingen van persoonsgegevens bij.

24 https://www.rijksoverheid.nl/onderwerpen/wet-open-overheid-woo 25 Beantwoording schriftelijke raadsvragen m.b.t. een onderzoek naar het eventueel instellen van een ethische

commissie, Centraal juridische afdeling gemeente Gouda, 2022.

Onderzoek naar algoritmes in gemeente Gouda

Tegelijkertijd blijkt uit de enquête dat er weinig kennis is over het toezicht op de inzet van algoritmes binnen de gemeente. Slechts enkele bevraagde ambtenaren die aangegeven hebben weet te van het gebruik van algoritmes hebben aangegeven dat er (intern of extern) toezicht is voor of tijdens het gebruik van algoritmes (zie Figuur 7 en Figuur 8). Ook gaf een van de betrokken ambtenaren aan dat, bij inzet namens de gemeente, de gemeente als opdrachtgever verwacht dat de partijen rechtmatig omgaan met haar data. Hieruit blijkt dat er ruimte is voor meer toezicht op het gebruik van algoritmes. In de praktijk zijn er weinig voorbeelden van toezicht op algoritmes, deels ook doordat de gemeente Gouda volgens de geïnterviewde ambtenaren weinig algoritmes gebruikt. Het voorbeeld van de scanauto geeft wel aan dat – ondanks dat er beleid is om mensen onderdeel te laten zijn van beslisprocessen van algoritmes én er een ‘goed’ proces op papier staat – het toch fout kan gaan. Door problemen met de softwareleverancier, verkeerd opgezette communicatiekanalen met de Belastingsamenwerking Gouwe-Rijnland (BSGR) en enkele andere uitdagingen (zie de usecase voor een gedetailleerd verslag), ontving de Afdeling Stadstoezicht geen managementinformatie over het aantal uitgeschreven boetes én had het geen inzicht in klachten van de burgers.

Volgend deel →

De tekst is automatisch uit het bestand gehaald en kan afwijken van het origineel (kolommen, tabellen en koppen lopen door elkaar). Het officiële stuk bij de gemeente is leidend. Bron: https://api1.ibabs.eu/publicdownload.aspx?site=Gouda&id=7535a997-88ca-4893-9c60-2bf7c22831c4