2023-06-22 - ALGORITMES in Hulst en Terneuzen def mei23

Algoritmes in Hulst en Terneuzen

- Inventarisatie van de inzet van algoritmes in de gemeenten Hulst en Terneuzen, marginale toetsing en evaluatie van het burgerperspectief -

Mei 2023 Rekenkamercommissie gemeente Hulst en Terneuzen Samenstelling Mw. dr. P.S. Verhoeven Dhr. K. Kort Dhr. drs. R. Blacquière Dataverzameling en -analyse Mw. dr. P.S. Verhoeven Mw. drs. M. Smulders Mw. F. Aarts

Contactgegevens Postbus 35 4530 AA Terneuzen Tel. 0115-455567 E-mail: griffier@terneuzen.nl

2

Inhoudsopgave 1.

Inleiding en probleemstelling ...................................................................................................... 5 1.1

Aanleiding....................................................................................................................................... 5

1.2

Hoofdvraag en doelstelling ............................................................................................................ 5

1.3

Reikwijdte ....................................................................................................................................... 6

1.4

Leeswijzer ....................................................................................................................................... 6

2.

Methode van onderzoek ............................................................................................................. 7 2.1

Dataverzamelingsmethoden .......................................................................................................... 7

2.2

Procedure enquête ......................................................................................................................... 7

2.3

Onderzoekskwaliteit ....................................................................................................................... 9

3.

Normenkader algoritmes .......................................................................................................... 10 3.1

Afbakening algoritmes ................................................................................................................. 10

3.2

Landelijk onderzoek naar de inzet van algoritmes ....................................................................... 11

3.3

Normenkader................................................................................................................................ 13

4.

Resultaten................................................................................................................................ 16 4.1

Verloop dataverzameling en respons ........................................................................................... 16

4.2

Algoritme-inzet in de gemeente Hulst.......................................................................................... 16

4.3

Algoritme-inzet in de gemeente Terneuzen ................................................................................. 17

4.4

Marginale toets aan de hand van het Toetsingskader ................................................................ 19

5.

Conclusies en aanbevelingen .................................................................................................... 22

5.1

Conclusies ............................................................................................................................ 22

5.2

Aanbevelingen ..................................................................................................................... 24

Bestuurlijke reacties Hulst en Terneuzen ........................................................................................... 26 Naschrift .......................................................................................................................................... 27 Bijlage I Vragenlijst ........................................................................................................................... 32 Bijlage II Uitnodiging tot deelname .................................................................................................... 37 Bijlage III Tabellen en figuren analyse Hulst ....................................................................................... 38 Bijlage IV Tabellen en figuren analyse Terneuzen ............................................................................... 39

3

4

1. Inleiding en probleemstelling 1.1 Aanleiding Er is een grote opmars gaande van (het gebruik van) algoritmes door gemeenten. Veel mensen denken dat het hierbij alleen gaat om profielen die op internet worden aangemaakt. Een algoritme is echter meer dan dat: heel algemeen is het een set regels die werk- en keuzeprocessen ondersteunt. Behalve cookies op de website en dataprofielen, kan een algoritme ook de beslisboom zijn die de ambtenaar gebruikt om te bepalen of iemand in aanmerking komt voor een uitkering en hoe hoog deze dan moet zijn, of een hulpmiddel bij het bepalen van een efficiënte route voor de vuilniswagen. Het is niet altijd goed bekend hoe dit gebruik van algoritmes in de praktijk voor burgers uitpakt en hoe het is gesteld met de privacy van deze burgers. Dat geldt vooral wanneer gegevens bij gebruik van algoritmes worden gekoppeld. Wanneer algoritmes worden ingezet in het sociaal domein ontstaan vragen over eventuele consequenties voor risicogroepen zoals mensen die langdurige zorg nodig hebben of schulden hebben, mensen in de bijstand of statushouders. Daarnaast zijn er ook binnen het gemeentelijk apparaat nog veel vragen over functie, procedure en toepassing van algoritmes.

Om op deze vragen een antwoord te vinden voert de RKCHT een exploratief onderzoek uit naar het gebruik van algoritmes bij de gemeenten Hulst en Terneuzen, naar de procedures die daarbij worden gehanteerd en wil de RKCHT de risico’s inventariseren aan de hand van het landelijk toetsingskader voor algoritmes bij decentrale overheden.

1.2 Hoofdvraag en doelstelling De hoofdvraag voor dit onderzoek luidt: In welke mate worden in de gemeenten Hulst en Terneuzen algoritmes ingezet om problemen op te lossen of keuzes te maken, en welke procedures hanteren zij bij het inzetten ervan? De deelvragen hierbij zijn: 1. Op welke wijze en met welk doel worden algoritmes ingezet? 2. Wat is de functie van de algoritmes en welke procedures worden gevolgd? 3. In welke mate voldoen de algoritmes aan de criteria die in het toetsingskader algoritmes zijn opgesteld? 4. In welke mate zijn bezwaarprocedures ingesteld voor burgers bij gebruik van algoritmes? 5. Welke risico’s zijn aan het gebruik van algoritmes verbonden en zijn deze voldoende in beeld? 6. In hoeverre worden - in de samenwerking met externe instanties – gegevens aangeleverd die voortkomen uit algoritmes en die binnen de gemeente worden ingezet? Doel van dit onderzoek is het creëren van transparantie ten aanzien van de inzet van algoritmes door de beide gemeenten, de zichtbaarheid van de procedures en de eventuele risico’s voor burgers in beide gemeenten. Met de resultaten van dit onderzoek wil de RKCHT adviseren over 5

het op heldere en betrouwbare wijze inzetten van algoritmes, onder andere door gebruik van een Toetsingskader en een routekaart1. Mochten uit het onderzoek bepaalde risico’s blijken, dan wil de RKCHT een voorstel doen voor een verdiepend onderzoek.

1.3 Reikwijdte Het onderzoek naar de inzet van algoritmes door de gemeente kan vanuit een aantal invalshoeken worden bezien: inzet door gemeenten, door externe organisaties waar de gemeenten mee samenwerken en de mogelijke impact die de inzet van algoritmes op burgers in beide gemeenten heeft. Het onderzoek wordt uitgevoerd onder de medewerkers van beide gemeenten, en het bevraagt hen over de samenwerkingsverbanden en de mogelijke impact op burgers. De resultaten van het onderzoek reiken niet alleen binnen beide gemeentelijke organisaties, maar ook naar genoemde externe organisaties. Daarbij is het van belang de begrippen goed af te bakenen. Met het onderzoek wil de RKCHT bewustwording bereiken, zowel bij de gemeentelijke organisatie als in de contacten met externen. Belangrijker nog is het burgerperspectief, waarbij burgers voldoende op de hoogte zijn van de inzet van algoritmes en van bezwaarprocedures. Het onderzoek richt zich op het inventariseren van algoritmes die bij beide gemeenten worden gebruikt, op het nalopen van de functie en procedure van deze algoritmes en op het evalueren ervan aan de hand van het Toetsingskader Algoritmes dat in 2021 door de Algemene Rekenkamer2 is ontwikkeld.

1.4 Leeswijzer Het rapport is als volgt opgebouwd. In dit hoofdstuk (hoofdstuk 1) zijn de aanleiding, de probleem- en doelstelling beschreven. Daarbij worden ook de begrippen afgebakend. In hoofdstuk 2 beschrijven wij de gebruikte methoden van dataverzameling, de procedure voor de enquête, de populatie en steekproef. In hoofdstuk 3 beschrijven wij het normenkader, zoals de criteria voor evaluatie van algoritmes. Dit hoofdstuk vormt de voorbereiding op de beantwoording van de deelvragen. Hoofdstuk 4 bevat de resultaten van de analyse, zowel van de vragenlijst als de lichte toets aan de hand van het Toetsingskader. De focus daarbij ligt op de beantwoording van de deelvragen. In hoofdstuk 5 gaan we in op de conclusie ten aanzien van de hoofdvraag, de discussie en de eventuele aanbevelingen.

1 Dingemans,

E., Bijster, F., Smulders, M., & van Dalen, B. (2021). Informatiebehoeften van burgers over de inzet van algoritmes door overheden. Het PON & Telos. Geraadpleegd maart 2023, van https://hetpontelos.nl/portfolio/informatiebehoefte-van-burgers-over-de-inzet-van-algoritmes-door-overheden/ 2 Algemene Rekenkamer (geen datum). Toetsingskader algoritmes. Geraadpleegd op 28 februari 2023 via https://www.rekenkamer.nl/onderwerpen/algoritmes/algoritmes-toetsingskader/.

6

2. Methode van onderzoek Voor het beantwoorden van de probleemstelling en de deelvragen van dit onderzoek zijn verschillende dataverzamelingsmethoden gebruikt. Zo wordt de situatie vanuit meerdere gezichtspunten belicht3, hetgeen een hogere betrouwbaarheid geeft. Bureau PON & Telos uit Tilburg voert het onderzoek uit.

2.1 Dataverzamelingsmethoden De nadruk van dit onderzoek ligt op een globale inventarisatie en risicoanalyse van gebruik en functie van algoritmes in beide gemeenten. Om een antwoord op de bovengenoemde vragen te (kunnen) krijgen worden verschillende methoden ingezet, zowel kwalitatief als kwantitatief van aard. Het onderzoek bestaat uit twee delen, te weten een inventarisatie en een risicoanalyse. Daarmee worden de deelvragen op de volgende wijze beantwoord: 1. Ter voorbereiding op de inventarisatie en de inventarisatie van de risico’s worden twee intakegesprekken gevoerd a. In Hulst met de Chief Information Security Officer (CISO) en de Functionaris Gegevensverwerking (de gemeentesecretaris is schriftelijk geïnformeerd). b. In Terneuzen met de gemeentesecretaris, de CISO, de teamleider I&A en de beleidsadviseur ICT. Op een eerder moment is contact geweest met de Functionaris Gegevensverwerking. 2. Er wordt een (kwantitatieve) enquête onder ambtenaren bij beide gemeenten gehouden. Hiermee worden deelvraag 1 en 2, en deels deelvraag 4, 5 en 6 beantwoord. 3. Voor de in gebruik zijnde algoritmes worden de modellen en procedures opgevraagd. Aan de hand van het Toetsingskader Algoritmes dat door de Algemene Rekenkamer is ontwikkeld wordt een (kwalitatieve) risicoanalyse uitgevoerd. Dit leidt tot beantwoording van deelvragen 2, 3, 5 en 6.

2.2 Procedure enquête Populatie en steekproef In de oorspronkelijke opzet bestaat de populatie uit alle medewerkers bij de gemeenten Hulst en Terneuzen. Voor het vragenlijstonderzoek wordt geen steekproef getrokken. Alle medewerkers ontvangen een uitnodiging met een link om aan de enquête mee te doen. Het idee hierachter is om te inventariseren wat alle medewerkers van beide gemeenten weten over algoritmes en hoe zij het gebruik ervan bij hun eigen gemeente ervaren. Ook als zij daarmee niet bekend zijn zou het kunnen dat ze onbewust gebruik maken van algoritmische overwegingen (zoals lijstjes, beslisbomen en dergelijke). In beide gemeenten heeft men besloten om af te wijken van de hierboven geschetste opzet. Voor meer informatie zie ‘aangepaste dataverzamelingsprocedure enquête’.

3 Verhoeven, N. (2022). Wat is Onderzoek? Boom uitgevers.

7

Operationalisatie Voor de vragen in de vragenlijst is onder andere gebruik gemaakt van een vragenlijst die PON & Telos in 2021 heeft opgesteld voor een inventarisatie van algoritmes4 onder burgers. De vragen zijn aangepast aan de doelgroep en specifieke situatie voor zowel Hulst en Terneuzen. Ook is een aantal vragen over zorgvuldigheid toegevoegd aan de hand van de literatuur uit het normenkader. De conceptvragenlijst is onderling onder de onderzoekers afgestemd. Een overzicht van de vragen vindt u in bijlage I. Voor de risico-inventarisatie is voor iedere gemeente een tweetal algoritmes geselecteerd: een digitaal en een analoog algoritme. Vervolgens is het mogelijke risico geïnventariseerd door de algoritmes te toetsen aan de hand van de criteria van het Toetsingskader van de Algemene Rekenkamer5.

Initiële dataverzamelingsprocedure enquête Na het vaststellen van de vragen door het onderzoeksteam van Het PON & Telos, is deze ingevoerd in de surveytool Survalyzer. In de week voorafgaand aan de dataverzameling is de online vragenlijst getest door het team van Het PON & Telos, en de leden van de RKCHT. De online vragenlijst is op 31 januari 2023 open gezet en zou op 17 februari 2023 weer worden gesloten. Na overleg met beide gemeenten is besloten om de enquête tot en met 24 februari open te laten, om zodoende meer mensen de gelegenheid te geven de enquête in te vullen. Ook is na twee weken door beide gemeenten een reminder verstuurd. Een voorbeeld van de uitnodiging vindt u in bijlage II. De enquête kon worden geopend via een meegeleverde link in de uitnodigingsmail.

Aangepaste dataverzamelingsprocedure enquête In beide gemeenten heeft men op eigen initiatief besloten om af te wijken van het oorspronkelijke voorstel. Uiteindelijk is de enquête verstuurd aan een beperkt aantal medewerkers bij beide gemeenten (43 medewerkers in Hulst en 58 medewerkers in Terneuzen) wat ook wel een doelgerichte - of expertsteekproef wordt genoemd. De selectie voor uit te nodigen medewerkers is door beide gemeenten zelf gemaakt; deze bestaat uit afdelingshoofden en teamleiders, evenals medewerkers van Automatisering en Informatie (A&I) omdat deze groep - naar eigen zeggen – de meeste affiniteit heeft met de inzet van algoritmes bij de gemeenten. Met deze wijziging is het onderzoek aangepast van een populatiestudie (met twee deelpopulaties) naar een beperkte kwalitatieve studie met een selectieve (doelgerichte expert) steekproef. Voor de implicaties van deze verschuiving verwijzen wij u naar de verantwoording van de onderzoekskwaliteit. 4 Dingemans,

E., Bijster, F., Smulders, M., & van Dalen, B. (2021). Informatiebehoeften van burgers over de inzet van algoritmes door overheden. Het PON & Telos. Geraadpleegd maart 2023, van https://hetpontelos.nl/portfolio/informatiebehoefte-van-burgers-over-de-inzet-van-algoritmes-door-overheden/ 5 Algemene Rekenkamer (geen datum). Toetsingskader algoritmes. Geraadpleegd op 28 februari 2023 via https://www.rekenkamer.nl/onderwerpen/algoritmes/algoritmes-toetsingskader/.

8

2.3 Onderzoekskwaliteit Validiteit Door de wijziging in de steekproef is de enquête naar een beperkt aantal geselecteerde medewerkers gestuurd. Daarom stellen we vast dat de statistische generaliseerbaarheid niet haalbaar is. Inhoudelijk is de generaliseerbaarheid goed te noemen: we verwachten dat deze resultaten ook in andere situaties m.b.t. de inzet van algoritmes kunnen worden gebruikt.

Betrouwbaarheid Om de methodologische betrouwbaarheid van de resultaten zo goed mogelijk te kunnen garanderen worden verschillende instrumenten ingezet, zoals collegiaal overleg (ook wel peer overleg genoemd), overleg met beide gemeenten over de gang van zaken, verantwoording van de gebruikte methoden, een voldoende grote steekproef, en inzet van meerdere methoden van dataverzameling. De methodologische betrouwbaarheid van dit onderzoek staat onder druk omdat bij het verzamelen van de gegevens niet (voldoende) overleg tussen gemeente en onderzoekers is geweest, en omdat in beide gemeenten slechts een beperkt aantal vragenlijsten is ingevuld6. Daarmee is de omvang van de verzamelde gegevens zeer beperkt. De resultaten moeten daarom als indicatief worden beschouwd.

Bruikbaarheid De rekenkamercommissie onderzoekt de doelmatigheid en doeltreffendheid van het door de gemeenten gevoerde beleid en rapporteert hierover ook aan de gemeenteraden van Hulst en Terneuzen. In dit project onderzoekt de RKCHT de doelmatigheid en doeltreffendheid van de inzet van algoritmes. Er wordt nagegaan of er algoritmes worden gebruikt bij beide gemeenten, of de medewerkers op de hoogte zijn van deze inzet, van procedures en protocollen en hoe men de impact op burgers inschat. De aanbevelingen uit dit onderzoek kunnen leiden tot een betere bekendheid een afbakening van algoritmes, bekendheid met en gebruik van protocollen en procedures en communicatie naar burgers over het gebruik van algoritmes.

Privacy Om de privacy van de mensen in de populatie te waarborgen is de uitnodiging voor de enquête vanuit de gemeenten in eigen beheer verstuurd. De rekenkamercommissie beschikte zo niet over de contactgegevens van de deelnemers. Alvorens de procedure te starten is door de functionaris gegevensbescherming een positief advies uitgebracht. Om aan alle regels omtrent privacy tegemoet te komen werken de onderzoekers onder artikel 89 van de AVG. Daarnaast garanderen zij dat de gegevens op geen enkele wijze terug te voeren zijn op personen, tenzij dit uitdrukkelijk door deze personen zelf is aangegeven, bijvoorbeeld als zij persoonlijk op het onderzoek reageren.

6 Bij betrouwbaarheid van onderzoek speelt ‘herhaalbaarheid’ een grote rol. Bij een grote steekproef is deze beter

gewaarborgd. Nauwkeurigheid als criterium wordt weerspiegeld in overleg en overeenstemming. Zie ook: Verhoeven, N. (2022). Wat is Onderzoek? Boom Uitgevers.

9

3. Normenkader algoritmes Om de deelvragen voor dit onderzoek goed te kunnen beantwoorden, moeten eerst de kaders van het onderzoek worden afgebakend. Dat doen wij in hoofdstuk 3. In dit hoofdstuk geven wij aan wat we voor dit onderzoek onder algoritmes verstaan en welke typen algoritmes wij onderscheiden. Daarnaast bespreken we landelijk onderzoek naar de inzet van algoritmes bij overheden, geven we een overzicht van evaluatiemogelijkheden en wordt ingegaan op mogelijke risico’s van de inzet van algoritmes. Ten slotte presenteren wij het normenkader.

3.1 Afbakening algoritmes Onder algoritmes verstaan wij een aantal stappen of regels die de gemeente gebruikt om een probleem op te lossen, een vraag te beantwoorden of een keuze te maken waarbij informatie van/over burgers wordt gebruikt. Wij onderscheiden twee typen algoritmes. Allereerst zijn er digitale algoritmes: sets van regels die een computer uitvoert om een bepaald probleem op te lossen, met gebruikmaking van kunstmatige intelligentie. Meestal gebeurt dat zonder menselijke tussenkomst. Zo kun je een stappenplan maken hoe een computer bepaalde informatie moet verwerken om een probleem op te lossen. Voorbeelden zijn: Track & Trace-software voor het wagenpark van de Gemeente Reiniging om vragen over rijroutes te beantwoorden, een systeem voor parkeerhandhaving (Brickyard genaamd) om parkeerovertredingen te constateren en te registreren, softwaresystemen om fraude op te sporen door allerlei (persoons)gegevens te koppelen of software voor de (gemeentelijke) bedrijfsvoering, zoals Datamask. Daarnaast bestaan er eenvoudige analoge algoritmes met menselijke tussenkomst; dat zijn algoritmes waar op basis van bepaalde criteria, profiellijstjes of beslisbomen keuzes gemaakt worden.

Zo kan het zijn dat er een lijstje is met risicofactoren voor vervuiling in bepaalde woonwijken, of een checklist om te zien of iemand voldoet aan de voorwaarden voor een subsidie, vergunning of uitkering. Bij de overheid wordt over het algemeen gebruik gemaakt van deze eenvoudige, analoge algoritmes7. Deze kennen menselijke tussenkomst, ze ondersteunen beslissingen tot vergunningverlening, uitkering en subsidie.

Risicogerichtheid van algoritmes Algoritmes worden vaak ingedeeld naar hun risicogerichtheid. Met deze risicogerichtheid wordt aangegeven in hoeverre burgers iets merken van de inzet van algoritmes en in welke mate het risico op foute keuzes / beslissingen bestaat. Zo kan het zijn dat algoritmes niet op de juiste wijze worden ingezet, of dat er foutieve beslissingen worden genomen (zie figuur 1). Zo kan het voorkomen dat iemand telkens boetes ontvangt op voertuigen die niet in zijn/haar bezit zijn, omdat aan de voorkant foutieve persoonsgegevens zijn ingevoerd.

7 Algemene Rekenkamer (2021). Aandacht voor algoritmes. Verkregen op 17 maart 2023 via

https://www.rekenkamer.nl/publicaties/rapporten/2021/01/26/aandacht-voor-algoritmes.

10

In dat geval worden burgers benadeeld en moeten protocollen en bezwaarprocedures ervoor zorgen dat zij gehoord worden, gecompenseerd en dat de fouten gecorrigeerd worden. Echter, aan de voorkant hiervan moeten, door betrouwbare procedures, dit soort fouten worden voorkomen. Verder is het belangrijk dat burgers voldoende op de hoogte zijn van de inzet van algoritmes en de mogelijke gevolgen ervan.

Figuur 1 risicoprofiel algoritme inzet (Bron: Algemene rekenkamer, 2021).

3.2 Landelijk onderzoek naar de inzet van algoritmes Landelijk onderzoek naar de inzet van algoritmes is extensief. Veel van de rapporten en onderzoeken stippen hetzelfde punt aan: ethiek. Zij geven aan dat dit onderdeel van het inzetten van algoritmes alle andere onderdelen beïnvloedt. Om duidelijk uiteen te zetten welke onderdelen van belang zijn, en hoe deze onderdelen relateren aan ethiek, pakken we het Toetsingskader van de Algemene Rekenkamer8 erbij. Aanleiding om dit Toetsingskader te ontwikkelen was dat de Algemene Rekenkamer verschillende problemen zag bij de inzet van algoritmes in gebruik bij de overheid, zoals weinig transparantie, slechte omgang met privacy, en bias bij sommige algoritmes. Het Toetsingskader bestaat uit de volgende onderdelen: • Sturing en verantwoording bestaat uit doelstelling, risico-afweging, monitoring en vastgelegde beheersmaatregelen bij o.a. uitbesteding van beheer van het algoritme aan een andere partij mee. • Privacy bestaat uit een Data Protection Impact Assessment (DPIA), een effect beoordeling met betrekking tot gegevensbescherming en of dit volgens de beginselen van AVG gebeurt. Daarnaast worden hierbij ook dataminimalisatie – er worden niet 8 Algemene Rekenkamer. (2022). Algoritmes getoetst: De inzet van 9 algoritmes bij de overheid.

Geraadpleegd maart 2023, op https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/rapporten/2022/05/18/algoritmes-getoetst

11

•

meer gegevens verzameld dan nodig voor het doel – genoemd, evenals transparantie. Zo kunnen betrokkenen zien hoe hun persoonsgegevens gebruikt worden en welke rechten zij hebben. Ethiek bestaat uit respect voor menselijke autonomie waarbij burgers op wie het algoritme gebruikt wordt recht hebben op uitleg achter een besluit en bewaar indienen, en het voorkomen van schade, waarbij de privacy van mensen gewaarborgd wordt en dat de basis van het IT-beheer op orde is. Daarnaast worden beginselen als fairness meegenomen, een eerlijk algoritme, dat ervoor zorgt dat er niet gediscrimineerd wordt door het algoritme, en verklaarbaarheid en transparantie op technisch gebied waarbij het algoritme uitgelegd moet kunnen worden. Figuur 2 maakt dit duidelijk.

Figuur 2 Ethische principes in het Toetsingskader algoritmes (bron: Algemene Rekenkamer, 2021).

•

•

Data en model bestaat uit controle op volledigheid van gegevensverwerking waarbij de invoer van een algoritme vergeleken wordt met de uitvoer, controle op de juistheid van gegevens, en controle op bias. Met bias wordt hier bedoeld, de “onwenselijke systematische afwijkingen van de uitkomsten van het algoritme voor de gehele groep of juist voor specifieke personen of groepen”. IT-beheer bestaat geschikt IT-beheer, waarbij alleen bevoegden toestemming hebben tot het systeem, medewerkers hebben geen ruimere rechten dan nodig, en wijzigingen worden getest vóór gebruik. Ook wordt bij uitbesteding van het IT-beheer verantwoordelijkheid genomen met betrekking tot alle aspecten van het algoritme, waarbij er voldoende inzicht is en gehouden wordt.

Hoe kan men algoritmes op een ethische manier inzetten? Berenschot Groep 9 noemt verschillende processen en procedures die ingezet kunnen worden om bovenstaande punten te kunnen waarborgen. Deze organisatorische processen en procedures zijn onder andere een ethisch stappenplan, ethische uitgangspunten (inkoop)voorwaarden zoals een veiligheids- en transparantiecheck, ethische uitgangspunten bij verlenen van subsidie, en advies van deskundigen als het te lastig wordt. Ook de Algemene Rekenkamer doet verschillende aanbevelingen, zoals het vastleggen van afspraken over inzet van algoritmes met name bij uitbesteding of inkoop van een andere partij, en een continue-monitoring op 9 Vellekoop, L. & Postma, R.M., (2020, 8 juli). Gids Ethiek en Digitale Transformatie. Berenschot Groep.

12

het nakomen van deze afspraken. Deze afspraken omvatten ook regels over het beschermen van persoonlijke data, en regelmatige controle op bias. Dit is nodig, aangezien uit een monitor van het FNV10 blijkt dat maar liefst 25% van gemeentes gebruik maakt van algoritmes om bijstandsgerechtigden als mogelijke verdachten van fraude aan rekenen. De inzet van algoritmes is ook belangrijk voor burgers. Het kan zijn dat zij iets merken van de inzet van algoritmes en ze moeten voldoende mogelijkheden hebben om eventueel bezwaar aan te tekenen. Een onderzoek door het PON & Telos11 naar de informatiebehoeften van burgers over de inzet van algoritmes door overheden noemt het belang van het burgerperspectief en de centrale plek die dit moet krijgen. In de praktijk lijkt dit vaak nog niet te gebeuren. Zij geven aan dat burgers vooral informatiebehoefte hebben wanneer het algoritme direct op hen van invloed is. Mensen willen vooral informatie kunnen inzien over hoe met privacy wordt omgegaan, of er menselijke controle is op fouten die het algoritme kan maken, welke informatiebronnen er worden gebruikt en hoe de uitkomst van een algoritme tot een actie of besluit leidt. Als mensen overwegen bezwaar te maken, wordt informatie over de juridische kaders belangrijk om een inschatting te maken of de overheid in zijn recht staat en waar bezwaar tegen kan worden gemaakt.

Ook de Nationale Ombudsman komt met een aantal adviezen over de inzet van (digitale) algoritmes. Immers, het gebruik van algoritmes verandert de wijze waarop overheden naar gegevens kijken. Het vergemakkelijkt en versnelt bepaalde werkwijzen, maar het kan ook fout gaan en dan moeten burgers beschermd worden12. De adviezen van de Ombudsman betreffen duidelijkheid, toegankelijkheid en oplossingsgerichtheid naar burgers toe.

3.3 Normenkader Dit normenkader bestaat uit drie onderdelen: kennis over algoritmes, privacy en transparantie en sturing, verantwoording en externe organisaties. Na het toelichten van deze onderdelen volgt telkens een lijstje met toetsingscriteria.

1. Kennis over algoritmes Door de vele toepassingen die algoritmes kennen is het lastig het begrip af te bakenen. Daarbij komt dat er vele morele en ethische vraagstukken een rol spelen, en dat rol, functie en procedure vaak ondoorzichtig zijn. Daardoor weet men vaak niet wat er komt kijken bij inzet van een algoritme, hoe ze herkend kunnen worden en worden geduid en toegepast.

10 FNV. (2019). FNV Lokale Monitor 2018: Het sociaal beleid van gemeenten. Geraadpleegd maart 2023, van

https://www.sociaaldigitaal.nl/p/fnv-lokale-monitor-2018-het-sociaal-beleid-van-gemeenten/1606 11 Dingemans, E., Bijster, F., Smulders, M., & van Dalen, B. (2021). Informatiebehoeften van burgers over de inzet van algoritmes door overheden. Het PON & Telos. Geraadpleegd maart 2023, van https://hetpontelos.nl/portfolio/informatiebehoefte-van-burgers-over-de-inzet-van-algoritmes-door-overheden/ 12 Govers, E., Hanse, D., Van Beek, G, Mulder, J. en Van de Wiel, J. (2021). Een burger is geen dataset. Ombudsvisie op behoorlijk gebruik van data en algoritmes door de overheid. Verkregen op 17 maart 2023 via https://www.nationaleombudsman.nl/nieuws/nieuwsbericht/2021/ombudsvisie-op-gebruik-van-data-enalgoritmes-door-de-overheid-stel.

13

Mede daarom is de kennis van ambtenaren over algoritmes een belangrijk onderdeel van dit normenkader. De definitie van algoritmes die in dit onderzoek gehanteerd wordt is tweeledig. Ten eerste zijn er digitale algoritmes, sets van regels die een computer uitvoert om een bepaald probleem op te lossen, zonder menselijke tussenkomst. Ten tweede zijn er algoritmes met menselijke tussenkomst, analoge algoritmes waarmee ambtenaren op basis van bepaalde criteria, profiellijstjes of beslisbomen keuzes maken. Extra controle van gebruik van deze lijstjes vindt vaak plaats door een kwaliteitsafdeling of -medewerker. Dit leidt ons tot de volgende toetsingscriteria voor onderdeel 1: • Ambtenaren weten algoritmes te definiëren en hiermee verschillend werkende algoritmes te onderscheiden. • Ambtenaren zijn zich bewust van voor- en nadelige effecten van algoritmes. • Ambtenaren kennen de algoritmes die binnen hun afdeling gebruikt worden, en weten deze te duiden en hun werking uit te leggen. • Ambtenaren weten bij wie ze terecht kunnen voor meer informatie en/of bijscholing over algoritmes.

2. Privacy en transparantie Wanneer er (bijzondere) persoonsgegevens gebruikt worden is het van belang dat algoritmes voldoen aan de wettelijke verplichtingen die gelden voor het verwerken van persoonsgegevens. Daarbij is de Algemene Verordening Gegevensbescherming (AVG) een belangrijk gegeven voor dit normenkader. Ook transparantie is belangrijk bij algoritme gebruik, vooral wanneer burgers centraal gesteld worden. Gebruik van persoonsgegevens voor een algoritme moet ethisch te verantwoorden zijn, wat mogelijk is door bijvoorbeeld een algoritmeregister waarin opgenomen is welke algoritmes er gebruikt worden binnen de gemeente, en hoe deze gebruikt worden. Dit algoritmeregister moet ingezien kunnen worden door burgers13. Daarnaast is de gemeente verplicht transparant te zijn over de persoonsgegevens die worden gebruikt voor de algoritmes, en moet er een bezwaarprocedure zijn voor burgers die niet willen dat hun gegevens worden gebruikt. Dit leidt ons tot de volgende toetsingscriteria voor onderdeel 2: • De gemeente houdt een algoritmeregister bij dat ingezien kan worden door burgers. • De gemeente gaat zorgvuldig om met persoonsgegevens van burgers. Er worden niet meer gegevens dan nodig door de algoritmes binnen de gemeente verwerkt, en deze gegevens worden niet langer dan nodig opgeslagen. • De gemeente is transparant over de gegevens die ze verzamelen en gebruiken m.b.t.

algoritmes • De gemeente heeft een bezwaarprocedure in plaats voor burgers m.b.t. het gebruik van algoritmes.

13 Dingemans,

E., Bijster, F., Smulders, M., & van Dalen, B. (2021). Informatiebehoeften van burgers over de inzet van algoritmes door overheden. Het PON & Telos. Geraadpleegd maart 2023, van https://hetpontelos.nl/portfolio/informatiebehoefte-van-burgers-over-de-inzet-van-algoritmes-door-overheden/

14

3. Sturing & verantwoording en externe organisaties Bij het uitbesteden van algoritme-ontwikkeling en -beheer aan een externe organisatie, is het belangrijk dat er zorgvuldige afspraken gemaakt worden. Deze afspraken gaan over het ITbeheer door de organisatie, (periodieke) controle, en eindverantwoordelijkheid. Zo geven verschillende onderzoeksrapporten14 aan dat het belangrijk is dat de overheid controle houdt over het algoritme, en dat uitwisseling van gegevens met externe organisaties transparant en volgens AVG-richtlijnen gebeurt. Daarnaast is het van belang dat er een algehele algoritme coördinator binnen de gemeente is aangesteld die controle behoudt over deze afspraken met externe organisaties en zorgt dat deze nageleefd worden, naast het hebben van overzicht over de eigen gebruikte algoritmes. • Bij het uitbesteden van ontwikkeling of beheer van een algoritme aan een externe partij, worden duidelijke schriftelijke afspraken gemaakt waaraan deze partij zich moet houden. • Bij uitbesteding aan een externe organisatie worden persoonsgegevens door deze externe organisatie anoniem bewaart. • De externe organisatie is transparant over de werking van het algoritme en bijkomende IT-beheer, o.a. met betrekking tot welke gegevens gebruikt worden en waarom. • Er is een toezichthouder algoritmes aangesteld in de gemeente.

14 Algemene Rekenkamer. (2021). Aandacht voor algoritmes. Geraadpleegd maart 2023, van

https://www.rekenkamer.nl/over-de-algemene-rekenkamer/publicaties/rapporten/2021/01/26/aandacht-vooralgoritmes Algemene Rekenkamer. (2022). Algoritmes getoetst: De inzet van 9 algoritmes bij de overheid. Geraadpleegd maart 2023, van https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/rapporten/2022/05/18/algoritmes-getoetst

15

4. Resultaten In dit hoofdstuk worden de resultaten gepresenteerd van de analyse van de enquêtegegevens. In paragraaf 4.2 gebeurt dat voor de gemeente Hulst en in paragraaf 4.3 voor de gemeente Terneuzen. Paragraaf 4.4 bevat het resultaat van een marginale toets van vier algoritmes aan het Toetsingskader van de Algemene Rekenkamer. We beginnen dit hoofdstuk met een beschrijving van de respons.

4.1 Verloop dataverzameling en respons In Hulst is de uitnodiging aan 43 personen verstuurd en door 27 personen helemaal ingevuld, een respons van 62,7%. In Terneuzen is de uitnodiging aan 58 personen verstuurd en door 34 personen helemaal ingevuld, een respons van 58,6%. Een aantal medewerkers is wel gestart met invullen, maar heeft de vragenlijst niet afgerond. Daardoor hebben sommige vragen een hoger aantal antwoorden (dan 27 of 34).

4.2 Algoritme-inzet in de gemeente Hulst De meest medewerkers werken bij de afdeling bedrijfsvoering (n=13), gevolgd door publieke dienstverlening(n=9). De deelnemers aan het onderzoek zijn in meerderheid bekend met algoritmes; slechts vier personen geven aan ze ook voor hun werk te gebruiken. Twee personen hadden niet eerder van algoritmes gehoord. Over het algemeen vindt men het goed dat algoritmes werklast overnemen of een hulpmiddel zijn bij voorbereidingen van werk of van voorspellingen. We hebben gevraagd voor welk doel algoritmes goed inzetbaar zijn. De meeste respondenten zien een goede toepassing van algoritmes bij het regelen van stoplichten, de controle op het betalen van parkeergeld en het meten van drukte in een winkelstraat. Voor het kwijtschelden van belasting en locatie-bepaling van woningen vinden ze algoritmes niet geschikt. Een aantal algoritmes kunnen wel onder voorwaarden worden toegepast, zoals bij het bestrijden van criminaliteit, stikstofuitstoot en vergunningverlening. 27 respondenten vinden het niet goed om algoritmes bij sollicitaties te gebruiken. Worden algoritmes bij de gemeente Hulst gebruikt? Volgens 19 personen worden geen digitale algoritmes gebruikt, acht geven aan dat dit soms gebeurt. Het gaat daarbij om digitale algoritmes zoals Datamask, Motion en het digitaal importeren van facturen. Acht personen weten het niet.

Volgens 16 personen worden geen beslisbomen (analoge algoritmes) gebruikt, negen mensen geven aan dat dit soms gebeurt en vier geven aan dat dit regelmatig gebeurt. Het gaat hierbij om beslisbomen bij vergunningverlening, handhaving en legesberekening, het koppelen van gegevens uit verschillende databases om zodoende een criteria-lijst te verkrijgen, sollicitatieprocedures en huwelijksverzoeken. De meeste medewerkers geven aan dat burgers hier weinig tot niets van merken, hooguit als ze een brief thuis krijgen of hun vergunningaanvraag toetsen.

16

Er wordt veel samengewerkt met externe organisaties waarmee persoonsgegevens kunnen worden uitgewisseld. Dat betreft uitvoeringsinstanties (Hulst voor Elkaar, Sabewa), inlichtingenbureaus, reinigingsdiensten, woningbouwcorporaties enzovoorts (zie bijlage voor een complete lijst). Op onze vraag of deze externe organisaties algoritmes gebruiken zijn de antwoorden wisselend: 6 personen geven aan dat ze dit niet weten, 5 dat dit niet gebeurt en 5 geven aan dat dit soms of regelmatig gebeurt. Op onze vraag of de afdeling een algoritmeregister bijhoudt antwoorden 15 respondenten dat ze dit niet weten, 11 antwoorden dat dit niet zo is en vier antwoorden dat er wel zo’n register is. Meer dan de helft weet niet of de gemeente zorgvuldig met de inzet van algoritmes omgaat, en 14 personen geven aan dat dit tamelijk tot heel zorgvuldig gebeurt. We hebben gevraagd wat de afdeling doet om controle te hebben over algoritmes. Daarop antwoordden 26 personen dat ze dit niet weten. Vijf respondenten geven aan dat er een schriftelijke overeenkomst met de externe organisatie wordt afgesloten en een persoon geeft aan dat er een toezichthouder bij de gemeente is aangesteld, of dat het beheer vanuit de externe organisatie transparant is georganiseerd. Op de vraag naar bekendheid met de werking/ informatieverstrekking en procedures bij de inzet van algoritmes wordt wisselend geantwoord.

De meeste respondenten zijn wel bekend met de voor- en nadelen van algoritmes en de helft is op de hoogte van de privacy-gevolgen, maar een meerderheid weet niet hoe algoritmes werken, welke bezwaarprocedures er zijn, welke informatiebronnen worden gebruikt en bij wie ze meer informatie kunnen krijgen over algoritmes. We sluiten af met twee vragen over het inzien van algoritmes en de presentatie ervan. Negen personen vinden dat dit via een algoritmeregister moet gebeuren, gevolgd door het presenteren op een onafhankelijke website bijvoorbeeld door de overheid. Wie moeten algoritmes dan kunnen inzien? Zestien medewerkers vinden dat burgers die moeten kunnen inzien, maar meer nog vinden ze dat de overheid en toezichthouders inzage moeten hebben. Een volledig overzicht van alle resultaten is te vinden in bijlage III bij dit rapport.

4.3 Algoritme-inzet in de gemeente Terneuzen Van alle respondenten werken er 19 bij de afdeling middelen, gevolgd door concernstaf (n=7), realisatie en beheer (n=5), samenleving (n=3) en omgeving & economie (n=3). Drie personen geven aan ergens anders te werken. Bijna de helft van de respondenten is globaal bekend met algoritmes, en vijf personen geven aan ze voor hun werk te gebruiken. Drie personen hadden nog nooit van algoritmes gehoord. De meesten vinden het goed dat algoritmes werklast overnemen en helpen bij het voorbereiden van werkzaamheden of het doen van voorspellingen. Waar algoritmes goed voor kunnen worden ingezet? Volgens de meesten voor het regelen van stoplichten, controle op betaling parkeergeld en drukte in de winkelstraat, maar ook het berekenen van stikstofuitstoot en het bestrijden van criminaliteit (w.o. fraude). In iets mindere mate vindt

17

men algoritmes goed bij locatie-bepaling van woningen en het toekennen van vergunningen. Voor sollicitatieprocedures lijken de algoritmes niet goed, aldus de respondenten. Worden digitale algoritmes gebruikt? Negen personen weten dat niet, dertien stellen dat dit niet het geval is, dertien geven aan dat dit soms het geval is en twee regelmatig. Dit gaat dan bijvoorbeeld om e-diensten, verwerken van kaartgegevens, digitale klantprocessen, Key2, Brickyard enzovoorts (zie bijlage). Worden er beslisbomen (analoge algoritmes) gebruikt? Dertien medewerkers weten dat niet, zeven geven aan dat dit niet het geval is, volgens 10 gebeurt dit soms, en enkele geven aan dat dit regelmatig (n=6) of vaak (n=1) gebeurt. Dat gaat bijvoorbeeld om koppelingen met programma’s om inkomensgegevens, schulden en bezit na te gaan bij het beoordelen van een bijstandsaanvraag, beslisbomen bij e-diensten, bij grondtransacties (zie bijlage). Volgens zeven respondenten merken burgers hier helemaal niets van, en evenzoveel geven aan dat burgers hier wel iets van merken. Dat kan zijn wanneer ze niet verder kunnen met een formulier, bij mailontvangst, bij landmeetkundige werkzaamheden, parkeerontheffing enzovoorts (zie bijlage). Er wordt veel samengewerkt met externe organisaties waarmee gegevens kunnen worden uitgewisseld. Voorbeelden zijn Sabewa, RUD, Dethon, politie, aan-z (zie bijlage).

Volgens 10 respondenten gebruiken deze organisaties soms of regelmatig algoritmes, vier respondenten geven aan dat dit niet gebeurt en vijf weten het niet. Twee-derde van de respondenten geven aan dat ze niet weten of er bij de gemeente een algoritmeregister is (n=22), een geeft aan dat dit wel het geval is, tien geven aan van niet. Een meerderheid weet niet hoe zorgvuldig de gemeente met de inzet van algoritmes omgaat, veertien personen geven aan dat dit tamelijk tot heel zorgvuldig gebeurt. Op de vraag wat de afdeling doet om controle te hebben over de inzet van algoritmes antwoordt bijna twee-derde dat ze dit niet weten, 8 personen geven aan dat dit gebeurt met een schriftelijke overeenkomst en twee door een toezichthouder algoritmes. We hebben ook gevraagd hoe bekend de medewerkers zijn met algoritmes. Bijna de helft van de respondenten kent de voor- en nadelen van algoritmes en de implicaties voor de privacy, gevolgd door de werking op hoofdlijnen en hoe algoritmes tot een besluit leiden. Minder bekend is men met de informatiebronnen die algoritmes gebruiken, hoe ze technisch werken, bij wie men informatie over algoritmes kan krijgen, hoe het is gesteld met menselijke controle en bezwaarprocedures. Meer dan de helft tot drie kwart van de respondenten is daarvan niet op de hoogte.

Ten slotte hebben we gevraagd wie volgens de respondenten algoritmes moeten kunnen inzien en hoe deze moeten worden gepresenteerd. De overheid en toezichthouders moeten volgens de meeste respondenten inzage kunnen hebben, op grote afstand gevolgd door politici en burgers. Presentatie van algoritmes zou volgens twaalf medewerkers via een centrale overheidswebsite moeten plaatsvinden, op afstand gevolgd door het algoritmeregister. Zes respondenten vinden dat deze informatie niet openbaar hoeft worden gemaakt. Een volledig overzicht van alle resultaten is te vinden in bijlage IV bij dit rapport.

18

4.4 Marginale toets aan de hand van het Toetsingskader De principes het Toetsingskader zijn samengevat in een achttal vragen: 1. Is het doel van het algoritme vastgesteld? 2. Vindt er op vastgelegde (periodieke) momenten een afweging plaats van de risico’s over het gebruik van het algoritme? 3. Beschikt de organisatie over voldoende deskundigheid, zowel kwalitatief als kwantitatief? 4. Is het complete life-cycle management-proces rondom het algoritme gedocumenteerd? 5. Zijn de rollen, taken, verantwoordelijkheden en bevoegdheden in het proces beschreven (inclusief eigenaarschap) en in de praktijk toegepast? 6. Is er een overeengekomen en vastgelegde aanpak voor kwaliteits- en prestatiedoelstellingen voor algoritmes? 7. Zijn bij uitbesteding van onderdelen of activiteiten met betrekking tot het algoritme afspraken met betrokken externe partijen gemaakt en vastgelegd? 8. Wordt het algoritme op periodieke basis gemonitord? Je kunt hierbij denken aan monitoring op beschikbaarheid, prestaties/kwaliteit, en of het algoritme voldoet aan actuele wet- en regelgeving.

Procedure en algemene bevindingen Voor een lichte toets van algoritmes aan het Toetsingskader Algoritmes15 is contact gezocht met beide gemeenten. Bij iedere gemeente zijn een digitale en een analoog algoritme aan een nadere evaluatie onderworpen, onder andere door met de betreffende medewerker te bellen of te mailen. Ook is documentatie over het gebruik van deze algoritmes doorgenomen. De digitale algoritmes hebben over het algemeen een laag risiconiveau met weinig of geen impact op burgers, goede ethische protocollen, procedures van beroep en bezwaar. De analoge algoritmes zijn ook zeer beperkt en van een redelijk laag risico, maar ze worden niet altijd als algoritme herkend door de medewerkers. Het betreft beslisbomen met menselijke tussenkomst. Ook hier wordt geconstateerd dat kwaliteitsborging goed is, dat procedures ‘in place’ zijn en dat burgers gebruik kunnen maken van het recht van betrokkenen. Wel constateren we dat waar het contact met externe organisaties betreft, inzicht in het gebruik van algoritmes minder goed is. Weliswaar afgedicht door verwerkersovereenkomsten, maar minder in het zicht van de medewerkers. Overigens is het zo dat burgers voor contacten met externe organisaties, of in een hoger echelon met het Rijk, met bezwaar of beroep eerst bij de gemeente aan moeten kloppen.

Hulst: Datamask Datamask is anonimiseringssoftware waar gebruik wordt gemaakt van digitale algoritmes. Deze software wordt gebruikt om documenten te anonimiseren die gepubliceerd of openbaar 15 Voor een volledig overzicht van dit Toetsingskader verwijzen wij naar

https://www.rekenkamer.nl/algoritmes-toetsingskader. Naast bovengenoemde vragen is op deze website ook documentatie beschikbaar over de ethische principes aangaande de inzet van algoritmes door overheden.

19

gemaakt worden. Dit algoritme heeft een laag risico, werkt geheel automatisch en burgers merken hier in zoverre iets van dat hij/zij nooit meer tweemaal dezelfde post (met een net iets ander NAW) ontvangen. Mocht dit toch nog leiden tot bezwaar, dan kunnen burgers gebruikmaken van het zogeheten ‘recht van betrokkenen’. Voor het gebruik van privacy gevoelige gegevens is een verwerkersovereenkomst gemaakt. Inzet van dit algoritme wordt gemonitord door het de CISO; zij houdt ook een lijst bij van algoritmes die in de gemeente Hulst worden gebruikt.

Hulst: Key2 Omgevingsvergunning Er bestaat verwarring of het hier wel om een algoritme gaat, het is immers geen kunstmatige intelligentie, het gaat hier om een beslisboom met menselijke tussenkomst. We kijken samen naar een goede benaming: analoog algoritme. Een aanvraag komt binnen via het Omgevingsloket, daarin is een aantal zaken al automatisch ingevuld. Tijdens wekelijks overleg tussen de medewerkers worden de plannen besproken, en verdeeld onder de vergunningverleners. Die toetsen aan het bestemmingsplan en kennen toe of niet. Er is een standaard bezwaarprocedure voor burgers. Naast wekelijks teamoverleg is er regelmatige monitoring met wet- en regelgeving. Momenteel wordt de nieuwe Omgevingswet van kracht, daar wordt de beslisboom op aangepast.

Terneuzen: Key2 applicaties Bij de gemeente Terneuzen zou men een aantal modules van de Key2 software (dat zijn applicaties onder die naam van leverancier Centric) gaan gebruiken. Er zou een digitaal algoritme voor ‘groene verhuizingen16’ worden ingevoerd, maar door allerlei problemen met de levering van het systeem is dat nog niet gebeurd. De medewerkers beoordelen dus binnengekomen verzoeken nog steeds handmatig. Daarbij wordt sinds jaar en dag een beslisboom gebruikt, maar iedere beslissing wordt door de medewerker kwaliteit gecontroleerd (in 100% van de beslissingen). Er is een standaard beroepsprocedure in werking. Het algoritme (digitaal) voor groene verhuizingen wordt hopelijk voor eind van dit jaar ingevoerd, dit betreft de module Inzicht van leverancier Centric. Een ‘gladde’ verhuizing verloopt zo zonder tussenkomst van een medewerker. Bij eventuele ‘hobbels’ (zoals overbewoning, schijnverlating) gaat dat niet, dan moet de situatie eerst worden onderzocht. Op dat moment is tussenkomst van een medewerker nodig. Dat geldt ook wanneer vanuit de rijksoverheid meldingen komen van mogelijke problemen, Terneuzen is aangesloten bij de Landelijke Aanpak Adreskwaliteit. Als daar een melding binnenkomt, gaat een sociaal ambtenaar van de gemeente deze onderzoeken.

Burgers merken daar natuurlijk wel iets van, zij hebben dan de mogelijkheid om bezwaar of beroep aan te tekenen bij de gemeente (en in escalerende gevallen bij het Rijk).

16

Dat is een verhuizing die automatisch wordt verwerkt, zonder tussenkomst van een ambtenaar.

20

Terneuzen: parkeervergunning en boetes (Key2 Parkeren & Brickyard) Key2 parkeren is in principe een digitaal algoritme, maar er wordt slechts 1 criterium getoetst: of de persoon die de parkeervergunning aanvraagt in de betreffende zone woont. Verder geen toetsing. Brickyard wordt ook gebruikt, ook daar slechts 1 criterium: niet betaald is automatisch een boete. Burgers kunnen wel bezwaar aantekenen, dat wordt dan door de medewerker in Terneuzen analoog beoordeeld en eventueel wordt een coulance regeling toegepast. Geen algoritmische besluitvorming.

Terneuzen: beslisboom aanvraag levensonderhoud Als een aanvraag voor levensonderhoud binnenkomt dan gaat een PKO lopen (Proces Kennis Ondersteuning). Deze PKO-vragenlijst wordt door een consulent van Werk, Inkomen en Leerlingen ingevuld. Dit betreft een analoog algoritme: een standaard vragenlijst gevoed vanuit wet- en regelgeving, waar een aantal gegevens wordt getoetst (identiteit, situatie) en waar aanvullende vragen worden ingevuld, zoals schuldhulpverlening, boetes e.d. Na het invullen van de vragen rolt er automatisch een beschikking uit. Is deze positief, dan gaat men tot uitvoering over. Is deze negatief, dan wordt de afweging nog eens extra gecontroleerd. Er is een kwaliteitssysteem in werking via de afdeling Kwaliteit, monitoring vindt regelmatig plaats maar iig 1x per kwartaal. Nieuwe medewerkers mogen een aantal maanden alleen onder begeleiding met het systeem werken en verder alleen de consulenten. Zijn burgers het niet met de beschikking eens, dan zijn daarvoor de standaard bezwaarprocedures in place. De afweging van ethiek wordt zeker ook gemaakt, dit is een gestandaardiseerd systeem volgens wet- en regelgeving. Er wordt voor het invullen van deze lijst niet met externe organisaties samengewerkt.

21

5. Conclusies en aanbevelingen In dit onderzoek wordt de vraag beantwoord: In welke mate worden in de gemeenten Hulst en Terneuzen algoritmes ingezet om problemen op te lossen of keuzes te maken, en welke procedures hanteren zij bij het inzetten ervan? Naast het antwoord op deze hoofdvraag, beantwoorden we (lopende in het verhaal) de deelvragen (zie ook paragraaf 1.2): 1. Op welke wijze en met welk doel worden algoritmes ingezet? 2. Wat is de functie van de algoritmes en welke procedures worden gevolgd? 3. In welke mate voldoen de algoritmes aan de criteria die in het toetsingskader algoritmes zijn opgesteld? 4. In welke mate zijn bezwaarprocedures ingesteld voor burgers bij gebruik van algoritmes? 5. Welke risico’s zijn aan het gebruik van algoritmes verbonden en zijn deze voldoende in beeld? 6. In hoeverre worden - in de samenwerking met externe instanties – gegevens aangeleverd die voortkomen uit algoritmes en die binnen de gemeente worden ingezet? Ook doen we een aantal aanbevelingen voor beleid.

5.1

Conclusies

Over het algemeen ontlopen de bevindingen in beide gemeenten elkaar niet veel; we geven ze hier gezamenlijk weer. De uitkomsten van de vragenlijst laten zien dat de deelnemers in beide gemeenten niet of nauwelijks op de hoogte zijn van werking of inzet van algoritmes en alles wat daarmee te maken heeft. Zoomen we meer specifiek in op algoritmes die in beide gemeenten worden gebruikt, dan blijkt dat ze op de desbetreffende afdeling wel zorgvuldig met deze inzet omgaan, dat er procedures en kwaliteitssystemen in werking zijn en dat er bezwaarprocedures mogelijk zijn voor burgers.

Reikwijdte van toekomstig onderzoek Zoals wij in hoofdstuk 3 al hebben aangegeven is de statistische reikwijdte van dit onderzoek niet groot. Dit heeft te maken met het beperkt aantal medewerkers dat uiteindelijk aan het onderzoek heeft deelgenomen. Deze kleinschaligheid heeft ook gevolgen voor de methodologische betrouwbaarheid van de resultaten. Om uitspraken te kunnen doen voor alle medewerkers in beide gemeenten moet een groter (en willekeurig) deel van de medewerkers aan het onderzoek meedoen. Echter, we achten de inhoudelijke reikwijdte wel toereikend. Het verkregen beeld kan uitgangspunt vormen voor toekomstig onderzoek in een meer representatieve setting. Verder kunnen de aandachtspunten en aanbevelingen uit het rapport het bewustwordingsproces over algoritmes versnellen.

Bewustwording van de inzet van algoritmes In antwoord op het eerste deel van de hoofdvraag en deelvraag 1 kunnen we concluderen dat in beide gemeenten op kleine schaal algoritmes worden ingezet, meestal met het doel om het (administratieve) werk te verlichten en procedures voor te bereiden of te automatiseren. Dat

22

vinden veel deelnemers aan het onderzoek ook een goede zaak, hoewel men van sommige algoritmes wel vindt dat ze slechts onder voorwaarden moeten worden toegepast. In beide gemeenten is men het erover eens dat algoritmes in mindere mate geschikt zijn bij locatiebepaling en dat ze niet bij sollicitatieprocedures moeten worden gebruikt. Conclusies over de precieze inzet van algoritmes in beide gemeenten kunnen niet worden getrokken. Enerzijds komt dit door de beperkte deelname aan het onderzoek, anderzijds omdat van de uiteindelijke deelnemers slechts een deel aangeeft op de hoogte te zijn van de inzet, doel, en functie van algoritmes. Ze zijn niet bekend met het bestaan en de werking van algoritmes, met de inzet ervan in hun gemeente, met mogelijke procedures of met de impact op burgers. Ze realiseren zich bovendien niet dat algoritmes niet alleen digitaal voorkomen, maar dat ook (analoge) beslisbomen als algoritme kunnen worden gezien. Risico’s worden als laag ingeschat en impact voor burgers wordt niet als groot gezien (deelvraag 5). De bewustwording rondom inzet van algoritmes staat in beide gemeenten (nog) in de kinderschoenen. Het tweede deel van de hoofdvraag en deelvraag 2 gaan over de procedures die beide gemeentes hanteren bij de inzet van algoritmes. Zoals uit de resultaten blijkt, is de kennis over inzet van procedures bij de deelnemers niet groot.

Echter, bij afdelingen waar algoritmes worden ingezet zijn procedures voor inzet en monitoring beter bekend en worden deze ook gebruikt. Zie ook onder ‘algoritmes nader bekeken’. Deelvraag 6 gaat over de samenwerking met externe organisaties waar algoritmes worden ingezet. In beide gemeenten gebeurt dat: er wordt samengewerkt met externe organisaties waar (mogelijk) algoritmes worden gebruikt. Het is niet altijd bekend of in deze samenwerking met de gemeenten ook algoritmes worden gebruikt voor het uitwisselen van gegevens. In een enkel geval is men op de hoogte van een overeenkomst met de samenwerkingspartner waarin procedures voor algoritmes worden vastgelegd. Toch zeggen veel van de deelnemers aan het onderzoek niet te weten wat er binnen de gemeente gebeurt om controle te hebben over de inzet van algoritmes, hoe procedures lopen, of hoe zorgvuldig hun gemeente met de inzet van algoritmes omgaat. Sommigen vinden hun gemeente daarin wel zorgvuldig. In antwoord op deelvraag 4 kan worden gesteld dat deelnemers aan het onderzoek verwijzen naar standaardprocedures voor beroep en bezwaar, als het gaat om mogelijkheden voor bezwaar voor burgers. Ook is men over het algemeen niet op de hoogte of er een toezichthouder algoritmes is of een algoritmeregister.

Wel is men van mening dat instanties die algoritmes gebruiken (overheden, toezichthouders) inzage in de algoritmes moeten bieden en dat een landelijk algoritmeregister hierbij kan helpen. Inzage door burgers is voor de deelnemers aan het onderzoek niet vanzelfsprekend. Het burgerperspectief wordt slechts beperkt meegenomen.

Algoritmes nader bekeken In beide gemeenten zijn een digitaal en een analoog algoritme nader bekeken. Dat is gedaan aan de hand van de vragen uit het Toetsingskader Algoritmes17 in telefoongesprekken met 17 https://www.rekenkamer.nl/algoritmes-toetsingskader.

23

medewerkers bij beide gemeenten. De onderzochte analoge algoritmes hebben een laag tot redelijk risico. De resultaten van deze verdieping vormen een antwoord op deelvraag 3 (en delen van deelvragen 2, 5 en 6). We constateren dat de procedure op de afdelingen waar analoge algoritmes worden ingezet zorgvuldig wordt gevolgd en regelmatig wordt gemonitord, bijvoorbeeld aan de hand van een kwaliteitssysteem. Verder werken alleen ervaren ambtenaren (in teams) met algoritmes, en nieuwe medewerkers alleen onder toezicht. Daar waar algoritmes worden gebruikt, lijken de kennis over procedures en bewustwording over impact iets groter te zijn dan bij de overige deelnemers aan het onderzoek. Digitale algoritmes worden slechts beperkt toegepast, of nu pas geïntroduceerd en zij zijn voornamelijk bedoeld ter ondersteuning van digitale processen, wat leidt tot de constatering dat zij een laag risico hebben. Uit dit onderzoek blijkt dat de afbakening van en scheidslijnen tussen analoge en digitale algoritmes soms moeilijk te maken zijn en dat dit tot onduidelijkheid leidt. Daarin is het onderzoek in Hulst en Terneuzen niet uniek18. Juist daarom is het belangrijk om het gesprek over algoritmes te voeren, om daarmee de bewustwording van de inzet en de transparantie over de keuzes te vergroten.

5.2

Aanbevelingen

Hoewel de inzet van algoritmes in beide gemeenten kleinschalig is, verwachten wij dat deze steeds groter zal worden en dat burgers daar steeds meer van zullen gaan merken. Uit de beantwoording van de vragen (door de deelnemers) merken wij dat bewustwording en draagvlak omtrent de inzet van algoritmes laag zijn en dat veel onduidelijkheid bestaat over inzet en impact. De volgende adviezen dragen bij aan het vergroten daarvan: •

het is belangrijk om alle medewerkers bij de gemeenten te informeren over en te betrekken bij de inzet van algoritmes, niet alleen afdelingen waar al (digitale) algoritmes worden gebruikt. Medewerkers gebruiken soms algoritmes zonder zich dat te realiseren. Daarbij is het van belang dat de medewerkers beseffen wanneer ze een algoritme gebruiken, wat rol en functie ervan is, wat burgers hiervan merken en welke procedures in werking zijn. Het is daarom raadzaam om – ter vergroting van de bewustwording en transparantie - een open gesprek te voeren over wat algoritmes zijn en (kunnen) doen en hoe beslissingen op basis daarvan impact op burgers kunnen hebben.

•

Het benoemen van een toezichthouder algoritmes zorgt ervoor dat er een centraal informatiepunt komt voor de inzet van algoritmes. Momenteel wordt men voor informatie hierover verwezen naar de functionaris gegevensverwerking. Echter, het gaat niet alleen om het juist gebruik van gegevens, maar ook om transparantie over de koppeling van bestanden ten behoeve van beleids- of uitvoeringsdoelen.

•

Op informele wijze wordt al geregistreerd waar en hoe algoritmes in beide gemeenten worden gebruikt. We adviseren om dit te formaliseren en een algoritmeregister op te zetten, dan wel aan te sluiten bij landelijke initiatieven hierin. 18 Wolswinkel, J. (2020). Willekeur of algoritme? Laveren tussen analoog en digitaal bestuursrecht. Tilburg

University.

24

•

Het zijn uiteindelijk burgers die merken dat een algoritme is gebruikt, of het nu gaat om vergunningverlening of handhaving, om een verhuizing of de aanvraag van een rijbewijs. Op dit moment lijkt dit burgerperspectief nauwelijks aanwezig, maar de impact van inzet van algoritmes kan groot zijn. We adviseren beide gemeenten hun burgers te informeren over de inzet van algoritmes en procedures van beroep en bezwaar, om transparantie maar ook draagvlak te vergroten.

25

Bestuurlijke reacties Terneuzen en Hulst

Postadres: Postbus 35, 4530 AA Terneuzen Bezoekadres: Stadhuisplein 1, 4531 GZ Terneuzen Telefoon: 14 0115 Vanuit buitenland: +31 115 455 000 E-mail : gemeente@terneuzen.nl Internet: www.terneuzen.nl Bij beantwoording a.u.b. onderwerp, datum en zaaknummer van deze brief vermelden.

Rekenkamercommissie Hulst Terneuzen Secretaris T.a.v. de heer D.J.M. Van Bunder Postbus 49 4560 AA HULST

uw brief van : 25 april 2023 uw kenmerk :zaaknummer : 115578 contactpersoon : Marc Boon telefoon : 14 0115 e-mail : m.boon@terneuzen.nl verzonden :

Terneuzen, 16 mei 2023 Onderwerp: Bestuurlijke reactie op het rapport Algoritmes in Hulst en Terneuzen.