Nota van bevindingen - Onderzoek algoritmen gemeente IJsselstein
Tekst van het document
Onderzoek algoritmen Rekenkamer IJsselstein
Nota van bevindingen
Ir. Arthur Vankan & Guido de Moor MSc. MA Opdrachtgever: Rekenkamer IJsselstein
Publicatienummer: 2023.149.2423
Datum: Utrecht, 18 september 2024
Inhoudsopgave 1
Aanleiding en onderzoeksaanpak ....................................................... 2 1.1 1.2 1.3 1.4
2
Wat zijn algoritmen? .......................................................................... 5 2.1 2.2
3
Inventarisatie gebruik algoritmen ............................................................... 9 Beantwoording van onderzoeksvraag 1....................................................... 12
Hoe worden algoritmen ingezet bij de gemeente IJsselstein? .......... 13 4.1 4.2 4.3
5
Definities ................................................................................................. 5 Relevante dimensies van ‘algoritmen’ voor de gemeente ................................ 5
Inzet algoritmen bij gemeente IJsselstein ......................................... 9 3.1 3.2
4
Aanleiding ............................................................................................... 2 Doelstelling, onderzoeksvragen en afbakening .............................................. 2 Onderzoeksverantwoording ........................................................................ 3 Leeswijzer ............................................................................................... 4
Hoe worden algoritmen tot op heden ingezet? ............................................. 13 Hoe zou de toekomstige inzet van algoritmen eruit kunnen zien? ................... 19 Beantwoording van onderzoeksvragen 2 en 3 .............................................. 20
Overkoepelende bevindingen ........................................................... 22
Dialogic innovatie ● interactie
1
1 Aanleiding en onderzoeksaanpak 1.1 Aanleiding Bij de uitvoering van beleid maakt de overheid steeds meer gebruik van algoritmen: sets van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden. De toepassing van algoritmen is relatief nieuw en biedt mogelijkheden om bijvoorbeeld problemen sneller en beter te analyseren en/of tot beslissingen te komen. De toepassing is echter niet zonder risico’s: verkeerde aannames en/of input bij het maken en (zelflerend) doorontwikkelen van algoritmen kunnen ernstige gevolgen hebben voor betrokkenen. Onrechtmatige toepassingen of toepassingen die tot onbetrouwbare en/of onrechtvaardige uitkomsten leiden, komen regelmatig in het nieuws. In 2022 ontstond ophef over het gebruik van een algoritme namens de gemeente IJsselstein. Bij de gemeenschappelijke regeling Werk en Inkomen Lekstroom (WIL) zou een algoritme gebruikt worden om te bepalen of een aanvrager van bijstand een verhoogd risico op regelovertreding had. De uitkomst bepaalde of de aanvrager de reguliere aanvraagprocedure moest doorlopen of dat het volgen van een verkorte procedure mogelijk was.
Het dagelijks bestuur van WIL heeft besloten te stoppen met het gebruik van dit algoritme omdat het algoritme niet (meer) gevalideerd werd.1 Uit een inventarisatie met raadsleden van potentiële onderwerpen waar de rekenkamer zich op kan richten, werd de inzet van algoritmen ook nadrukkelijk genoemd. De toename van het gebruik van algoritmen in de uitvoering van overheidsbeleid in combinatie met dit specifieke incident, roept ook bij de rekenkamer vragen op over de manier waarop de gemeente, en de gemeenschappelijke regelingen waarin zij participeert, omgaat met algoritmen. Denk daarbij aan de ontwikkeling en/of inkoop van diensten waar algoritmen voor gebruikt worden, aan de inzet van algoritmen in gemeentelijke werk- en besluitvormingsprocessen en aan de mate waarin de gemeente zicht heeft op de gevolgen daarvan. Daarbij gaat het nadrukkelijk niet alleen om de gemeente zelf, maar ook om verbonden partijen en mogelijk ook commerciële partijen die voor of namens de gemeente taken uitvoeren waarin algoritmen worden toegepast.
1.2 Doelstelling, onderzoeksvragen en afbakening De rekenkamer heeft Dialogic gevraagd een inventariserend en agenderend onderzoek uit te voeren met als doelstelling om: • •
De bewustwording ten aanzien van de risico’s bij de inzet van algoritmen bij de gemeente te vergroten; Een goede en verantwoorde toepassing van algoritmen door de gemeente te bevorderen.
Aanvullend heeft de RKIJ drie onderzoeksvragen geformuleerd: 1. Waar en waarvoor worden door of namens de gemeente algoritmen ingezet? 2. In hoeverre overziet de gemeente wat de inzet van algoritmen voor gevolgen heeft voor personen en bedrijven die daarmee te maken krijgen?
1
2
[ijsselstein.raadsinformatie.nl]
Dialogic innovatie ● interactie
3. Wat doet de gemeente om de kansen die het inzetten van algoritmen biedt te benutten en de risico’s bij de inzet van algoritmen te beheersen? In samenspraak met de rekenkamer is besloten om in dit onderzoek breder te kijken dan sec de gemeentelijke organisatie. De reden hiervoor is dat de gemeente optreedt als regieorganisatie die een groot deel van de uitvoerende taken bij Gemeenschappelijke Regelingen (hierna: GR’en) heeft ondergebracht. Aangezien algoritmen met name bij de uitvoering worden toegepast hebben we in dit onderzoek ook een drietal GR’en opgenomen, namelijk Belasting Samenwerking Rivierlanden (BSR), Omgevingsdienst Regio Utrecht (ODRU) en WIL. Daarnaast hebben we ook met de Stichting Inkoopbureau Midden Nederland (IBMN) gesproken in het kader van algoritmen die worden ingekocht bij externe partijen. Een volledige inventarisatie van alle algoritmische toepassingen bij de gemeente binnen dit onderzoek is niet mogelijk. De voornaamste redenen hiervoor zijn dat ambtenaren (ongemerkt) algoritmen gebruiken in hun dagelijks leven (op hun smartphone bijvoorbeeld) en dat niet alle werkprocessen van ambtenaren in kaart kunnen worden gebracht. Daarom ligt de focus in dit onderzoek hoofdzakelijk op algoritmen die specifiek door of voor de gemeente IJsselstein en/of haar gelieerde Gemeenschappelijke Regelingen ontwikkeld zijn.
1.3 Onderzoeksverantwoording Voor het inventariseren van de inzet van algoritmen (onderzoeksvraag 1) is een uitvraag gedaan bij de gemeente en de geselecteerde GR’en. De rekenkamerleden en de onderzoekers van Dialogic vermoedden dat een open uitvraag ten aanzien van het gebruik van algoritmen niet de gewenste resultaten zou opleveren, omdat de organisatie nog relatief weinig bewustzijn heeft op het vlak van algoritmen. Om de respondenten te ondersteunen bij de inventarisatie van algoritmen is daarom besloten om op basis van bestaande algoritme-toepassingen bij andere organisaties (primair gemeenten en uitvoeringsorganisaties) een ‘referentiekader’ op te stellen met typen algoritmen en toepassingen die mogelijk uit de inventarisatie naar voren zouden kunnen komen. Op die manier werden de betrokkenen bewust gemaakt van mogelijke algoritmen die binnen/door de gemeente ingezet worden. Als bron voor deze referentielijst hebben we bestaande algoritmeregisters2 van andere publieke organisaties gebruikt. In het referentiekader zijn in totaal 92 verschillende algoritmen opgenomen die door andere publieke instanties worden toegepast. Met de hulp van medewerkers van de gemeente zijn deze algoritmen gekoppeld aan teams binnen de gemeentelijke organisatie en de drie GR’en waarvoor de betreffende algoritmen van waarde zouden kunnen zijn gezien de werkzaamheden die zij uitvoeren.
Na deze koppeling bleven er 60 algoritmen over; de overige 32 bleken niet toepasbaar binnen de gemeentelijke context van IJsselstein. Vervolgens is aan vier teams (Ruimte en Projecten, Civiel en Vastgoed, Sociaal Domein en Samenleving) en de regievoerders voor de GR’en gevraagd om te inventariseren of gelijksoortige algoritmen daadwerkelijk worden toegepast in en voor IJsselstein. Daarnaast is aan de vier teams gevraagd of zij andere algoritmen inzetten die niet in het referentiekader zijn opgenomen. Dialogic heeft hiermee geen volledige inventarisatie binnen alle teams en alle GR’en uitgevoerd. Dialogic, de ambtelijke organisatie en de Rekenkamer hebben samen echter de inschatting gemaakt dat de kans op algoritmegebruik het grootst was in deze geselecteerde teams en GR’en. Alle betrokkenen hebben er dan ook vertrouwen in dat deze inventarisatie een goed beeld geeft van de inzet van algoritmen door en namens de gemeente.
2
[algoritmeregister.amsterdam.nl], [www.rotterdam.nl], [data.utrecht.nl] en [algoritmes.overheid.nl]
Dialogic innovatie ● interactie
3
De uitkomsten van deze inventarisatie zijn voorgelegd aan teamleiders en betrokken beleidsmedewerkers van de gemeente. De resultaten zijn gezamenlijk bediscussieerd en geïnterpreteerd. De uitkomsten van deze sessie hebben geleid tot een selectie van drie algoritmische toepassingen die Dialogic middels een verdiepende praktijktoets verder heeft uitgewerkt. De methodiek die hiervoor is toegepast is afgeleid van de Impact Assessment Mensenrechten en Algoritmen (hierna: IAMA)3. Het IAMA bevat vragen waarover discussie plaats moet vinden en waarop een antwoord moet worden geformuleerd in gevallen waarin een overheidsorgaan overweegt een algoritme te (laten) ontwikkelen, in te kopen, aan te passen en/of in te gaan zetten. Vanwege het feit dat de volledige IAMA-methodiek omvangrijk is, is in dit onderzoek gekozen voor een ‘light-versie’ van IAMA. Tot slot is een online enquête uitgezet onder raadsleden, waarin zij gevraagd zijn om te reflecteren op de inzet van algoritmen.
1.4 Leeswijzer Deze nota van bevindingen is als volgt opgebouwd: •
• •
In hoofdstuk 2 wordt beschreven wat er binnen dit onderzoek onder algoritmen verstaan wordt en worden vier dimensies van algoritmen beschreven die voor de gemeente relevant zijn om te onderscheiden. In hoofdstuk 3 wordt beschreven welke algoritmen ingezet worden binnen of namens de gemeente IJsselstein (onderzoeksvraag 1). In hoofdstuk 4 wordt beschreven hoe algoritmen ingezet worden bij de gemeente IJsselstein (onderzoeksvragen 2 en 3).
Op basis van deze nota van bevindingen is een bestuurlijke nota opgesteld, waarin aanbevelingen zijn geformuleerd op basis van de resultaten in deze nota van bevindingen.
3
4
[www.rijksoverheid.nl]
Dialogic innovatie ● interactie
2 Wat zijn algoritmen? 2.1 Definities Artificiële Intelligentie Met de term ‘Artificiële Intelligentie (AI)’ verwijzen we naar ‘intelligentie vertoond door machines/computers’. Deze intelligentie manifesteert zich doordat computers taken kunnen uitvoeren die we als mensen normaliter zouden associëren met menselijke intelligentie. Denk bijvoorbeeld aan het herkennen van een hond op een foto, het beoordelen of een subsidieaanvraag volledig is ingevuld, of het bieden van een aanbeveling voor een boek dat iemand vermoedelijk leuk vindt om te lezen. De afgelopen jaren heeft AI een enorme vlucht genomen. Deze opkomst is voor een belangrijk deel toe te schrijven aan technologische ontwikkelingen. Ten eerste is het opslaan, verwerken en versturen van data/informatie afgelopen decennia exponentieel sneller, goedkoper en compacter geworden. 4 Ten tweede is er sprake van een forse toename in beschikbare data die verwerkt kan worden; een essentiële bouwsteen om AI te kunnen ontwikkelen en in te kunnen zetten. Ten derde worden de wijzen waarop computers data kunnen verwerken (‘algoritmen’) verder ontwikkeld, waardoor computers nieuwe informatieverwerkingstaken kunnen uitvoeren en/of informatieverwerkingstaken beter of sneller kunnen uitvoeren.
Kortgezegd: [1] er is meer data om te verwerken, [2] de computerkracht om data te kunnen verwerken neemt fors toe en [3] we kunnen computers steeds slimmer data laten verwerken dankzij nieuwe en/of verbeterde algoritmen. Algoritmen Met AI kunnen we computers dus taken laten uitvoeren. Om deze taken uit te voeren volgt de computer instructies op: de zogenaamde algoritmen. Voor een formele definitie van het begrip ‘algoritmen’ houden we in deze rapportage de definitie van de Algemene Rekenkamer aan: Algoritme: “een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden.”
2.2 Relevante dimensies van ‘algoritmen’ voor de gemeente Hoewel bovenstaande definitie een goede afbakening geeft van wat een algoritme is, is het gevaar van een algemene definitie is dat we alle algoritmen op één hoop gooien en uitspraken doen over algoritmen in het algemeen. Voor algoritmen geldt ook dat verschillende typen algoritmen verschillende vragen en uitdagingen opwerpen voor de gemeente IJsselstein. Verschillende typen algoritmen worden daarbij gekenmerkt door een verschillende mate van complexiteit voor de gemeente. Hoe complexer een algoritme en haar context is, hoe uitdagender het is voor de gemeente om verantwoord om te gaan met algoritmen. Hieronder benoemen we vier relevante dimensies die de complexiteit beïnvloeden. We zullen in deze nota van bevindingen regelmatig verwijzen naar de vier dimensies die zijn toegelicht op de volgende pagina.
4
Dialogic (2014), De impact van ICT op de Nederlandse economie
Dialogic innovatie ● interactie
5
1. Hoe komen de instructies tot stand: ‘human learning’ versus ‘machine learning’; 2. Wordt het algoritme binnen/buiten de gemeente ontwikkeld: interne ontwikkeling versus externe ontwikkeling; 3. Wordt het algoritme binnen/buiten de gemeente ingezet: interne inzet versus externe inzet; 4. Is het algoritme op maat gemaakt voor de gemeente: generieke versus specifieke algoritmen.
Voornaamste reden voor extra complexiteit
Dimensies van algoritmen
1. Hoe kome n d e ins truc tie s tot s ta nd ?
Huma n le a rning
Ma c hine le a rning
Me e r ve re is te ke nnis e n kund e
2 . Word t he t a lg oritme b inne n of b uite n d e g e me e nte ontwikke ld ?
Binne n (inte rn)
Buite n (e xte rn)
Mind e r d ire c te c ontrole
3 . Word t he t a lg oritme b inne n of b uite n d e g e me e nte ing e ze t?
Binne n (inte rn)
Buite n (e xte rn)
Mind e r d ire c t me e in a a nra king
4 . Is he t a lg oritme op ma a t g e ma a kt voor d e g e me e nte ?
Ne e (g e ne rie k)
J a , (s p e c ifie k)
Me e r e ig e n ve ra ntwoord e lijkhe id
La a g
Comp le xite it (re la tie f)
Hoog
Figuur 1 Visualisatie van vier dimensies die de complexiteit van de verantwoorde inzet van algoritmen beïnvloeden
2.2.1 Hoe komen de instructies tot stand: ‘human learning’ versus ‘machine learning’ Wat is het verschil? Zoals beschreven zijn algoritmen de instructies die een computer volgt om een bepaalde taak uit te voeren. De definitie zegt echter niets over hoe deze instructies tot stand komen c.q. hoe de computer als het ware ‘leert’. Op hoofdlijnen zijn er twee manieren waarop de computer kan leren: via ‘human learning’ en via ‘machine learning’. Bij ‘human learning’ hebben mensen geleerd hoe de taak uitgevoerd moet worden, en wordt deze kennis geformaliseerd in een set instructies die de computer kan volgen. In de thuiscontext kan bijvoorbeeld gedacht worden aan een instructie die je geeft aan het verlichtingssysteem om aan en uit te gaan: “als het 19:00 is, doe het licht aan, en als het 23:00 is, doe het licht weer uit”. Dit principe van human learning komt ook voor binnen de context van de gemeente IJsselstein. Bij ‘machine learning’ worden de instructies niet 1-op-1 door de mens gespecificeerd, maar specificeert de mens enkel kaders over welke taak de computer moet gaan uitvoeren en hoe
6
Dialogic innovatie ● interactie
het deze taak mag aanvliegen. De specifieke instructies leert de computer vervolgens zelf. Denk bijvoorbeeld aan een algoritme dat zelf leert welke variabelen samenhangen met de kans op een woninginbraak. Waarom is het verschil relevant? De belangrijkste reden waarom het onderscheid tussen human learning en machine learning relevant is, is dat er bij machine learning een extra complexiteit geïntroduceerd wordt. Het is doorgaans goed mogelijk om te reflecteren op beslisregels die opgesteld zijn door de mens. Deze zijn immers makkelijker navolgbaar voor eenieder. Om algoritmen die gebaseerd zijn op machine learning slim én verantwoord in te zetten hebben we aanvullende (nieuwe) bewustwording, kennis en kunde nodig. Wanneer deze ontbreken neemt het risico op ineffectieve en onverantwoorde inzet van algoritmen toe. Ook voor de ontwikkeling van machine learning algoritmen is deze aanvullende bewustwording, kennis en kunde benodigd. Naast de domeinexpertise die óók voor de ontwikkeling van human learning algoritmen benodigd is, is er ook aanvullende expertise op het gebied van AI / data science nodig. Human learning algoritmen kunnen daarentegen vaak, bijvoorbeeld binnen bestaande software/apps, door vrijwel iedere professional ingericht worden.
2.2.2 Wordt het algoritme binnen of buiten de gemeente ontwikkeld? Wat is het verschil? Een algoritme kan ontwikkeld worden binnen de gemeente (intern) of buiten de gemeente (extern). Wanneer het intern ontwikkeld wordt zijn medewerkers van de gemeente verantwoordelijk voor de ontwikkeling en hebben zij ook de volledige controle over het ontwikkelproces. Waarom is het verschil relevant? Dit verschil is relevant, omdat het complexer is om controle op en transparantie over het algoritme te creëren wanneer het buiten de eigen organisatie plaatsvindt. Het is bijvoorbeeld moeilijker om de gedachtenvorming m.b.t. de ontwikkeling van betrokkenen volledig te doorzien. Ook is het moeilijker om grip te krijgen op de gebruikte data en bijbehorende ins and outs, de exacte code waarmee het algoritme tot stand is gekomen, de betrokken ontwikkelaars en hun eventuele ‘blinde vlekken’. Wanneer een algoritme extern ontwikkeld is, vraagt het van een beoordelaar in zekere zin meer bewustzijn en kennis en kunde om de kracht en beperkingen van het algoritme te doorzien. Bij 4.1.2 is dit in meer detail uitgelicht.
2.2.3 Wordt het algoritme binnen of buiten de gemeente ingezet? Wat is het verschil? De inzet van algoritmen kan zowel binnen als buiten de gemeente plaatsvinden. Interne inzet is logischerwijs direct relevant voor de gemeente, maar ook inzet buiten de gemeente kan relevant zijn voor de gemeente. Denk bijvoorbeeld aan Gemeenschappelijke Regelingen waar de gemeente in participeert, of private partijen waar bepaalde taken aan zijn uitbesteed. Deze externe partijen kunnen ook algoritmen inzetten. Waarom is het verschil relevant? Op het moment dat de gemeente intern algoritmen inzet, is er (in beginsel) altijd minimaal één persoon op de hoogte dat er een algoritme ingezet wordt of gaat worden. Als gemeente heb je dan in ieder geval de kans gehad om processen in te richten en om bespiegelingen en reflecties te faciliteren, alvorens het algoritme wordt ingezet. In het geval dat een andere
Dialogic innovatie ● interactie
7
partij een algoritme inzet ben je als gemeente niet per se op de hoogte dat dit gebeurt. Op het moment dat je je daar niet bewust van bent, kun je er ook niet bewust voor zorgen dat de normen, waarden, eisen en wensen van de gemeente goed geborgd zijn in dat algoritme en haar inzet. Dit kan voorkomen bij Gemeenschappelijke Regelingen, toeleveranciers en samenwerkingspartners.
2.2.4 Is het algoritme op maat gemaakt voor de gemeente? Wat is het verschil? Een vierde belangrijke dimensie die we in dit onderzoek willen benoemen is of het algoritme ‘generiek’ dan wel ‘specifiek’ is. Een deel van de algoritmen is te categoriseren als ‘generiek’, omdat deze algoritmen door meerdere partijen en/of voor verschillende toepassingen ingezet worden. Denk bijvoorbeeld aan een algoritme om je smartphone te ontgrendelen met gezichtsherkenning, het algoritme achter ChatGPT (bijv. GPT-4 gelanceerd op 14 maart 2023), of het algoritme achter Google Search dat door miljoenen mensen gebruikt wordt. Bij specifieke algoritmen, ook wel te beschrijven als maatwerk-algoritmen, wordt een algoritme ontwikkeld voor de specifieke context, data en doeleinden van een specifieke organisatie, zoals de gemeente IJsselstein. Waarom is het verschil relevant? Het verschil tussen generiek en specifiek is relevant, omdat je als gemeente bij specifieke algoritmen (nog) meer verantwoordelijkheid draagt voor de verantwoorde ontwikkeling en inzet ervan. Er zijn geen andere gebruikers waarmee je hierop als collectief kan toezien. Ter illustratie: bij een algoritme dat binnen zelfrijdende auto’s gebruikt kan worden om objectherkenning te doen, zijn er veel burgers, bedrijven en overheden die mee kunnen en zullen kijken.
Maar op het moment dat de gemeente IJsselstein / WIL als enige een algoritme (op een bepaalde manier) inzet om vroegsignalering van financiële schulden toe te passen, is er in principe geen andere partij die de verantwoorde inzet kan waarborgen. Een ander relevant verschil is dat betrokkenen binnen de gemeente meer bewust zijn van de inzet van specifieke algoritmen dan van de toepassing van generieke algoritmen. Zo zijn inspecteurs bij de ODRU wel bewust dat ze zelf een systeem met een algoritme hebben ingericht om hen te ondersteunen, en weet men bij WIL ook dat er een algoritme is dat hen helpt. Voor generieke algoritmen geldt in mindere mate dat men zich bewust is van de inzet, omdat het geen eigen (bewuste) keuze geweest is of hoeft te zijn om het algoritme in te zetten. Denk bijvoorbeeld aan de spellingscontroles in Word, het algoritme achter Google Search of een automatisch gegenereerd label in een CRM-systeem. Kortom: omdat specifieke algoritmen op maat worden ontwikkeld en ingericht, en dit een bewust proces is, zijn betrokkenen zich typisch wel bewust van de inzet. Wel kan het natuurlijk zo zijn dat mensen een systeem bewust inzetten, maar niet weten dat dat een algoritme heet of bevat.
8
Dialogic innovatie ● interactie
3 Inzet algoritmen bij gemeente IJsselstein In dit hoofdstuk wordt beschreven welke algoritmen ingezet worden binnen of namens de gemeente IJsselstein. Onderzoeksvraag 1 staat hiermee in dit hoofdstuk centraal. In 3.1 presenteren we de uitkomsten van de inventarisatie en geven we een duiding van deze resultaten. In 3.2 beantwoorden we de eerste onderzoeksvraag en geven we een overkoepelende reflectie op de inzet van algoritmen door en namens de gemeente.
3.1 Inventarisatie gebruik algoritmen Bij de inventarisatie van het gebruik van algoritmen zijn er vijf concrete toepassingen geidentificeerd. Deze zijn opgenomen in Tabel 1. Onder de tabel geven we uitgebreidere toelichting op de specifieke algoritmen. Tabel 1 Overzicht van geïnventariseerde algoritmen die door/namens de gemeente worden ingezet
Algoritme
Team / organisatie
Human versus machine learning
Interne/externe ontwikkeling
Interne/externe inzet
Specifiek of generiek
Verbeteren verkeerdoorstroom fietsers en voetgangers (iVRI)
Team Ruimte en Projecten + Vialis
Human learning
Extern
Intern/extern
Specifiek
Vroegsignalering betalingsachterstand
Team Sociaal Domein + WIL
Human learning
Intern/extern
Intern/extern
Specifiek
Bepaling aanvraagroute bij uitkering (DPS-matrix)
WIL
Human learning
Extern
Inactief
Specifiek
Prioriteren energiecontroles
ODRU
Human learning
Extern
Extern
Specifiek
Aanwijzen belastingplichtigen
BSR
Human learning
Extern
Extern
Specifiek
3.1.1 Verbeteren verkeerdoorstroom fietsers en voetgangers – iVRI (Ruimte en Projecten) Binnen Ruimte en Projecten wordt er gebruik gemaakt van een algoritme om te bepalen wie wanneer en hoe lang groen krijgt bij stoplichten binnen de gemeente. Bij de inzet van dit algoritme werkt Ruimte en Projecten samen met Vialis, de dienstenleverancier die de verkeerslichten van de gemeente in beheer heeft. Het doel van de inzet van dit algoritme is om, conform de mobiliteitsvisie van de gemeente, de verkeerdoorstroom van de fietser (en voetganger) te verbeteren. Bij de uitvraag binnen het team Ruimte en Projecten werd daarnaast melding gemaakt van het feit dat de verkeerslichten binnen IJsselstein zouden zijn aangesloten op het netwerk
Dialogic innovatie ● interactie
9
van Schwung5. Na uitgebreider onderzoek bleek dit niet het geval te zijn. De casus gaf wel concreet inzicht in de besluitvorming rondom algoritmen binnen de gemeente. Hier gaan we verder op in bij hoofdstuk 4.
3.1.2 Vroegsignalering betalingsachterstand (Sociaal Domein & WIL) Het Sociaal Domein gebruikt in samenwerking met WIL een algoritme voor de vroegsignalering van mensen met betalingsachterstanden. Zij hanteren een systeem waarin ‘signalen’ binnenkomen op basis waarvan zij een systematische werkwijze hanteren. Deze signalen bestaan uit meldingen van betalingsachterstanden of -problemen vanuit de drinkwaterbedrijven, energieleveranciers, woningcorporaties en zorgverzekeraars. In het systeem worden alle beschikbare signalen vanuit het vroegsignalering-netwerk opgenomen. Echter, niet alle organisaties vallen binnen dit netwerk. Zo zijn bijvoorbeeld gokschulden, justitiële incasso en hypotheekschulden geen onderdeel van het netwerk. De algoritmische toepassing bij deze werkwijze zit in het feit dat de menselijke beslisregels zijn verwerkt in het systeem om te bepalen welke mensen wanneer op welke wijze worden benaderd. Dit is dus een voorbeeld van human learning (zie 2.2.1). Gelet op de beperkte capaciteit die WIL beschikbaar heeft om mensen te benaderen, is het van groot belang dat de meest dringende gevallen snel worden opgepakt. De beleidsregels die hiervoor door de beleidsmakers zijn opgesteld, zijn verwerkt in het systeem.
Hierbij kun je denken aan zaken als vanaf welk bedrag een schuld problematisch wordt, welk type schuld (gelet op de schuldeiser) het meest problematisch is en of mensen in het verleden al zijn benaderd door WIL of de gemeente i.v.m. schuldenproblematiek. Op basis van deze beslisregels wordt een prioritering toegekend die de mensen van de schuldhulpverlening gebruiken om te bepalen met wie ze (op welke manier en op welk moment) contact opnemen.
3.1.3 Bepaling aanvraag route bij uitkering - DPS-matrix (WIL) De zogeheten DPS-matrix (DPS staat voor Diagnosticeren, Plannen en Sturen) werd gebruikt om te bepalen wie de reguliere route en wie de verkorte route bij de aanvraag van een uitkering kon doorlopen. Met de matrix werd door WIL de kans op regelovertreding van een aanvrager beoordeeld. Zowel de (administratieve) belasting voor de klant als voor de ambtelijke organisatie kon hiermee beperkt worden gehouden. WIL is in juni 2022 geheel gestopt met het gebruik van de DPS-matrix en naar aanleiding van de casus heeft het bureau KokxDeVoogd een onderzoek uitgevoerd naar het gebruik van de matrix. In dit onderzoek is ook onderzocht of er nog andere algoritmen met relevante impact op de dienstverlening aan klanten worden gebruikt door WIL. In het onderzoek zijn in de onderzochte werkprocessen geen algoritmen aangetroffen. Wel bestaat de mogelijkheid dat algoritmen worden gebruikt in andere dienstverlenende processen van WIL, zoals in de begeleiding van klanten naar werk6.
3.1.4 Prioritering energiecontroles (ODRU) Bepaalde bedrijven zijn bij wet verplicht om energiebesparende maatregelen die zich binnen vijf jaar terugverdienen door te voeren. Daarbij hebben deze bedrijven een ‘informatieplicht’, wat inhoudt dat ze eens in de vier jaar bij RVO moeten rapporteren over hun stand van
5
[schwung.nu]
6
Het onderzoek van KokxDeVoogd is de basis geweest voor de uitgevoerde inventarisatie in dit onderzoek. Eventuele algoritmen die in andere dienstverlenende processen van WIL worden ingezet vallen derhalve buiten de scope van de inventarisatie in dit onderzoek.
10
Dialogic innovatie ● interactie
zaken op dit gebied. De ODRU is verantwoordelijk voor het toezicht en de handhaving op deze wetgeving binnen haar geografische scope. De capaciteit die de ODRU beschikbaar heeft voor dit toezicht en handhaving is afhankelijk van het aantal uren dat door gemeenten wordt ingekocht. Het huidige aantal uren dat hiervoor beschikbaar is, is niet voldoende voor het controleren van alle bedrijven. De ODRU maakt gebruik van een algoritme om de prioritering van energiecontroles te bepalen. Het algoritme maakt o.a. gebruik van informatie die bij RVO wordt aangeleverd door bedrijven op basis van de informatieplicht energiebesparing7 en informatie uit eigen systemen. In de door RVO verstrekte informatie zijn onder meer rubriceringscodes opgenomen die het systeem van RVO automatisch aanmaakt op basis van de ingediende gegevens. Er zijn 4 aparte onderdelen waarvoor een code wordt aangemaakt8: • • • •
De mate waarin een organisatie aan de energiebesparingsplicht voldoet, op basis van de gegeven antwoorden op de erkende maatregelen; Het jaarlijks energiegebruik van de locatie; De eventuele aanwezigheid van monumentale gebouwen; Het aantal geselecteerde categorieën van de Faciliteiten en Procesmaatregelenlijsten.
Om nog beter informatie-gestuurd locaties te selecteren waar een fysieke energiecontrole zal worden uitgevoerd, koppelt de ODRU de omgevingsdossiers aan de rapportages. Op deze manier creëert de ODRU een zo volledig mogelijk beeld van bedrijven waarop zij moet toezien. Op basis van beslisregels wordt een label toegekend aan een bedrijf waarmee de prioriteit van een controlebezoek door een inspecteur wordt vastgesteld.
3.1.5 Aanwijzen belastingplichtigen (BSR) BSR had voorafgaand aan dit onderzoek al zelf, in samenwerking met andere belastingkantoren, een inventarisatie t.a.v. inzet van algoritmen uitgevoerd naar aanleiding van een uitvraag van de Unie van Waterschappen. Op basis van deze inventarisatie heeft BSR aangegeven een algoritme te gebruiken voor het aanwijzen van de belastingplichtige binnen een huishouden. BSR heeft op basis van de inventarisatie geconcludeerd dat het algoritme zeer transparant en uitlegbaar is en dat het gebruik van het algoritme een zeer laag risico heeft voor de burger.
3.1.6 Potentie van algoritmen Als onderdeel van de inventarisatie binnen de gemeente hebben we betrokkenen niet enkel gevraagd of zij bepaalde algoritmen al gebruiken binnen de gemeente, maar hebben wij hun ook gevraagd of zij meerwaarde zien in het (toekomstig) gebruik van de voorgelegde algoritmen. Daarbij is opvallend dat medewerkers van de gemeente aangeven meerwaarde te zien in de toekomstige inzet van meer dan de helft van de voorgelegde algoritmen (38 van de 59 algoritmen die nog niet gebruikt worden). Deze resultaten zijn gevisualiseerd in Figuur 2.
7
[www.rvo.nl]
8
[www.rvo.nl]
Dialogic innovatie ● interactie
11
Figuur 2 Visualisatie van gebruik en (potentiële) meerwaarde algoritmen
Ziet u meerwaarde in het gebruik van dit (type) algoritme?
Gebruikt u dit (type) algoritme al in uw huidige werkzaamheden?
Ja
Nee
Totaal
Ja
1
0
1
Nee
38
21
59
Totaal
39
21
60
3.2 Beantwoording van onderzoeksvraag 1 Onderzoeksvraag 1: “Waar en waarvoor worden door of namens de gemeente algoritmen ingezet?” In dit onderzoek hebben we geïnventariseerd welke algoritmen waarvoor worden ingezet door of namens de gemeente. We kunnen stellen dat de huidige inzet van (non-generieke) algoritmen door de gemeente zeer beperkt is. In dit onderzoek hebben we twee algoritmen geïdentificeerd bij gemeente zelf, namelijk de casus van de vroegsignalering betalingsachterstand (samen met WIL) en het verbeteren van de verkeerdoorstroom voor fietsers en voetgangers. De huidige inzet namens de gemeente is vooralsnog ook beperkt gebleken. We hebben vanuit de uitvraag naar de Gemeentelijke Regelingen drie algoritmen geïdentificeerd, waarvan één bij BSR (aanwijzen belastingplichtige), één bij de ODRU (prioritering energiecontroles) en één bij WIL (vroegsignalering betalingsachterstand). De inzet beperkt zich tot human learning algoritmen: algoritmen waarin menselijke expertise is vertaald naar beslisregels die de computer kan volgen. Op het gebied van machine learning hebben we geen activiteit aangetroffen. Uit de inventarisatie blijkt wel dat medewerkers potentie zien in de inzet van algoritmen: men ziet meerwaarde in 38 van de voorgelegde 60 algoritmen.
Wanneer we kijken naar waar algoritmen worden ingezet, dan zien we een variëteit aan organisaties en teams die zich bezighouden met burgers, bedrijven en infrastructuur. De casussen hebben gemeenschappelijk dat zij allen beschikken over een belangrijke bouwsteen voor de inzet van algoritmen: voldoende data van voldoende kwaliteit. De doeleinden waarvoor de gemeente algoritmen inzet representeren verschillende doelen en taken van de gemeente. Soms hebben deze ook een wettelijke basis, zoals bijvoorbeeld het geval is bij de vroegsignalering betaalachterstanden en het uitvoeren van controles op het doorvoeren van vereiste energiebesparende maatregelen. In andere gevallen sluit het aan bij het realiseren van ambities van de gemeente; voor het verbeteren van de verkeerdoorstroom voor fietsers en voetgangers zijn de ambities vanuit de mobiliteitsvisie leidend. Wat de casussen gemeenschappelijk hebben, is dat deze algoritmen menselijke beslisprocessen automatiseren. Het zijn daarmee als het ware geen nieuwe taken of nieuwe werkwijzen. Deze algoritmen worden ingezet om bestaande werkwijzen doeltreffender en doelmatiger uit te voeren.
12
Dialogic innovatie ● interactie
4 Hoe worden algoritmen ingezet bij de gemeente IJsselstein? In het vorige hoofdstuk hebben we een toelichting gegeven op de inzet van algoritmen door en namens de gemeente. De wat-vraag stond hierbij centraal: wat voor algoritmen worden waar ingezet? In dit hoofdstuk verleggen we de focus naar de hoe-vraag. Hierbij kijken we [1] naar de wijze waarop algoritmen worden ingezet en [2] naar de processen die door de gemeente zijn ingericht om de kansen van algoritmen te benutten en de risico’s te beheersen. We maken daarbij onderscheid tussen de huidige situatie (4.1) en een (mogelijk) toekomstscenario (4.2).
4.1 Hoe worden algoritmen tot op heden ingezet? In deze sectie beantwoorden we de tweede en derde onderzoeksvraag: • In hoeverre overziet de gemeente wat de inzet van algoritmen voor gevolgen heeft voor personen en bedrijven die daarmee te maken krijgen? • Wat doet de gemeente om de kansen die het inzetten van algoritmen biedt te benutten en de risico’s bij de inzet van algoritmen te beheersen?
Het overzien van de gevolgen van de inzet van algoritmen houdt in dat er zowel zicht is op gewenste (positieve) gevolgen als op de ongewenste (negatieve) gevolgen, ofwel het zien van zowel de kansen als risico’s. Bij de vraag over de mate waarin de gemeente de gevolgen overziet, is het van belang om onderscheid te maken tussen verschillende lagen in de organisatie. We kijken hierbij allereerst naar de uitvoering en vervolgens naar de strategie en het beleid binnen de gemeente.
4.1.1 Uitvoering & algoritmen De uitvoering richt zich op de context waarin een algoritme wordt toegepast. Bij de bestudeerde casussen in dit onderzoek is de onwenselijke impact (op burgers) beperkt en hebben betrokkenen bij de uitvoering de positieve en negatieve gevolgen (grotendeels) in beeld. Wel zijn er een aantal risico’s waar niet alle gesprekspartners zich even bewust van leken te zijn, en die wel relevant zijn voor de toekomst. Deze risico’s hebben betrekking op: 1. 2. 3. 4.
Wat als het algoritme het fout heeft? Gefragmenteerde kennis en verantwoordelijkheid binnen (samenwerkings)ketens Aannames over effectiviteit van algoritmen Kloof tussen benodigde kennisdomeinen
1. Wat als het algoritme het fout heeft? Dit eerste risico kan in algemene zin gezien worden als één van de belangrijkste risico’s bij het inzetten van algoritmen. Daarom lichten we dit risico in meer detail toe. Dit doen we aan de hand van een aantal concrete voorbeelden uit de praktijktoetsen, waarbij met de uitvoerders is gereflecteerd op scenario’s waarbij een algoritme een verkeerde uitkomst geeft.
Dialogic innovatie ● interactie
13
Verkeerde uitkomsten bij algoritmen kunnen simpel gezegd voorkomen in twee vormen9: •
•
False positives. In dit geval geeft het algoritme iets aan dat in werkelijkheid niet zo is. Vaak krijgt dit fouttype de vorm dat het algoritme ten onrechte aangeeft dat iets of iemand wel in een bepaalde categorie behoort. Een voorbeeld uit de medische wereld is dat een test uitwijst dat een patiënt ziek is (een ‘positieve’), terwijl hij in werkelijkheid niet ziek is. False negatives. In dit geval geeft het algoritme niet iets aan dat in werkelijkheid wel zo is. Vaak krijgt dit fouttype de vorm dat het algoritme ten onrechte aan dat iets of iemand niet in een bepaalde categorie behoort. Voortbordurend op het medische voorbeeld krijgt de patiënt nu een test die uitwijst dat hij niet ziek is (een ‘negatieve’), terwijl hij in werkelijkheid wél ziek is.
Vroegsignalering betalingsachterstand Bij de vroegsignalering betalingsachterstand is er bij false positives sprake van een persoon die wordt benaderd vanwege een vermeende betalingsachterstand of aankomende financiële problemen, terwijl dat in werkelijkheid niet het geval is. De negatieve impact hiervan is niet volledig bekend, maar de gesprekspartners schatten dit betrekkelijk klein in. Iemand kan zich beledigd voelen of niet gediend zijn van dergelijk contact; mensen hebben in dat geval de mogelijkheid om niet nogmaals benaderd te worden (voor een bepaalde periode) door de gemeente. False negatives zijn vermoedelijk problematischer omdat dit burgers met betalingsachterstanden betreft die wel ondersteuning zouden kunnen gebruiken, maar dit niet aangeboden krijgen. Er zijn naar inschatting van de betrokkenen vermoedelijk weinig false negatives, omdat het netwerk van organisaties (zorgverzekeraars, woningcorporaties, energieleveranciers) dat data aanlevert zeer divers is. Dit reduceert de kans dat iemand volledig onder de radar blijft. Daarnaast zijn er ook andere, parallelle kanalen waarlangs mensen in beeld kunnen komen (bijv. bij re-integratie van ex-gedetineerden). De kans dat iemand volledig buiten beeld blijft, is dus beperkt en binnen deze context volgens betrokken professionals acceptabel.
Prioriteren energiecontroles Bij de inzet van het algoritme door de ODRU voor het prioriteren van energiecontrole, betekent een false positive een ‘onterecht’ bezoek van een controleur, oftewel het algoritme zegt dat een controle uitvoeren effectief is terwijl dat in werkelijkheid niet zo is. De belangrijkste negatieve impact hiervan is dat een bedrijf dat een hogere prioritering zou moeten krijgen op de wachtrij komt te staan en nu niet gecontroleerd kan worden vanwege de schaarse capaciteit. Er worden tegelijkertijd ook positieve neveneffecten benoemd voor het bedrijf dat bezocht wordt, omdat de ODRU ook advies geeft over zaken die niet wettelijk verplicht zijn maar wel interessant kunnen zijn voor het bedrijf in kwestie. Daarmee heeft een false positive dus niet noodzakelijkerwijs enkel negatieve gevolgen. Een false negative in deze context betekent dat een bedrijf hoog in de prioritering terecht had moeten komen (en wel bezocht had moeten worden), maar dat nu niet komt. Eén (theoretisch) logische oorzaak voor een dergelijke false negative is dat bedrijven de formulieren m.b.t. de informatieplicht (on)bewust verkeerd invullen, waardoor men over de verkeerde informatie beschikt. Als bedrijven
9
Hoewel we hier in het kader van eenvoud voorbeelden geven die betrekking hebben op een classificatietaak, willen we benadrukken dat deze concepten breder toepasbaar zijn dan enkel voor supervised learning in de vorm van categorische variabelen. Voor numerieke waarden binnen supervised learning kan bijvoorbeeld gesteld worden dat het algoritme boven de echte waarde zit (false positive) of onder de echte waarde zit (false negative). Ook voor unsupervised learning kan men werken met het concept dat het algoritme iets wél kan teruggeven wat het niet had moeten teruggeven, of iets niet heeft teruggegeven wat het algoritme wél had moeten teruggeven.
14
Dialogic innovatie ● interactie
dit bewust zouden doen zouden ze mogelijk onder een controle willen uitkomen door een positiever beeld van hun bedrijf te schetsen dan de realiteit rechtvaardigt (bijv. minder energieverbruik en meer genomen maatregelen). Bepaalde informatie (zoals verbruik) wordt echter op meerdere manieren geverifieerd en controles vanuit de ODRU vinden ook plaats vanwege andere redenen dan energiebesparingsmaatregelen. Bedrijven zouden dan alle signalen moeten ontwijken om er tussendoor te glippen. Daar komt nog bij dat dit stukje wetgeving relatief lage impact heeft en daarmee minder interessant is voor eventueel kwaadwillenden. De essentie van deze wetgeving is immers om maatregelen te stimuleren die binnen 5 jaar terugverdiend worden, en daarmee heeft een ondernemer ook een belang bij advies vanuit de ODRU. Een tweede besproken logische (theoretische) oorzaak voor false negatives in deze context zou zijn dat de ODRU niet over alle informatie voor alle bedrijven in de regio beschikt, waardoor het algoritme niet toegepast kan worden op die bedrijven en zij dus ook geen hoge prioritering kunnen krijgen. Door de scope van de huidige zaaksystemen en de diverse wijzen waarop de ODRU tot haar informatie komt, schatten betrokkenen dit risico klein in. Over de breedte genomen is het voorziene risico van false negatives dus beperkt.
Risico van false positives en false negatives Een belangrijk risico van de inzet van algoritmen betreft de gevallen waarin het algoritme het verkeerd heeft. Het is op voorhand doorgaans echter niet te zeggen welke gevallen dit zijn. Voor het inschatten van dit risico is het van belang om de kansen op een false positive en een false negative in te schatten én de impact hiervan te bepalen. Hoewel de betrokken uitvoerders vanuit hun expertise een weloverwogen werkwijze hebben gekozen, schatten wij in dat er binnen de gemeente (en de GR’en) niet altijd een systematische analyse van deze foutmogelijkheden en hun impact heeft plaatsgevonden. 2. Gefragmenteerde kennis en verantwoordelijkheid binnen (samenwerkings)ketens. Binnen de uitgevoerde praktijktoetsen hebben we geconstateerd dat het ingezette algoritme toegepast wordt op data die vanuit een bredere samenwerkingsketen wordt aangeleverd. Zo wordt bij de vroegsignalering van betalingsachterstanden gebruik gemaakt van data van o.a. zorgverzekeraars, woningcorporaties en energieleveranciers. Voor de prioritering energiecontroles komt data binnen van o.a. RVO, andere teams binnen de ODRU en openbare bronnen. Voor het verbeteren van de verkeerdoorstroom van fietsers en voetgangers wordt data gebruikt van de toeleverancier. Hoewel de samenwerking tussen al deze partijen een meerwaarde vormt, brengt het ook risico’s met zich mee.
Allereerst is de kennis over de data en bijbehorende eigenschappen versnipperd. Zo kent RVO bijvoorbeeld alle details over informatie die wordt aangeleverd vanuit de geldende informatieplicht, en kan hier databewerkingen op uitvoeren. De ODRU krijgt vervolgens informatie van RVO, heeft net wat minder zicht op alle processen van RVO, en is daarmee ook deels afhankelijk van de kwaliteit van de werkwijze van RVO. Niet alle kennis en informatie is immers bij de ODRU aanwezig, en het is ook niet realistisch om twee organisaties op exact hetzelfde kennisniveau te krijgen over de data in kwestie. Toch is het van belang om te weten welke data je gebruikt, en wat de mitsen en maren daarbij zijn. Hetzelfde geldt voor bijvoorbeeld de casus van de vroegsignalering, waarin externe partijen ‘signalen’ aanleveren. Hoewel ook deze samenwerking veel meerwaarde kan bieden, is het voor WIL en de gemeente maar tot een bepaalde mate transparant hoe die externe partijen vanuit hun processen tot het uiteindelijke signaal komen. Daardoor kan er ook niet beoordeeld worden wat een signaal nu exact wel en/of niet zegt. Tot slot kan de afhankelijkheid van anderen ook betekenen dat je eigen systeem niet meer (goed) werkt op het moment dat het systeem van een externe partij uitvalt, of dat derden de betreffende data vernietigen
Dialogic innovatie ● interactie
15
(bijvoorbeeld op basis van de Archiefwet of het verstrijken van een wettelijke bewaartermijn). Doordat de kennis over data in de keten versnipperd is, bestaat er een risico dat niemand verantwoordelijkheid neemt voor de totale dataketen en het totale dataproces. In theorie zou iedereen zich kunnen beperken tot het regelen van ‘haar eigen stukje’ en dat doorgeven aan de volgende partij in de keten. Voor de gemeente is het relevant om zicht te houden op de gehele keten om algoritmen zo verantwoord mogelijk in te zetten. Dat vraagt ook om reflectie op de (data)processen van externen. 3. Aannames over effectiviteit van algoritmen Een derde risico ten aanzien van de bewuste en verantwoorde inzet van algoritmen is de constatering dat veel betrokkenen lijken te vertrekken vanuit de aanname dat het werken mét het algoritme beter is dan het werken zonder. Deze aanname is begrijpelijk, omdat betrokkenen vaak vertrekken vanuit een scenario waarin alles ‘met de hand’ en met minder structuur of systematiek gedaan werd. Er leek een bepaald sentiment te bestaan dat het werken met algoritmen haast per definitie een verbetering is. Het risico hierbij is echter dat wanneer mensen er al vanuit gaan dat deze nieuwe werkwijze goed werkt, er geen natuurlijke reflex meer is om kritisch te kijken naar of die nieuwe werkwijze ook wel echt effectief is en/of dat deze ongewenste neveneffecten heeft.
In de onderzochte cases was er bij aanvang van de inzet van algoritmen geen uitgewerkt plan of kader om later in het proces te kunnen evalueren of het ook echt beter werkt en hoeveel beter. Dat wil uiteraard niet zeggen dat men in de praktijk niet leert; in alle drie de praktijktoetsen was men op een manier bezig met de kwaliteit van de werkprocessen en soms was er bijvoorbeeld ook sprake van een jaarlijkse herijking van de werkwijze. Toch zien wij het als een risico om niet vooraf al goed uit te werken hoe deze werkwijze tot verbetering moet leiden en hoe je dat in kaart zou kunnen krijgen. Door er aan de voorkant goed over na te denken richt je de werkwijze scherper in, kun je tijdens het in gebruik hebben van het algoritme beter monitoren en bijsturen indien gewenst, en kun je verderop in het proces krachtiger evalueren en leren over de voor- en nadelen van de nieuwe werkwijze. 4. Kloof tussen benodigde kennisdomeinen Een vierde aandachtspunt dat in de praktijktoetsen naar voren is gekomen is de ‘kloof’ tussen de benodigde kennis(domeinen) om de ontwikkeling en inzet van een algoritme te faciliteren. Er is doorgaans in ieder geval een combinatie nodig van domeinkennis (bijv. infrastructuur, sociaal domein) en ‘technische’ kennis, aangevuld met juridische kennis en ethische kennis.
Het bijeenbrengen van domeinkennis en technische kennis lijkt vaak een relatief grote uitdaging. In alle onderzochte casussen zijn deze kennisdomeinen op een manier bijeengebracht om het algoritme te kunnen ontwikkelen en in te zetten. Wel is ons opgevallen dat de ‘kloof’ er toe kan leiden dat mogelijke verbeteringen in het algoritmen niet of later doorgevoerd worden, doordat de betrokken domeinexperts zelf niet in staat zijn om het algoritme aan te passen. Zo zagen we bij de vroegsignalering een goed doordacht systeem om mensen te helpen, maar kwam er na gezamenlijke reflectie ook een enkel idee naar voren om het systeem nog nét wat scherper te krijgen. Het is wenselijk dat betrokkenen het systeem ook snel en laagdrempelig kunnen aanpassen. Nu kon men in deze casus de aanpassingen wel organiseren, maar desalniettemin constateerden wij enige kloof. Zodra een dergelijke kloof te groot zou worden kan er ook een gevoel ontstaan van “hier moeten we het mee doen”, iets wat je als gemeente zou willen voorkomen.
16
Dialogic innovatie ● interactie
De afstand tussen de domeinkennis en de technische kennis kan ook leiden tot een minder transparant proces. Zo werkt de gemeente voor haar iVRI’s (3.1.1) samen met een externe toeleverancier, waar de technische kennis benodigd voor de aansturing van (onder meer) verkeerslichten aanwezig is. De gemeente kan doorgeven wat zij wil veranderen en waarom, en vervolgens past de externe partij het systeem aan. De afstand tussen domeinkennis en technische kennis betekent een extra schakel in dat proces, en maakt ook dat de gemeente iets indirecter zicht krijgt op de gevolgen van de aanpassingen. Nu achten wij het risico op (grote) problemen in deze context erg klein, maar het illustreert wel de dynamiek van een afstand tussen de domeinkennis en technische kennis. Bij de ODRU daarentegen spreken de betrokkenen met domeinkennis en technische kennis elkaar vaak, en is de kloof minimaal. De leidinggevende in die situatie kent het algoritme goed, en andersom kent de ontwikkelaar van het algoritme de context. In het onderzoek is ook meermaals naar voren gekomen dat het kennisniveau op het gebied van data en algoritmen lijkt te verschillen tussen teams en thema’s. Teams en mensen die traditioneel al veel met technische onderwerpen en systemen doen, hebben typisch al wat meer affiniteit met de technische aspecten van algoritmen.
Denk bijvoorbeeld aan professionals die zich met infrastructuur bezighouden. Kortom: in de onderzochte cases was de kloof beperkt en zijn er geen grote risico’s. Toch zijn er kansen om de kloof te verkleinen en is het voor toekomstige inzet van algoritmen verstandig om de brug te slaan tussen de benodigde kennisdomeinen.
4.1.2 Strategie en beleid & algoritmen Voor strategie en beleid op het gebied van algoritmen kijken we naar drie facetten: 1. Strategie en beleid binnen de gemeente 2. Strategie en beleid t.a.v. Gemeenschappelijke Regelingen 3. Strategie en beleid t.a.v. inkoop van algoritmen [1] Strategie en beleid binnen de gemeente In hoeverre de gemeente de gevolgen van de inzet van algoritmen overziet op het niveau van beleid en strategie is niet hard vast te stellen, maar we hebben wel geconstateerd dat er ten tijde van dit onderzoek geen expliciet beleid of strategie bestond t.a.v. algoritmen. Er is daarentegen wel oog voor aanpalende thema’s, zoals informatiebeveiliging en privacy. Een belangrijk risico van een gebrek aan strategie en beleid is dat er op het niveau van leidinggevenden geen formele checks and balances zijn waaraan besluiten omtrent algoritmen kunnen worden getoetst. Wat willen we als gemeente, wat mogen we als gemeente, wat kunnen we als gemeente? Dat zijn relevante vragen waar verschillende individuen ook verschillend over zouden kunnen denken. We zien in de praktijk dat er wel andere kaders zijn waar rekening mee gehouden wordt bij de besluitvorming rondom algoritmen. In het geval van de iVRI-casus (3.1.1) was de mobiliteitsvisie van de gemeente bijvoorbeeld leidend voor besluiten over hoe het algoritme ingericht moest worden.
Hoewel dit een mooi voorbeeld is van hoe een algemene visie ook richting kan geven aan de inzet van algoritmen in de uitvoering, is deze werkwijze niet systematisch geborgd. Een overkoepelend beleidskader m.b.t. algoritmen zou bijvoorbeeld in generieke zin als voorwaarde kunnen stellen dat de inzet van het algoritme gericht is op het behalen van de doelstellingen binnen het desbetreffende domein, en dat er geen zwaarwegende neveneffecten mogen zijn (en/of dat die besproken moeten worden in bepaalde teams of in de gemeenteraad).
Dialogic innovatie ● interactie
17
Een ander effect van het ontbreken van een heldere visie en strategie op algoritmen is dat er hierdoor niet/minder geïnvesteerd wordt in de benodigde kennis en kunde om de kansen van algoritmen te benutten. Dit is een gemis, wanneer men de kansen van algoritmen wil kunnen verzilveren en de risico’s beter wil kunnen beheersen. De kansen van algoritmen worden ook door de respondenten bij de inventarisatie gezien; zij gaven aan in 39 van de voorgelegde 60 algoritmische toepassingen kansen te zien. Gezien de complexe situatie waarin gemeenten zich bevinden, o.a. omschreven in de Stand van de Uitvoering Gemeenten 202310, is het onwaarschijnlijk dat deze kansen daadwerkelijk worden benut als er geen specifieke doelstellingen t.a.v. algoritmen worden geformuleerd. [2] Strategie en beleid t.a.v. Gemeenschappelijke Regelingen De inzet van algoritmen hebben we grotendeels aangetroffen in de GR’en. Dit is onder meer te verklaren door de grotere schaal waarop deze organisaties kunnen opereren. De grotere schaal kan verband houden met een grotere (relatieve) meerwaarde van de inzet van algoritmen en de mate waarin er ruimte is voor specialisatie, in dit geval op het gebied van algoritmen. In de onderzochte casussen lijkt er geen of nauwelijks inhoudelijke betrokkenheid te zijn van de gemeente IJsselstein als het aankomt op de inzet van algoritmen. De GR’en handelen als het ware autonoom.
Dit hoeft natuurlijk geen probleem te vormen. Wel is het zo dat de gemeente weinig zicht (en grip) heeft op wat er exact gebeurt binnen de GR’en, en zou daardoor ook niet goed kunnen sturen in het geval ze dat wel zou willen doen. We constateren nu in ieder geval dat er geen duidelijke strategie of beleid is op dit vlak. [3] Strategie en beleid t.a.v. inkoop van algoritmen Als gemeente kun je zelf (grotendeels) bepalen of je zelf met algoritmen aan de slag wilt gaan. De buitenwereld verandert echter ook, en veel partijen buiten de gemeente maken in toenemende mate gebruik van algoritmen. Dit geldt ook voor toeleveranciers van de gemeente, waar de gemeente goederen of diensten inkoopt. Algoritmen kunnen verwerkt zijn in de goederen en diensten die worden aangeboden. Dat betekent dat de gemeente in een dergelijk geval dus ook de kansen en de risico’s van de inzet van algoritmen inkoopt. Momenteel is er geen beleid ten aanzien van hoe men moet omgaan met (eventuele) algoritmen die verwerkt zijn in goederen of diensten die worden ingekocht. De verwachting is dat externe toeleveranciers regelmatig (impliciet) algoritmen aanbieden. Dat zal met name gelden voor generieke ‘off-the-shelf’ algoritmen en bijbehorende producten/diensten waar deze in verwerkt zijn, omdat daar niet per se iets op maat voor de gemeente ontwikkeld wordt.
Voor specifieke algoritmen is de kans dat het onbewust gebeurt kleiner, maar ook zeker niet nul. Het bewustzijnsniveau t.a.v. algoritmen bij inkopende ambtenaren lijkt relatief laag, dus er wordt zelden/nooit specifieke aandacht aan de rol van algoritmen bij in te kopen goederen/diensten gegeven. Dit betekent ook dat een leverancier mogelijk wel gebruikmaakt van algoritmen (met een bepaalde impact), maar dat de implicaties impliciet zijn en niet duidelijk zijn voor de gemeente. Uit gevoerde gesprekken met medewerkers van het Inkoopbureau Midden-Nederland (IBMN) komt naar voren dat zij de gemeente procesmatig kunnen ondersteunen bij de inkoop van algoritmen, maar dat de inhoudelijke verantwoordelijkheid bij de dossierhouders van de gemeente ligt. Als het inkoopbureau ook inhoudelijke ondersteuning zou moeten kunnen bieden, zou zij een parallelle tweede gemeente moeten worden. Ter illustratie: om te herkennen of een aanbieder van het plegen van onderhoud gebruikmaakt van algoritmen (bijv. voor ‘predictive maintenance’) moet men goed bekend zijn met de markt, de ontwikkelingen hierin en hoe aanbieders hun goederen/diensten zouden kunnen vormgeven en aanbieden.
10
[vng.nl]
18
Dialogic innovatie ● interactie
Om de bijbehorende mitsen en maren goed in te kunnen schatten moet je goed ingewijd zijn in het dossier. Het is niet reëel om die inhoudelijke kennisbasis bij inkoop te beleggen. Wel zou inkoop procesmatig kunnen helpen, bijvoorbeeld door checklists in te bouwen of door de dossierhouder door te verwijzen naar interne (algoritme-)experts die mee kunnen denken. AI is wel opgenomen in de Gemeentelijke Inkoopvoorwaarden bij IT (GIBIT) artikel 13. De focus ligt echter op de procedurele kant, en waardegedreven (inhoudelijke) vraagstukken worden niet door dit artikel ‘afgedekt’.
4.2 Hoe zou de toekomstige inzet van algoritmen eruit kunnen zien? In 4.1 is beschreven hoe de gemeente tot op heden omgaat met algoritmen. Dit wil niet zeggen dat dit ook zo zal blijven in de toekomst. Zoals benoemd is het vanwege de (relatieve) beperkte omvang en beschikbare middelen van de gemeente IJsselstein niet realistisch om als koploper te fungeren. De raadsleden geven in de survey ook aan geen koploper te willen zijn, maar eerder bij de vroege meerderheid (33%) en late meerderheid (67%) t.a.v. de adoptie van algoritmen te willen horen. Hoewel alle respondenten zichzelf in de ‘middengroep’ plaatsen en zichzelf niet als koploper dan wel achterblijver zien, zijn er wel verschillen in visie in termen van hoe snel de gemeente stappen moet zetten op dit thema. Tot de vroege meerderheid behoren in plaats van tot late meerderheid heeft ook implicaties voor benodigde investeringen en acties voor de gemeente. Uit de survey onder raadsleden blijkt ook dat men relatief meer nadruk legt op de risico’s dan op de kansen. Zie ter illustratie de onderstaande quote: Quote uit survey: “Net als de komst van de auto, zijn algoritmen iets wat impact heeft (of gaat hebben) op iedereen. Daarom zou een basisniveau van kennis nodig zijn en daarbij hoort bewustwording (iedereen weet dat je in een auto een gordel om moet, ook al heb je zelf geen auto)”
Het verklaren van deze bevinding is tot op zekere hoogte speculeren, maar wij achten het niet ondenkbaar dat [1] risico’s beter zichtbaar zijn dan kansen en [2] dat het uitvoeren van een controlerende taak betekent dat men juist ook oog moet hebben voor risico’s. Initiatiefnemers zullen immers ongetwijfeld kansen zien: waarom zouden zij anders met een algoritme aan de slag willen? Of er ook voldoende is nagedacht over de risico’s is een logische en terechte vraag. De respondenten geven desgevraagd ook aan kansen te zien van de inzet van algoritmen. Zij plaatsen die kansen met name binnen het Sociaal Domein (ondersteunen van kwetsbare groepen) en Mobiliteit (bijvoorbeeld bij het onderhoud wegen en verbeteren van de doorstroming). Deze domeinen zijn ook naar voren gekomen bij de inventarisatie van de huidige inzet van algoritmen. Zowel voor het afdekken van de risico’s en het benutten van de kansen, is het investeren in bewustwording, kennis en kunde de eerste stap. Hierbij dient de gemeente zich, op basis van de uitkomsten van dit onderzoek, zowel te richten op bewustwording in de volle breedte van de organisatie, alsook op specifieke teams en rollen. De Bestuurlijke nota gaat hier nader op in.
Dialogic innovatie ● interactie
19
4.3 Beantwoording van onderzoeksvragen 2 en 3 Onderzoeksvraag 2: “In hoeverre overziet de gemeente wat de inzet van algoritmen voor gevolgen heeft voor personen en bedrijven die daarmee te maken krijgen?”. Om deze vraag te beantwoorden maken we onderscheid tussen enerzijds de uitvoering en anderzijds strategie en beleid. Op basis van de bevindingen in dit onderzoek kunnen we stellen dat er vanuit de uitvoering over het algemeen goed is nagedacht over de impact op personen en bedrijven. De negatieve impact van de onderzochte algoritmen is in de onderzochte casussen beperkt. Wel zien we vier aandachtspunten voor het beter overzien van de gevolgen, ook met het oog op de toekomst: [1] systematischer reflecteren op de kans dat het algoritme het fout heeft en de bijbehorende impact hiervan; [2] het voorkomen van fragmentatie t.a.v. kennis en verantwoordelijkheid bij de inzet van algoritmen; [3] kritisch zijn en blijven over de effectiviteit van het werken met algoritmen en de mogelijke ongewenste neveneffecten die de inzet van algoritmen met zich mee kan brengen; [4] het slaan van een brug tussen de verschillende benodigde kennisdomeinen om effectieve en verantwoorde inzet van algoritmen te realiseren. Vanuit strategie en beleid constateren we dat er binnen de gemeente geen expliciete visie, strategie of beleid is rondom de ontwikkeling en inzet van algoritmen.
Wel is er substantieel aandacht voor aanpalende thema’s zoals informatiebeveiliging en privacy. Het ontbreken van een visie en strategie heeft als risico’s dat [1] er binnen de gemeente geen eenduidigheid bestaat t.a.v. wat de gemeente wil, mag en kan; [2] het moeilijk is om duidelijke ‘checks and balances’ te incorporeren in de bedrijfsvoering; [3] dat er niet of weinig geïnvesteerd wordt in menselijk kapitaal (bewustwording, kennis en kunde) en technologisch kapitaal (ICT, data) om de kansen van algoritmen te benutten en de risico’s van algoritmen te herkennen en te beheersen. Verder constateren we dat er ook geen expliciete kaders zijn die richting geven aan de omgang met algoritmen die binnen GR’en worden ontwikkeld en ingezet en aan de omgang met algoritmen die (onbewust) worden ingekocht bij externen.