Onderzoek naar algoritmes in het Groene Hart - Eindrapport gemeente Gouda v.10-11

Hierdoor kreeg het vertraagd mee dat de scanauto’s niet optimaal werkten. In sommige gevallen hebben burgers (onterecht óf onwetend) meerdere boetes gekregen.26 Ten slotte heeft de FG ook een ombudsfunctie. Op papier is dat dus ook nog een onafhankelijk orgaan dat toezicht kan houden op de gemeente. Figuur 7 Toetst uw gemeente of een algoritme bijdraagt aan het doel waartoe het wordt ingezet? (n=13)

1

0%

1

1

10%

0

20%

9

30%

40%

50%

60%

1

70%

80%

90%

100%

Nee, de gemeente toest niet of het algoritme bijdraagt aan het beoogde doel Ja, algoritmes worden getoetst voordat ze in gebruik genomen worden Ja, er is sprake van regelmatige toetsing van de uitkomsten van algoritmes Ja, er is een medewerker die (constant) toezicht houdt op het algoritme Weet ik niet Overig

Bron: enquête Technopolis, 2023. Alleen respondenten die aangegeven hebben dat ze op de hoogte waren van het gebruik van een algoritme kregen deze vraag te zien.

26 Precieze data over het aantal foutieve boetes heeft de gemeente Gouda niet, aangezien er alleen inzicht is in het

totaal aantal bezwaren.

Onderzoek naar algoritmes in gemeente Gouda

23

Figuur 8 In hoeverre is er sprake van de volgende vormen of momenten van toezicht en interventies binnen uw gemeente? (n=13) Ingrijpen van de gemeente bij afwijken van de uitkomsten van het algoritme indien nodig Ingrijpen van de gemeente op de werking van algoritmes indien nodig Extern toezicht op interventies op basis van algoritmes Extern toezicht op de inzet van algoritmes Extern toezicht op het ontwerp van algoritmes Intern toezicht op interventies op basis van algoritmes Intern toezicht op de inzet van algoritmes Intern toezicht op het ontwerp van algoritmes 0% Nooit

Zelden

Soms

10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Vaak

Weet ik niet

Bron: enquête Technopolis, 2023. Alleen respondenten die aangegeven hebben dat ze op de hoogte waren van het gebruik van een algoritme kregen deze vraag te zien.

3.3.2

De gemeente grijpt zo nodig doelbewust in op de werking van algoritmes en of wijkt van de uitkomsten af

Er is zijn weinig voorbeelden van het afwijken van de uitkomsten of ingrijpen of de werking van algoritmes. Er is verder geen officieel toetsingskader hierover. Desalniettemin komt het beeld naar voren dat de gemeente Gouda ingrijpt wanneer de werking van algoritmes niet goed verloopt of dat de Gemeente afwijkt van de uitkomsten van het algoritme. De mate waarin dit gebeurt kan echter niet gegeneraliseerd worden, aangezien er weinig informatie hierover beschikbaar is. Beoordeling: Gemeente Gouda voldoet in beperkte mate aan de norm Tijdens de gesprekken met de ambtenaren kwam naar voren dat er weinig voorbeelden zijn van ingrijpen door de gemeente naar aanleiding van ongewenste werking of uitkomsten van een algoritme. Uit de enquête (Figuur 8) blijkt ook dat het overgrote deel van de respondenten (beide keren 85%) geen weet heeft over ingrijpen op de werking of uitkomsten van een algoritme door de gemeente. De rest geeft aan dat de gemeente vaak (8%) óf zelden (8%) ingrijpt. Wel geeft de FG aan dat elke 4 jaar de FG DPIA’s tegen het licht houdt om te kijken of deze nog relevant is, met name in de context van nieuwe technologieën of functionaliteiten. Dit is dus een bepaalde waarborging om algoritmes te kunnen controleren. De gemeente Gouda heeft in één geval ingegrepen op zowel de werking van een algoritme als op de uitkomsten die het algoritme produceerde.

De introductie van de scanauto liep door gebrekkige dienstverlening van de softwareleverancier, onvolledige integratie tussen de digitale systemen en de fysieke infrastructuur en slechte communicatiekanalen tussen de afdeling Stadstoezicht en de BSGR niet geheel vlekkeloos. Het kwam voor dat de eigenaren van auto’s in korte tijd veel boetes kregen zonder daarover tijdig geïnformeerd te worden óf door een fout in het systeem. In een enkel geval heeft zijn er 74 boetes uitgeschreven voor één (verlaten) geparkeerde auto. De afdeling Stadstoezicht kreeg weinig managementinformatie van de softwareleverancier en het contact met de BSGR over de te versturen boetes en

Onderzoek naar algoritmes in gemeente Gouda

24

bezwaren was suboptimaal. In samenspraak de wethouder, afdeling en Parkeerservice (i.e. coöperatie die parkeerproducten en diensten aanbiedt aan de gemeente Gouda) is gekozen om van softwareleverancier te wisselen. Verder behandelt in plaats van de BSGR Parkeerservice sinds begin 2023 de invordering van de naheffingsaanslagen. Parkeerservice geeft sinds de verandering van softwareleverancier wel een signaal wanneer er abnormale situaties zich voordoen – in eerste instantie werd dit ad hoc gedaan, momenteel gebeurt dit bij vijf parkeeraanslagen op hetzelfde voertuig. Ten slotte, heeft de gemeente Gouda ook een aantal keer waarbij auto-eigenaars door de eerdergenoemde problemen veel boetes hebben gekregen ervoor gekozen om (een deel van) de boetes te seponeren.

Onderzoek naar algoritmes in gemeente Gouda

25

4 Usecases In dit hoofdstuk presenteren we de onderzochte usecases voor de gemeente Gouda. In deze usecases wordt op basis van een beknopte casestudy inzicht gegeven in de besluitvorming over, implementatie van, en toezicht op een specifiek algoritme. In de selectie van usecases is er tussen de gemeenten variatie aangebracht om tot een brede waaier aan verschillende usecases te komen waar alle gemeenten hun lessen uit kunnen trekken. Hiervoor zullen de usecases in een separaat document gebundeld worden en aan alle gemeenten ter beschikking worden gesteld.

4.1

Scanauto

De onderstaande usecase beschrijft de ervaringen van de gemeente Gouda met de inzet van scanauto’s voor de parkeercontrole. •

Beschrijving usecase: de scanauto controleren met behulp van camera’s met beeldherkenning of de eigenaren van geparkeerde auto’s het recht hebben om in een bepaald gebied te parkeren.

•

Status van usecase: de auto’s zijn operationeel en de eerste lessen zijn al getrokken door de gemeente

•

Reflectie op usecase: naar verwachting zal de toepassing van dit soort vormen van algoritmes in combinatie met verbeterde sensoren en AI sterk toenemen.

Usecase

Scanauto Gouda In de gemeente Gouda rijden scanauto’s rond die kunnen controleren of de eigenaren van geparkeerde auto’s het recht hebben om in een bepaald gebied te parkeren. De coöperatie ParkeerService verzorgt voor de gemeente Gouda het parkeermanagement, de -handhaving en de invordering van naheffingsaanslagen. ParkeerService heeft de scanauto (en de onderliggende software) uitbesteed aan het bedrijf Brickyard. In een eerder stadium verzorgde de Belastingsamenwerking Gouwe-Rijnland (BSGR) de invordering van de naheffingsbelasting en was er een andere (software-)leverancier betrokken. De scanauto’s hebben camera’s waarmee Parkeerservice voor de gemeente Gouda kan controleren of de eigenaren van geparkeerde auto’s een geldig parkeerrecht hebben. De camera scant de kentekens van de geparkeerde auto’s en identificeert deze met een beeldherkenningsalgoritme. Het algoritme leest de karakters van de kentekenplaat en gebruikt deze om de geldigheid van parkeerrechten behorend bij het kenteken op een bepaalde tijd en locatie te controleren in het Nationaal Parkeer Register. Indien er voor dit kenteken geen geldig parkeerrecht bestaat, dan checkt het algoritme na 7 minuten opnieuw de parkeerrechten. Deze handeling is geïntroduceerd om eigenaren van de geparkeerde auto de kans te geven om te betalen (bijv. om te lopen naar de parkeerautomaat voor een ticket).

Als vervolgens blijkt dat de auto niet geldig geparkeerd is, stuurt het systeem de gegevens door naar Parkeerservice-, die het kenteken koppelt aan

Onderzoek naar algoritmes in gemeente Gouda

26

de persoonsgegevens van de eigenaar van de auto (RDW). Vervolgens stuurt Parkeerservice de boete naar deze persoon.

Besluitvorming over ingebruikname Sinds april 2022 gebruikt gemeente Gouda scanauto’s om in de stad te controleren of de eigenaren van geparkeerde auto’s parkeerrechten hebben. Voor de introductie van de scanauto’s waren er twee parkeercontroleurs in dienst bij de gemeente. Het Stadstoezicht van de gemeente Gouda was echter niet tevreden over deze manier van parkeercontrole. Deze controles waren onder andere weersafhankelijk en controleurs werden vaak gestoord in hun werk. Tijdens het zoeken naar alternatieven kwam de scanauto naar voren. Ambtenaren van de afdeling Ruimtelijk Beleid en Advies (RBA) hebben vervolgens onderzoek gedaan naar ervaringen van andere gemeenten met scanauto’s. Hierbij hebben zij bijvoorbeeld gekeken naar een verhoging van de betalingsbereidheid onder burgers als gevolg van het invoeren van een scanauto in andere gemeenten. Op basis hiervan hebben zij aan de verantwoordelijke wethouder (portefeuille Mobiliteit) voorgesteld om in Gouda een scanauto te introduceren. Na instemming van de wethouder, hebben de betrokken ambtenaren een memo opgesteld die ter goedkeuring is voorgelegd en besproken met het college van B&W. Het doel van het invoeren van de scanauto’s is het verhogen van de betalingsbereidheid van burgers.

Wat ook in het besluit heeft meegespeeld, is dat de scanauto ten opzichte van parkeercontroleurs (1) meer auto’s in een korter tijdbestek kan controleren, (2) een groter gebied kan controleren, (3) een voorgeprogrammeerde route kan rijden en (4) weersonafhankelijk is. In de besluitvorming zijn door de gemeente weinig ethische vraagstukken meegenomen. De gemeente heeft er in het beleid wel voor gekozen om mensen die foutief een naheffing ontvangen – in het specifieke geval van voertuigen met een invalidekaart die niet in het systeem staan (bezoekers) die de scanauto niet kan detecteren – te compenseren met een gemeend excuus (bv. in de vorm van een boeket). Het invoeren van de scanauto heeft voor een aantal veranderingen gezorgd. Ten eerste, is door deze automatisering het contract van de parkeercontroleurs niet verlengd. Verder is de controle van geparkeerde auto’s op parkeerrechten effectiever (hogere betaalbereidheid) en efficiënter (minder benodigde menskracht) geworden. De softwareleverancier heeft een DPIA voor het algoritme uitgevoerd. Deze is niet gedeeld met de gemeente. Voor het proces bij de gemeente is er geen DPIA uitgevoerd. Dit moet nog wel gedaan worden volgens betrokken ambtenaren.

Informeren en toezicht houden tijdens gebruik Parkeerservice (en indirect de softwareleverancier) informeert de afdelingen Ruimtelijk Beleid en Advies en Stadstoezicht over het functioneren van de scanauto voor de parkeercontrole. Vervolgens rapporteert de afdeling Stadstoezicht verschillende partijen binnen de gemeente over het aantal naheffingen dat heeft plaatsgevonden. De invoering van de scanauto is enigszins moeizaam verlopen. Hiervoor zijn er meerdere redenen. Er waren opstartproblemen, waarbij er onduidelijkheden waren over verschillen tussen de interpretatie die het digitale systeem gaf aan een vermeende overtreding enerzijds en de werkelijkheid anderzijds (bijv. krijg je direct een boete als je aan het laden of aan het lossen bent? Hoe kun je zien of je aan het laden of aan lossen bent?). Andere

Onderzoek naar algoritmes in gemeente Gouda

27

opstartproblemen lagen deels bij de voormalige softwareleverancier. Een voorbeeld hiervan is dat de “betaaltijd”27 die iemand heeft, niet door de voormalige softwareleverancier gehanteerd werd, waardoor mensen foutief boetes hebben gekregen. Daarbovenop kwam dat de communicatielijnen tussen de gemeente, Parkeerservice (en de voormalige softwareleverancier) en de BSGR niet altijd goed waren. De BSGR was verantwoordelijk voor het innen van de Naheffing Parkeerbelasting (de boete) en voor de bezwaarprocedure. De BSGR heeft over mogelijke problemen in de uitvoering van de scanauto of over de kalibratie van het digitale systeem wel gecommuniceerd naar de gemeente. Helaas kwam deze informatie niet terecht bij de verantwoordelijke ambtenaren, maar bij de verkeerde afdeling. De bezwaren van burgers zijn een belangrijke manier waarop de gemeente geïnformeerd blijft over het gebruik van de scanauto. Doordat de directe feedbackloop (van bezwaren) niet goed werkte, is het voorgekomen dat mensen in een kort tijdsbestek meerdere naheffingen kregen, terwijl dat niet nodig was. Verder ontving de juist verantwoordelijke binnen gemeente de bezwaren niet, waardoor bijsturen moeilijk was. De afdeling Stadstoezicht was verder niet tevreden met de service van de voormalige softwareleverancier en de kwaliteit en kwantiteit van de managementinformatie die de voormalige softwareleverancier leverde.

Deze onvrede over de voormalige softwareleverancier is besproken met de verantwoordelijk wethouder en er is voor gekozen om over te gaan naar een andere (software-)leverancier. Sindsdien is het een en ander veranderd. Sinds begin 2023 int Parkeerservice de naheffingsaanslagen en behandelt het de bezwaren. Naar aanleiding van de ontevredenheid over de voormalige softwareleverancier heeft Parkeerservice een nieuwe softwareleverancier gezocht en is sinds 15 Maart 2023 Brickyard de nieuwe softwareleverancier voor de scanauto’s. In de gevallen waarbij burgers onterecht boetes hebben gekregen (bijv. meerdere naheffingen in kort tijdsbestek of foutief uitgeschreven boetes) hebben de verantwoordelijke ambtenaren binnen de gemeente per geval bekeken of mensen alle naheffingen moesten betalen of dat er bijvoorbeeld een aantal boetes geseponeerd konden worden.28 Verder heeft de afdeling Stadstoezicht ook afspraken gemaakt met Parkeerservice (en Brickyard) om bij opvallende gevallen (hiervoor zijn geen criteria gedefinieerd) een melding te geven, waardoor zij verder kunnen onderzoeken wat er aan de hand is. Normaal gesproken evalueert de gemeente een dergelijke tool na de introductie. De effectiviteit van de scanauto in het eerste jaar is door de beperkte informatievoorziening van voormalige softwareleverancier nog niet vastgesteld.

De indicator die gebruikt kan worden om het succes van de invoering van de scanauto te kunnen meten is de betalingsbereidheid van burgers voor parkeren. Na de introductie van Brickyard als software-leverancier zijn er wel cijfers beschikbaar over de betalingsbereidheid. Deze is met

27 Wanneer een kenteken van een auto gescand wordt, wordt dit kenteken gecheckt met de gegevens van de

betaalautomaat of database. In het eerste geval moeten na een 7 aantal minuten de gegevens van de betaalautomaat weer gecheckt worden op het kenteken. Als op dat moment er nog steeds geen match is, dan wordt de boete uitgeschreven. 28 Over het aantal “foutief” uitgeschreven boetes kan helaas niets gezegd worden. Alleen het totale aantal klachten

kan achterhaald worden. Verder kan dit niet uitgesplitst worden, waardoor niet duidelijk is hoe groot de groep foutief uitgeschreven boetes is.

Onderzoek naar algoritmes in gemeente Gouda

28

vier procentpunten gestegen, van 88% naar 92%. Verder zakt het aantal bezwaren op naheffingen ook.

Reflectie op de usecase Het betreft hier een belangrijke en leerrijke usecase. Niet alleen voor dit onderzoek naar toepassing van algoritmen, maar ook voor toekomstige toetsingen door de gemeenteraad. Naar verwachting zal de toepassing van dit soort vormen van algoritmes in combinatie met verbeterde sensoren en AI sterk toenemen. Private aanbieders op gebied van veiligheid in de openbare ruimte breiden hun diensten op dit gebied uit. Voor gemeenten is de business case in termen van verhoogde boete-opbrengsten en lagere kosten van detectie en opvolging ervan plausibel. Het is zaak dat de gemeenten in het licht van deze aantrekkelijke business case voldoende oog houden voor alle ethische en praktische aspecten en consequenties van de inzet van dit en soortgelijke algoritmes. Enigszins provocatief gesteld lijkt het effect op korte termijn van het toevoegen van ‘intelligente technologie’ de ‘intelligentie’ van de gemeentelijke dienstverlening niet vergroot te hebben.

Gezien de hiervoor geschetste kans dat het aantal AI- en algoritme verrijkte diensten in combinatie met nieuwe sensoren zal toenemen, ligt hier dan ook een extra uitdaging voor toezichthoudende organen om erop toe te zien dat de gemeente de voorwaarden voor effectieve toepassing – en het realiseren van erachter liggende maatschappelijke doelen in termen van maatschappelijke veiligheid – schept, alvorens dit soort toepassingen op grote schaal in te voeren.

4.2

Promen

De onderstaande usecase beschrijft de ervaringen van de gemeenschappelijke regeling Promen met de inzet van algoritmes: •

Beschrijving usecase: De inzet van game-based assessment waarbij kandidaten korte online games spelen op basis waarvan met behulp van algoritmes een kandidaatprofiel wordt opgesteld dat als vertrekpunt dient voor het verdere gesprek met een jobcoach.

•

Status van usecase: Sinds februari 2023 voert Promen een pilot uit met de tool.

•

Reflectie op usecase: Hoewel de inzet van statistische methodieken bij personeelswerk geen nieuw fenomeen is, is het voor Promen en de gemeenten als opdrachtgever, niet te controleren in welke mate de gebruikte algoritmes en brondata bevooroordeeld zijn Hiervoor zal er een groter beroep voor verantwoording gedaan dienen te worden op leveranciers.

Onderzoek naar algoritmes in gemeente Gouda

29

Usecase

Promen Promen is een Gemeenschappelijke Regeling en een publiekrechtelijk samenwerkingsverband van onder andere de gemeenten Gouda, Waddinxveen en Zuidplas om de voormalige Wet Sociale Werkvoorziening (WSW) en de Participatiewet uit te voeren. Verder maakt de gemeente Bodegraven-Reeuwijk op inkoopbasis gebruik van Promen voor de uitvoering van de WSW. De aangesloten gemeenten kopen een dienstverleningspakket in waarbij zij niet specifiek kijken naar de tools die Promen gebruikt. Promen gebruikt in haar bedrijfsvoering verschillende tools die algoritmes gebruiken. Voorbeelden hiervan zijn een diagnostiek ondersteunende game-based assessment en meerdere softwarepakketten, zoals Jewelsoftware. De nadruk van deze casus ligt op het game-based assessment. De softwareleverancier Ivy Works is de aanbieder van het game-based assessment. Ivy Works gebruikt hiervoor de software van het Britse bedrijf Cognisess. Met behulp van de resultaten van korte online games die de kandidaten spelen, meet het game-based assessment persoonskenmerken. In tegenstelling tot traditionele ‘formele’ tests gebeurt de assessment spelenderwijs. Voorbeelden van de games lopen uiteen van puzzels die gericht zijn op het oplossen van problemen tot reactiespellen. Dit kan voor sommige kandidaten beter werken, omdat ze dan niet het gevoel hebben dat ze getest worden.

De gamebased assessment meet meer dan 120 persoonskenmerken, zoals cognitieve vaardigheden, persoonlijkheid, drijfveren, basisvaardigheden en emotionele intelligentie. Het algoritme evalueert de uitkomsten van de online games en produceert een kandidatenprofiel. Het assessment heeft daarmee geen selecterend karakter, maar brengt talenten op een gestandaardiseerde wijze in beeld. De jobcoach bespreekt dit profiel vervolgens samen met de kandidaat. Het geeft jobcoaches zicht op de mogelijkheden van de kandidaat en biedt jobcoaches een manier om een persoonlijk gesprek aan te gaan met de kandidaat; zodat zij hun talenten ontdekken en jobcoaches hen gerichter kunnen begeleiden.

Besluitvorming over in gebruik name Kandidaten die bij Promen komen zijn op weg om te re-integreren of werk te vinden. Om dit zo vlot mogelijk te laten verlopen gebruikt Promen een breed scala aan tools. Vanuit de gemeenten verbonden aan Promen kwam de vraag om nieuwe dienstverlening (een basisen activatieroute naar werk of re-integratie29) te ontwikkelen. Promen wilde hierbij graag dat zij in de dienstverlening een objectief beeld van de talenten van kandidaten konden krijgen. Als reactie hierop heeft Promen in 2022 het proces gestart om op twee locaties (waaronder in Gouda) een Talentenplein te ontwikkelen. Het Talentenplein is zowel een fysiek anders ingerichte locatie als een leerconcept (de Talentenreis) waar diagnostiek, werk en ontwikkeling samenkomen en met de kandidaten kan plaatsvinden. Onderdeel van de ontwikkeling op het Talentenplein is het toepassen van diagnostiek-ondersteunende tools. Voor de diagnostiek-ondersteunende tool had Promen enkele vereisten, namelijk: dat de tool (wetenschappelijk) gevalideerd moest zijn; de tool beschikbaar was in meerdere talen

29 Hiernaast wordt er ook vanaf 2023 op het Talentenplein een brancheroute, uitstroomroute en nazorg

aangeboden.

Onderzoek naar algoritmes in gemeente Gouda

30

(om inclusiviteit te bevorderen); de tool betaalbaar was; privacy voldoende geborgd is; en ten slotte moet de tool uitgaan van het positieve, d.w.z. de talenten in plaats van de zwakke punten van een kandidaat. De game-based assessment van Ivy Works voldeed aan deze eisen. Het Promen team, gericht op innovatie en arbeidsontwikkeling heeft daarom ervoor gekozen om een aantal licenties af te nemen om de tool in de praktijk te kunnen testen. Promen heeft ook enkele gesprekken gehad met Ivy Works met als doel er zeker van te zijn dat het product echt past bij hun bedrijfsvoering. De jobcoaches bij Promen hebben meerdere trainingen gehad voordat ze de game-based assessment in de praktijk gingen gebruiken. Tenslotte is er intervisie en het inwerken op de tool georganiseerd. De keuze voor game-based assessment is geen losstaande afweging waar de gemeente specifiek voor geconsulteerd is maar maakt onderdeel uit van een breder pakket aan dienstverlening dat de gemeenten bij Promen afnemen. Hierdoor is het moeilijker te duiden in hoeverre gemeenten betrokken waren in de besluitvorming. Omdat Promen een Gemeenschappelijke Regeling is, zitten wethouders in het dagelijks bestuur en het algemeen bestuur, en zijn zij via deze rol op de hoogte geweest van de keuze voor de inzet van deze tool.

Het uiteindelijke besluit over de aanschaf van tools werd genomen door de algemeen directeur van Promen in samenspraak met het team verantwoordelijk voor innovatie en arbeidsontwikkeling. Aangezien in veel gevallen de arbeidsintegratie onderdeel is van een groter vraagstuk, werkt Promen intensief samen met de gemeenten. Zoals eerder vermeld nemen de gemeenten een pakket aan dienstverlening af. De gemeenten zijn hier wel over geïnformeerd door Promen via het regionaal arbeidsoverleg, waar ontwikkelingen over het Talentenplein gedeeld zijn met o.a. beleidsmakers. Verder hebben de plannen voor het Talentenplein (en de game-based assessment) in het Ondernemingsplan 2023 van Promen gestaan. Volgens de Wet Gemeenschappelijke Regelingen moet dit ondernemingsplan gedeeld worden met en goedgekeurd zijn door de raadsleden en het College van B&W van elk van de samenwerkende gemeenten. Dat wil zeggen dat deze functionarissen hiervan kennis hebben kunnen nemen, maar in hoeverre dit gebeurd is niet duidelijk. In theorie heeft het gebruik van game-based assessments een duidelijk gevolg voor de uitvoeringspraktijk. Doordat er een objectief beeld is van de talenten van de kandidaten, begint een gesprek/proces met een kandidaat op een meer gerichte manier. Hierdoor kan een kandidaat beter en efficiënter worden geholpen.

Omdat de game-based assessment van Ivy Works pas twee maanden in gebruik is, is het moeilijk om goed te duiden welke impact de game-based assessments op de uitvoeringspraktijk hebben gehad. Volgens onze gesprekspartners bij Promen zijn de eerste signalen van jobcoaches en kandidaten desalniettemin positief. Ten slotte is er geen DPIA uitgevoerd voor de besluitvorming over de game-based assessment.

Onderzoek naar algoritmes in gemeente Gouda

31

Informering en toezicht gemeente tijdens gebruik Momenteel bevindt het gebruik van de game-based assessment zich in de pilot-fase. Sinds eind februari 2023 gebruikt Promen de tool. Er is daardoor relatief weinig ervaring met het gebruik van de tool, zowel bij Promen als bij de gemeenten. In het algemeen rapporteert Promen bij ingebruikname van een tool hierover in het Ondernemingsplan en het jaarverslag. In het Ondernemingsplan van 2023 is de game-based assessment en de inzet ervan behandeld. Ook evalueert Promen als onderdeel van het aanschafproces standaard nieuwe tools. In het regionaal arbeidsoverleg is er ook ruimte om ontwikkelingen omtrent het Talentenplein te behandelen. Meerdere gemeenteraden voeren ook werkbezoeken uit aan Promen. Hierbij wordt er ook stilgestaan bij de game-based assessment. Tenslotte, jobcoaches rapporteren ook naar de werkconsultenten bij de gemeenten. Dit gebeurt echter op traject-niveau, niet op tool-niveau. Mocht er interesse bij de gemeente zijn om inzicht te krijgen in de werking van de tools, is dat mogelijk. De game-based assessment van Ivy Works maakt gebruik van een gevalideerd systeem dat het Britse bedrijf Cognisess ontwikkeld heeft. De site van Cognisess geeft aan dat het systeem gebaseerd is op wetenschappelijk onderzoek en dat het systeem rekening houdt met mogelijke vooroordelen in de modellen.

Details over hoe het systeem precies in elkaar zit en welk wetenschappelijk onderzoek het gebruikt, is niet te vinden op de site van Cognisess. Ivy Works geeft ook advies over hoe Promen het beste de game-based assessment kan inzetten. Zo is het mogelijk om de assessment in meerdere delen uit te voeren - in het geval dat iemand de assessment niet in één keer kan uitvoeren. Verder is er bij Promen een Functionaris Gegevensbescherming. Promen heeft duidelijk toezicht op privacy en persoonsgegevensbescherming. Op het moment van schrijven (juni 2023) kan er nog geen duidelijke conclusie getrokken worden in hoeverre het algoritme bijdraagt aan de bedrijfsvoering. Intern zal de gamebased assessment geëvalueerd worden zodra alle aangekochte licenties in gebruik zijn genomen. Tot nu toe hebben de jobcoaches en kandidaten positieve ervaringen met de game-based assessment. Het stelt de jobcoaches in staat om op een persoonsgerichte manier een traject in te gaan. Het gebruik van deze tool als vertrekpunt voor een gesprek zorgt ervoor dat een algoritme niet zelfstandig een beslissing neemt over een kandidaat. Tegelijkertijd geeft het de kandidaten ook inzicht in hun eigen talenten en zwakkere punten. Een voorlopige conclusie van de coaches is dat de game-based assessment een positieve toevoeging is aan het Talentenplein.

Reflectie op de usecase Het gaat hier om een toepassing van algoritmes die recent als pilot bij de betreffende GR en daarmee samenwerkende gemeenten in gebruik is. De Nederlandse leverancier en de Britse bronhouder werken er echter al een aantal jaren mee. De wetenschappelijke basis wordt door de Britse leverancier wel genoemd, maar kan niet geverifieerd worden, bronvermelding of certificering ontbreekt. Het is uit de usecase analyse niet duidelijk welke algoritmes de dienst van Ivy Works toepast. Promen en de samenwerkende gemeenten hebben daarop nog geen inzicht. Verder hebben ze nog geen toezicht ingericht op de uitwerking van in de dienst ingebakken algoritmes. Dat kan problematisch zijn – ondanks dat de game based assessment als tool gebruikt wordt en zorgvuldig wordt omgegaan met de interpretatie - omdat bij vergelijkbare

Onderzoek naar algoritmes in gemeente Gouda

32

assessmentmethoden langere tijd bekend is dat ze een culturele bias kennen. Het is niet duidelijk, en het is niet te duiden, of daarvan sprake is bij deze applicatie, en ook een eenmaal ingericht toezichthoudend kader zal hierop weinig of geen grip kunnen krijgen, tenzij de leverancier openheid van zaken geeft, en er periodiek een impactonderzoek naar de toepassing van de tool plaatsvindt. Gezien het feit dat deze algoritmes in een pilot-vorm gebruikt worden, is het belangrijk om bij (mogelijke) opschaling van het gebruik aandacht te hebben voor de werking van de algoritmes zelf. Verder is het in het vervolg belangrijk om bij andere pilot hier ook oog voor te hebben.

Onderzoek naar algoritmes in gemeente Gouda

33

Bijlage A

Onderzoeksaanpak

De aanpak van het onderzoek is gestructureerd in zeven werkpakketten (WP’s). In de onderstaande figuur geven we een schematisch overzicht van de aanpak. We begonnen met een startbijeenkomst waarbij alle gemeenten aanwezig waren. In deze bijeenkomst zijn de definitie van algoritmes, de kaders en het plan van aanpak verder besproken. Vervolgens is via deskstudie, interviews en enquêtes data verzameld die vervolgens samen kwam in de analyse en rapportage. Op basis van deze databronnen hebben we over de gehele linie een breed beeld kunnen schetsen van waar de gemeente staat met algoritmes met op de usecases een verdieping van een specifieke toepassing van een algoritme. Figuur 9

Schematisch overzicht van de voorgestelde aanpak

Technopolis Group, 2022

A.1

WP1: Deskstudie van beleidsdocumenten

In dit WP hebben we een deskstudie uitgevoerd op basis waarvan we eerste antwoorden op de onderzoeksvragen hebben geformuleerd. We hebben zowel een handmatige als een geautomatiseerde analyse uitgevoerd. A.1.1

WP1 deskstudie

De deskstudie zijn we gestart met een handmatige analyse van relevante documenten. Voor de handmatige tekstanalyse gebruikten wij de volgende bronnen: •

Wetenschappelijke en grijze literatuur over algoritmegebruik door gemeenten (beknopt);

•

Relevante beleidsdocumenten van (semi-) publieke instanties;

•

Documenten over algoritmes in de praktijk. Uitkomsten van breed gedragen initiatieven zoals het innovatieprogramma ‘Publieke controle op algoritmes’ en de Datawerkplaats;

Onderzoek naar algoritmes in gemeente Gouda

34

A.1.2

WP1.2 Geautomatiseerde tekstanalyse

Naast de handmatige deskstudie voerden we aanvullend een geautomatiseerde deskstudie uit. Hierbij gaat het om tekstuele data uit bijvoorbeeld raadsstukken, de gemeentewebsites, uitgezette tenders en de door gemeente Gouda aangeleverde documenten. We hebben door middel van geautomatiseerde tekstanalyses op een gestructureerde wijze de referenties over de inzet van algoritmes binnen de gemeente inzichtelijk gemaakt. We hebben terugkerende woorden en thema’s geanalyseerd, en een sentimentanalyse toegepast: dit geeft inzicht in of algoritmes in een positieve of negatieve context besproken worden in deze documenten. Door wijzigingen in de toegang tot een van de onderliggende dataplatformen voor deze analyse, hebben we uiteindelijk slechts beperkt kunnen putten uit de geautomatiseerde deskstudie.

A.2

WP2: Enquête naar begrip en gebruik onder ambtenaren

Het doel van de enquête was om het perspectief en de kennis van de ambtenaren op het gebied van bewustzijn, besluitvorming en toezicht op algoritmes te verzamelen. In de enquête waren voornamelijk gesloten vragen opgenomen, om de tijdsbelasting en barrière om de enquête te beantwoorden beperkt te houden. Voor de volledige vragenlijst verwijzen wij u naar Bijlage B. Tussen 18 januari en 8 juni hebben ambtenaren de enquête kunnen invullen. Een e-mail met uitleg over het onderzoek en een verzoek om de enquête in te vullen is door de gemeentelijke contactpersoon gedeeld met de organisatie. Tevens zijn deze contactpersonen gevraagd een tweetal reminders te versturen. In totaal hebben in de gemeente Gouda 39 personen de enquête voltooid. Circa 70% van de respondenten heeft een rol als ambtelijke ondersteuning en/of beleidsadvisering. Ongeveer 28% van de respondenten heeft uitvoerende taken en twee respondenten hebben andere taken binnen de organisatie. Het gros van de respondenten (48%) werkt in de bedrijfsvoering, ongeveer 25% in het ruimtelijk domein, 20% in het sociaal domein en respectievelijk 7% en 5% op een ander domein of bij bestuurszaken. In hoeverre de response representatief is voor de gehele gemeenteorganisatie is lastig vast te stellen, al is het aannemelijk dat de enquête eerder een overschatting dan een onderschatting geeft van het bewustzijn over algoritmes.

Dit is omdat de response onder ambtenaren met grotere betrokkenheid op dit onderwerp hoger zal liggen. Bij de interpretatie van de enquêteresultaten dient rekening gehouden te worden met de soms beperkte omvang van de steekproef. Hierdoor geeft de enquête inzicht in de grotere trends en is het niet mogelijk om kleinere verschillen statistisch uit te splitsen. Daarnaast is niet uit te sluiten dat ondanks de geboden toelichting op de definitie van algoritmes in de enquête, deze definitie door sommige respondenten op een afwijkende manier gehanteerd kan zijn. De aangeleverde voorbeelden van algoritmes in de antwoorden op de open vragen geven echter geen reden om aan te nemen dat hiervan op grote schaal sprake is geweest.

A.3

WP3: Interviews met verschillende experts in de gemeenten

Het doel van de interviews was om de kennis die is opgedaan tijdens de deskstudie en enquête te verdiepen door middel van interviews met relevante medewerkers van de te onderzoeken gemeenten. We zijn op 9 maart een dag lang bij de gemeente Gouda op bezoek geweest om interviews af te nemen. De lijst van te interviewen personen hebben we opgesteld in samenspraak met de gemeentelijke contactpersoon en de Groene Hart Rekenkamer. In de onderstaande tabel vindt u een overzicht van de personen die wij voor dit onderzoek gesproken hebben.

Onderzoek naar algoritmes in gemeente Gouda

35

Tabel 4

Overzicht interviewkandidaten

Categorie

Naam

Functie

College B&W

Michiel Bunnik

Wethouder

Gemeentesecretaris

Ruud Bakker

Gemeentesecretaris

Data-ambtenaar

Sergei Katus

FG

Data-ambtenaar

Michiel Pfaff

Afdelingshoofd I&A / CIO

Domeinambtenaar

Anita Vermeer

Informatiemanager sociaal domein

Domeinambtenaar

Leonie Koning

Informatiemanager I&A, proces- en digitaal werken

Domeinambtenaar

Bob Peters

Afdelingshoofd Veiligheid en Wijken

Usecase Scanauto

Wilco Slotboom-Zeedijk

Afdelingshoofd Stadstoezicht

Usecase Scanauto

Sjoerd Driest

Team stadstoezicht

Usecase Promen

Ilonka Dorrepaal

Bedrijfsmanager Innovatie en Talentontwikkeling bij Promen

Usecase Promen

Floor Sizoo

Job coach bij Promen

Usecase Promen

Geert Domburg

ICT-manager Promen

Usecase Promen

André van Wijk

Concern controller van Promen

De interviews hadden de vorm van semigestructureerde interviews: we maakten gebruik van een vooraf ontwikkelde vragenlijst/interviewleidraad, maar tijdens het interview lieten we ruimte aan de geïnterviewden om ook andere onderwerpen in te brengen. Daarmee zorgden we ervoor dat (onvoorziene) relevante zaken tijdens het gesprek verder uitgediept of verkend konden worden. Aan het begin van het interview deelden we de definitie van een algoritme, zodat de geïnterviewden vanuit hetzelfde begrip antwoorden konden geven op onze vragen. We hebben de notities van de interviews voor goedkeuring teruggelegd bij de geïnterviewden om te kijken of we de strekking van hun antwoorden goed hebben begrepen.

A.4

WP4: Usecases van algoritmes binnen de vier gemeenten

In dit werkpakket gingen we dieper in op een aantal algoritmes in de vorm van casestudies. De GHR stelde als eis dat er verspreid over de gemeenten acht verschillende usecases nader bekeken zouden worden. In overleg met de Groene Hart Rekenkamer selecteerden we voor iedere gemeente twee verschillende typen algoritmes om verder uit te diepen in een usecase. De selectie van usecases heeft een zekere mate aan diversiteit qua toepassingsdomeinen zodat we een breed beeld kunnen presenteren. In de usecases putten we voornamelijk uit publiek gepubliceerde en door gemeenten aangeleverde documenten en interviews met betrokken personen binnen elk van de gemeenten. De usecases van gemeente Gouda staan in hoofdstuk 4.

A.5

WP5: Analyse

Waar in de voorgaande werkpakketten de focus lag op het verzamelen van informatie, richtte dit werkpakket zich op het bij elkaar brengen en analyseren van de informatie uit de verschillende werkpakketten. Hiervoor is eerst een koppeling gemaakt tussen interviewtranscripties, enquêtevragen en deskstudiedocumenten en het normenkader. Hierdoor was er voor iedere norm duidelijk uit welke bronnen we konden putten voor onze rapportage. Na de bestudering van deze verschillende bronnen is er vervolgens een synthese geschreven waarna we op basis van deze synthese ons oordeel bepaalden.

Onderzoek naar algoritmes in gemeente Gouda

36

Bijlage B

Enquêtevragenlijst

Onderzoek naar algoritmes in gemeente Gouda

37

Onderzoek naar algoritmes in gemeente Gouda

38

Onderzoek naar algoritmes in gemeente Gouda

39

Onderzoek naar algoritmes in gemeente Gouda

40

Onderzoek naar algoritmes in gemeente Gouda

41

www.technopolis-group.com

Onderzoek naar algoritmes in gemeente Gouda

42