21bb4962 Bijlage behorende bij 21bb4852 over rapport Gekleurde technologie, Verkenning ethisch gebruik algoritmes

19 Gemeente Rotterdam, ‘Actieplan DGW 2020’, 28 januari 2020, p.14. 20 Het consortium bestaat uit de gemeenten Amsterdam, Utrecht, Den Haag, de VNG, de twaalf provincies, de Politie, Rijkswaterstaat en de Unie van Waterschappen. 21 Gemeente Rotterdam, programma DGW, ‘Kwaliteitsborging van algoritmes: Stand van zaken’, 2 juli 2020. 22 ambtelijk wederhoor.

32

gekleurde technologie

gemaakt en technisch geïmplementeerd. Dat wil zeggen, dat de technische infrastructuur waarin de gegevens zullen worden geregistreerd, is ingericht. Het register is nog niet in de organisatie geïmplementeerd, maar de verwachting is dat de huidige versie in het eerste kwartaal van 2021 in de processen zal zijn opgenomen. Op dit moment zijn er in het register velden voor onder andere de broncode, versiebeheer en links naar (technische) documentatie. Overige velden zullen in samenwerking met de partijen in het consortium worden bepaald in het komende halfjaar. 23 De eerste versie van het algoritmeregister bevatte vijf algoritmes, waarvan twee in ontwikkeling, twee in pilotfase en een in gebruik. 24 Om transparant te zijn naar de burger over het gebruik van algoritmes wordt bijvoorbeeld nagedacht over het toegankelijk maken van het algoritmeregister voor de burger. Het algoritmeregister van de gemeente Amsterdam wordt hierbij als voorbeeld gebruikt. 25 Zoals in hoofdstuk twee besproken, bestaan er verschillende manieren om algoritmes te classificeren. Het classificeren van algoritmes is belangrijk om zicht en grip te houden op de algoritmes binnen de organisatie. Het algoritmeregister bevat alle algoritmes waarin privacygevoelige informatie wordt verwerkt. De gemeente heeft op dit moment geen onderverdeling gemaakt in typen algoritmes.

Op dit moment bevat het (concept)algoritmeregister slechts informatie over het algoritme en technische achtergrondinformatie. De gemeente heeft met dit algoritmeregister zicht op algoritmes in de organisatie, maar (nog) geen inzicht in het gebruik, doelen of risico’s en verantwoordelijkheid voor het borgen van deze risico’s. Er is in de projecten rondom algoritmes geen specifieke aandacht voor een overkoepelende terminologie en classificaties voor algoritmes, al sluit de rekenkamer niet uit dat dit deel uitmaakt van de processen rondom het algoritmekader of het algoritmeregister. Deze producten zullen echter pas in de toekomst gereed komen en in gebruik genomen worden. Het aantal beheersmaatregelen en de diepgang van de beheersmaatregelen verschilt per type algoritme. Op dit moment heeft de gemeente echter geen specifieke indeling en terminologie rondom algoritmes in gebruik, enkel de splitsing tussen algoritmes met en zonder privacygevoelige verwerking. De rekenkamer is nagegaan of een bepaalde partij binnen de gemeente, zoals de afdeling Onderzoek en Business Intelligence (OBI), een beter zicht heeft op de algoritmes die er binnen de organisatie zijn. OBI wordt, als dienstverlener met expertise op die vlak, regelmatig betrokken in de ontwikkeling van algoritmes.

Echter, vanuit praktische overwegingen (zoals capaciteit en kennis) worden in sommige gevallen externe partijen ingehuurd bij projecten met een algoritme. OBI is dus niet standaard een betrokken partij bij de ontwikkeling van algoritmes in de organisatie en heeft dus ook geen totaalbeeld. 26

governance algoritmes De Algemene Verordening Gegevensbescherming (AVG) stelt eisen aan processen waarin (privacygevoelige) gegevens worden verwerkt. Algoritmes waarin

23 interview ambtenaar. 24 Exceldocument verkregen via e-mail ambtenaar. 25 Gemeente Amsterdam, ‘City of Amsterdam Algorithm Register Beta’, 2020, geraapdpleegd op 16 februari 2021 via https://algoritmeregister.amsterdam.nl/en/ai-register/. 26 interview ambtenaar.

33

gekleurde technologie

persoonsgegevens worden verwerkt, vallen daarmee onder de AVG. Voor een dergelijk algoritme dient allereerst een privacy risk assessment (PRA) te worden uitgevoerd. De gemeente beschrijft de PRA als een soort intake bij nieuwe projecten of processen (zowel simpele als complexe processen), waarin aan de hand van een vragenlijst een overzicht wordt gemaakt van welke gegevens de gemeente gaat gebruiken en de risico’s die daaraan kleven. De privacy officer van het cluster bepaalt aan de hand van de PRA of een privacy impact assessment (PIA of DPIA) noodzakelijk, wenselijk of niet nodig is. In een PIA worden alle vereisten die de AVG stelt aan een verwerking, gecontroleerd. 27 Dan gaat het bijvoorbeeld over doelbinding (het doel waarmee de gebruikte informatie was verzameld is verenigbaar met het doel van de verwerking in het algoritme) en databeveiliging. 28 De uitvoering van een PRA en een PIA zijn standaard voor alle verwerkingen bij de clusters. Wel kan de manier waarop de privacy officers een (eventuele) intake doen, verschillen per cluster. De gemeente geeft hierover bijvoorbeeld aan, dat niet in alle gevallen de PIA voorafgegaan wordt door een PRA. 29 De concern privacy officers hebben de wens om dit intakeproces op den duur te standaardiseren. De algehele verantwoordelijkheid voor het op het op orde hebben van alle zaken rondom privacy/de AVG ligt bij de proceseigenaar.

De verantwoordelijkheid is per cluster georganiseerd en de privacy officers van het cluster hebben een adviserende rol in dit proces. Wanneer de ontwikkeling van een algoritme clusteroverstijgend zou zijn, is het volgens de gemeente denkbaar dat de privacy officer op concernniveau betrokken wordt voor advies. 30 Buiten de wettelijke richtlijnen zijn verder geen gemeentelijke richtlijnen over partijen die betrokken dienen te worden bij het ontwikkelen of uitvoeren van een algoritme. Zoals al in paragraaf 3-3 is aangegeven, is OBI vanuit zijn expertise rondom data science niet standaard betrokken bij dergelijke ontwikkelingen. Binnen de gemeente is verder geen gestandaardiseerd proces rondom de ontwikkeling en het gebruik van algoritmes. Zoals aangegeven in paragraaf 3-2, wordt momenteel in het programma DGW en met het landelijke consortium gewerkt aan de kaders voor een governancemodel, een procesbeschrijving met bijbehorende risico’s en beheersmaatregelen en een voorstel voor onafhankelijke toetsing. 31 DEDA DEDA staat voor Data Ethics Decision Aid, en is een techniek om in teamverband (in bijvoorbeeld een workshop) de betrokkenen bewust te maken van ethische vraagstukken, deze te adresseren en afwegingen rondom deze vraagstukken te motiveren.

32 DEDA is binnen de gemeente geïntroduceerd in het programma DGW om leden van datagedreven projecten bewust te maken van ethische vraagstukken. De gemeente geeft aan, dat in het proces rondom de privacy (PRA’s en PIA’s) regelmatig wordt geadviseerd aan proceseigenaren om een DEDA uit te voeren. 33 Voor algoritmes

27 Dit is de zogenaamde gegevensbeschermingseffectbeoordeling zoals genoemd in artikel 35 van de AVG. 28 Gemeente Rotterdam, cluster W&I, ‘Beantwoording vragenlijst Privacy Impact assessment Labfase Analytics Uitkeringsfraude’, 20 januari 2017. 29 interview ambtenaar. 30 interview ambtenaar. 31 interview ambtenaar. 32 Gemeente Rotterdam, presentatie ‘DEDA workshop’, 11 september 2020. 33 interview ambtenaar.

34

gekleurde technologie

Rekenkamer

Rotterdam die door OBI worden ontwikkeld, wordt bij de ontwikkeling altijd een DEDA

uitgevoerd. 34 Echter, formeel maakt een verwijzing naar DEDA door de privacy officers op dit moment nog geen onderdeel uit van de standaard werkwijze voor de privacyadvisering en betrokkenen zeggen dat het doen van een DEDA nog niet ‘ingebakken’ zit in de organisatie. 35

34 interview ambtenaar. 35 interview ambtenaar.

35

gekleurde technologie

Rekenkamer

Rotterdam

36

gekleurde technologie

Rekenkamer

Rotterdam

4

project analytics uitkeringsfraude

inleiding Om inzicht te krijgen in de manier waarop de gemeente omgaat met algoritmes en de ethische risico’s omtrent algoritmes, heeft de rekenkamer een casestudy uitgevoerd. In deze casestudy is gekozen voor het algoritme ‘project analytics uitkeringsfraude’ bij het cluster Werk en Inkomen. In dit hoofdstuk worden de volgende deelvragen beantwoord: x Welke stakeholders zijn er betrokken bij de ontwikkeling en het gebruik van het algoritme ‘project analytics uitkeringsfraude’ en welke rol hebben zij bij het beheersen van ethische risico’s? x Op welke manier organiseert de gemeente de verantwoordelijkheid omtrent het algoritme ‘project analytics uitkeringsfraude’? x Op welke manier regelt de gemeente de transparantie van het algoritme ‘project analytics uitkeringsfraude’? x Op welke manier waarborgt de gemeente de eerlijkheid van het algoritme ‘project analytics uitkeringsfraude’? x In welke mate sluit de beheersing van de ethische risico’s aan bij de momenteel geldende professionele richtlijnen omtrent de eerlijkheid, verantwoordelijkheid en transparantie van algoritmes? De onderzoeksvragen hebben in dit hoofdstuk alleen betrekking op de onderzochte casus. De rekenkamer kan hiermee verder geen uitspraken doen over andere algoritmes binnen de gemeente.

Echter, gelet op de omvang en de fase waarin het algoritme zich bevindt kan niet worden uitgesloten dat bevindingen ook gelden voor andere algoritmes. Paragraaf 4-2 behandelt het auditraamwerk dat in 2-5-5 is geïntroduceerd. In paragraaf 4-3 wordt kort toegelicht wat het algoritme inhoudt en op welke manier het algoritme tot stand is gekomen. Paragraaf 4-4 beschrijft de betrokken stakeholders bij de ontwikkeling en het gebruik van het algoritme. Paragraaf 4-5 gaat in op de drie ethische principes transparantie, eerlijkheid en verantwoordelijkheid en de manier waarop de gemeente in deze casus omgaat met de risico’s die daaraan kleven. In de laatste paragraaf (4-6) worden de bevindingen over de casestudy samengevat in het auditraamwerk om een beeld te schetsen van de beheersing van de ethische risico’s. Hiermee ontstaat een eerste beeld over de mate waarin de beheersing van de ethische risico’s aansluit bij de momenteel geldende professionele richtlijnen.

auditraamwerk Zoals eerder al genoemd werd in paragraaf 2-5-5, hebben onderzoekers van de Rotterdam School of Management aan de Erasmus Universiteit een raamwerk ontwikkeld voor het ‘auditen’ van algoritmes. Achttien afzonderlijke beweringen over de gebruikers, het algoritme, en de data van het algoritme worden in dit raamwerk

37

gekleurde technologie

‘getoetst’. Uiteindelijk dienen deze beweringen om te bepalen of het algoritme het beoogde doel dient zonder betrokken stakeholders onnodig te benadelen. 36 In tabel 41 staan de achttien beweringen met daarbij de paragraaf waarin deze behandeld wordt. Opgemerkt moet worden, dat de beweringen 11 tot en met 14 vrij technisch van aard zijn en buiten de scope van dit onderzoek vallen. Om die reden kan de rekenkamer deze beweringen niet toetsen op basis van de verzamelde informatie. Ook voor bewering 7 heeft de rekenkamer onvoldoende informatie om de bewering te toetsen. tabel 4-1: auditraamwerk bewering

paragraaf

1. Het doel waarvoor het algoritme wordt gebruikt is voldoende helder beschreven voor de relevante stakeholders van het algoritme.

4-3

2. De output van het algoritme is voldoende relevant om het doel van het algoritme te bereiken.

4-3

3. De verzamelde persoonsgegevens worden verzameld voor hetzelfde doel als waar ze voor gebruikt worden in het algoritme.

3-4, 4-5-4

4. De organisatie kan voor iedere uitkomst van het algoritme een plausibele en begrijpelijke uitleg geven aan de betrokkene (de burger). 4-5-3 5. De organisatie geeft duidelijk aan welke informatie onder welke omstandigheden beschikbaar is voor stakeholders.

4-5-3

6. Het is duidelijk op welke rol mensen hebben ten opzichte van het algoritme bij het maken van de uiteindelijke beslissing.

4-4

7. De prestaties van het algoritme worden voortdurend gemonitord zodat het algoritme blijft functioneren waar het voor gemaakt is.

-

8. Er is een ‘audit trail’ van het algoritme en iedere uitkomst kan worden herleid naar de gebruikte code en data.

4-5-3

9. De herkomst van de data gebruikt voor het algoritme is accuraat, valide en veilig.

4-5-4

10. De data die is gebruikt om het algoritme te trainen is representatief voor de werkelijkheid waarop het algoritme wordt toegepast.

4-5-4

11. Het algoritme bevat voldoende relevante inputvariabelen.

-

12. Het is te verwachten dat de input variabelen van het algoritme redelijkerwijs gerelateerd zijn aan de beoogde uitkomsten.

-

13. Voor het trainen van het algoritme is een voldoende grote dataset gebruikt.

-

14. Er is een goede onderbouwing voor de manier waarop met ontbrekende data is omgegaan.

-

15. Er is voldoende aandacht besteed aan de manier waarop de inputvariabelen de uitkomst beïnvloeden.

4-5-3

16. Er gaan geen variabelen in het model waarmee direct gediscrimineerd wordt

4-5-4

17. Het algoritme heeft geen disproportioneel negatief effect op mensen in beschermde groepen door een impliciete bias.

4-5-4

18. De prestaties van het algoritme worden gemonitord en zijn voldoende (om het doel van het algoritme te bereiken).

4-3

Het is belangrijk om te benadrukken dat op dit moment de maatstaven omtrent de ethiek van algoritmes nog volop in ontwikkeling zijn. 37 Er zijn dus geen professionele richtlijnen die zodanig concreet zijn, dat de rekenkamer hieraan kan toetsen. Dit raamwerk geeft echter wel een structuur voor het beoordelen van een algoritme en dient hier om de bevindingen samen te vatten om zo de mate van beheersing van ethische risico’s te beoordelen en vooral ook om aan te geven op welke vlakken de controle op de eerlijkheid, verantwoordelijkheid en transparantie van het algoritme verbeterd kan worden.

project ‘analytics uitkeringsfraude’ Binnen de gemeente Rotterdam is het cluster Werk en Inkomen (W&I) onder andere verantwoordelijk voor de uitvoering van de Participatiewet. Dit betekent dat dit cluster ervoor moet zorgen dat uitkeringsgerechtigden bijstandsuitkering ontvangen en waar mogelijk begeleid worden naar werk. Echter, niet iedereen die een uitkering ontvangt,

36 Erasmus Data Summit, ‘Recap Report’, 2020. 37 Jobin, A., Ienca, M. & Vayena, E., ‘The global landscape of AI ethics guidelines’, 2019.

38

gekleurde technologie

ontvangt deze rechtmatig. Het kan voorkomen dat iemand een uitkering ontvangt, maar hier geen recht op heeft of dat iemand een hogere uitkering ontvangt dan waar hij/zij recht op heeft. Het Team HerOnderzoeken (THO) van W&I voert ieder jaar circa 6.000 heronderzoeken uit (onder ongeveer 35.000 bijstandsontvangers) om vast te stellen of de onderzochte personen wel rechtmatig een bijstandsuitkering ontvangen. THO kan niet de gehele populatie van uitkeringsontvangers jaarlijks heronderzoeken en wil dit ook niet vanwege de impact van een heronderzoek op een uitkeringsontvanger. Om deze beschikbare capaciteit voor handhaving zo effectief mogelijk in te zetten, wil W&I deze 6.000 heronderzoeken uitvoeren bij de uitkeringsontvangers met de grootste kans op het onterecht ontvangen van een uitkering. Dit deed W&I in eerste instantie bijvoorbeeld door bepaalde woonprofielen te onderzoeken waar zij vaker onrechtmatig ontvangen bijstandsuitkeringen vonden, zoals alleenwonenden. 38 In 2016 is W&I in samenwerking met verschillende partijen gestart met een onderzoek naar informatiegestuurd handhaven. Dit heeft geleid tot het ontwikkelen van een risicomodel dat onrechtmatigheid bij bijstandsuitkeringen voorspelt, om efficiënter te kunnen handhaven. Dit is het project ‘analytics uitkeringsfraude’.

Omdat binnen de gemeente onvoldoende expertise aanwezig was om een algoritme te ontwikkelen, heeft zij een externe partij ingehuurd om bij dit project te helpen. De doelstelling van het project was tweeledig. W&I wilde het handhaven op onrechtmatige uitkeringen efficiënter maken. Daarnaast was het voor de gemeente, en in het speciaal de afdeling Onderzoek en Business Intelligence (OBI), een kans om ervaring en kennis op te doen over nieuwe data-analysetechnieken. 39 De externe partij heeft samen met onderzoekers van OBI een eerste versie van het algoritme ontwikkeld en kennis over dit proces overgedragen aan OBI. Sinds 2018 voert OBI zelfstandig het algoritme uit in opdracht van W&I en is de externe ontwikkelaar hier niet meer bij betrokken. In het algoritme wordt gebruik gemaakt van data uit de processen ‘inkomen’ en ‘werk’, vastgelegd in de systemen Socrates en RMW/RAAK. Socrates bevat basisinformatie over de uitkeringsontvanger, zoals het adres en het type uitkering. RMW/RAAK bevat informatie uit het traject waarin de uitkeringsontvanger (wanneer mogelijk) naar werk wordt begeleid. Werkconsulenten voeren gesprekken met de uitkeringsontvanger en voeren de informatie uit deze gesprekken in in het systeem. Het gaat dan bijvoorbeeld over competenties en vaardigheden.

40 Het algoritme wordt ‘getraind’ op historische data van uitkeringsontvangers die onderzocht zijn op onrechtmatigheid van de uitkering. Het algoritme ‘leert’ zo onrechtmatigheid (en ook rechtmatigheid) te herkennen aan de hand van de data. Dit getrainde algoritme wordt toegepast op de data van huidige ontvangers van een bijstandsuitkering. Het algoritme levert op basis van die data een risicoscore terug, met een waarde tussen de 0 en de 1 (waarbij 1 staat voor een hoog risico). W&I gebruikt deze risicoscores om een ‘ranking’ te maken van hoog naar laag. De zogenaamde ‘toplijst’, een x aantal uitkeringsontvangers met de hoogste score, wordt uitgenodigd voor een heronderzoek.

38 interview ambtenaar. 39 Gemeente Rotterdam, projectgroep analytics uitkeringsfraude, ‘Verslag labfase project analytics uitkeringsfraude’, 8 maart 2017. 40 Gemeente Rotterdam, BCO OBI, ‘UITKERINGSFRAUDE PROJECT ANALYTICS – Pilot Prestatie010 Verantwoording’, 16 november 2020.

39

gekleurde technologie

Hoeveel mensen worden uitgenodigd, wordt bepaald in een planning. Elk jaar maakt W&I (in samenspraak met de wethouder en de programmadirecteur NPRZ) een planning voor het aantal heronderzoeken in dat jaar en op welke manier zij geselecteerd worden. Er zijn vier manieren waarop uitkeringsontvangers voor een heronderzoek worden geselecteerd. Een deel van de heronderzoeken wordt ‘toebedeeld’ aan de selectiemethode Big Data, het algoritme, en bestaat uit een vooraf bepaald aantal mensen uit de ‘toplijst’ met hoogste scores. Een ander deel van de heronderzoeken wordt uitgevoerd binnen een bepaald woonprofiel. Elk jaar bepaalt W&I een of meerdere profielen (zoals ‘alleenwonende mannen’ of ‘inwonende alleenstaande vrouwen’) waarbinnen mensen geselecteerd worden voor een heronderzoek. Verder wordt soms een aantal heronderzoeken aselect (willekeurig) geselecteerd en een deel komt uit samenwerkingen met bijvoorbeeld de afdeling voor Werk bij W&I (overig). Het aantal uitkeringsontvangers dat per jaar is uitgenodigd is te zien in tabel 4-2. tabel 4-2: aantal uitkeringsontvangers uitgenodigd voor heronderzoek per jaar aantal

2016

2017

2018

2019

Big Data

-

258

1.030

1.376

profiel

2.312

2.142

1.564

3.030

aselect

263

-

3.232

977

overig

45

200

316

849

bron: Rapportages Handhaving cluster Werk en Inkomen (2016, 2017, 2018 en 2019).

Als de planning gemaakt is, wordt OBI gevraagd het algoritme te trainen op de meest recente data en daaropvolgend de risicoscores aan te leveren aan W&I. W&I past op de aangeleverde lijst enkele filters toe. Zo is bijvoorbeeld bepaald dat uitkeringsontvangers maximaal eens per twee jaar worden uitgenodigd voor een heronderzoek. Ook uitkeringsontvangers van 64 jaar en ouder en uitkeringsontvangers die in een instelling wonen of adresloos zijn, worden niet geselecteerd. Na het filteren van de lijst nodigt het team HerOnderzoeken de op basis van de risicoscore geselecteerde mensen uit. Op dit moment is het algoritme aan zijn vierde pilot toe. Het algoritme wordt wel al enkele jaren in de uitvoering gebruikt, maar W&I geeft aan dat het nog steeds een pilot is omdat het algoritme telkens vernieuwd wordt en bijvoorbeeld wordt getest op bepaalde deelpopulaties. 41 Het is niet duidelijk wanneer het algoritme voldoende presteert om volledig ‘in productie’ te worden genomen (of wanneer het onvoldoende presteert en het algoritme niet in gebruik wordt genomen).

stakeholders Het is van belang een algoritme in haar organisatorische context te bestuderen. Er zijn namelijk vaak verschillende partijen betrokken bij de ontwikkeling en de uitvoering van een algoritme. De ontwikkeling van een algoritme vindt bijvoorbeeld plaats met behulp van een externe partij of, in het geval van de gemeente, een afdeling met de

41 Gemeente Rotterdam, BCO OBI, ‘Logboek prestatie010 model’, 2020.

40

gekleurde technologie

benodigde expertise (OBI). De relevante stakeholders voor dit specifieke algoritme en hun rol in het proces zijn weergeven in figuur 4-1. figuur 4-1 stakeholders algoritme W&I

partijen betrokken bij ontwikkeling algoritme De ontwikkelingsfase van het algoritme startte eind 2016. Hierbij heeft de gemeente een externe partij ingehuurd die de rollen van ontwikkelaar en data-scientist op zich nam. Het team van ontwikkelaars en data-scientists van de externe partij werd gecomplementeerd door verschillende werknemers van OBI en W&I. Deze gemeenschappelijke projectgroep heeft de code voor het algoritme geschreven en een eerste versie van het algoritme begeleid en geëvalueerd. 42 In deze zogenaamde ‘labfase’ zijn data uitsluitend gebruikt om de werking van het algoritme te testen. In deze fase zijn dus nog geen uitkeringsontvangers daadwerkelijk heronderzocht op basis van de uitkomsten van het algoritme. Na de afronding van de lab-fase in het begin van 2017 heeft de externe partij de gemeente bijgestaan in de uitvoering en evaluatie van de eerste pilotversie van het algoritme. 43 Tijdens deze pilot heeft de projectgroep het algoritme getest op 250 uitkeringsontvangers (waarvan 150 met een risicoscore en 100 aselect). 44 Uiteindelijk heeft de externe partij in augustus 2018 na de evaluatie van deze eerste officiële pilot het project verlaten en de rol van ontwikkelaar en datascientist volledig bij OBI neergelegd.

42 Gemeente Rotterdam, projectgroep analytics uitkeringsfraude, ‘Verslag labfase project analytics uitkeringsfraude’, 8 maart 2017. 43 Gemeente Rotterdam, projectgroep analytics uitkeringsfraude, ‘Rapport project analytics Aanpak Uitkeringsfraude’, 3 maart 2018. 44 Gemeente Rotterdam, projectgroep analytics uitkeringsfraude, ‘Rapport project analytics Aanpak Uitkeringsfraude’, 3 maart 2018.

41

gekleurde technologie

Het cluster Werk & Inkomen is de initiatiefnemer voor het algoritme en heeft een aantal medewerkers die als domein-expert betrokken zijn gemaakt bij de lab-fase van het algoritme. Deze medewerkers van de afdeling Toetsing en Toezicht (T&T) van W&I hebben namelijk meegedacht over het soort data die in het algoritme gebruikt kan worden. Zij konden ook relevante context schetsen over het proces rondom heronderzoeken. partijen betrokken bij uitvoering algoritme Wanneer nieuwe heronderzoeken op de planning staan, vraagt W&I aan OBI om het algoritme te trainen op de historische data van rechtmatigheidsonderzoeken en vervolgens nieuwe risicoscores voor de huidige uitkeringsgerechtigden aan te leveren. Dit verloopt via gepseudonimiseerde data: OBI ziet enkel de data zonder persoonsgegevens en levert het ook als zodanig terug. Een werknemer van BCO depseudonimiseert de data vervolgens en deelt deze met een werknemer van de afdeling Toetsing & Toezicht van W&I. Deze filtert de lijst vervolgens (zoals in paragraaf 4-2 is uitgelegd) en controleert op eventuele over- of onder representatie van bepaalde groepen in deze gefilterde output van het algoritme. Een lijst met het –volgens de planning nodig geachte – aantal uitkeringsontvangers met de hoogste risicoscores wordt vervolgens verstuurd naar de manager van het team HerOnderzoeken.

Medewerkers van dit team voeren een laatste controle uit op de lijst (voornamelijk om te checken of deze personen op het moment van aanschrijven nog een uitkering ontvangen) en versturen uitnodigingen naar de burgers die in aanmerking komen voor een heronderzoek. 45 overige betrokken partijen De genoemde partijen zijn direct betrokken bij de jaarlijkse uitvoering van het algoritme. Er zijn bij deze casus enkele andere stakeholders betrokken die een rol vervullen in relatie tot die ontwikkeling en uitvoering van het algoritme. De privacy officers van het cluster hebben een adviserende rol bij alle zaken rondom privacy en de AVG. 46 Tijdens de ontwikkelingsfase is er een privacy officer betrokken geweest om de proceseigenaar bij te staan in het uitvoeren van een PIA. Indien er andere vraagstukken zijn omtrent het algoritme waarbij de AVG van toepassing is, dan kunnen stakeholders bij de privacy officers terecht. Ten slotte spelen de werkconsulenten bij W&I een rol, daar zij de data invoeren die gebruikt wordt als input voor het algoritme. Daarmee hebben zij invloed op de kwaliteit van het algoritme.

ethiek algemeen De rekenkamer heeft bij het algoritme van W&I aandacht besteed aan drie verschillende ethische principes: verantwoordelijkheid, transparantie en eerlijkheid. Over het algemeen kan de rekenkamer stellen dat ethische risico’s een kleine rol hebben gespeeld bij de ontwikkeling en inzet van het algoritme van W&I. Bij de ontwikkeling is bijvoorbeeld geen DEDA uitgevoerd om ethische risico’s in kaart te brengen en te verantwoorden. De reden was, dat dit instrument bij de ontwikkeling

45 interview ambtenaar. 46 Gemeente Rotterdam, cluster W&I, ‘Privacybeleid en Uitvoeringsplan cluster Werk en Inkomen 2019’, april 2019.

42

gekleurde technologie

nog niet beschikbaar was. Later in het proces is echter ook geen DEDA meer uitgevoerd, omdat de ontwikkelaars van mening zijn dat een DEDA alleen toegevoegde waarde heeft voorafgaand aan een project. 47 Tijdens de ontwikkeling van het algoritme is vooral veel aandacht besteed aan de dataveiligheid. 48 In het rapport ‘project analytics uitkeringsfraude’ van de externe ontwikkelaar zijn ook geen overwegingen terug te vinden over eventuele ethische dilemma’s die speelden bij de ontwikkeling van het algoritme. 49 Dit is bevestigd in verschillende interviews: zowel tijdens de ontwikkeling als bij het gebruik is enkel getoetst aan de kaders van de AVG. 50 verantwoordelijkheid Formeel draagt de clusterdirecteur (in dit geval van W&I) de eindverantwoordelijkheid voor alle zaken die zich binnen het cluster afspelen, dus ook voor een eventueel algoritme. 51 Het is in dit geval echter zo dat het algoritme een onderdeel uitmaakt van een proces van het cluster W&I, maar het algoritme zelf wordt ontwikkeld en uitgevoerd door OBI en dus binnen het cluster Bestuurs- en Concernondersteuning (BCO). Uit gesprekken met betrokken ambtenaren blijkt dat hierdoor niet altijd direct duidelijk is wie de verantwoordelijkheid voor het algoritme draagt binnen de gemeente.

Waar de meesten aangeven dat W&I de verantwoordelijkheid draagt voor het hele werkproces rondom de heronderzoeken en dus ook voor het gebruik van het algoritme, menen anderen dat BCO de verantwoordelijkheid draagt over het algoritme. 52 Daarnaast zijn er ook ambtenaren die vinden dat er een collectieve verantwoordelijkheid van beide clusters zou moeten zijn over het algoritme. 53 In het privacybeleid is vastgelegd dat de algehele verantwoordelijkheid over privacy en de AVG ligt bij de proceseigenaar. 54 De rol van proceseigenaar was daarmee formeel belegd bij het afdelingshoofd van Toetsing & Toezicht en vanaf 1 maart 2021 bij het afdelingshoofd van Beheer Inkomen. 55 De privacy officers (zowel van de clusters als op concernniveau) hebben slechts een adviserende rol en voorzien de proceseigenaar van adviezen rondom de privacy/de AVG. verantwoordelijkheden rondom ethische principes Zoals eerder is aangegeven, hebben de ethische principes geen grote rol gespeeld bij de ontwikkeling en later de uitvoering van het algoritme. Omdat geen DEDA is gedaan, is er niet bij de ontwikkeling nagedacht over ethische principes en is er ook niks vastgelegd over ethische dilemma’s.

Het eigenaarschap rondom de invulling van de ethische principes voor dit algoritme blijkt dan ook in sommige gevallen nog vrij diffuus te zijn, of ligt niet direct bij de personen die hier de meeste expertise voor hebben. 56 Zo ligt de controle op onder- of overrepresentatie (door de gemeente

47 interview ambtenaar. 48 interview externe. 49 Gemeente Rotterdam, projectgroep analytics uitkeringsfraude, ‘Rapport project analytics Aanpak Uitkeringsfraude’, 3 maart 2018. 50 interview ambtenaar. 51 interview ambtenaar. 52 interviews ambtenaren. 53 interview ambtenaar. 54 Gemeente Rotterdam, cluster W&I, ‘Privacybeleid en Uitvoeringsplan cluster Werk en Inkomen 2019’, april 2019. 55 interview ambtenaar. In ambtelijk wederhoor is aangegeven dat team HerOnderzoeken vanaf 1 maart 2021 geen onderdeel meer uitmaakt van Toetsing & Toezicht, maar van Beheer Inkomen. 56 interview ambtenaar.

43

gekleurde technologie

benoemd als de controle op potentiële vooringenomenheid in de resultaten van het algoritme), volledig bij de domein-expert (W&I). 57 OBI laat dit compleet over aan W&I, terwijl alle benodigde (technische) kennis voor een controle op eerlijkheid van het algoritme in principe bij OBI ligt. Verder geven zowel W&I als OBI aan, dat zij geen indruk hebben van de kwaliteit van de invoer van de data die in het algoritme gaan. transparantie Een organisatie is volgens de Algemene Verordening Gegevensbescherming (AVG) wettelijk verplicht om transparant naar de burger te zijn over de verzameling en verwerking van persoonsgegevens. 58 Zoals in paragraaf 3-4 is uitgelegd, dient de gemeente zich voor algoritmes waarin persoonsgegevens worden verwerkt, te houden aan de AVG. In het kader van de AVG wordt door W&I op de gemeentelijke website dan ook aan de burger uitgelegd welke persoonsgegevens worden gebruikt in de processen van W&I en op welke manier de gemeente deze beschermt. 59 Naast de benodigde wettelijke transparantie omtrent de verwerking van persoonsgegevens, heeft de rekenkamer ook gekeken naar de transparantie die W&I verder biedt over het algoritme. 60 Uitleg naar de burger over de verwerking van persoonsgegevens betekent namelijk niet automatisch dat de burger ook wordt ingelicht over het gebruik en de rol van een algoritme.

De eerder genoemde pagina op de gemeentelijke website geeft aan dat de persoonsgegevens worden ingezet voor het “controleren of u recht heeft op een uitkering”. De rekenkamer kon verder geen informatie op de gemeentelijke website vinden, waarin uitgelegd wordt dat een algoritme een rol speelt in het selectieproces. Het blijkt dat het ook in de praktijk het niet vanzelfsprekend is dat de uitkeringsontvangers, die naar aanleiding van het algoritme worden heronderzocht, over het gebruik van een algoritme worden ingelicht. De reden voor het starten van een heronderzoek naar de rechtmatigheid van de bijstandsuitkering van een ontvanger wordt in principe niet gecommuniceerd door de gemeente in bijvoorbeeld de uitnodigingsbrief. W&I geeft hierover ook aan, dat een burger die wordt heronderzocht ook bij navraag niet direct te horen krijgt over de selectiemethode. Vanuit W&I is hierover aangegeven, dat dit meestal niet relevant is voor de vraag van de burger en dat de gemeente mensen “niet moet overinformeren over waarom zij precies zijn uitgenodigd”. 61 Wanneer er juridische stappen worden ondernomen, is een verantwoordingsdocument/legal document aanwezig voor elke iteratie van het algoritme en dit document kan worden geleverd.

62 De afdeling heeft op dit moment in concept een uitgebreider document gemaakt over het gehele proces achter de heronderzoeken (ter vervanging van het huidige verantwoordingsdocument), met daarin informatie over het algoritme en een bijbehorende leeswijzer. 63 De gemeente

57 interviews ambtenaren. 58 Autoriteit Persoonsgegevens, ‘Algemene verordening gegevensbescherming’, geraadpleegd op 8-2-2021 via https://autoriteitpersoonsgegevens.nl/nl/over-privacy/wetten/algemene-verordening-gegevensbescherming-avg. 59 Gemeente Rotterdam, ‘Uw gegevens bij Werk en inkomen’, geraadpleegd op 8-2-2021 via https://www.rotterdam.nl/werken-leren/uw-gegevens-bijw-en-i/. 60 Gemeente Rotterdam, team HerOnderzoeken, brief ‘Uitnodiging gesprek’, 15 november 2020. 61 interview ambtenaar. 62 Gemeente Rotterdam, BCO OBI, ‘UITKERINGSFRAUDE PROJECT ANALYTICS – Pilot Prestatie010 Verantwoording’, 16 november 2020. 63 Gemeente Rotterdam, cluster W&I, concept ‘Heronderzoeken Werk en Inkomen, achtergrond, werkwijze en systematiek heronderzoeken’, 25 november 2020.

44

gekleurde technologie

geeft over dit document aan, dat het vooral bedoeld is voor een juridisch proces en niet direct als uitleg naar de burger. Als een burger een Wob-verzoek doet, zal het document wel worden geleverd. 64 navolgbaarheid De rekenkamer heeft voor het algoritme van W&I veel documentatie kunnen inzien. Er is een uitgebreide rapportage beschikbaar over de ontwikkeling van het algoritme door de externe partij. 65 Verder zijn voor de processtappen bij OBI en de processtappen bij W&I logboeken beschikbaar. Niet al deze documentatie bleek goed gearchiveerd: sommige stukken waren door betrokkenen lastig of niet terug te vinden. In zulke gevallen werd bijvoorbeeld aangegeven dat een oud-medewerker het archief beheerde. 66 OBI geeft aan dat de codes voor de verschillende iteraties van het algoritme zijn bewaard, zodat deze later ingezien kunnen worden. 67 Wat vanuit de ethische principes opvalt, is dat technische besluiten en procesbesluiten uitvoerig gedocumenteerd zijn, maar er geen documentatie of motivatie is voor besluiten die te maken hebben met de ethiek (verantwoordelijkheid, transparantie en eerlijkheid). Er is geen documentatie die in beeld brengt in welke mate bepaalde variabelen invloed hebben op de uitkomst van het algoritme. Verder wordt in documenten de techniek achter het algoritme beschreven, maar niet zodanig dat het voor alle betrokkenen duidelijk is wat er gebeurt.

De uitlegbaarheid zou dus zeker beter kunnen. OBI geeft daarover aan, dat uitlegbaarheid op dit moment zeker een aandachtspunt is. OBI experimenteert dan ook met technieken zoals ‘interpretable machine learning’ om de uitlegbaarheid van algoritmes te vergroten en geeft aan dat zij in toenemende mate de uitlegbaarheid in acht neemt wanneer zij het type algoritme selecteert. 68 Op deze manier proberen de ontwikkelaars ervoor te zorgen dat de uitkomsten die worden gegenereerd door het algoritme beter te interpreteren zijn en in de toekomst ook beter uitgelegd kunnen worden aan de betrokkenen. Echter, W&I geeft hierover aan dat de uitlegbaarheid van het algoritme zelf te ingewikkeld is en geen taak is voor de gemeente. 69 eerlijkheid Betrokkenen geven aan, dat zij de impact van het algoritme op de burger niet groot vinden. Daarmee is de impact die mogelijke oneerlijkheid in het algoritme heeft, volgens hen ook klein. Over heronderzoeken wordt gezegd dat het een kwestie is van “u bent aan de beurt”. 70 De procedure heeft echter wel degelijk impact op de burger: de uitkeringsontvangers moeten binnen twee weken een flink pakket aan bewijsstukken kunnen aanleveren (zoals rekeningafschriften en huurovereenkomsten) bij de gemeente en zij moeten op gesprek komen.

Verder geven betrokkenen over de eerlijkheid van het algoritme aan, dat het algoritme niet oneerlijker is dan andere selectiemethodes, zoals een profiel. Echter, er is geen

64 interview ambtenaar. 65 Gemeente Rotterdam, projectgroep analytics uitkeringsfraude, ‘Rapport project analytics Aanpak Uitkeringsfraude’, 3 maart 2018. 66 e-mail ambtenaar. In ambtelijk wederhoor is aangegeven dat dit alleen geldt voor stukken uit de periode waarin de externe ontwikkelaar is ingehuurd. De rekenkamer heeft dit niet kunnen controleren. 67 De rekenkamer concludeert dit op basis van interviews en heeft niet alle documenten gecontroleerd vanwege het verkennend kader/de korte doorlooptijd. 68 interview ambtenaar. 69 interview ambtenaar. 70 interview ambtenaar.

45

gekleurde technologie

documentatie overlegd waaruit dit blijkt en in hoeverre eerdere selectiemethodes eerlijk waren, is ook onduidelijk. W&I geeft aan dat zij alleen mensen uitnodigt die de afgelopen twee jaar geen heronderzoek hebben gehad, om er zo voor te zorgen dat sommigen niet onnodig vaak (door hun profiel of risicoscore) uitgenodigd worden. Echter, bij ongeveer 27.000 uitkeringsontvangers die in aanmerking komen voor een heronderzoek en 6.000 heronderzoeken per jaar, zou een uitkeringsontvanger theoretisch gemiddeld elke vier tot vijf jaar een heronderzoek krijgen als de selectie willekeurig is. Wanneer de selectie bepaalde doelgroepen telkens een hoge score geeft, kan deze frequentie oplopen tot eens per twee jaar. De rekenkamer vindt de impact die oneerlijkheid in dit algoritme kan hebben op de burger wel degelijk een reden om goed naar dit risico te kijken. Op verschillende plekken in de ontwikkeling en in het gebruik van het algoritme, kunnen risico’s bestaan op een oneerlijk algoritme. objectieve data Een manier om te voorkomen dat het algoritme resulteert in oneerlijke discriminatie is te zorgen voor objectieve data. De data in dit algoritme komen voor het grootste deel uit RMW/RAAK en worden ingevoerd door werkconsulenten in gesprekken met de uitkeringsontvanger.

Deze data bestaan voor een deel uit subjectieve oordelen van de werkconsulent, zoals een oordeel over competenties en vaardigheden. De werkconsulenten die de rekenkamer sprak, zijn niet op de hoogte van de implicaties die hun werk voor het functioneren van het algoritme kunnen hebben. Wel is de objectieve dataverzameling zoveel mogelijk geborgd door specifieke richtlijnen rondom het zo uniform mogelijk invoeren van de gegevens in de systemen. 71 Op deze manier wordt het risico van vooringenomenheid in de data invoer aanzienlijk beperkt. De rekenkamer wil hier wel aan toevoegen, dat dit niet per se is gecontroleerd door de ontwikkelaars en uitvoerders van het algoritme. Deze konden de rekenkamer namelijk niet vertellen hoe betrouwbaar zij de ingevoerde data achtten. 72 historische data In de voorgaande jaren werd voornamelijk geselecteerd voor een heronderzoek op bepaalde profielen waarbij de verwachting was dat de kans op een onrechtmatige uitkering hoger was (zoals alleenwonenden). Verder wordt ook onderzoek gedaan door de unit Bijzondere Onderzoeken, die onderzoek doet bij uitkeringsontvangers waarover bijvoorbeeld meerdere signalen/tips over mogelijke fraude binnenkomen. 73 De dataset waarop het algoritme getraind wordt bevat al deze onderzoeken uit het verleden.

Deze historische data betreffen dus vooral uitkeringsontvangers die vanwege een signaal of een profiel al eens onderzocht zijn. 74 Dit maakt dat het algoritme getraind wordt op bevooroordeelde data. In de groep uitkeringsontvangers die een heronderzoek heeft gehad is namelijk 55% onrechtmatigheid te vinden, tegenover 10–15% onrechtmatigheid in de totale populatie van uitkeringsontvangers. 75 Om dit probleem te ondervangen, dient zoveel mogelijk gebruik te worden gemaakt

71 Gemeente Rotterdam, cluster W&I, ‘RMW Handleiding’, 30 april 2018 en bijbehorende instructies in bijlagen. 72 interviews ambtenaren. 73 Gemeente Rotterdam, cluster W&I, ‘Rapportage Handhaving cluster Werk en inkomen 2016’ (t/m 2019), ongedateerd. 74 De data bevatten niet alleen uitkeringsontvangers waar fraude is gevonden, maar ook uitkeringsontvangers die rechtmatig een uitkering ontvingen. 75 interview ambtenaar.

46

gekleurde technologie

van onbevooroordeelde data, zoals in een willekeurige steekproef. In 2018 is bijvoorbeeld een grote set aselecte heronderzoeken gedaan (ruim 3.000, zie tabel 4-1), die zal zorgen voor een minder bevooroordeelde dataset. In 2019 is het aantal aselecte onderzoeken echter weer klein. W&I geeft hierover aan, dat zij de uitkeringsontvangers zo min mogelijk wil lastigvallen met een heronderzoek en om die reden aselect onderzoeken beperkt. 76 In de bijlage bij het rapport over de lab-fase van het algoritme concludeert de externe ontwikkelaar dat er wel degelijk significante verschillen tussen een willekeurige set data en de historische trainingsdata zijn, maar ze lijken op dat moment klein te zijn. Het rapport spreekt verder niet over mogelijke gevolgen van een bevooroordeelde dataset en over het beheersen van dit risico. 77 selectie van variabelen Door bepaalde variabelen niet mee te nemen in een algoritme, verklein je het risico dat het algoritme op die variabelen discrimineert. Er zijn geen expliciete regels binnen de gemeente over welke gegevens van de burger wel of niet kunnen worden verwerkt door een algoritme. 78 De in paragraaf 3-4 genoemde PRA en PIA zijn in principe de richtlijnen om te bepalen welke persoonlijke gegevens wel mogen worden gebruikt in de context van het betreffende algoritme.

W&I zegt hierover dat zij daarom bewust geen ‘kritische’ discriminerende variabelen, zoals ras of nationaliteit, in dit specifieke algoritme betrekt. 79 Een van de logboeken over de ontwikkelingen stelt bijvoorbeeld dat een bepaald veld in de data inactief is gemaakt “vanwege de AVG”. 80 Verder geeft W&I wel aan dat zij leeftijd en geslacht mag verwerken en dus ook in dit algoritme mag gebruiken. 81 impliciete bias Ondanks dat de variabelen die tot directe onwettige discriminatie zouden kunnen leiden – zoals de nationaliteit van een uitkeringsontvanger – worden weggelaten uit het algoritme, zou het algoritme nog steeds variabelen kunnen bevatten die resulteren in impliciete vooringenomenheid van het algoritme. Een variabele kan werken als een zogenaamde ‘proxy’ voor een variabele als geslacht of nationaliteit: wanneer discrimineren op geslacht niet gewenst is, maar de variabele schoenmaat wordt meegenomen in het algoritme, is er een grote kans dat het algoritme op die manier alsnog een onderscheid kan maken op geslacht. Er worden op het moment steeds meer methoden ontwikkeld om op eerlijkheid en impliciete bias te kunnen toetsen. Bij het algoritme van W&I wordt een controle uitgevoerd op onbedoelde discriminatie door de domein-expert.

Deze controleert op de oververtegenwoordiging van bepaalde doelgroepen in de ‘top-groep’ (de groep met de hoogste risicoscores) ten opzichte van de gehele populatie uitkeringsontvangers. Er wordt onder andere gecontroleerd op oververtegenwoordiging van bepaalde wijken en leeftijdsgroepen. Deze controle wordt echter uitgevoerd op de lijst geproduceerd door het algoritme nadat deze eerst gefilterd is. 82 Een van de filters is ‘heeft in de afgelopen twee jaar een heronderzoek gehad’. Door de lijst eerst te filteren en dan pas te controleren op

76 ambtelijk wederhoor. 77 Gemeente Rotterdam, projectgroep analytics uitkeringsfraude, ‘Rapport project analytics Aanpak Uitkeringsfraude’, 3 maart 2018. 78 interview ambtenaar. 79 interview ambtenaar. 80 Gemeente Rotterdam, ‘Logboek Prestatie010 model’, 2020. 81 interview ambtenaar. 82 Gemeente Rotterdam, cluster W&I, ‘Logboek 3e pilot BIG DATA 2019’, 2019.

47

gekleurde technologie

oververtegenwoordiging van bepaalde groepen, komen juist groepen die vaker een hogere score krijgen, niet in beeld. OBI denkt, als expert op het gebied van het algoritme, niet mee bij de controle op eerlijkheid. OBI geeft hierover aan dat zij vanwege de AVG geen variabelen in de dataset hebben waarmee zij op impliciete bias kunnen controleren. 83 W&I geeft daarbij aan dat dit ook een gevolg is van de korte doorlooptijd en grote tijdsdruk in het project. 84 De domein-expert voert de controle op bias uit gebaseerd op zijn “ervaring” en betrekt geen specifieke expertise over bias of algoritmes bij zijn beoordeling. 85 Het algoritme bevat bepaalde variabelen die potentieel een ‘proxy’ zouden kunnen zijn voor variabelen die kunnen resulteren in ongewenste discriminatie. Een voorbeeld hiervan is het niveau van spreekvaardigheid van de Nederlandse taal, maar ook of een burger inburgeringsbehoeftig is en de buurt waarin hij staat ingeschreven . 86 De gemeente geeft aan dat zij niet weet of deze variabele gecorreleerd zou kunnen zijn met een ongewenste variabele, zoals etnische achtergrond, en of dit eventueel in ongewenste discriminatie resulteert. 87

samenvatting auditraamwerk In tabel 4-3 is het volledige auditraamwerk weergegeven, met daarin de bewering, of deze voldoet, de argumentatie achter dit oordeel en de paragraaf waarin de argumentatie behandeld is.

83 interview ambtenaar. 84 ambtelijk wederhoor. 85 interview ambtenaar. 86 Gemeente Rotterdam, BCO OBI, Excel-document ‘Featurelijst’, ongedateerd. 87 interview ambtenaar.

48

gekleurde technologie

tabel 4-3: auditraamwerk bewering

voldoet

argumentatie

paragraaf

1. duidelijkheid van het doel

ja

Het primaire doel van de gemeente is om met het algoritme efficiënter

4-3

onrechtmatigheid in de uitkeringsverstrekking te kunnen detecteren. Een tweede doel van de ontwikkeling van dit algoritme was om kennis op te doen omtrent het onderwerp. Doelen staan omschreven in de documentatie. 2. relevantie van de output

ja

De output van het algoritme is een lijst waarin alle uitkeringsontvangers worden

4-3

gerangschikt naar de personen die relatief gezien de hoogste kans hebben op onrechtmatigheid. Dit geeft dus de mogelijkheid om zo efficiënt mogelijk een x aantal mensen die het hoogst gerankt zijn te selecteren. 3. niet herbestemmen van data

ja

De gemeente maakt gebruik van een PRA en PIA en conformeert hiermee aan de

3-4, 4-5-4

huidige AVG wetgeving omtrent het gebruik en het niet herbestemmen van (bijzondere) persoonsgegevens. 4. uitlegbaarheid

nee

De uitlegbaarheid van het algoritme kan beter, vooral op het gebied van de mate

4-5-3

waarin variabelen een rol spelen voor de uitkomst. 5. transparantie

nee

6. menselijke autoriteit

ja

Er zijn geen vastgelegde richtlijnen over de mate van transparantie die op welk

4-5-3

moment voor welke stakeholder geldt. In de praktijk wordt wisselend gehandeld. Er is sprake van menselijke tussenkomst in het besluitvormingsproces voordat

4-4

een burger daadwerkelijk wordt uitgenodigd voor een heronderzoek. 7. monitoren

-

-

-

8. controleerbaarheid code

ja

OBI houdt de code en data van eerdere iteraties bij.

4-5-3

9. betrouwbaarheid herkomst van

ja

Er zijn standaardprocedures aanwezig die ervoor zorgen dat de werkconsulenten

4-5-4

gegevens

zo accuraat mogelijk informatie verzamelen. Dit is echter niet op initiatief van OBI of W&I, maar komt met name voort uit het programma DGW. Deze verantwoordelijkheid is niet belegd.

10. representativiteit

nee

De dataset waarop het algoritme wordt getraind is mogelijk bevooroordeeld

4-5-4

omdat het slechts personen bevat die al eens eerder zijn onderzocht op onrechtmatigheid (gebruik historische data). De verantwoordelijkheid om dit te controleren is onvoldoende belegd. 11. volledigheid input

-

-

-

12. relevantie input

-

-

-

13. voldoende data

-

-

-

14. missende data

-

-

-

15. relevante gevoeligheid

nee

OBI heeft geen goed beeld van de mate waarin bepaalde variabelen invloed

4-5-3

hebben op de uitkomst van het algoritme. 16. geen ongelijke behandeling

ja

De gemeente zorgt ervoor dat er geen variabelen in het model worden

4-5-4

meegenomen die tot directe ongewenste discriminatie zouden kunnen leiden. 17. geen ongelijke impact

nee

De gemeente heeft geen goed beeld over hoe bepaalde variabelen eventueel

4-5-4

indirect kunnen leiden tot ongewenste discriminatie. De verantwoordelijkheid hiervoor is niet bij de data-scientists belegd. 18. prestatie van het model

nee

Het algoritme is nog steeds in een pilotfase en er is niet vastgelegd wanneer het model voldoende presteert om volledig in gebruik te worden genomen.

49

gekleurde technologie

4-3

18

gefundeerd bouwen

bijlagen

onderzoeksverantwoording inleiding De verkenning naar het gebruik van algoritmes is uitgevoerd in de periode september 2020 tot en met februari 20201. Het rapport is gebaseerd op documentstudie en interviews met betrokken functionarissen van de gemeente Rotterdam. documentenanalyse De rekenkamer heeft verschillende documenten geraadpleegd over het programma DGW en over de manier waarop de gemeente omgaat met privacy en de AVG. Verder heeft de rekenkamer verscheidene documenten ontvangen over de ontwikkeling en de werking van het algoritme van W&I. geraadpleegde en geïnterviewde personen De rekenkamer heeft in totaal elf interviews uitgevoerd met verschillende betrokken functionarissen binnen de gemeente en extern. Verder heeft zij enkele personen geraadpleegd op een informele wijze. wijzigingen ten opzichte van de onderzoeksopzet Omwille van de leesbaarheid van het rapport is de volgorde van de onderzoeksvragen 3, 4 en 5 gewijzigd. In de opzet waren dit de onderzoeksvragen:

3 Op welke manier waarborgt de gemeente de eerlijkheid van de voorspellende en voorschrijvende algoritmes die zij gebruikt? 4 Op welke manier organiseert de gemeente de verantwoordelijkheid omtrent de voorspellende en voorschrijvende algoritmes die zij gebruikt? 5 Op welke manier regelt de gemeente de transparantie van de voorspellende en voorschrijvende algoritmes die zij gebruikt? Deze zijn in deze rapportage veranderd in:

3 Op welke manier organiseert de gemeente de verantwoordelijkheid omtrent de voorspellende en voorschrijvende algoritmes die zij gebruikt? 4 Op welke manier regelt de gemeente de transparantie van de voorspellende en voorschrijvende algoritmes die zij gebruikt? 5 Op welke manier waarborgt de gemeente de eerlijkheid van de voorspellende en voorschrijvende algoritmes die zij gebruikt? procedure De opzet van de verkenning is op 16 november 2020 gepubliceerd en ter kennisname aan de raad gestuurd. De voorlopige onderzoeksresultaten zijn opgenomen in een conceptnota van bevindingen. Deze is op vrijdag 26 februari 2021 voor ambtelijk wederhoor aan de clusterdirecteur BCO voorgelegd. Na verwerking van de ontvangen reactie is een bestuurlijke nota opgesteld. Deze bevat de voornaamste conclusies en aanbevelingen van de rekenkamer. De bestuurlijke nota, met de nota van bevindingen als bijlage, is op 17 maart 2021 voor bestuurlijk wederhoor voorgelegd aan het college van B en W, ter attentie van de Wethouder Financiën, Organisatie, Haven en Grote Projecten. De op 7 april 2021 ontvangen reactie van B en W en het daarna opgestelde

53

gekleurde technologie

nawoord van de rekenkamer zijn opgenomen in het rapport. Het definitieve rapport wordt door toezending aan de gemeenteraad en B en W openbaar.

54

gekleurde technologie

geraadpleegde documenten In deze bijlage staan de documenten opgesomd waarnaar in dit rapport wordt verwezen. gemeente Rotterdam • Gemeente Rotterdam, ‘Actieplan DGW 2019’, 29 april 2019. • Gemeente Rotterdam, ‘Actieplan DGW 2020’, 28 januari 2020. • Gemeente Rotterdam, BCO OBI, ‘UITKERINGSFRAUDE PROJECT ANALYTICS – Pilot Prestatie010 Verantwoording’, 16 november 2020. • Gemeente Rotterdam, BCO OBI, Excel-document ‘Featurelijst’, ongedateerd. • Gemeente Rotterdam, BCO OBI, ‘Logboek prestatie010 model’, 2020. • Gemeente Rotterdam, cluster W&I, ‘Beantwoording vragenlijst Privacy Impact assessment Labfase Analytics Uitkeringsfraude’, 20 januari 2017. • Gemeente Rotterdam, cluster W&I, concept ‘Heronderzoeken Werk en Inkomen, achtergrond, werkwijze en systematiek heronderzoeken’, 25 november 2020. • Gemeente Rotterdam, cluster W&I, ‘Logboek 3e pilot BIG DATA 2019’, 2019. • Gemeente Rotterdam, cluster W&I, ‘RMW Handleiding’, 30 april 2018 en bijbehorende instructies in bijlagen. • Gemeente Rotterdam, cluster W&I, ‘Rapportage Handhaving cluster Werk en inkomen 2016’ (t/m 2019), ongedateerd. • Gemeente Rotterdam, cluster W&I, ‘Privacybeleid en Uitvoeringsplan cluster Werk en Inkomen 2019’, april 2019. • Gemeente Rotterdam, ‘Logboek Prestatie010 model’, 2020. • Gemeente Rotterdam, presentatie ‘DEDA workshop’, 11 september 2020.

• Gemeente Rotterdam, programma DGW, ‘Kwaliteitsborging van algoritmes: Stand van zaken’, 2 juli 2020. • Gemeente Rotterdam, projectgroep analytics uitkeringsfraude, ‘Verslag labfase project analytics uitkeringsfraude’, 8 maart 2017. • Gemeente Rotterdam, projectgroep analytics uitkeringsfraude, ‘Rapport project analytics Aanpak Uitkeringsfraude’, 3 maart 2018. • Gemeente Rotterdam, team HerOnderzoeken, brief ‘Uitnodiging gesprek’, 15 november 2020. overige documenten • Erasmus Data Summit, presentatie ‘Recap Report’, 2020. • Guidotti, R., Monreale, A., Ruggieri, S., Turini, F., Giannotti, F., & Pedreschi, D., ‘A Survey of Methods for Explaining Black Box Models.’, 2018. • Jobin, A., Ienca, M. & Vayena, E., ‘The global landscape of AI ethics guidelines’, 2019. • Lee, M.K., ‘Understanding perception of algorithmic decisions: Fairness, trust, and emotion in response to algorithmic management’, 2018. • Merrill, J. C., ‘Theoretical Foundations for Media Ethics’, 2011. • Ministerie van Justitie en Veiligheid, kamerbrief ‘Waarborgen tegen risico’s van data-analyses door de overheid’, 8 oktober 2019. • Mittelstadt, B. D., Allo, P., Taddeo, M., Wachter, S., & Floridi, L., ‘The ethics of algorithms: Mapping the Debate’, 2016. • Shin, D., & Park, Y. J., ‘Role of fairness, accountability, and transparency in algorithmic affordance’, 2019.

55

gekleurde technologie

• United Nations, ‘Brief by the United Nations Special Rapporteur on extreme poverty and human rights as Amicus Curiae in the case of NJCM c.s./De Staat der Nederlanden (SyRI) before the District Court of the Hague (case number: C/09/550982/ HA ZA 18/388)’, 2019. • Yang, K., & Stoyanovich, J., ‘Measuring fairness in ranked outputs’, 2017. websites • Algemene Rekenkamer, ‘Ethiek’, 2021, geraadpleegd op 15 februari 2021 via https://www.rekenkamer.nl/onderwerpen/algoritmes-digitaaltoetsingskader/ethiek. • Algemene Rekenkamer, ‘Toetsingskader Algoritmes’, 2021, geraadpleegd op 15 februari 2021 via https://www.rekenkamer.nl/onderwerpen/algoritmes/algoritmestoetsingskader. • Autoriteit Persoonsgegevens, ‘Algemene verordening gegevensbescherming’, geraadpleegd op 8-2-2021 via https://autoriteitpersoonsgegevens.nl/nl/overprivacy/wetten/algemene-verordening-gegevensbescherming-avg. • Gemeente Amsterdam, ‘City of Amsterdam Algorithm Register Beta’, 2020, geraadpleegd op 16 februari 2021 via https://algoritmeregister.amsterdam.nl/en/airegister/. • Gemeente Rotterdam, ‘Uw gegevens bij Werk en inkomen’, geraadpleegd op 8-22021 via https://www.rotterdam.nl/werken-leren/uw-gegevens-bij-w-en-i/.

• NU.nl, ‘Vijf vragen over SyRI, het digitale fraudeopsporingssysteem van de Staat’, 5 februari 2020, geraadpleegd op 10-11-2020 via https://www.nu.nl/techachtergrond/6028377/vijf-vragen-over-syri-het-digitale-fraudeopsporingssysteemvan-de-staat.html. • RTL Nieuws, ‘Onderzoek naar etnisch profileren door Belastingdienst’, 20 mei 2019, geraadpleegd op 1-11-2020 via https://www.rtlnieuws.nl/nieuws/nederland/artikel/4716831/discriminatiebelastingdienst-toeslagen-financien-etnisch.

56

gekleurde technologie

afkortingen AI

Artificial intelligence

AVG

Algemene Verordening Gegevensbescherming

BCO

Bestuurs- en Concernondersteuning

BZK

Binnenlandse Zaken en Koninkrijksrelaties

DEDA Data Ethics Decision Aid DGW Datagedreven Werken OBI

Onderzoek en Business Intelligence

MO

Maatschappelijke Ontwikkeling

NPRZ Nationaal Programma Rotterdam Zuid PIA

57

Privacy impact assessment

PRA

Privacy risk assessment

THO

Team HerOnderzoeken

T&T

Toetsing en Toezicht

W&I

Werk en Inkomen

gekleurde technologie

de rekenkamer De gemeenteraad van Rotterdam heeft in december 1997 de Rekenkamer Rotterdam ingesteld. Op 14 mei 2009 is de heer P. Hofstra RO CIA door de raad voor een termijn van zes jaar benoemd en beëdigd als directeur Rekenkamer Rotterdam. In 2015 is hij herbenoemd voor wederom een termijn van zes jaar.

doel De rekenkamer onderzoekt de doelmatigheid, de doeltreffendheid en de rechtmatigheid van het beleid, het financieel beheer en de organisatie van het gemeentebestuur. De rapporten van de rekenkamer zijn een aanknopingspunt voor het bestuur om rekenschap af te leggen aan de burgers.

positie De rekenkamer is een onafhankelijk orgaan binnen de gemeente. Haar taken en bevoegdheden staan in de Gemeentewet en de verordening Rekenkamer Rotterdam. Zij bepaalt zelf wat en hoe zij onderzoekt en waarover zij rapporteert. Wel kunnen de raad en het college van B en W de rekenkamer om een onderzoek verzoeken. De rekenkamer stuurt hen jaarlijks haar onderzoeksplan en jaarverslag toe.

onderzoek Het onderzoeksterrein strekt zich uit over alle organen (raad, B en W, commissies en burgemeester) en diensten van de gemeente. Ook kan de rekenkamer onderzoek doen bij gemeenschappelijke regelingen waar de gemeente aan deelneemt, bij NV’s en BV’s waar de gemeente meer dan 50% van de aandelen in bezit heeft en bij instellingen die een grote subsidie, lening of garantie van de gemeente hebben ontvangen. De onderzoeken worden uitgevoerd door het bureau van de rekenkamer.

publicaties Het onderzoek resulteert in openbare rapporten die ter behandeling aan de raad worden aangeboden. Zij bevatten tevens de reacties van de onderzochte organen en instellingen op de eerder toegezonden voorlopige onderzoeksresultaten, conclusies en aanbevelingen (wederhoor). Bij kleine onderzoeken of studies met een beperkte reikwijdte doen we de onderzochte organen of instellingen en de raad de conclusies in een openbare brief direct ter kennisname toekomen. Ten slotte publiceert de rekenkamer op basis van haar onderzoek ook handreikingen en worden medewerkers aangemoedigd om artikelen te publiceren.

Rekenkamer Rotterdam Postbus 70012 3000 kp Rotterdam telefoon 010 • 267 22 42 info@rekenkamer.rotterdam.nl www.rekenkamer.rotterdam.nl

fotografie Monique van Elsen Bervoets Guido Pijper Maurice Verschuur Rekenkamer Rotterdam basisontwerp DEWERF.com, Zuid-Beijerland

uitgave Rekenkamer Rotterdam april 2021