[24bb002973] Brief van de Rekenkamer Rotterdam over RO2205 rapport kleur bekennen, vervolgonderzoek naar toepassing algoritmes

35

kleur bekennen

kwaliteitseisen voldoet die door de raad zijn gesteld. 10 Deze kwaliteitseisen waren uitlegbaarheid, het voorkomen van vooringenomenheid en transparantie. 11 Ook werden diverse moties rondom het thema algoritmes aangenomen. Eén van deze moties was ‘Democracy is watching Big Brother’. Hierin werd de rekenkamer verzocht een vervolgonderzoek te doen naar de toepassing van algoritmes.

motie: Democracy is watching Big Brother Constaterende dat: • Uit het Rekenkamerrapport ‘Gekleurde technologie; verkenning ethisch gebruik algoritmes’ blijkt dat er nog een hoop moet gebeuren op het terrein van publieke controle op algoritmes die gebruikt worden door de gemeente; • De casus van het algoritme bij W&I aantoont dat de gemeente 4 jaar lang met een algoritme heeft gewerkt dat de ethische toetsing niet zou doorstaan. Verzoekt het college: • De Rekenkamer te verzoeken om in het begin van de volgende collegeperiode een vervolgonderzoek te doen naar de toepassing van algoritmes bij de gemeente Rotterdam. 12

Om een verantwoorde toepassing van algoritmes te borgen binnen de organisatie heeft de gemeente in 2022 een governancestructuur uitgewerkt. 13 Onderdeel van de implementatie was onder andere een inventarisatie van hoog-risico algoritmes, het ontwikkelen van een algoritmeregister, het creëren van de functie van algoritmeexpert en het samenstellen van een algoritmeadviesraad. In juni 2022 concludeerde het college dat de governance op hoofdlijnen staat, maar het ‘work in progress’ blijft omdat op Europees en landelijk niveau wetgeving en richtlijnen over de inzet van algoritmes in ontwikkeling zijn. 14 In navolging van het rapport ‘Gekleurde technologie’ is er dus toenemende aandacht voor algoritmes binnen de gemeente Rotterdam en is een algoritmegovernance geïmplementeerd. Gezien deze ontwikkelingen acht de rekenkamer het daarom van belang om, zoals verzocht door de raad, vervolgonderzoek te doen naar de inzet en risicobeheersing van algoritmes binnen de gemeente. Het vervolgonderzoek naar algoritmes is daarom opgenomen in de onderzoeksprogrammering van 2022.

achtergrond rapport ‘Gekleurde technologie’ In het rapport ‘Gekleurde technologie’ uit 2021 werd geconcludeerd dat er binnen de gemeente wel enige aandacht was voor de ethische risico’s van algoritmes, maar dat

10 Wethouder Werk, Inkomen en Nationaal Programma Rotterdam-Zuid, ‘Rechtmatige verstrekking uitkering’, 23 juni 2021 en Werk en Inkomen, ‘Monitor Werk & Inkomen, 2e tertaal 2022‘, 18 oktober 2022. 11 Werk en Inkomen, ‘Monitor Werk & Inkomen, 2e tertaal 2022‘, 18 oktober 2022. 12 Relevante delen uit de tekst motie Gemeenteraad Rotterdam, ‘Democracy is watching Big Brother’, 30 september 2021. 13 Burgemeester en Wethouders van Rotterdam, ‘Governance rondom algoritmes’, 7 september 2021 en Burgemeester en Wethouders van Rotterdam, ‘Stand van zaken algoritmes’, 15 februari 2022 en Burgemeester en Wethouders van Rotterdam, ‘Algoritmegovernance’, 7 juni 2022. 14 Burgemeester en Wethouders van Rotterdam, ‘Algoritmegovernance’, 7 juni 2022.

36

kleur bekennen

de noodzaak hiervan op dat moment niet concernbreed werd gedeeld. 15 Ook was er onvoldoende zicht op het gebruik van algoritmes en waren de verantwoordelijkheden om de kwaliteit en ethiek van algoritmes te waarborgen onvoldoende belegd. Naast bevindingen over de governance, liet het rapport aan de hand van casusonderzoek zien dat er bij het algoritme ‘analytics uitkeringsfraude’ een risico was op discriminatie door het gebruik van variabelen die konden fungeren als proxy voor etniciteit. Het algoritme bracht het risico op een onrechtmatige uitkering in kaart, op basis waarvan uitkeringsgerechtigden voor een heronderzoek werden geselecteerd. Bij de ontwikkeling en inzet van dit algoritme was onder andere te weinig aandacht voor transparantie en risico’s omtrent bias (ook wel vooringenomenheid genoemd) en de mogelijke gevolgen hiervan. 16 De rekenkamer deed in het rapport zes aanbevelingen die allemaal werden overgenomen. De aanbevelingen kwamen kort samengevat op het volgende neer: 1 Beleg de eindverantwoordelijkheid voor de ontwikkeling en het gebruik van algoritmes bij een centraal punt in de ambtelijke organisatie. 2 Draag zorg voor een inventarisatie van algoritmes die in gebruik zijn binnen de gemeente. 3 Draag zorg voor een algoritmeregister.

4 Beoordeel per algoritme welke ethische risico’s verbonden zijn aan het algoritme in termen van verantwoordelijkheid, transparantie en eerlijkheid en neem beheersmaatregelen. 5 Formuleer voor algoritmes een kader met daarin regels, richtlijnen en instructies waarin verantwoordelijkheden en ethische risico’s gewaarborgd worden en die het mogelijk maakt afwegingen te maken tussen risico’s en het doel van het algoritme. 6 Maak ontwikkelaars en gebruikers actief bewust van de ethische risico’s van algoritmes. Na het verschijnen van het rapport heeft de gemeente in 2021 en 2022 een governancestructuur uitgewerkt en geïmplementeerd. Ook werd in de loop van 2021 besloten om het algoritme van W&I buiten werking te stellen en pas weer in te zetten op het moment dat het aan de kwaliteitseisen voldoet die door de raad zijn gesteld. 17 In januari 2022 heeft binnen W&I een projectteam de opdracht gekregen een nieuw algoritme te ontwikkelen voor de selectie van heronderzoeken naar de rechtmatigheid van bijstandsuitkeringen. Het nieuwe algoritme moest voor leken begrijpelijk zijn en het risico op discriminatie moest zo veel als mogelijk voorkomen worden. Dit project is in het voorjaar 2023 stopgezet. Dit traject, dat ten doel had te komen tot een nieuw algoritme voor de selectie van heronderzoeken, is meegenomen als één van de casussen in dit onderzoek (zie paragraaf 1-5).

15 Publicatie rapport 15 april 2021; Behandeling rapport commissie MPOF 16 september 2021; Behandeling rapport commissie WIISA 22 september 2021; Behandeling rapport gemeenteraadsvergadering 30 september 2021. 16 Met bias wordt bedoeld dat aannames van algoritmes over de werkelijkheid niet stroken met de werkelijkheid zelf of vooroordelen bevatten. In hoofdstuk 2 wordt uitgebreid toegelicht wat bias precies is en op welke manieren algoritmes vooringenomen kunnen zijn. 17 Wethouder Werk, Inkomen en Nationaal Programma Rotterdam-Zuid, ‘Rechtmatige verstrekking uitkering’, 23 juni 2021 en Werk en Inkomen, Monitor Werk & Inkomen, 2e tertaal 2022‘, 18 oktober 2022.

37

kleur bekennen

doel- en vraagstelling Binnen de gemeente Rotterdam wordt in toenemende mate aandacht besteed aan de risico’s van de inzet van algoritmes. Ook zijn er de afgelopen jaren diverse stappen gezet in het ontwerpen en implementeren van een governancekader. Vroegtijdig inzicht in de huidige praktijk van de governance en de risicobeheersing kan de gemeenteraad in haar kaderstellende rol ondersteunen. onderzoeksvragen De centrale onderzoeksvraag luidt als volgt: In hoeverre is de algoritmegovernance van de gemeente Rotterdam toereikend voor een verantwoorde toepassing van algoritmes en in hoeverre leidt dit tot het beheersen van risico’s in de praktijk? De centrale onderzoeksvraag is uitgewerkt in de volgende deelvragen: 1 Wat is de aard en omvang van de inzet van algoritmes binnen de gemeente? 2 Hoe zijn de governancestructuur en het bijbehorende instrumentarium voor de inzet van algoritmes vormgegeven? 3 Is het instrumentarium om de risico’s van algoritmes te beheersen in lijn met de heersende normen hieromtrent? 4 Wordt het instrumentarium ingezet zoals beoogd? 5 In hoeverre worden de risico’s beheerst bij algoritmes die de gemeente in de praktijk inzet?

afbakening en scope onderzoek Voor de afbakening en scope van het onderzoek zijn onderstaande punten relevant. definitie algoritmes In het rapport ‘Gekleurde technologie’ is een afgebakende definitie van een algoritme gehanteerd. 18 Dat was nodig omdat destijds nog weinig ervaring met algoritmes was opgedaan en er geen gedeeld beeld bestond van wat een algoritme is. In het huidige onderzoek wordt geen afgebakende definitie gehanteerd. Hier is voor gekozen omdat er verschillende definities in omloop zijn en de reikwijdte van het begrip een belangrijk punt van discussie is binnen overheidsorganisaties (zie paragraaf 2-2). Ook binnen de gemeente Rotterdam is dit het geval. Onderdeel van dit onderzoek is het beschrijven van dit debat en de positie van de gemeente Rotterdam hierbinnen. Dit maakt het hanteren van een strak afgebakende definitie minder passend. vervolgonderzoek Het onderzoek ‘Gekleurde Technologie’ was een verkennend onderzoek naar de toepassing van algoritmes binnen de gemeente. Het huidige onderzoek is een vervolgonderzoek naar de toepassing van algoritmes binnen de gemeente en geen opvolgingsonderzoek. Er wordt dus niet expliciet onderzocht of, en hoe, alle aanbevelingen uit het rapport ‘Gekleurde technologie’ zijn opgevolgd.

Het huidige onderzoek geeft inzicht in de stappen die gemeente heeft gezet sinds het verschijnen van het eerdere rapport, maar kijkt dus breder dan de opvolging van de aanbevelingen.

18 Definitie: ‘Een algoritme een set instructies is, die door een computer wordt uitgevoerd, om te komen tot een beslissing of om te komen tot informatie die – in dit geval – de ambtenaar gebruikt om een beslissing te nemen’.

38

kleur bekennen

looptijd onderzoek Het onderzoek is uitgevoerd in de periode januari-november 2023. Eventuele veranderingen in beleid of nieuwe (beleids)documenten die zijn verschenen na november 2023 zijn niet meegenomen in het onderzoek. Gedurende de onderzoeksperiode was de ontwikkeling en implementatie van de algoritmegovernance binnen de gemeente volop in ontwikkeling. Ook deed de gemeente in de onderzoeksperiode een eigen interne evaluatie van de governance. Dit betekent dat het onderzoek zich richt op een praktijk die nog niet volledig is uitgekristalliseerd. In het onderzoek heeft de rekenkamer oog gehad voor de fase waarin de implementatie zich bevindt. Waar nodig heeft de rekenkamer concreet benoemd op welk moment de gepresenteerde informatie betrekking heeft en is een eventuele ontwikkeling in de tijd beschreven. werking en risico’s van algoritmes In het onderzoek is de werking van de governance in de praktijk onder meer onderzocht aan de hand van een casusonderzoek naar vier algoritmes. Hierbij is de werking van de algoritmes op hoofdlijnen beschreven, maar is niet onderzocht wat de precieze technische werking van de algoritmes is. Verder zijn mogelijke risico’s bij deze algoritmes geïdentificeerd en is onderzocht in hoeverre de gemeente risico’s heeft getoetst en daar actief toezicht op houdt.

Er wordt dus niet onderzocht in hoeverre deze risico’s daadwerkelijk optreden in de praktijk. Dit betekent dat bijvoorbeeld wel is gekeken of er bij de ontwikkeling en toepassing van een algoritme is nagedacht over het beheersen van risico’s rondom bias, maar niet is onderzocht of het algoritme in de praktijk daadwerkelijk vooringenomen is of discrimineert.

aanpak en normenkader Voor de beantwoording van de onderzoeksvragen is een combinatie van methoden gebruikt. Deze worden hieronder kort toegelicht. De uitgebreide onderzoeksverantwoording is te vinden in bijlage 1. 1 Documentstudie: om zicht te krijgen op het beleid rondom de toepassing van algoritmes is een documentstudie gedaan. Hiervoor zijn beleidsdocumenten, rapportages, interne stukken en collegestukken verzameld en bestudeerd. 2 Literatuuronderzoek: er zijn diverse (wetenschappelijke) onderzoeken en kaders en handreikingen voor het verantwoord inzetten van algoritmes bestudeerd om inzicht te krijgen in de risico’s en regulering van algoritmes. 3 Interviews: in totaal zijn iets meer dan 20 ambtenaren geïnterviewd om inzicht te krijgen in de algoritmegovernance. Ook zijn enkele interviews gehouden met experts. 4 Concernbrede inventarisatie algoritmes: om zicht te krijgen op de aard en omvang van de inzet van algoritmes binnen de gemeente is een inventarisatie gedaan van de algoritmes die worden toegepast binnen alle clusters. 5 Casusonderzoek: om zicht te krijgen op de werking van de algoritmegovernance in de praktijk zijn vier algoritmes als casus bestudeerd. Aan de hand van een toetsingskader dat gebaseerd is op het toetsingskader van de Algemene Rekenkamer zijn deze vier algoritmes beoordeeld.

6 Observatie: om een beeld te krijgen van de wijze waarop het governancekader in de praktijk werkt, is een bijeenkomst van de algoritmeadviesraad bijgewoond.

39

kleur bekennen

normenkader Er bestaat (nog) geen algemeen erkend normenkader om algoritmes binnen de gemeentelijke praktijk te beoordelen. Onderdeel van dit onderzoek was daarom ook het verkrijgen van een beeld van de heersende normen rondom het verantwoord toepassen van algoritmes. Deze verkenning is gedaan op basis van het literatuuronderzoek en het bestuderen van bestaande normenkaders en (toetsings)kaders. De resultaten hiervan zijn te vinden in hoofdstuk 2 van dit rapport. Om te beoordelen of de gemeente Rotterdam algoritmes in de praktijk op een verantwoorde manier ontwikkelt en inzet, is casusonderzoek gedaan naar vier algoritmes. Om de algoritmes te beoordelen is gebruik gemaakt van één van de toetsingskaders die uit het literatuuronderzoek naar voren is gekomen, namelijk het Toetsingskader Algoritme van de Algemene Rekenkamer. 19 Dit bestaande kader is op enkele punten aangepast en versimpeld om ervoor te zorgen dat het beter toepasbaar is op de gemeentelijke praktijk en aansluit op de methoden van onderzoek. Aan de hand van het toetsingskader is de risicobeheersing van algoritmes in kaart gebracht vanuit vijf perspectieven, namelijk: 1 sturing en verantwoording; 2 data; 3 model; 4 privacy; 5 IT-beheer. In bijlage 4 worden het toetsingskader en de bovenstaande perspectieven nader toegelicht.

leeswijzer Het rapport start in hoofdstuk 2 met een op literatuur gebaseerde uiteenzetting over de risico’s en regulering van algoritmes. Vervolgens wordt in hoofdstuk 3 beschreven hoe het beleid en de governance rondom algoritmes van de gemeente Rotterdam zijn vormgegeven (deelvraag 1). In hoofdstuk 4 worden de aard en omvang van de inzet van algoritmes binnen de gemeente uiteengezet (deelvraag 2). Daarna wordt in hoofdstuk 5 de inzet van de governance in de praktijk behandeld (deelvraag 3 en 4). Tot slot wordt in hoofdstuk 6 beschreven hoe de risico’s bij de inzet van algoritmes in de praktijk worden beheerst (deelvraag 5). In de bijlagen zijn de onderzoeksverantwoording, de bronnenlijst, een lijst van afkortingen en het gehanteerde toetsingskader opgenomen. gele kaders: verdiepende informatie In het rapport zijn gele tekstblokken te vinden. Deze tekstblokken bevatten verdiepende informatie of uitleg, bijvoorbeeld over in de hoofdtekst gebruikte begrippen. groene kaders: belangrijkste bevindingen per paragraaf Om de leesbaarheid van het rapport te vergroten sluiten alle paragrafen af met een groen kader getiteld ‘in het kort’ waarin de belangrijkste bevindingen uit die paragraaf staan samengevat.

19 Algemene Rekenkamer, ‘Aandacht voor algoritmes’, 26 januari 2021.

40

kleur bekennen

2 risico’s en regulering van algoritmes inleiding Overheidsorganisaties zetten in toenemende mate algoritmes in om hun taken uit te voeren. 20 Ook gemeenten maken op grote schaal gebruik van algoritmes in de uitvoering van beleid en ter ondersteuning van bedrijfsvoeringsprocessen. Door middel van algoritmes kunnen grote hoeveelheden informatie in korte tijd worden gekoppeld, geanalyseerd en verwerkt. Dit biedt gemeenten de mogelijkheid om taken en besluiten te automatiseren, zoals het verstrekken van uitkeringen of het aanvragen van gemeentelijke producten en diensten. Daarnaast kunnen mensen en middelen door middel van algoritmes gerichter worden ingezet, bijvoorbeeld op het gebied van dienstverlening en handhaving. 21 Naast efficiëntie van gemeentelijke processen kunnen algoritmes besluitvorming transparanter maken en bijdragen aan het vinden van oplossingen voor maatschappelijke vraagstukken. 22 Het gebruik van algoritmes biedt dus kansen voor gemeenten en het is de verwachting dat de toepassing van algoritmes door overheidsorganisaties de komende jaren zal blijven toenemen. 23 In dit hoofdstuk wordt uiteengezet wat algoritmes precies zijn, welke (ethische) risico’s hieraan verbonden zijn en wat overheidsorganisaties, en gemeenten specifiek, kunnen doen om een verantwoorde inzet van algoritmes te waarborgen.

definitie van algoritmes Het is lastig om antwoord te geven op de vraag wat precies onder een algoritme moet worden verstaan in de context van het gebruik van algoritmes door overheidsorganisaties. Er zijn verschillende definities in omloop en de reikwijdte van het begrip is een blijvend onderwerp van discussie. In de meest ruime benadering kan een algoritme worden gedefinieerd als een set regels of instructies die wordt uitgevoerd om een bepaald doel te bereiken. Het hanteren van deze definitie zou betekenen dat analoge algoritmes (bijvoorbeeld recepten en routebeschrijvingen) en alle software die algoritmes bevatten (bijvoorbeeld kantoorsoftware en thermostaten) ook onderwerp van aandacht zouden zijn. Nauwere definities van algoritmes beperken zich tot specifieke geavanceerde statistische technieken, zoals deep learning, en laten minder complexe technieken buiten beschouwing.

20 Rathenau Instituut, ‘Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering’, 2022; Raad van State, ‘Digitalisering. Wetgeving en bestuursrechtspraak’, 2021. 21 Algemene Rekenkamer, ‘Algoritmes getoetst. De inzet van 9 algoritmes bij de overheid’, 2022 22 Kulk, S. & Deursen van, S., ‘Juridische aspecten van algoritmes die besluiten nemen. Een verkennend onderzoek’, Den Haag: WODC, 2020; Raad van State, ‘Digitalisering. Wetgeving en bestuursrechtspraak’, 2021 23 Rathenau Instituut, ‘Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering’, 2022

41

kleur bekennen

In de context van algoritmegebruik door overheidsorganisaties wordt doorgaans uitgegaan van definities tussen deze twee uitersten in. 24 Hoewel deze definities niet eenduidig zijn en vaak nog interpretatieruimte bevatten, hebben ze wel enkele overeenkomstige elementen. Zo refereren deze definities naar algoritmes die computergestuurd zijn en in meer of mindere mate een rol spelen bij besluitvorming of het bereiken van doelen. Een definitie die door de landelijke overheid wordt gehanteerd sluit hier ook op aan: “Een algoritme is een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden.” 25 (gedeeltelijk) geautomatiseerde besluitvorming Vanuit een bestuursrechtelijk perspectief wordt naar de inzet van algoritmes door overheidsorganisaties ook wel gerefereerd als (gedeeltelijk) geautomatiseerde besluitvorming: het gebruik van geautomatiseerde systemen die door de overheid worden ingezet om het menselijke besluitvormingsproces te ondersteunen of over te nemen. 26 Het gaat in dit verband dus niet alleen om besluiten die volledig geautomatiseerd worden genomen, maar ook om besluiten waarbij het computersysteem een ondersteunde rol speelt en bijvoorbeeld beschrijft, voorspelt of aanbeveelt.

rule-based versus case-based algoritmes Hoewel de definitie van een algoritme zoals gedefinieerd door de landelijke overheid enige afbakening kent, is het nog steeds een ruime definitie. Voor een beter begrip van het huidige en toekomstige algoritmegebruik door overheden, en de mogelijke risico’s die hiermee samenhangen, is het van belang om zicht te houden op de grote variëteit aan type algoritmes die onder deze definitie vallen. 27 Hierbij kan een onderscheid gemaakt worden in twee soorten algoritmes: rule-based en case-based algoritmes. rule-based algoritmes Rule-based algoritmes worden ook wel beslisbomen of ‘als-dan algoritmes’ genoemd. Dit zijn algoritmes die op basis van vaststaande regels (als x dan y) tot een conclusie komen. Deze beslisregels worden door mensen bepaald en geprogrammeerd en vervolgens door een computersysteem toegepast op een gegeven dataset. 28 Afhankelijk van de hoeveelheid en gelaagdheid van de regels kunnen rule-based algoritmes sterk variëren in complexiteit. Rule-based algoritmes worden door overheden onder meer gebruikt om wettelijke bepalingen, bijvoorbeeld rondom het toekennen van uitkeringen, automatisch of sneller uit te voeren.

24 Enkele voorbeelden van definities: (1) TNO (2021), ‘Toepassingen in software en hardware met verschillende niveaus van autonomie en verschillende mate van menselijke betrokkenheid in het doen van voorspellingen, het geven van aanbevelingen of het nemen van beslissingen’, (2) WRR (2021), ‘Systemen die intelligent gedrag vertonen door hun omgeving te analyseren en, met enige graad van autonomie, actie te ondernemen om specifieke doelen te bereiken’ en (3) Ministerie van Veiligheid en Justitie (2021), ‘Richtlijnen voor het toepassen van algoritmen door overheden en publieksvoorlichting over data-analyses.’. 25 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, ‘Handreiking Algoritmeregister. Aan de slag met het algoritmeregister’, 2023. 26 Wolswinkel, J., ‘Transparantie bij bestuurlijke besluitvorming’, in Transparantie en openbaarheid, 2022, 161-237. 27 Poorter de, J. & Goossens, J., ‘Effectieve rechtsbescherming bij algoritmische besluitvorming in het bestuursrecht’, in Nederlands Juristenblad, 2019, 44, 3303-3312; Wolswinkel, J., ‘Transparantie bij bestuurlijke besluitvorming’, in Transparantie en openbaarheid, 2022, 161-237. 28 Wolswinkel, J., ‘Transparantie bij bestuurlijke besluitvorming’, in Transparantie en openbaarheid, 2022, 161-237.

42

kleur bekennen

case-based algoritmes Bij case-based algoritmes, ook wel datagedreven algoritmes, zelflerende algoritmes of machine learning genoemd, worden de beslisregels niet door een mens bepaald, maar ontwikkeld door het systeem zelf. Op basis van data over bestaande casussen (input) gaat het algoritme op zoek naar verbanden en patronen waaruit regelmatigheden of beslisregels worden afgeleid. Door overheidsorganisaties worden case-based algoritmes doorgaans gebruikt ter voorbereiding of ondersteuning van besluiten. Uit onderzoek blijkt dat overheden voornamelijk rule-based algoritmes inzetten, maar in toenemende mate ook case-based algoritmes ontwikkelen en toepassen. 29 profilerende algoritmes Een aparte categorie case-based algoritmes die door overheidsorganisaties worden ingezet zijn profilerende algoritmes. Dit zijn algoritmes waarbij gebruik wordt gemaakt van voorspelmodellen. Op basis van data (input) proberen deze algoritmes een bepaalde uitkomst zo goed mogelijk te voorspellen (output). Met behulp van deze algoritmes kunnen personen, zaken of andere eenheden worden geselecteerd of aangewezen die volgens het voorspelmodel de beste of hoogste verwachte uitkomst hebben. In veel gevallen betreffen dit systemen om profielen van (het gedrag van) individuen te voorspellen. Dit wordt ook wel risicoprofilering genoemd.

Op basis van deze voorspellingen kan bijvoorbeeld handhavingscapaciteit gerichter worden ingezet. black-box algoritmes Afhankelijk van het type case-based algoritme kunnen de complexiteit en mate van transparantie van een algoritme sterk uiteenlopen. Complexe algoritmes, waarbij het niet precies duidelijk is hoe het algoritme de input omzet in output, worden ook wel black-box algoritmes genoemd. Dit soort algoritmes zijn in staat zelfstandig beslisregels aan te passen op basis van de eigen output. Hierdoor is de precieze werking van het algoritme niet goed na te gaan. Dit type algoritme is daardoor ook minder transparant.

in het kort • In de context van algoritmegebruik door overheidsorganisaties wordt doorgaans een brede definitie van algoritmes gehanteerd. De belangrijkste elementen van deze definitie zijn: (1) een set regels of instructies, (2) computergestuurd en (3) speelt een rol bij besluitvorming of het bereiken van doelen. • Onder deze definitie valt een grote variëteit aan type algoritmes. Hierbij wordt vaak onderscheid gemaakt tussen twee soorten algoritmes: rule-based en case-based algoritmes. 1

Rule-based: algoritmes die op basis van beslisregels die door een mens worden bepaald of geprogrammeerd tot een conclusie komen (als x dan y).

2

Case-based: algoritmes die op basis van data (input) zelf op zoek gaan naar verbanden, patronen en beslisregels en vervolgens voorspellingen doen (output).

29 Algemene Rekenkamer, ‘Aandacht voor algoritmes’, 2021; TNO, ‘Quickscan AI in de publieke dienstverlening II’, 2021; Rathenau Instituut, ‘Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering, 2022.

43

kleur bekennen

risico’s van algoritmes Hoewel de inzet van algoritmes kansen biedt voor overheidsorganisaties, zijn er ook risico’s aan verbonden. De aandacht voor de impact van algoritmes is de laatste jaren sterk toegenomen, mede door de rechtszaak tegen het gebruik van het Systeem Risico Indicatie (SyRI) en de toeslagenaffaire. 30 Onderzoek laat zien dat verschillende publieke waarden en grondrechten, zoals het recht op privacy, het recht op nondiscriminatie en rechtsbescherming in het geding kunnen komen wanneer algoritmes onzorgvuldig worden ontworpen, toegepast of gecontroleerd. 31 32 In deze paragraaf wordt een aantal belangrijke risico’s beschreven: • bias en discriminatie; • beperkte ruimte maatwerk; • onvoldoende transparantie; • gebruik en kwaliteit data. Bovenstaande risico’s zijn niet zijn voorbehouden aan case-based algoritmes, maar kunnen zich ook voordoen bij rule-based algoritmes. In onderzoek wordt daarom benadrukt dat organisaties zowel bij de inzet van rule-based als case-based algoritmes aandacht hebben voor het mitigeren van risico’s. In het gele kader hieronder wordt dit nader toegelicht.

risico’s: rule-based versus case-based algoritmes Zoals uitgelegd in paragraaf 2-2 kan onderscheid gemaakt worden tussen rule-based en case-based algoritmes. Zowel op maatschappelijk niveau als binnen organisaties wordt met name aandacht besteed aan de risico’s van case-based algoritmes. 33 Onderzoek laat echter zien dat ook simpelere, rule-based algoritmes risico’s hebben. Rule-based algoritmes worden vaak ingezet om wettelijke bepalingen (gedeeltelijk) geautomatiseerd toe te passen. Hierbij bestaat onder meer het risico dat de daadwerkelijke beslispraktijk in geautomatiseerde processen afwijkt van de rechtsregels zoals die door de wetgever zijn bedacht. 34 Wet- en regelgeving moet namelijk door mensen worden omgezet naar besliscriteria en vervolgens worden geprogrammeerd in een systeem. Uit onderzoek blijkt dat het een misvatting is dat normen en rechtsregels altijd een-op-een vertaald kunnen worden naar besliscriteria. 35 In plaats daarvan vragen deze normen vaak nog om een interpretatieslag, zelfs als deze op het eerste gezicht strak gekaderd lijken.

30 Rechtbank Den Haag, ‘SyRI-wetgeving in strijd met het Europees Verdrag voor de Rechten voor de Mens’, 5 februari 2020, geraadpleegd op 31 januari 2024 via https://www.rechtspraak.nl/Organisatie-en-contact/Organisatie/Rechtbanken/Rechtbank-Den-Haag/Nieuws/Paginas/SyRI-wetgeving-instrijd-met-het-Europees-Verdrag-voor-de-Rechten-voor-de-Mens.aspx 31 Kulk, S. & Deursen van, S., ‘Juridische aspecten van algoritmes die besluiten nemen. Een verkennend onderzoek’, Den Haag: WODC, 2020; Raad van State, ‘Digitalisering. Wetgeving en bestuursrechtspraak’, 2021; Rathenau Instituut, ‘Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering’, 2022. 32 Rechtsbescherming kan worden gedefinieerd als de mogelijkheid om (achteraf) op te komen tegen besluiten en handelingen van overheidsinstanties. 33 Rathenau Instituut, ‘Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering’, 2022. 34 Meeuwese, A.C.M., ‘Artificiële intelligentie en bestuursrecht: menselijk én digitaal’, Nederlands Tijdschrift Voor Bestuursrecht, 2022, 2, 56-66 35 Meeuwese, A.C.M., ‘Artificiële intelligentie en bestuursrecht: menselijk én digitaal’, Nederlands Tijdschrift Voor Bestuursrecht, 2022, 2, 56-66; Raad van State, ‘Digitalisering.

Wetgeving en bestuursrechtspraak’, 2021; Rathenau Instituut, ‘Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering’, 2022.

44

kleur bekennen

In onderzoeken worden ook andere kenmerken van rule-based algortimes beschreven die risico’s met zich meebrengen. 36 Zo zijn rule-based systemen vaak al relatief lang in gebruik, zeker in vergelijking met case-based systemen. Hierdoor is het zicht op deze algoritmes vaak beperkt en de documentatie niet altijd te herleiden. Daarnaast worden rule-based algoritmes vaak ingekocht in plaats van ontwikkeld door de organisatie zelf. Dit kan de transparantie en navolgbaarheid verkleinen.

bias en discriminatie Het gebruik van algoritmes in besluitvorming brengt het risico op bias (vooringenomenheid) met zich mee. Hiermee wordt bedoeld dat aannames van algoritmes over de werkelijkheid niet stroken met de werkelijkheid zelf of vooroordelen bevatten. 37 Hierdoor kunnen bijvoorbeeld onterechte voorkeuren voor, of juist onrechtvaardigde verdenking tegen, personen met bepaalde kenmerken ontstaan. 38 Discriminatie kan zo een (onbedoeld) neveneffect zijn van algoritmes. bias in data Er zijn verschillende manieren waardoor algoritmes vooringenomen kunnen zijn. Ten eerste kan er sprake zijn van bias in datasets. 39 Dit houdt in dat bepaalde (kenmerken van) groepen onder- of oververtegenwoordigd zijn in een dataset of dat de dataset een reflectie vormt van problematische maatschappelijke stereotypen of vooroordelen. 40 Zo kan het bijvoorbeeld voorkomen dat in een dataset over boetes (ten onrechte) veel boetes op naam staan van burgers uit een bepaalde buurt. Niet omdat de burgers uit deze buurt significant vaker overtredingen plegen, maar omdat onevenredig veel is gecontroleerd in deze buurten.

Als dit soort datasets worden gebruikt om algoritmes te trainen of testen (case-based algoritmes) of als dit soort data wordt gebruikt om rule-based besluiten te nemen, kan dit problematisch zijn omdat de data niet representatief is voor de gehele populatie waarop het algoritme wordt toegepast. Hierdoor kan bias in historische data blijven doorwerken in de toekomst. bias in ontwerp algoritme Ten tweede kan er ook bias zitten in het ontwerp van het algoritme. Zo kunnen beslisregels gebaseerd worden op onjuiste aannames waardoor bepaalde groepen buiten beschouwing worden gelaten of juist onevenredig worden geraakt. Ook kunnen keuzes voor de te voorspellen variabele (de doelvariabele) en voorspellende variabelen op basis van vooroordelen of stereotypen tot stand komen. 41 Zelfs wanneer variabelen die tot directe discriminatie kunnen leiden, zoals geslacht of etniciteit, buiten beschouwing worden gelaten, kan in een model bias ontstaan. Dit komt voor wanneer in een model variabelen worden opgenomen die samenhangen met bijvoorbeeld

36 Rathenau Instituut, ‘Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering’, 2022. 37 College voor de Rechten van de Mens, ‘In alle openheid: transparant algoritmegebruik door de overheid. Oproep voor een wettelijke transparantie-eis bij algoritmegebruik door de overheid’, 2023 38 Raad van State, ‘Digitalisering. Wetgeving en bestuursrechtspraak’, 2021. 39 Vetzo, M.J., Gerards, J.H. & Nehmelman, R., ‘Algoritmes en grondrechten‘, Boom Juridische Uitgevers, 2018. 40 Hekkelman, B., Kattenverg, M. & Scheer, B., ‘Rechtvaardige algoritmes’, CPB, 2023; Kulk, S. & Deursen van, S., ‘Juridische aspecten van algoritmes die besluiten nemen. Een verkennend onderzoek’, Den Haag: WODC, 2020; Raad van State, ‘Digitalisering. Wetgeving en bestuursrechtspraak’, 2021. 41 Vetzo, M.J., Gerards, J.H. & Nehmelman, R., ‘Algoritmes en grondrechten‘, Boom Juridische Uitgevers, 2018.

45

kleur bekennen

geslacht of etniciteit. Dit worden proxy-variabelen genoemd. 42 Wanneer het maken van onderscheid op basis van geslacht niet gewenst is, maar de variabele ‘schoenmaat’ bijvoorbeeld wel wordt meegenomen in een algoritme, is de kans groot dat het algoritme op die manier alsnog een onderscheid maakt in geslacht. Om te beoordelen of datasets of voorspellingen van algoritmes bias bevatten kunnen ontwikkelaars van algoritmes statische toetsen uitvoeren.

inzet profilerende algoritmes door overheidsorganisaties Naar aanleiding van onder andere de toeslagenaffaire en het Rotterdamse algoritme voor het selecteren van uitkeringsgerechtigden voor heronderzoeken is een discussie op gang gekomen over de inzet van profilerende algoritmes door overheidsorganisaties vanuit het oogpunt van discriminatie. Dit was in 2023 aanleiding voor de stichting Algorithm Audit hier onderzoek naar te doen. 43 Het onderzoek resulteerde in een advies over of, en zo ja, onder welke voorwaarden, profilerende algoritmes in de context van sociale voorzieningen verantwoord toegepast kunnen worden door gemeenten. 44 Onder meer werd onderzocht welke variabelen (kenmerken van personen) geschikt zijn om te gebruiken in profilerende algoritmes die gericht zijn op het selecteren van burgers met een bijstandsuitkering voor een heronderzoek. Voor een aantal variabelen wordt in het advies een afweging gemaakt over of deze wel of niet geschikt zijn. Ook geeft het advies een aantal belangrijke overwegingen mee die organisaties kunnen maken en hen kunnen helpen bij het selecteren van variabelen. Voorbeelden van kenmerken van variabelen die belangrijk zijn om af te wegen zijn het verbod op discriminatie, inhoudelijke relevantie, subjectiviteit en veranderlijkheid van kenmerken.

Het onderzoek laat zien dat het noodzakelijk is voor organisaties om dit soort afwegingen te maken. Het rapport geeft organisaties hiermee concrete handvatten.

bias door oordeelsvorming van mensen Ten derde kan er ook sprake zijn van bias bij de personen die betrokken zijn bij de implementatie-, uitvoerings- of besluitvormingsfase van een algoritme. 45 Deze vorm van bias is niet nieuw en bestond ook al voordat er sprake was van (gedeeltelijk) geautomatiseerde besluitvorming. Oordeelsvorming blijft namelijk mensenwerk waarbij bewuste en onbewuste vooroordelen in het werk kunnen sluipen. 46 Enerzijds kan worden beargumenteerd dat algoritmes het risico op bias en discriminatie kunnen verkleinen, doordat de menselijke subjectiviteit door automatisering een minder grote rol speelt. Anderzijds kan het risico groter worden doordat bias door algoritmes moeilijk traceerbaar is en de effecten omvangrijker zijn wanneer algoritmes herhaald worden toegepast en doorleven in de toekomst. Het is dus belangrijk dat in organisaties aandacht wordt besteed aan het creëren van bewustzijn dat bewuste en onbewuste vooroordelen van mensen ook doorwerking kunnen hebben op het ontwerpen, implementeren en toepassen van algoritmes.

42 Bekkum, van M. & Zuiderveen Borgesius, F., ‘Using sensitive data to prevent discrimination by artificial intelligence: Does the GDPR need a new exception?, Computer Law & Security Review, 2022, 48. 43 Algorithm Audit, ‘Probleemstelling. Risicoprofilering heronderzoek bijstandsuitkering’, 2023. 44 Algorithm Audit, ‘Adviesdocument. Risicoprofilering heronderzoek bijstandsuitkering’, 2023. 45 Rathenau Instituut, ‘Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering, 2022. 46 College voor de Rechten van de Mens, ‘In alle openheid: transparant algoritmegebruik door de overheid. Oproep voor een wettelijke transparantie-eis bij algoritmegebruik door de overheid’, 2023

46

kleur bekennen

discriminatie bij case-based algoritmes Onderzoek laat zien dat het belangrijk is dat organisaties erkennen dat bij het gebruik van case-based (zelflerende) algoritmes de kans op discriminatie nooit volledig uit te sluiten is. 47 Zoals uitgelegd gaan zelflerende algoritmes zelf op zoek naar verbanden en patronen om voorspellingen te doen. Hierbij kan (in de loop van de tijd) gebruik gemaakt worden van proxy-variabelen die indirect kunnen discrimineren doordat ze samenhangen met variabelen zoals geslacht of etniciteit. Vanwege het risico op indirecte discriminatie is het dus niet mogelijk om vooraf aan te geven dat lerende algoritmische systemen niet zullen discrimineren. In onderzoek wordt dan ook gesteld dat “de politicus die garanties wil dat geen enkele discriminatie voorkomt, zal moeten afzien van lerende algoritmes.” 48 Door middel van goede risicobeheersing kunnen risico’s namelijk wel verkleind, maar bij lerende algoritmes, niet volledig uitgesloten worden. In onderzoek wordt beschreven dat dit vraagt om het maken van afwegingen: wanneer is de opbrengst van een algoritme de risico’s waard? 49 Hiervoor zijn gesprekken over het doel, de proportionaliteit, de risico’s en de kosten en baten van een algoritme nodig. De vraag die op tafel ligt, is welk risico de politiek acceptabel vindt bij de inzet van lerende algoritmes.

Onderzoek laat zien dat dit soort afwegingen binnen organisaties niet altijd gemaakt wordt. 50 Zo wordt niet altijd nagedacht over de vraag of een zelflerend algoritme effectiever is dan bijvoorbeeld een aselecte steekproef en wordt niet altijd rekening gehouden met de kosten van risicobeheersingsmaatregelen.

beperkte ruimte maatwerk De overheid maakt in toenemende mate gebruik van algoritmes in besluitvormingsprocessen en dienstverlening. Hierdoor is er sprake van automatisering en standaardisatie in besluiten, waarbij scenario’s en oplossingen op systeemniveau worden doordacht. 51 Dit leidt tot meer efficiëntie, stelt de overheid in staat om grote aantallen besluiten te nemen en kan bijdragen aan een meer uniforme toepassing van de wet en dus aan rechtsgelijkheid. 52 Onderzoek laat zien dat de standaardisatie en automatisering van besluiten naast voordelen, ook een keerzijde heeft. Het risico bestaat namelijk dat er hierdoor onvoldoende ruimte is voor het leveren van maatwerk. 53 Maatwerk houdt in dat het mogelijk moet zijn om af te wijken van het resultaat van een (gedeeltelijk) geautomatiseerd besluit als de feiten of de omstandigheden hier aanleiding toe geven. Wanneer in een besluitvormingsproces onvoldoende ruimte wordt ingebouwd voor mensen om het systeem of besluit te corrigeren, of specifieke uitkomsten zelf te (her)beoordelen, kan maatwerk en wendbaarheid in het gedrang komen. 54

47 Rathenau Instituut, ‘Non-discriminatie bij algoritmes’, 2022. 48 Rathenau Instituut, ‘Non-discriminatie bij algoritmes’, 2022. 49 Rathenau Instituut, ‘Non-discriminatie bij algoritmes’, 2022. 50 Rathenau Instituut, ‘Non-discriminatie bij algoritmes’, 2022. 51 Rathenau Instituut, ‘Grip op algoritmische besluitvorming bij de overheid. De rol van de Eerste Kamer’, 2021. 52 Raad van State, ‘Digitalisering. Wetgeving en bestuursrechtspraak’, 2021. 53 Raad van State, ‘Digitalisering. Wetgeving en bestuursrechtspraak’, 2021. 54 Rathenau Instituut, ‘Grip op algoritmische besluitvorming bij de overheid. De rol van de Eerste Kamer’, 2021; Rathenau Instituut, ‘Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering, 2022.

47

kleur bekennen

Uit onderzoek blijk dat het bieden van ruimte voor maatwerk enerzijds, en zorgen voor consistentie en efficiëntie anderzijds, op gespannen voet met elkaar kunnen staan. Deze twee aspecten moeten bij de ontwikkeling van een systeem tegen elkaar afgewogen worden. menselijke tussenkomst of human-in-the-loop Bij overheidsorganisaties is er een toenemend besef dat het belangrijk is om binnen besluitvormingsprocessen ruimte te houden voor menselijk ingrijpen en maatwerk. Dit om te voorkomen “dat burgers worden geconfronteerd met ‘computer-says-no’scenario’s”. 55 Daarom wordt vaak gestreefd naar het inbouwen van een menselijke tussenkomst, ook wel human-in-the-loop of human oversight genoemd. 56 Hoewel menselijke tussenkomst een manier kan zijn om risico’s te beperken, is er tegelijkertijd ook voorzichtigheid mee geboden. Uit onderzoek blijkt namelijk dat deze menselijke tussenkomst niet altijd van betekenis is en niet altijd garanties hoeft te bieden voor de uitvoering. 57 Dit komt ten eerste doordat de wijze waarop invulling wordt gegeven aan het begrip menselijke tussenkomst sterk kan verschillen. In het gele kader hieronder worden enkele voorbeelden gegeven.

voorbeelden invulling begrip menselijke tussenkomst De wijze waarop invulling wordt gegeven aan menselijke tussenkomst kan verschillen, bijvoorbeeld: • Een ambtenaar moet zelf tot een afweging komen en zelf een besluit nemen, maar wordt hierbij ondersteund door een algoritme. Bijvoorbeeld doordat het algoritme een advies verstrekt of input levert voor de afweging die gemaakt moet worden. • Een besluit wordt in principe genomen door een algoritme, maar moet goedgekeurd moet worden door een ambtenaar. • Er is sprake van geautomatiseerde besluitvorming en menselijk ingrijpen kan alleen achteraf plaatsvinden wanneer burgers vragen hebben of bezwaar maken.

Daarnaast blijkt dat, zelfs al hebben ambtenaren de mogelijkheid om (gemotiveerd) af te wijken van een geautomatiseerd besluit, er een risico is dat dit in de praktijk te weinig gebeurt. Onderzoek laat namelijk zien dat het voor mensen heel moeilijk is om tegenwicht te bieden aan automatische besluiten en hier vanaf te wijken (automation bias) en om verschillende redenen ook niet altijd in staat zijn om de kwaliteit van een uitkomst van een algoritme te beoordelen. 58 De waarde van het inbouwen van menselijke tussenkomst wordt in de praktijk dus vaak overschat en is op zichzelf niet voldoende. Er moet daarom ook goed worden nagedacht over wat deze menselijke tussenkomst in de praktijk precies omvat, hoe de mensen interacteren met het systeem en hoe dit op een goede manier geïmplementeerd en gecontroleerd kan worden in de organisatie.

55 Rathenau Instituut, ‘Algoritmische besluitvorming. Handreiking aan de Eerste Kamer’, 2022. 56 Green, B., ‘The flaws of policies requiring human oversight of government algorithms’, Computer Law & Security Review, 2022, 45; Rathenau Instituut, ‘Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering’, 2022. 57 Choi, W., Eck van, M. & Hukshorn, H., ‘Hoe gemeenten besluiten over algoritmen en mensenrechten. Onderzoek voor het College van de Rechten van de Mens’, 2021. 58 Green, B., ‘The flaws of policies requiring human oversight of government algorithms’, Computer Law & Security Review, 2022, 45.

48

kleur bekennen

onvoldoende transparantie Een belangrijk risico van algoritmegebruik door de overheid is het onvoldoende bieden van transparantie. Hiermee wordt bedoeld dat het voor burgers niet duidelijk is wanneer de overheid gebruik maakt van een algoritme in besluitvorming en hoe besluiten precies tot stand komen. In het debat over transparantie en hoe overheidsorganisaties hier invulling aan moeten geven, wordt vaak een onderscheid gemaakt tussen technische transparantie en uitlegbaarheid. technische transparantie Onder technische transparantie wordt het publiceren van (delen) van de technische informatie van een algoritme of systeem genoemd, zoals de broncode, training- en testdatasets, variabelen en gehanteerde drempelwaarden. Technische transparantie biedt dus inzicht in de manier waarop het systeem van input tot output komt en de keuzes die gemaakt zijn om tot het algoritme te komen. Dit maakt het werk van de overheid beter controleerbaar en navolgbaar. uitlegbaarheid Het bieden van technische transparantie alleen is niet voldoende om het werk van de overheid controleerbaar te maken. Algoritmes moeten ook uitlegbaar zijn. Hiermee wordt bedoeld dat in begrijpelijke taal aan mensen wordt uitgelegd dat er gebruik is gemaakt van een algoritme, hoe het algoritme werkt en hoe een besluit tot stand is gekomen.

gevolgen onvoldoende transparantie Wanneer de overheid onvoldoende transparantie biedt, is dit om diverse redenen problematisch. Ten eerste hebben burgers hierdoor geen of beperkt zicht op de werking van een algoritme en de totstandkoming van besluiten. 59 Dit resulteert in een informatiekloof tussen burgers en de overheid. Als gevolg hiervan kunnen burgers zich niet goed beschermen tegen besluiten, waardoor het recht op non-discriminatie en het recht op een eerlijk proces onder druk komen te staan. In onderzoek wordt ook wel beschreven dat het bieden van transparantie een eerste noodzakelijke stap is, omdat het andere risico’s van algoritmegebruik inzichtelijk kan maken. 60 Ook kan het vertrouwen in de overheid geschaad worden en wantrouwen toenemen, als de overheid onvoldoende transparant is in algoritmegebruik en niet of slechts beperkt controleerbaar is. 61 In onderzoek worden verschillende vormen van ondoorzichtigheid onderscheiden. 62 In het gele kader hieronder worden deze kort toegelicht.

verschillende vormen van ondoorzichtigheid Er kunnen verschillende vormen van ondoorzichtigheid worden onderscheiden: 1

Intentionele ondoorzichtigheid. Dit houdt in dat informatie over het algoritme bewust niet wordt gedeeld. Dit kan voorkomen wanneer een overheidsorganisatie gebruik maakt van een algoritme dat is ontwikkeld door een externe partij die de werking van een algoritme niet openbaar wil maken. Ook

59 College voor de Rechten van de Mens, ‘In alle openheid: transparant algoritmegebruik door de overheid. Oproep voor een wettelijke transparantie-eis bij algoritmegebruik door de overheid’, 2023 60 Wolswinkel, J., ‘Transparantie bij bestuurlijke besluitvorming’, in Transparantie en openbaarheid, 2022, 161-237. 61 VNG, ‘Agenda Digitale Grondrechten en Ethiek 2022-2026. Van disbalans naar harmonie in een vernieuwde democratische rechtsstaat’, 2022. 62 Wolswinkel, J., ‘Transparantie bij bestuurlijke besluitvorming’, in Transparantie en openbaarheid, 2022, 161-237.

49

kleur bekennen

kan het voorkomen dat een overheidsorganisatie wil voorkomen dat burgers hun gedrag gaan afstemmen op het algoritme, bijvoorbeeld bij algoritmes in het kader van fraude. 2

ICT-ongeletterdheid. Hier is sprake van wanneer de broncode van een systeem wel wordt gedeeld, maar personen die onvoldoende kennis hebben van algoritmes deze niet begrijpen of doorgronden.

3

Intrinsieke ondoorzichtigheid. Bij deze vorm van ondoorzichtigheid is de werking van het algoritme ook voor ICT-specialisten niet of lastig te doorgronden. Dit komt met name voor bij complexe casebased algoritmes (ook wel black-box algoritmes genoemd) waarbij door het algoritme zelf verbanden worden gelegd die voor mensen niet meer navolgbaar zijn.

Hoewel al deze vormen van ondoorzichtigheid een andere oorzaak hebben, kan het in alle drie de gevallen leiden tot een (gepercipieerde) black-box voor burgers. 63 Vooral vanuit het oogpunt van beginselen die voortvloeien uit de Algemene wet bestuursrecht (Awb), zoals het motiveringsbeginsel, wordt in toenemende mate aandacht gevraagd voor de noodzaak van het vergroten van de transparantie van alle (gedeeltelijk) geautomatiseerde overheidsbesluiten. Deze worden namelijk niet altijd draagkrachtig en kenbaar gemotiveerd door de overheid. 64 afweging uitlegbaarheid versus prestaties algoritme In beginsel zijn rule-based algoritmes beter uit te leggen aan mensen dan zelflerende algoritmes. De combinatie van verschillende besliscriteria kan ingewikkeld zijn, maar als het proces en systeem voldoende transparant zijn, zouden individuele besluiten te herleiden moeten zijn op basis van de ingevoerde gegevens en de gehanteerde regels in het systeem. 65 Bij case-based algoritmes is dit niet altijd het geval, omdat hierbij doorgaans geen gebruik wordt gemaakt van geprogrammeerde regels. In plaats daarvan legt het systeem zelf verbanden en kunnen de beslisregels door voortschrijdend inzicht steeds aangepast worden. Hierdoor zijn dit soort algoritmes ingewikkelder om uit te leggen.

Zelfs als er transparantie wordt geboden over de broncode of andere technische gegevens blijft het lastig, en soms zelfs onmogelijk, om op individueel niveau te herleiden waarom een bepaalde uitkomst geldt. 66 Vaak wordt beschreven dat in dit soort gevallen een afweging gemaakt moet worden tussen de uitlegbaarheid en de prestaties (zoals de kwaliteit en nauwkeurigheid van de voorspelling) van een model. Wanneer minder geavanceerde technieken worden gebruikt, worden algoritmes namelijk doorgaans beter uitlegbaar, maar leidt dit veelal ook tot een afname in de kwaliteit en nauwkeurigheid van de voorspelling. 67 In onderzoek wordt er op gewezen dat, hoewel het inderdaad zo is dat ondoorzichtige modellen veelal nauwkeuriger zijn (en dus beter presteren) dan meer transparante

63 Wolswinkel, J., ‘Transparantie bij bestuurlijke besluitvorming’, in Transparantie en openbaarheid, 2022, 161-237. 64 College voor de Rechten van de Mens, ‘In alle openheid: transparant algoritmegebruik door de overheid. Oproep voor een wettelijke transparantie-eis bij algoritmegebruik door de overheid’, 2023. 65 Kulk, S. & Deursen van, S., ‘Juridische aspecten van algoritmes die besluiten nemen. Een verkennend onderzoek’, Den Haag: WODC, 2020; Raad van State, ‘Digitalisering. Wetgeving en bestuursrechtspraak’, 2021 66 Kulk, S. & Deursen van, S., ‘Juridische aspecten van algoritmes die besluiten nemen. Een verkennend onderzoek’, Den Haag: WODC, 2020; Raad van State, ‘Digitalisering. Wetgeving en bestuursrechtspraak’, 2021 67 Kulk, S. & Deursen van, S., ‘Juridische aspecten van algoritmes die besluiten nemen. Een verkennend onderzoek’, Den Haag: WODC, 2020; Raad van State, ‘Digitalisering. Wetgeving en bestuursrechtspraak’, 2021

50

kleur bekennen

modellen, overheidsorganisaties zich niet blind moeten staren op deze ‘uitruil’ tussen uitlegbaarheid en prestaties. 68 Het is namelijk de vraag of complexe zelflerende algoritmes voor veel toepassingen in de publieke sector wel nodig zijn. Uit onderzoek blijkt dat dit niet altijd het geval hoeft te zijn en dat hetzelfde doel soms ook met eenvoudigere en beter uitlegbare algoritmes bereikt kan worden. Daarnaast wordt transparantie zo belangrijk geacht om de publieke waarden te beschermen, dat er volgens sommige onderzoekers terughoudend omgegaan moet worden met het toepassen van niet-uitlegbare algoritmes in de publieke sector. 69 algoritmeregisters De afgelopen jaren heeft aandacht voor transparantie op nationaal en lokaal niveau geleid tot het introduceren van algoritmeregisters (zie paragraaf 2-5). Het (verplicht) registeren van algoritmes kan gezien worden als een belangrijke stap op het gebied van transparantie. Of het gebruik van algoritmeregister daadwerkelijk bijdraagt aan het vergroten van transparantie en uitlegbaarheid hangt wel in belangrijke mate af van de volledigheid en toegankelijkheid van verstrekte informatie over het algoritme. Daarnaast wordt erop gewezen dat er pas sprake is van transparantie als overheidsorganisaties ook stappen zetten in de communicatie van besluiten naar burgers over of, en zo ja, van welke algoritmes gebruik is gemaakt.

70 Bij het opzetten van een algoritmeregister moet verder goed worden nagedacht over het doel: wat wil je aan welke doelgroep uitleggen en waarom? gebruik en kwaliteit data Algoritmes maken vaak gebruik van grote hoeveelheden data. Naast risico’s die dit met zich mee kan brengen op het gebied van privacy en gegevensbescherming, komen in onderzoek ook nog een aantal andere risico’s naar voren, namelijk risico’s met betrekking tot de kwaliteit van de data en het risico op doelverschuiving (function creep). kwaliteit van data Binnen gemeenten wordt bij de ontwikkeling van algoritmes vaak gebruik gemaakt van data uit verschillende bronnen. Uit onderzoek blijkt dat gebruikte data binnen het sociale domein niet altijd van voldoende kwaliteit zijn en ook niet altijd geschikt zijn om systematisch te analyseren. 71 Dit komt ten eerste doordat data worden verzameld met een ander doel, zoals de ondersteuning van een administratief proces of als instrument in de uitvoering van beleid. Een voorbeeld hiervan zijn vragenlijsten die consulenten invullen over de mate van zelfredzaamheid van cliënten. Dit soort vragenlijsten kunnen behulpzaam zijn in de uitvoering, maar leveren doorgaans geen valide en betrouwbare data op voor systematische analyse. Ten tweede is bij data vaak beperkt zicht op de manier waarop de data tot stand komen. Hierdoor is de kwaliteit van de data moeilijk na te gaan.

Ook wordt in onderzoek gewezen op de risico’s van het gebruik van data die kenmerken of karakteristieken van personen meten. 72 Hier zit namelijk altijd een bepaalde mate van

68 Busuioc, M., Curtin, D. & Almada, M., ‘Reclaiming transparency: contesting the logics of secrecy within the AI Act’, European Law Open, 2022, 1-27. 69 Busuioc, M., Curtin, D. & Almada, M., ‘Reclaiming transparency: contesting the logics of secrecy within the AI Act’, European Law Open, 2022, 1-27. 70 College voor de Rechten van de Mens, ‘In alle openheid: transparant algoritmegebruik door de overheid. Oproep voor een wettelijke transparantie-eis bij algoritmegebruik door de overheid’, 2023. 71 Zoonen, van L., ‘Data governance and citizen participation in the digital welfare state’, Data & Policy, 2, 2020. 72 Algorithm Audit, ‘Adviesdocument. Risicoprofilering heronderzoek bijstandsuitkering’, 2023.

51

kleur bekennen

subjectiviteit in. Dit roept de vraag op in hoeverre dit soort data geschikt zijn om op te nemen in voorspelmodellen. Er wordt in dit verband ook wel gesproken van ‘garbagein-garbage-out’ waarmee wordt bedoeld dat onbetrouwbare, niet-valide of niet passende data die als input worden gebruikt tot output van onvoldoende kwaliteit leidt. doelverschuiving (function creep) Wanneer een dataset voor een ander doel wordt gebruikt dan het vastgestelde doel waarvoor de data zijn verzameld, wordt gesproken van function creep. Dit wordt ook wel doelverschuiving genoemd. Ook wanneer de functionaliteiten van een algoritmisch systeem worden uitgebreid buiten de oorspronkelijk geformuleerde doelstellingen wordt gesproken van function creep. Binnen organisaties kan function creep ontstaan wanneer een algoritme op het moment dat deze al in gebruik is, steeds verder wordt geoptimaliseerd op basis van feedback vanuit de praktijk of uitvoering. Zo kunnen er bijvoorbeeld functionaliteiten aan het systeem worden toegevoegd. Hoewel dit doorgaans ontwikkelingen zullen zijn die verklaarbaar en positief zijn, kan dit er ook toe leiden dat het algoritme langzaam van karakter verandert. 73 Dit kan gepaard gaan met (nieuwe) risico’s. Het is daarom belangrijk dat gedurende de periode dat een algoritme in gebruik is, steeds opnieuw risico’s worden geïnventariseerd en ethische afwegingen worden gemaakt.

in het kort • De inzet van algoritmes biedt kansen, maar er zijn ook risico’s aan verbonden. Wanneer algoritmes onzorgvuldig worden ontworpen, toegepast en gecontroleerd kunnen diverse publieke waarden en grondrechten in het geding komen. • Er wordt in het algemeen veel aandacht besteed aan de risico’s van case-based algoritmes. Maar ook rule-based algoritmes hebben risico’s. Dit komt doordat (1) normen en rechtsregels niet altijd een-op-een vertaald kunnen worden naar besliscriteria, (2) rule-based systemen vaak al lang in gebruik zijn en (3) rule-based systemen vaak ingekocht worden. Dit verkleint de transparantie en navolgbaarheid. • Belangrijke risico’s van algoritmegebruik door overheidsorganisaties zijn: 1

Bias en discriminatie: er is sprake van bias (vooringenomenheid) wanneer aannames van het algoritme over de werkelijkheid niet stroken met de werkelijkheid zelf of vooroordelen bevatten. Dit kan leiden tot discriminatie. Er zijn verschillende oorzaken van bias in algoritmes namelijk (1) bias in data, (2) bias in het ontwerp van een algoritme en (3) bias door oordeelsvorming van mensen.

2

Beperkte ruimte maatwerk: door standaardisatie en automatisering van besluiten kan het leveren van maatwerk in het geding komen. Er is een toenemend besef van het belang van de mogelijkheid voor menselijk ingrijpen en maatwerk (human-in-the-loop). Dit kan risico’s beperken, maar het is ook belangrijk om te beseffen dat de waarde hiervan sterk afhangt van de manier waarop invulling wordt gegeven aan deze menselijke tussenkomst.

73 VNG, ‘Handreiking Digitale Ethiek. Op weg met digitale ethiek’, 2022.

52

kleur bekennen

3

Onvoldoende transparantie: het bieden van onvoldoende transparantie over het gebruik van algoritmes in overheidsbesluitvorming heeft diverse nadelige gevolgen, zoals het ontstaan van een informatiekloof en een toenemend wantrouwen in de overheid. Transparantie kent verschillende aspecten, namelijk (1) technische transparantie over de technische werking van het systeem en (2) uitlegbaarheid over de werking van het algoritme en de totstandkoming van het besluiten.

4

Gebruik en kwaliteit data: wanneer de gebruikte data voor algoritmes van onvoldoende kwaliteit is en niet geschikt is om systematisch te analyseren, brengt dit het risico op algoritmes van onvoldoende kwaliteit met zich mee. Ook moet er bij het gebruik van data en toepassing van algoritmes rekening worden gehouden met het risico op function creep (doelverschuiving).

verantwoord toepassen van algoritmes Het toenemende bewustzijn over de mogelijke risico’s van de inzet van algoritmes bij overheidsorganisaties gaat gepaard met de vraag wat zij kunnen doen om deze risico’s te beheersen. In deze paragraaf wordt uiteengezet welke wet- en regelgeving en (ethische) principes leidend moeten zijn bij de ontwikkeling en inzet van algoritmes en welke richtlijnen en kaders kunnen helpen om noodzakelijke afwegingen te maken. integrale benadering Op de vraag wanneer er bij overheidsorganisaties gesproken kan worden van een verantwoorde toepassing van algoritmes, is geen eenduidig antwoord te geven. Dit komt ten eerste doordat het een normatieve vraag is die, afhankelijk van de context van een algoritme en de betrokken personen, anders beantwoord zal worden. Daarnaast is het een vraagstuk dat continu in ontwikkeling is door veranderingen in wetgeving, voortschrijdend inzicht uit onderzoek en de ontwikkeling van het professionele en maatschappelijke debat. Op basis van de huidige kennis kan wel uiteen worden gezet welke eisen en normen uit wet- en regelgeving en welke (ethische) principes richting kunnen geven aan het beheersen van risico’s bij de ontwikkeling en inzet van algoritmes. Om de risico’s van algoritmes te beheersen moet er zowel vanuit verschillende juridische perspectieven als vanuit een ethisch perspectief naar het vraagstuk worden gekeken.

Uit onderzoek kan worden afgeleid dat vier perspectieven belangrijk zijn: privacy, mensenrechten, het bestuursrecht en ethiek. 74 Deze perspectieven zijn niet strikt van elkaar te onderscheiden en vertonen overlap. Voor een verantwoorde ontwikkeling en inzet van algoritmes is het daarom belangrijk dat deze perspectieven worden geïntegreerd en in samenhang worden toegepast. Hieronder worden deze perspectieven kort toegelicht. privacy Bij de ontwikkeling van algoritmes moet het recht op privacy in acht worden genomen. Het recht op privacy is een mensenrecht en volgt uit het Europees Verdrag voor de Rechten van de Mens (EVRM). De vereisten voor gegevensbescherming zijn

74 Groot de, A., Noorman, M., Taylor, L. & Wolswinkel, J., ‘Een onafhankelijke beoordeling van het Amsterdamse beheerskader voor algoritmen’, Tilburg Law School, 2023.

53

kleur bekennen

uitgewerkt in de Algemene verordening gegevensbescherming (AVG). 75 Vooral de AVG is belangrijk in het kader van (gedeeltelijk) geautomatiseerde besluitvorming door de overheid. Zo moet er bijvoorbeeld een gerechtvaardigd doel zijn om de gegevens te verzamelen en moeten organisaties transparant zijn over de vraag hoe en waarom zij persoonsgegevens verwerken. mensenrechten Naast het recht op privacy kan de inzet van algoritmes ook raken aan andere mensenrechten, zoals gelijkheidsrechten, vrijheidsrechten en procedurele rechten. 76 Bij gelijkheidsrechten gaat het om het principe dat elke burger gelijkwaardig is en niet gediscrimineerd mag worden. Uit dit principe vloeien diverse beginselen voort die relevant zijn bij de inzet van algoritmes, zoals: gelijkheid voor de wet, het verbod van direct onderscheid op bepaalde gronden en het verbod van indirect onderscheid op bepaalde gronden. 77 Vrijheidsrechten zijn in de context van algoritmes relevant, omdat ze toezien op het recht op informatie dat burgers hebben. 78 Als burger heb je dit recht nodig om bijvoorbeeld een overheidsbesluit te kunnen aanvechten. Procedurele rechten zorgen er onder meer voor dat burgers bezwaar kunnen maken tegen overheidsbesluiten, maar zijn ook belangrijk in de besluitvormingsfase.