2023-11-02 Advies-over-onderzoekswaardigheidsalgoritme.pdf

Advies ‘Slimme check levensonderhoud’, 2 november 2023

Kort advies over de ‘Slimme check levensonderhoud’ De Directie Sociaal, Afdeling Werk, Participatie en Inkomen heeft een pilot gedraaid met een algoritme dat bij nieuwe aanvragen levensonderhoud een risicoscore berekent op basis waarvan de aanvragen in twee categorieën worden gedeeld: onderzoekswaardig of niet onderzoekswaardig. Op basis van de met mij gedeelde documentatie over de pilot geef ik een negatief advies over het verder gebruik van dit algoritme. Daar zijn twee redenen voor: het risico op geautomatiseerde discriminatie blijft levensgroot, terwijl het nut en de noodzaak en met name de subsidiariteit onvoldoende aangetoond zijn om dit risico te rechtvaardigen.

Er is een niet uit te wissen risico op geautomatiseerde discriminatie Hoewel het duidelijk is dat het team achter de pilot zorgvuldig heeft gewerkt zijn er toch een aantal blinde vlekken die uiterst zorgelijk zijn. Er wordt geen rekenschap gegeven aan de beperkingen van ‘debiasing’ als techniek Er is getest of het algoritme een bias heeft richting bepaalde groepen van mensen. Zo is er gekeken of er op het gebied van leeftijd, geslacht, nationaliteit en wel of niet een Westerse achtergrond bias in het algoritme zit. Bij een eerdere versie van het algoritme bleek er een bias te zijn tegen mensen met een niet-Westerse achtergrond. Na het veranderen van een aantal wegingen leek die bias verdwenen te zijn. Maar het feit dat er geen negatieve bias is ten opzichte van vrouwen en geen negatieve bias (meer) ten opzichte van mensen met een niet-Westerse achtergrond, wil niet zeggen dat er geen negatieve bias is ten opzichte van vrouwen met een niet-Westerse achtergrond of tegen mensen met een specifieke niet-Westerse achtergrond. Om zeker te weten dat er geen structurele bias is moet je ook voor alle intersecties tussen verschillende groepen testen. En zelfs als je dat gedaan hebt weet je nog niet zeker of je goed zit: het algoritme kan op basis van de historische informatie hele rare correlaties hebben gevonden.

Dus bijvoorbeeld dat iemand met een bepaalde postcode altijd als hoog risico wordt gezien. Hoe weten de makers van tevoren dat dit niet zo is? Daarnaast is debiasing als aanpak in zichzelf al bijzonder beperkt. Zie bijvoorbeeld het rapport Beyond Debiasing: Regulating AI and its inequalities dat duidelijk maakt dat het ‘techno-centrische’ perspectief dat bij de implementatie van dit algoritme gehanteerd wordt, onvoldoende garanties biedt tegen het vergroten van ongewenste ongelijkheden. Er is een blinde vlek voor (de bias in) ‘false negatives’ Bij het meten van de effectiviteit van het algoritme en bij het kijken naar de bias, lijkt er vooraf alleen te zijn gekeken naar de zogenaamde ‘false positives’, oftewel mensen van wie de aanvraag ten onrechte als onderzoekswaardig wordt bestempeld door het algoritme. Voor ‘false negatives’, mensen die wel onderzocht zouden moeten worden maar door het algoritme niet als risico worden gezien, was er geen aandacht. Het zou dus zomaar kunnen dat het algoritme geneigd is om mensen met een Westerse achtergrond vaker ten onrechte als niet onderzoekswaardig te zien, dan mensen met een niet-Westerse achtergrond. Eerder is vanuit het implementatie-team aangegeven dat het belangrijker werd gevonden om mensen niet onterecht te verdenken, dan dat iemand onterecht niet verdacht zou worden.

Dit is moeilijk te rijmen met één van de uitgesproken doelstellingen van dit algoritme: voorkomen dat mensen later in de problemen komen omdat ze onterecht bijstand in hun levensonderhoud hebben ontvangen. Daarnaast verliest een overheid haar legitimiteit binnen een rechtsstaat

1

Hans de Zwart, Lectoraat Responsible IT, HvA

Advies ‘Slimme check levensonderhoud’, 2 november 2023

indien ze mensen structureel ongelijk behandeld. Niet kijken naar de (bias van) ‘false negatives’ is dus onverantwoordelijk. De geschiedenis is niet neutraal en wordt ook nog eens beperkt meegenomen Dit model is gebaseerd op aanvragen uit het verleden die door een handhavingsafdeling zijn onderzocht. Er wordt daarbij een niet per se terechte aanname gedaan dat de uitkomsten van die onderzoeken correct waren. Een eventuele bias die er in de handhaving heeft gezeten in de beoordeling van aanvragen die in onderzoek waren wordt op deze manier in code vastgelegd. Die bias wordt tot standaard verheven en in de toekomst geautomatiseerd doorgevoerd. Dit is immers de standaard die onder meer bij het controleren van de bias gebruikt is. Daarnaast moet opgemerkt worden dat het model alleen maar getraind is op aanvragen die extra onderzocht zijn: dat zijn 4% van het totale aantal aanvragen. Ook hier wordt de aanname gedaan dat de historische keuze tussen wie wel of niet extra onderzocht hoeft te worden correct was. 96% van de aanvragen zijn niet gebruikt om te leren welke aanvraag extra onderzoek behoeft. Die 96% van de aanvragen zijn dus ook niet gebruikt om de effectiviteit van het model te testen.

Er is geen noodzaak en geen subsidiariteit Kortom, er is een onvermijdelijke en niet te verwaarlozen kans op geautomatiseerde ongelijke behandeling. De vraag of de inzet van dit algoritme desondanks proportioneel is, kan alleen positief beantwoord worden als de noodzaak duidelijk wordt aangetoond en als er geen alternatieve oplossingen zijn voor het probleem die het risico op discriminatie niet in zich dragen. Er gaan meer mensen onterecht extra onderzocht worden Het algoritme is volgens de verwachtingen (voordat de pilot begon) iets beter in het inschatten van welke aanvragen onderzoekswaardig zijn dan het huidige proces. Tegelijkertijd zal het algoritme leiden tot een toename van het percentage aanvragen dat doorgestuurd wordt naar handhaving voor extra onderzoek. Die toename is groter dan de toename in de correctheid van de inschatting. Dit betekent effectief dat er na de inzet van het algoritme meer mensen onterecht extra zullen worden onderzocht dan daarvoor. Meer mensen zullen na de inzet van dit algoritme dus ten onrechte met wantrouwen door de overheid behandeld worden. De subsidiariteit is niet aangetoond: alternatieve oplossingen lijken niet verkend Nergens blijkt dat het implementatie-team vooraf heeft gezocht naar manieren om te bepalen wie wel of niet extra onderzocht moet worden die niet het risico in zich dragen van geautomatiseerde ongelijke behandeling.

Het lijkt wel alsof AI de oplossing moest zijn, ongeacht het probleem. Twee alternatieve methoden die sowieso onderzocht zouden moeten worden zijn: 1. Daadwerkelijke gelijke behandeling van iedereen die een aanvraag doet. Dat kan op drie manieren: niemand onderwerpen aan een extra onderzoek, iedereen onderwerpen aan een extra onderzoek, of extra onderzoek doen op basis van loting (een steekproef). Met name de laatste optie is heel haalbaar bij beperkte handhavingscapaciteit en is vanuit het oogpunt van rechtvaardigheid wellicht beter te verdedigen. 2. Een indeling in onderzoekswaardig en niet onderzoekswaardig op basis van heldere, simpele en eenduidige regels in de vorm van ‘als… dan’. Dus bijvoorbeeld ‘als het inkomen in de afgelopen twee jaar onder bedrag x was, dan geen extra onderzoek’. Ook dit soort regels kunnen bias in zich hebben, maar doordat ze volledig transparant zijn, wordt de discussie over of dit een gewenste vorm van onderscheid is tenminste binnen het politieke domein gevoerd, en zitten de politieke keuzes niet verstopt in een technisch model.

2

Hans de Zwart, Lectoraat Responsible IT, HvA

Advies ‘Slimme check levensonderhoud’, 2 november 2023

Conclusie: niet aanpassen en nog een keer proberen maar stoppen Op basis van het bovenstaande is er maar één conclusie mogelijk: dit moet je niet willen. Het inzetten van dit algoritme in deze context is niet verantwoord en ook niet verantwoord te maken. De inzet van het algoritme moet dus stoppen er moeten geen nieuwe pilots met een vergelijkbare werkwijze worden gestart. In plaats daarvan moet er ruimte worden gemaakt voor een meer fundamentele discussie: die over de wenselijkheid van de inzet van AI bij een groep bijzonder kwetsbare mensen. Een inzet die een onvermijdelijk en niet te negeren risico met zich meebrengt op het automatiseren van ongelijke behandeling. En dat terwijl er niet lijkt te zijn gekeken naar de geschiktheid van alternatieve methoden om te bepalen wie er wel of niet onderzocht wordt, methoden die het risico op deze onrechtvaardige behandeling niet hebben.

Dit hele advies kan bij een Woo-verzoek openbaar gemaakt worden en is opgesteld door Hans de Zwart, onderzoeker bij het Lectoraat Reponsible IT van de Hogeschool van Amsterdam.

3

Hans de Zwart, Lectoraat Responsible IT, HvA