2023-12-14 Eindevaluatie Pilot Slimme Check Bias Analyse v1.0.pdf

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Bias analyse Team Advanced Analytics

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Voorwoord

De bias analyse over de pilot fase is onderdeel van de Eindevaluatie Pilot Slimme Check. In dit document wordt ook de bias analyse die tijdens de pre-pilot is uitgevoerd beschreven. Tijdens de bias analyse wordt vergeleken hoe verschillende groepen scoren op een vooraf geselecteerde bias metriek. Na uitgebreide analyse wordt er geconcludeerd dat de kwaliteit van de data ten behoeve van de bias analyse over de pilot niet voldoende is om te bepalen of er wel of geen sprake is van bias in het risicomodel. Dit wordt verder toegelicht in de conclusie van de pilot (hoofdstuk 4.4).

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Inhoud

1 Inleiding ................................................................................................................. 4 2 Methodiek .............................................................................................................. 5 2.1 Gevoelige attributen ................................................................................................................. 5 2.2 Metrieken ................................................................................................................................. 6 3 Bias analyse pre-pilot ............................................................................................... 9 3.1 Data verzamelen en opschonen ................................................................................................ 9 3.1.1 Datacollectie .......................................................................................................................... 9 3.1.2 Data opschonen ....................................................................................................................10 3.2 Analyse en herweging model ................................................................................................... 11 3.2.1 Analyse .................................................................................................................................

11 3.2.2 Eerste resultaten...................................................................................................................12 3.2.3 Herweging model.................................................................................................................. 15 3.3 Resultaten................................................................................................................................16 3.3.1 Directe bias analyse...............................................................................................................16 3.3.2 Indirecte bias analyse ............................................................................................................18 3.4 Conclusie .................................................................................................................................19 4 Bias analyse pilot .................................................................................................. 20 4.1 Data verzamelen en opschonen .............................................................................................. 20 4.1.1 Datacollectie ........................................................................................................................ 20 4.1.2 Data opschonen ...................................................................................................................

20 4.2 Analyse....................................................................................................................................21 4.3 Resultaten .............................................................................................................................. 22 4.3.1 Directe bias ...........................................................................................................................23 4.3.2 Indirecte bias ....................................................................................................................... 24 4.4 Conclusie ................................................................................................................................ 26 Annex 1................................................................................................................... 28

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

1 Inleiding

Het WPI algoritme wordt ontwikkeld om de afdeling Handhaving te ondersteunen bij het inschatten van de onderzoekswaardigheid van aanvragen levensonderhoud. De ontwikkeling van het WPI algoritme is gedaan met een zesvoudig doel (Figuur 1) in gedachten. Het model wordt ingezet aan de kop van het proces, en voorsorteert of een aanvraag verder onderzocht dient te worden, of niet. Een medewerker voert hierna altijd een vooronderzoek uit om te bepalen of de aanvraag daadwerkelijk onderzoekswaardig is alvorens het naar handhaving wordt doorgezet. Dit model zal dus geen geautomatiseerde beslissingen nemen.

Figuur 1: Doelstellingen WPI algoritme

Het is voor de Gemeente Amsterdam van belang dat de algoritmes die gebruikt worden in de stad niet onbedoeld bias hebben, en aanvragers vaker onterecht selecteert op basis van bijvoorbeeld gender, leeftijd of migratieachtergrond. Dit soort gevoelige attributen worden niet gebruikt door het model, maar het is mogelijk dat andere variabelen die door het model gebruikt worden toch indirect verband houden met dit soort attributen. Dit noemen we proxy variabelen. Een van de technieken die we gebruiken om er zeker van te zijn dat dit algoritme op een eerlijke, proportionele, onbevooroordeelde en gelijkwaardige manier te werk gaat, is een bias analyse. Een bias analyse is uitgevoerd op data verzameld in twee verschillende fases: de pre-pilot fase en de pilot fase. In dit document zullen we toelichten welke methodiek we hiervoor gebruiken, en wat de uitkomsten hiervan zijn. Hierbij zal eerst de pre-pilot fase worden besproken, gevolgd door de pilot fase. Als het model eenmaal in gebruik is genomen, zal de bias analyse regelmatig herhaald worden om er zeker van te zijn dat het model vrij blijft van onwenselijke verschillen. De bias analyse is slechts een van de tools die we tot onze beschikking hebben in de ontwikkeling van eerlijke algoritmes. Voor meer informatie over fairness heeft de Gemeente Amsterdam het Fairness Handbook1 ontwikkeld.

4

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

2 Methodiek

Tijdens de bias analyse zullen we vergelijken hoe verschillende groepen scoren op een vooraf geselecteerde bias metriek. We zullen bijvoorbeeld vergelijken hoe mannen scoren versus vrouwen, en mensen met een Nederlandse versus niet Nederlandse nationaliteit. Bij de bias analyse voor de pre-pilot fase kijken we zowel naar bias in het model als bias in het huidige proces: immers niet alleen een algoritme, maar ook mensen kunnen beïnvloed worden door impliciete bias. Bij de bias analyse voor de pilot kijken we alleen naar bias in het model.

2.1 Gevoelige attributen We voeren een directe en indirecte bias analyse uit voor het WPI algoritme. De directe bias analyse is gebaseerd op data uit de BRP, deels verkregen via Socrates2 en deels direct uit de BRP. We kunnen hierdoor onderstaande gevoelige attributen door middel van een directe bias analyse analyseren.3 De groeperingen zijn gemaakt op basis van logica in de statistische verdeling van de data; business logica verkregen uit de werkgroep; en de beschikbaarheid van voldoende data binnen elke groep. Attribuut

Bevoordeelde groep

Benadeelde groep

Leeftijd

304050-

30+ 40+ 50+

Geslacht

Man

Vrouw

Geboorteland4

Nederland Westers land5

Niet-Nederland Niet-westers land5

Nationaliteit

Nederlands Westers 5

Niet-Nederlands Niet-westers 5

Voor de indirecte bias analyse onderzoeken we in hoeverre bepaalde features indirect bias zouden kunnen veroorzaken. Hierbij kijken we naar een selectie van vijf features. Deze features zijn geselecteerd op basis van 1) een verwachte link tussen de feature en een gevoelig attribuut 6; en 2) voldoende data beschikbaarheid om een betrouwbare analyse te kunnen doen.

5

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Feature

Attribuut waarvoor proxy Bevoordeelde groep Benadeelde groep

Eerder LO ontvangen

Socio-economische status Migratieachtergrond Socio-economische status Migratieachtergrond Socio-economische status Migratieachtergrond

Eerder LO aangevraagd7 Dagen sinds einde dienst

Nee

Ja

Nee

Ja

Meer dan een jaar Minder dan een jaar Meer dan 2 maanden Minder dan 2 maanden Meer dan een jaar Minder dan een jaar

Dagen sinds verhuizing Sociale klasse Socio-economische status Migratieachtergrond Aantal adressen Sociale klasse Eén adres

Meer dan één adres

Annex 1 bevat een toelichting bij alle features die niet geselecteerd zijn voor de indirecte bias analyse voor zowel de pre-pilot als de pilot.

2.2 Metrieken Om de juiste metriek te selecteren voor de bias analyse maken we gebruik van de Fairness tree (Figuur 2). We doorlopen de boom voor het WPI algoritme als volgt: • Het model moet eerlijk zijn op basis van fouten (disparate errors), vanwege ons doel om proportioneel te handhaven: omdat een handhavingsonderzoek een last is voor de burger, moet dit alleen gedaan worden wanneer het echt nodig is. • Hoewel er altijd een risico is op valsnegatieven wanneer we het hebben over handhaving, hebben we over het algemeen vertrouwen in onze labels omdat de handhavingsonderzoeken met veel zorg worden uitgevoerd en het besluit onderbouwd wordt genomen. • Onze interventies zijn ‘straffend’ (punitive), want een interventie door handhaving kan als belastend worden ervaren door de aanvrager. Zo eindigt de route linksonder. Dit betekent dat we drie mogelijke metrieken over hebben (Figuur 3).

6

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Figuur 2: Fairness tree ontwikkeld door Aequitas

De eerste metriek, false positives / group size parity, is uiterst geschikt voor deze analyse. De metriek is te interpreteren als: wat is de kans dat een willekeurig persoon die een uitkering aanvraagt ten onrechte wordt onderzocht op basis van zijn/haar gender, achtergrond of andere sensitieve attributen? De tweede metriek, false discovery rate parity, valt af voor onze analyse. De metriek is te interpreteren als: wat is de kans dat een aanvrager die door het model is geselecteerd als onderzoekswaardig, in werkelijkheid niet onderzoekswaardig is? Deze metriek is naar ons inzicht vooral gericht op hoe goed het model werkt – iets dat we al analyseren door middel van de hit-rate – en op hoe efficiënt de handhavingscapaciteit wordt ingezet. De derde metriek, false positive rate parity, kan niet door ons geanalyseerd worden. Tijdens de prepilot zullen we enkel aanvragen onderzoeken die door het model als onderzoekswaardig worden aangemerkt. We kunnen daardoor geen onderscheid maken tussen de onderste twee vakken in Figuur 3. Tijdens de pilot onderzoeken we enkel aanvragen die door handhaving zijn onderzocht. Het kan voorkomen dat aanvragen die door het model als niet onderzoekswaardig worden aangemerkt via de inkomensconsulent naar handhaving worden gestuurd.

Echter, van aanvragen die niet door handhaving zijn onderzocht kan er niet worden aangenomen dat deze niet onderzoekswaardig zijn. Hierdoor kan er ook tijdens de pilot geen onderscheid maken tussen de onderste twee vakken in Figuur 3.

7

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Tijdens de bias analyse zal gebruik gemaakt worden van de eerste metriek, false positives / group size parity.

Figuur 3: Drie mogelijke metrieken voor de bias analyse. De uitkomst van de metriek is het blauw omlijnde datapunt gedeeld door de paars omlijnde datapunten.

8

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

3 Bias analyse pre-pilot

3.1 Data verzamelen en opschonen Om een representatieve bias analyse uit te kunnen voeren, is het startpunt een representatieve, gelabelde dataset. Dit houdt in dat we een representatief datasample hebben, waarvan we weten of de aanvraag in werkelijkheid onderzoekswaardig is. De oorspronkelijke trainingsset is enkel gebaseerd op de aanvragen die in het huidige proces als onderzoekswaardig worden geclassificeerd. Deze set heeft dus geen labels voor data die in het huidige proces als niet onderzoekswaardig worden geclassificeerd (Figuur 4). In het huidige proces wordt 7% van de aanvragen geselecteerd door de Business Rules of Inkomensconsulent en doorgestuurd naar handhaving. Dit betekent dat voor 93% van de aanvragen geen label beschikbaar is.

Figuur 4: Confusion matrix met data beschikbaarheid huidig proces

3.1.1 Datacollectie Om de datakwaliteit en -kwantiteit te vergroten doen we een pre-pilot. In deze pre-pilot zullen drie handhavingsspecialisten een sample van aanvragen die in het huidige proces niet als onderzoekswaardig zijn aangemerkt, maar door het model wel als onderzoekswaardig worden aangemerkt, alsnog onderzoeken en labelen. Het gaat hierbij puur om onderzoek. Er zit hier geen rechtsgevolg of andere gevolgen aan, ook niet als de handhaver iets onderzoekswaardig vindt. Daarnaast is het onderzoek puur gebaseerd op dossieronderzoek, en vindt dus geen klantcontact plaats. Deze pre-pilot heeft betrekking op aanvragen van 26 april 2021 t/m 28 maart 2022.

9

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Van de aanvragen die het model selecteert en die nog niet eerder door handhaving onderzocht zijn is zo’n 69% reeds afgewezen door de inkomensconsulent. Omdat we vooraf verwachten dat de kans groot is dat deze aanvragen ook door de handhavingsspecialisten zullen worden afgewezen, en om de tijd van de handhavingsspecialisten zo goed mogelijk te benutten limiteren we het aantal van dit soort aanvragen die worden meegenomen in de pre-pilot. Bij de start van de pre-pilot ontvangen de handhavingsspecialisten elk een individueel template. Op dit template vinden zij een lijst met aanvragen, met voor elke aanvraag het administratienummer8 en de vijf belangrijkste features waardoor de aanvraag geselecteerd is door het model. De handhavingsspecialisten voeren dossieronderzoek uit in Sherlock, Focus, BRP en Suwinet, en boeken de aanvraag af in het template op een van de afboekcodes. Indien gewenst kunnen ze een toelichting bij hun keuze typen.

3.1.2 Data opschonen Nadat de resultaten door de handhavingsspecialisten zijn ingestuurd, worden ze samengevoegd in een Excel document. Aanvragen waarbij een administratienummer twee aanvraagnummers heeft worden verwijderd, omdat niet te achterhalen is naar welke aanvraag de handhavingsspecialisten hebben gekeken (m.u.v. één aanvraag na waar dit wel bekend was). Ook aanvragen waarbij de handhavingsspecialist geen score heeft toegekend en aanvragen gedaan door een Amsterdammer behorende tot een Bijzondere Doelgroep worden verwijderd. Van de 328 aanvragen die op de oorspronkelijke templates stonden zijn hierna nog 279 aanvragen over. Via het document 20220517 Aanvragen om te onderzoeken in prepilot hebben we de aanvraagnummers gematcht op naam handhavingsspecialist en administratienummer. Voor administratienummers die niet in deze lijst voorkomen omdat de risicoscore in het model onder de 0.63 zakte na aanpassing van het model was geen match. Voor deze aanvragen is het aanvraagnummer gematcht op administratienummer in de lijst 20220509 Aanvragen om te onderzoeken in prepilot. De labels bij de aanvragen worden versimpeld. De dertien afboekcodes worden teruggebracht naar twee opties: onderzoekswaardig en niet onderzoekswaardig. De gebruikte mapping tijdens de pre-pilot is weergegeven in Tabel 1. Afboekcode

Onderzoekswaardigheid

Afwijzing: middelen

Onderzoekswaardig

Afwijzing: voorliggende voorziening

Onderzoekswaardig

Afwijzing: voorliggende voorziening Zelfstandigen Onderzoekswaardig Afwijzing: woon/leefsituatie

Onderzoekswaardig

Geen wijziging

Niet onderzoekswaardig9

Geen wijziging: Rechtvaardigheid

Niet onderzoekswaardig10

Niet onderzoekswaardig

N/A

Onjuiste opvoer

N/A

10

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Wijziging: middelen

Onderzoekswaardig

Wijziging: middelen (Rechtvaardigheid)

N/A

Wijziging: woon/leefsituatie

Onderzoekswaardig

Wijziging: woon/leefsituatie (Rechtvaardigheid)

Onderzoekswaardig

Aanvullend onderzoek vereist namelijk:

Onderzoekswaardig11

Tabel 1: Onderzoekswaardigheid mapping afboekcodes. De N/A codes zijn codes die beschikbaar waren voor de deelnemende handhavingsspecialisten, maar waarvan zij geen gebruik gemaakt hebben.

3.2 Analyse en herweging model In dit hoofdstuk beschrijven we de wijze waarop de verzamelde data tijdens de pre-pilot geanalyseerd is; de eerste resultaten van de bias analyse; en de vervolgstappen die zijn genomen op basis van deze eerste resultaten.

3.2.1 Analyse De dataset die we gebruiken voor het analyseren van bias in het model bestaat uit de volgende groepen: 1. Aanvragen die door zowel het model als het huidige proces als onderzoekswaardig worden gelabeld. Omdat deze aanvragen al in het huidige proces door een handhavingsspecialist beoordeeld worden, zijn deze vragen niet meegenomen in de prepilot. De labels (onderzoekswaardig / niet onderzoekswaardig) zijn beschikbaar vanuit het huidige proces. 2. Aanvragen die wel door het model zijn geselecteerd, maar niet in het huidige proces. Deze aanvragen splitsen we op in twee subgroepen: a. Aanvragen die in het huidige proces door de Inkomensconsulent zijn afgewezen; b. Aanvragen die in het huidige proces door de Inkomensconsulent zijn toegewezen. 3. Aanvragen die wel zijn onderzocht in het huidige proces, maar niet door het model zijn geselecteerd. De labels (onderzoekswaardig / niet onderzoekswaardig) zijn beschikbaar vanuit het huidige proces. De metrieken voor het model worden berekend op groepen 1 en 2, de metrieken voor het huidige proces op groepen 1 en 3. Zoals beschreven in sectie 3.1 hebben de handhavingsspecialisten geen representatief sample ontvangen van de aanvragen die door het model als onderzoekswaardig geselecteerd zijn, omdat we meer geïnteresseerd zijn in aanvragen die nog niet zijn afgewezen.

Daardoor is enig handmatig werk vereist zodat de uitkomsten van de bias analyse representatief is. Het is nodig om de resultaten van de prepilot (groep 2 hierboven) zo te wegen dat een representatieve verhouding ontstaat tussen aanvragen die door de inkomensconsulent worden toegekend en afgewezen. Dit gebeurt in twee stappen:

11

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

1. Per gevoelig attribuut en voor iedere combinatie van toegewezen/afgewezen en bevoordeeld/benadeeld rekenen we een multiplier uit tussen het aantal aanvragen met die combinatie in de gehele dataset en het aantal aanvragen met die combinatie in de prepilot. Per gevoelig attribuut krijgen we dus vier multipliers. 2. Het aantal valspositieven wat in de pre-pilot is gevonden voor ieder gevoelig attribuut en combinatie van toegewezen/afgewezen en bevoordeeld/benadeeld schalen we met behulp van de berekende multipliers. Hiervoor wordt het aantal valspositieven voor die combinatie vermenigvuldigd met de betreffende multiplier. Hieruit volgt het aantal valspositieven per afgewezen/toegewezen en bevoordeelde/benadeelde groep, als het sample voor de pre-pilot representatief zou zijn geweest voor de echte verhoudingen tussen afgewezen en toegewezen aanvragen. Door dit te combineren met de rest van de cijfers, kunnen de metrieken worden berekend: 1. Voor zowel het model als het proces en zowel de bevoordeelde als de benadeelde groepen tellen we de opgeschaalde aantallen valspositieven bij elkaar op. Voor het model zijn dit de geschaalde aantallen zoals hierboven beschreven, plus de aantallen onder de aanvragen die zowel door model als proces zijn geselecteerd (groep 1).

Voor het huidige proces zijn dit de aantallen onder de aanvragen die alleen in het proces zijn onderzocht (groep 3), plus de aantallen onder de aanvragen die zowel door model als proces zijn geselecteerd (groep 1). 2. Met de totale aantallen valspositieven, geschaald waar nodig, kan uiteindelijk de false positives / group size uitgerekend worden. Hiervoor wordt het aantal valspositieven voor de bevoordeelde en benadeelde groep gedeeld door het totale aantal aanvragen in de betreffende groep. 3. Tot slot vergelijken we de bevoordeelde en benadeelde groep met elkaar door de metrieken van beide groepen van elkaar af te trekken om de zogenoemde difference te verkrijgen, of door elkaar te delen voor de ratio.

3.2.2 Eerste resultaten Op basis van bovenstaande analyse komen we tot de resultaten afgebeeld in Figuur 5. In deze bias analyse kijken we naar het verschil in de kans dat een persoon van de ene of de andere groep ten onrechte door het model geselecteerd wordt. Het is hierbij belangrijk om op te merken dat het verschil niet direct gelijk staat aan een bias. Als je twee groepen vergelijkt, is er vrijwel altijd een klein verschil door toeval. We hebben dit besproken met een groep specialisten die bij het ontwikkelen van het Fairness Handbook betrokken waren, van onder andere het Civic AI lab, Utrecht Data School en Eindhoven University of Technology. Tijdens deze gesprekken en naar aanleiding van aanvullend onderzoek hebben we geconcludeerd dat er op dit moment geen algemeen geaccepteerde manier is om te bepalen bij welk percentage sprake is van bias. Het vakgebied van bias is jong, en literatuur is beperkt. We kijken daarom samen met de business naar deze resultaten, en bepalen samen wanneer er volgens onze interpretatie sprake is van bias. Allereerst kijken we naar leeftijd. In het huidige proces is de kans dat een aanvrager van 40+ jaar ten onrechte door handhaving wordt onderzocht 30% groter dan van iemand die jonger dan 40 jaar is. Het model daarentegen selecteert 2% vaker ten onrechte iemand van jonger dan 40 jaar

12

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

dan iemand van ouder 40 jaar. Hierbij zorgt het model dus dat het verschil tussen de groepen afneemt, en het selectieproces dus gelijkwaardiger wordt. Bij de 50+ / 50- groep zien we een soortgelijk resultaat: hoewel zowel in het huidige proces als bij gebruik van het model de kans iets groter is dat iemand van meer dan 50 jaar oud ten onrechte geselecteerd wordt, neemt die kans af van 19% naar 6% bij gebruik van het model. Op leeftijd stellen wij vast dat er in het model geen bias zit. De kans dat een vrouw in het huidige proces ten onrechte geselecteerd wordt is 11% groter dan bij een man. Met het model is de kans dat een man ten onrechte geselecteerd wordt juist 14% groter. Hoewel het verschil in het model iets groter is dan in het huidige proces is het nog altijd dusdanig laag dat we geen bias vaststellen. Bij geboorteland en nationaliteit verandert dit echter. Hierbij zien we dat het model over het algemeen een stuk vaker mensen die niet in Nederland geboren zijn, of niet de Nederlandse nationaliteit hebben ten onrechte selecteert. Als we een westers en niet-westers geboorteland en een westerse of niet-westerse nationaliteit met elkaar vergelijken is dit verschil nog groter. Gezien de grootte van dit verschil en het feit dat het model hier significant slechter presteert dan het huidige proces, stellen we hier een bias vast.

In 4.3 lichten we toe op welke manier we het model aanpassen om deze bias drastisch te verminderen.

13

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Figuur 5: Eerste resultaten directe bias analyse pre-pilot. Een positief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) x% meer kans heeft om onterecht onderzocht te worden; een negatief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) x% minder kans heeft om onterecht onderzocht te worden. Dit is berekend op basis van de ratio's.

Naast directe bias bekijken we ook mogelijke indirecte bias in model. De eerste resultaten hiervan zijn weergegeven in Figuur 6. Bij de indirecte bias is de tolerantie voor een verschil wat hoger. We kijken hierbij immers naar de features waaruit het model bestaat. Het model bestaat uit vijftien features, die allen een hoge voorspellende waarde hebben. Als een feature een hoge voorspellende waarde heeft, worden aanvragen dus op basis van deze features geselecteerd. Het is dan ook logisch dat deze aanvragen die voldoen aan deze features ook vaker ten onrechte geselecteerd worden. Ook is voor bias op leeftijd, geboorteland/nationaliteit en gender al rechtstreeks gecontroleerd in de directe bias analyse. We weten daardoor dat een eventueel verschil in de indirecte bias analyse niet veroorzaakt wordt door een van deze attributen. We zien dat in de eerste vier features in het figuur (Eerder LO ontvangen; Eerder LO aangevraagd; Dagen sinds einde dienst) het verschil bij gebruik van het model kleiner is dan in het huidige proces. Daarnaast is het verschil bij deze features relatief laag, en zien we hier dus geen bias.

14

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Dagen sinds verhuizing en aantal adressen hebben beide een zeer hoge voorspellende waarde. We weten uit gesprekken met de handhavingsspecialisten dat recente verhuizingen en het ingeschreven staan op meerdere adressen ook in het huidige proces een zeer duidelijk signaal voor mogelijke onrechtmatigheid is. Het is dan ook niet verrassend dat het verschil hier relatief groot is. Wel zien we dat het model hier beter presteert dan het huidige proces. Ook hier wordt geen bias gevonden.

Figuur 6: Eerste resultaten indirecte bias analyse pre-pilot. Een positief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) xx% meer kans heeft om onterecht onderzocht te worden; een negatief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) xx% minder kans heeft om onterecht onderzocht te worden. Dit is berekend op basis van de ratio's.

3.2.3 Herweging model Om de aangetroffen bias op basis van geboorteland en nationaliteit te corrigeren gebruiken we de herwegingsmethode. Bij de herwegingsmethode10 geef je gewichten aan je trainingsdata om te corrigeren voor scheve verhoudingen in de dataset en de daaruit voortvloeiende ongewenste effecten in de resultaten.

15

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

In dit model is de voornaamste bias die tegen aanvragers met een niet-westerse nationaliteit. We passen daarom de trainingsdata aan om aanvragers met een niet-westerse nationaliteit wiens aanvraag onrechtmatig is een relatief lager gewicht te geven, en aanvragers met een niet-westers nationaliteit wiens aanvraag rechtmatig is relatief een hoger gewicht te geven. Ook geven we aanvragers met een westerse nationaliteit wiens aanvraag rechtmatig is een relatief lager gewicht, en aanvragers met een westerse nationaliteit wiens aanvraag onrechtmatig is een relatief hoger gewicht. De exacte gewichten worden op wiskundige wijze bepaald12. Met de nieuwe gewichten wordt het model opnieuw getraind en vervolgens wordt de bias analyse opnieuw uitgevoerd. Dit doen we enerzijds om te controleren of de interventie om bias te verminderen succesvol is geweest, en anderzijds om te kijken of niet onbedoeld andere bias in het model is geïntroduceerd door de herweging van het model. De eindresultaten van de bias analyse staan beschreven in Hoofdstuk 3.3. Na herweging op basis van westerse versus niet-westerse nationaliteit is ook het verschil in Nederlandse versus niet-Nederlandse nationaliteit en in geboorteland sterk afgenomen. Dit is niet verrassend, aangezien al deze attributen sterk samenhangen met het attribuut waarop herwogen is. Er is geen bias op andere attributen ontstaan.

Ook zien we dat het model nog steeds even goed in staat is om onderzoekswaardige aanvragen te herkennen na deze herweging – de effectiviteit van het model lijdt dus niet onder deze herweging.

3.3 Resultaten In dit hoofdstuk worden de eindresultaten van de bias analyse beschreven. Om ervoor te zorgen dat dit hoofdstuk zelfstandig gelezen kan worden zit er wat herhaling in van eerdere hoofdstukken (met name hoofdstuk 3.2). In deze bias analyse kijken we naar het verschil in de kans dat een persoon van de ene of de andere groep ten onrechte door het model geselecteerd wordt. Het is hierbij belangrijk om op te merken dat het verschil niet direct gelijk staat aan een bias. Als je twee groepen vergelijkt, is er vrijwel altijd een klein verschil door toeval. We hebben dit besproken met een groep specialisten die bij het ontwikkelen van het Fairness Handbook betrokken waren, van onder andere het Civic AI lab, Utrecht Data School en Eindhoven University of Technology. Tijdens deze gesprekken en naar aanleiding van aanvullend onderzoek hebben we geconcludeerd dat er op dit moment geen algemeen geaccepteerde manier is om te bepalen bij welk percentage sprake is van bias. Het vakgebied van bias is jong, en literatuur is beperkt. We kijken daarom samen met de business naar deze resultaten, en bepalen samen wanneer er volgens onze interpretatie sprake is van bias.

3.3.1 Directe bias analyse Figuur 7 geeft het eindresultaat van de directe bias analyse weer. We kijken eerst naar eventuele bias op basis van leeftijd. In het huidige proces is de kans dat een aanvrager van 40+ jaar ten onrechte door handhaving wordt onderzocht 30% groter dan van iemand die jonger dan 40 jaar is. In het model daalt dit verschil naar 7%. Hierbij zorgt het model dus dat het verschil tussen de groepen afneemt, en het selectieproces gelijkwaardiger wordt.

16

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Daarnaast is het in het huidige proces de kans dat iemand van 50+ jaar oud ten onrechte geselecteerd wordt 19% groter dan voor een aanvrager van jonger dan 50. In het model daarentegen is de kans dat iemand van jonger dan 50 jaar ten onrechte geselecteerd is 9% groter. Op verzoek van de business controleren we achteraf ook of de groep jonger dan 30 jaar bias ervaart, en dit blijkt niet het geval te zijn. Op leeftijd stellen wij vast dat er in het model geen bias zit. De kans dat een vrouw in het huidige proces ten onrechte geselecteerd wordt is 11% groter dan bij een man. Met het model is de kans dat een man ten onrechte geselecteerd wordt juist 14% groter. Hoewel het verschil in het model iets groter is dan in het huidige proces is het nog altijd dusdanig laag dat we geen bias vaststellen. Ook op geboorteland en nationaliteit is het verschil nooit groter dan 11%. Daarnaast daalt in de meeste gevallen het verschil in het model ten opzichte van het huidige proces. Ook op nationaliteit en geboorteland stellen we geen bias vast.

Figuur 7: Eindresultaat directe bias analyse pre-pilot. Een positief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) xx% meer kans heeft om onterecht onderzocht te worden; een negatief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) xx% minder kans heeft om onterecht onderzocht te worden. Dit is berekend op basis van de ratio's.

17

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

3.3.2 Indirecte bias analyse Naast directe bias bekijken we ook mogelijke indirecte bias in model. De resultaten hiervan zijn weergegeven in Figuur 8. Bij de indirecte bias analyse is de tolerantie voor een verschil wat hoger. We kijken hierbij immers naar de features waaruit het model bestaat. Het model bestaat uit vijftien features, die allen een hoge voorspellende waarde hebben. Als een feature een hoge voorspellende waarde heeft, worden aanvragen met deze features vaker geselecteerd. Het is dan ook logisch dat deze aanvragen die voldoen aan deze features ook vaker ten onrechte geselecteerd worden. Ook is voor bias op leeftijd, geboorteland/nationaliteit en gender al rechtstreeks gecontroleerd in de directe bias analyse. We weten daardoor dat een eventueel verschil in de indirecte bias analyse niet veroorzaakt wordt door een van deze attributen.

Figuur 8: Eindresultaat indirecte bias analyse pre-pilot. Een positief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) xx% meer kans heeft om onterecht onderzocht te worden; een negatief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) xx% minder kans heeft om onterecht onderzocht te worden. Dit is berekend op basis van de ratio's.

18

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

De eerste twee features, eerder levensonderhoud (LO) ontvangen; en eerder levensonderhoud (LO) aangevraagd, hebben een relatief laag verschil. Aanvragers die eerder LO hebben ontvangen of aangevraagd hebben respectievelijk een 37% en 40% hogere kans om door het model ten onrechte geselecteerd te worden. In het huidige proces is dit 116% en 30% respectievelijk. Omdat de tolerantie voor verschil in de indirecte bias analyse wat hoger is, stellen we hier geen bias vast. Als een aanvrager een dienst bij de gemeente minder dan twee maanden geleden beëindigd heeft, is de kans dat hij of zij door het model ten onrechte geselecteerd wordt 205% groter. Dit is niet verrassend, want een recente beëindigde dienst is een belangrijk signaal voor mogelijke onrechtmatigheid. In het huidige proces is deze kans 152% groter. Als we echter verder uitzoomen en kijken hoe dit verloopt een jaar nadat de laatste dienst is beëindigd, dan zien we dat dit verschil in het huidige proces zakt naar 115%, en in het model naar 36%. Het is dus niet zo dat aanvragers die in het verleden een dienst hebben afgenomen bij de gemeente hier lange tijd later nog nadelen van ondervinden bij het aanvragen van levensonderhoud. Er wordt dan ook geen bias vastgesteld. Tot slot kijken we naar dagen sinds verhuizing en aantal adressen. Deze features hebben beiden een zeer hoge voorspellende waarde.

We weten uit gesprekken met de handhavingsspecialisten dat recente verhuizingen en het ingeschreven staan op meerdere adressen ook in het huidige proces een zeer duidelijk signaal voor mogelijke onrechtmatigheid is. Het is dan ook niet verrassend dat het verschil hier relatief groot is. Daarnaast weten we dankzij de directe bias analyse dat dit verschil in ieder geval niet veroorzaakt wordt door het wel/niet hebben van een migratieachtergrond. Wel zien we dat het model hier minder scherp presteert dan het huidige proces. Echter omdat het hier gaat over de indirecte bias analyse op features met een hoge voorspellende waarde, beschouwen we dit niet als een bias.

3.4 Conclusie Na herweging van het model is in overleg met de business geen bias aangetroffen in zowel de directe als indirecte bias analyse. Het is echter van belang om op bias te blijven controleren indien het model geïmplementeerd wordt. Meer informatie over op welke momenten de bias analyse herhaald zal worden in het beheerproces is te vinden in het beheerplan.

19

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

4 Bias analyse pilot

4.1 Data verzamelen en opschonen In dit hoofdstuk beschrijven we de wijze waarop de data is verzameld en opgeschoond om de bias analyse voor de pilot fase uit te kunnen voeren. Om ervoor te zorgen dat dit hoofdstuk zelfstandig gelezen kan worden zit er wat herhaling in van eerdere hoofdstukken (met name Hoofdstuk 3). Om een representatieve bias analyse uit te kunnen voeren, is het startpunt een representatieve, gelabelde dataset. Dit houdt in dat we een representatief datasample hebben, waarvan we weten of de aanvraag in werkelijkheid onderzoekswaardig is.

4.1.1 Datacollectie De pilot data voor de bias analyse heeft betrekking op aanvragen van 1 juni t/m 31 augustus 2023. Tijdens deze periode zijn alle aanvragen door het model aangemerkt als onderzoekswaardig of niet onderzoekwaardig aan de hand van een risicoscore. Aanvragen die door het model als onderzoekwaardig worden aangemerkt gaan naar de medewerker vooronderzoek. De medewerker krijgt de uitkomst van het model te zien, inclusief de drie belangrijkste datapunten die hebben geleid tot deze uitkomst. Hierbij wordt aangegeven dat de uitkomst een richting geeft voor het onderzoek, maar geen absolute waarheid is. De medewerker vooronderzoek bepaalt aan de hand van een checklist of de aanvraag naar handhaving gaat, waarna de handhaving specialist de aanvraag (indien van toepassing) onderzoekt. Aanvragen die het label niet onderzoekwaardig krijgen gaan direct naar de inkomensconsulent. De inkomensconsulent kan besluiten de aanvraag door te sturen naar handhaving. De aanvragen die worden onderzocht door handhaving krijgen een afboekcode waaruit we kunnen afleiden of een aanvraag onderzoekswaardig was of niet. Deze aanvragen worden gebruikt voor de bias analyse. Anders dan bij de pre-pilot zijn tijdens de pilot fase de aanvragen niet meer volgens het huidige proces (zoals beschreven in de pre-pilot analyse) behandeld.

Hierdoor zal er geen vergelijking gemaakt kunnen worden gemaakt tussen eventuele bias in het huidige proces en het model over de pilot fase.

4.1.2 Data opschonen Nadat de pilot fase is afgerond zijn alle aanvragen verzameld, samengevoegd en voorbereid in een Excel document door de business analist van Team Advanced Analytics, zoals beschreven in Hoofdstuk 5 van Eindevaluatie Pilot Slimme Check.

20

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Van de 1582 aanvragen die in de pilot data voorkomen, zijn er 23 verwijderd omdat deze aanvragen geen adres in Amsterdam hebben. Over deze 23 aanvragen wordt geen score berekend en worden dus niet meegenomen in de pilot. Daarnaast zijn de attributen die zijn geselecteerd voor de bias analyse voorbereid zodat de verschillende groepen in deze attributen onderzocht kunnen worden. Zo is bijvoorbeeld op basis van 'Leeftijd', een splitsing gemaakt op leeftijd 30, 40 en 50. Van de overgebleven 1559 aanvragen zijn er in totaal 272 onderzocht en gelabeld door handhaving. In het onderzoeksproces zijn afboekcodes beschikbaar voor de handhaving specialisten. De labels bij de aanvragen zijn versimpeld door deze afboekcodes terug te brengen naar twee opties: onderzoekswaardig en niet onderzoekswaardig. De gebruikte mapping is weergegeven in Tabel 2. Deze mapping is bepaald op basis van Tabel 1: Onderzoekswaardigheid mapping afboekcodes in de pre-pilot en in overleg met een ervaren handhaver. Tijdens de pilot blijkt dat er onzekerheid bestaat over onderzoekswaardigheid-labels die worden gebruikt voor de bias analyse. Er is gebleken dat de gebruikte afboekcodes op meerdere manieren te interpreteren zijn. Hierdoor kunnen we niet met zekerheid zeggen dat de labels die gebruikt zijn voor de bias analyse correct zijn. Dit wordt verder toegelicht in de conclusie. Afboekcode

Onderzoekswaardigheid

Afwijzing: middelen

Onderzoekswaardig

Afwijzing: voorliggende voorziening

Onderzoekswaardig

Afwijzing: woon/leefsituatie

Onderzoekswaardig

Afwijzing: geen medewerking

Onderzoekswaardig

Geen wijziging

Niet onderzoekswaardig13

Geen wijziging: Rechtvaardigheid

Onderzoekswaardig

Niet onderzoekswaardig

Niet onderzoekswaardig

Wijziging: middelen

Onderzoekswaardig

Wijziging: woon/leefsituatie

Onderzoekswaardig

Tabel 2: Onderzoekswaardigheid mapping afboekcodes.

4.2 Analyse In dit hoofdstuk wordt de wijze beschreven waarop de verzamelde data uit de pilot fase geanalyseerd is en worden de resultaten van de bias analyse besproken. Om ervoor te zorgen dat dit hoofdstuk zelfstandig gelezen kan worden zit er wat herhaling in van eerdere hoofdstukken (met name hoofdstuk 3). De dataset die we gebruiken in de pilot fase bestaat uit de volgende groepen: 1. Aanvragen die door het model als niet onderzoekswaardig worden gelabeld en door de inkomensconsultent worden afgewezen of toegewezen. Deze groep aanvragen is niet door handhaving onderzocht en hiervan kan dus niet worden bepaald of de aanvraag in

21

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

werkelijkheid niet onderzoekswaardig is geweest. Deze aanvragen worden niet meegenomen in de bias analyse. 2. Aanvragen die door het model als niet-onderzoekwaardig worden gelabeld, maar daarna door de inkomensconsulent naar handhaving zijn gestuurd voor onderzoek. Handhaving wijst na onderzoek ook een beoordeling toe aan de aanvraag. Dit kan worden opgedeeld in twee subgroepen: a. Aanvragen die door handhaving zijn beoordeeld als onderzoekswaardig b. Aanvragen die door handhaving zijn beoordeeld als niet onderzoekswaardig 3. Aanvragen die door het model als onderzoekswaardig worden gelabeld en daarna door de medewerker vooronderzoek als niet onderzoekswaardig. Deze aanvragen gaan direct naar de inkomensconsulent. Deze kunnen opgedeeld worden in 3 subgroepen: a. Aanvragen die door de inkomensconsulent worden toegewezen b. Aanvragen die door de inkomensconsulent worden afgewezen c. Aanvragen die door de inkomensconsulent toch naar handhaving worden gestuurd voor verder onderzoek. Handhaving beoordeeld de aanvraag net als in groep 2. 4. Aanvragen die door het model als onderzoekswaardig worden gelabeld en daarna door de medewerker vooronderzoek ook als onderzoekswaardig. Deze aanvragen worden verder onderzocht door handhaving en beoordeeld de aanvraag net als in groep 2. De metrieken voor het model worden berekend op groepen 2, 3 en 4. 1.

Voor de bevoordeelde als de benadeelde groepen tellen we de aantallen valspositieven bij elkaar op uit groep 3 en 4. Dit zijn de aantallen die door het model als onderzoekwaardig worden gelabeld maar door handhaving niet als onderzoekwaardig worden beoordeeld. De groepen zoals hierboven beschrijven de verschillende manieren waarop een aanvraag bij handhaving terecht kan komen. 2. Met de totale aantallen valspositieven, kan uiteindelijk de false positives / group size uitgerekend worden. Hiervoor wordt het aantal valspositieven voor de bevoordeelde en benadeelde groep gedeeld door het totale aantal aanvragen in de betreffende groep. 3. Tot slot vergelijken we de bevoordeelde en benadeelde groep met elkaar door de metrieken van beide groepen van elkaar af te trekken om de zogenoemde difference te verkrijgen, of door elkaar te delen voor de ratio.

4.3 Resultaten In dit hoofdstuk worden de eindresultaten van de bias analyse voor de pilot fase beschreven. In deze bias analyse kijken we naar het verschil in de kans dat een persoon van de ene of de andere groep ten onrechte door het model geselecteerd wordt. Het is hierbij belangrijk om op te merken dat het verschil niet direct gelijk staat aan een bias. Als je twee groepen vergelijkt, is er vrijwel altijd een klein verschil door toeval. Tijdens de pre-pilot is dit besproken met een groep specialisten die bij het ontwikkelen van het Fairness Handbook betrokken waren, van onder andere het Civic AI lab, Utrecht Data School en Eindhoven University of Technology.

22

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

4.3.1 Directe bias In de tabel hieronder wordt de verdeling van groepen voor de directe bias analyse weergegeven. Attribuut Leeftijd: <30 vs 30+ Leeftijd: <40 vs 40+ Leeftijd: <50 vs 50+ Man vs vrouw Nationaliteit: NL vs niet-nl Nationaliteit: Westers vs niet-westers

Aantal aanvragen bevoordeelde groep 36 152 208 144 212 246

Aantal aanvragen benadeelde groep 236 120 64 128 59 25

Op basis van de analyse beschreven in Hoofdstuk 4.2 komen we tot de resultaten voor de directe bias analyse afgebeeld in Figuur 10. Allereerst kijken we naar leeftijd. De kans dat een aanvrager van 30+ jaar ten onrechte wordt geselecteerd als onderzoekswaardig door het model is 29% minder groot dan iemand die jonger dan 3o jaar is. Bij de 40+ / 40- groep zien we een soortgelijk resultaat maar is de kans voor iemand van 40 jaar of ouder 15 % minder groot dan iemand die jonger dan 40 jaar is. Voor de 50-/50+ groep laten de resultaten zien dat het iemand van 50 jaar of ouder 6% meer kans heeft om onterecht geselecteerd te worden als onderzoekswaardig dan iemand van jonger dan 50 jaar. Vervolgens kijken we naar eventuele bias op basis van geslacht. De kans dat een vrouw door het model ten onrechte geselecteerd wordt als onderzoekswaardig is 22% groter dan bij een man. Bij nationaliteit zien we dat de kans dat aanvragers met een niet Nederlandse en niet westerse nationaliteit minder kans (33% en 38% respectievelijk) hebben om ten onrechte geselecteerd te worden dan aanvragers met een Nederlands en westerse nationaliteit.

23

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Figuur 10: Resultaten directe bias analyse pilot. Een positief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) x% meer kans heeft om onterecht onderzocht te worden; een negatief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) x% minder kans heeft om onterecht onderzocht te worden. Dit is berekend op basis van de ratio's.

4.3.2 Indirecte bias In de tabel hieronder wordt de verdeling van groepen voor de indirecte bias analyse weergegeven. Attribuut

Aantal aanvragen bevoordeelde groep 203

Aantal aanvragen benadeelde groep 69

Dagen sinds einde dienst >1 jaar vs <1 jaar

202

70

Dagen sinds einde dienst >2 maanden vs <2 maanden

242

30

Dagen sinds verhuizing >1 jaar vs <1 jaar

175

97

Eerder LO ontvangen Nee vs Ja

24

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Aantal adressen 1 vs 2+

Versie 1.0 14 december 2023

Bias analyse

248

24

De resultaten van de indirecte bias analyse zijn weergegeven in Figuur 11. Zoals beschreven in de resultaten van de pre-pilot, is de tolerantie voor een verschil bij de indirecte bias wat hoger. We kijken hierbij immers naar de features waaruit het model bestaat. Het model bestaat uit vijftien features, die allen een hoge voorspellende waarde hebben. Als een feature een hoge voorspellende waarde heeft, worden aanvragen dus op basis van deze features geselecteerd. Het is dan ook logisch dat deze aanvragen die voldoen aan deze features ook vaker ten onrechte geselecteerd worden. Ook is voor bias op leeftijd, nationaliteit en gender al rechtstreeks gecontroleerd in de directe bias analyse. De eerste twee features, eerder levensonderhoud (LO) ontvangen en dagen sinds einde dienst, tonen een negatief percentage. Aanvragers die eerder LO hebben ontvangen hebben 64% minder kans om door het model ten onrechte geselecteerd te worden dan iemand die nog niet eerde LO heeft ontvangen. Als een aanvrager een dienst bij de gemeente minder dan een jaar geleden beëindigd heeft, is de kans dat hij of zij door het model ten onrechte geselecteerd wordt 65% minder groot.

Als we verder inzoomen en kijken hoe dit verloopt 2 maanden nadat de laatste dienst is beëindigd, dan zien we dat een aanvrager die een dienst bij de gemeente minder dan 2 maanden geleden beëindigd heeft, 41% minder kans heeft door het model ten onrechte te worden geselecteerd. Vervolgens kijken we naar dagen sinds verhuizing. Een aanvrager die minder dan een jaar geleden verhuisd is (recente verhuizing) heeft 16% meer kans om onterecht geselecteerd te worden als onderzoekswaardig door het model. Tot slot kijken we naar de resultaten voor het aantal adressen. De groep met meer dan één adres heeft niet meer of minder kans om ten onrechte geselecteerd te worden door het model.

25

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Figuur 11: Resultaten indirecte bias analyse pilot. Een positief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) xx% meer kans heeft om onterecht onderzocht te worden; een negatief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) xx% minder kans heeft om onterecht onderzocht te worden. Dit is berekend op basis van de ratio's.

4.4 Conclusie De uitkomsten van de bias analyse zijn onderdeel van de eindevaluatie Slimme Check (M17 van het meetplan). Deze eindevaluatie heeft betrekking op de pilot fase. Voorafgaand aan de pilot zijn er doelen gesteld waarop we de pilot evalueren. Eén van deze doelen is; Proportioneel, onbevooroordeeld en gelijk. Het succescriterium dat hierbij is geformuleerd is: De bias analyse laat zien dat er ook bij actief gebruik van het model geen sprake is van bias in het risicomodel. Na uitgebreide analyse wordt er geconcludeerd dat dit succescriteria niet wordt behaald. Op basis van de data die beschikbaar is voor de bias analyse, kan er niet worden bepaald of er wel of geen sprake is van bias in het risicomodel. De resultaten die worden weergegeven in hoofdstuk 4.3 kunnen, zoals beschreven in het Fairness Handbook, worden geïnterpreteerd en samen met de business worden bepaald welke uitkomst als geaccepteerde bias kan worden beschouwd en wat als problematische bias. Echter, de onzekerheden rondom de data zorgen ervoor dat de resultaten

26

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

van de bias analyse niet betrouwbaar zijn. Om deze reden zal er geen uitspraak worden gedaan over of er wel of geen bias in het risicomodel zit. Allereerst bestaat er onzekerheid over de onderzoekswaardigheid-labels die worden gebruikt om de afboekcodes van handhaving te mappen (zie Tabel 2: Onderzoekswaardigheid mapping afboekcodes). Er is gebleken dat de gebruikte afboekcodes op meerdere manieren te interpreteren zijn. Hierdoor kunnen we niet met zekerheid zeggen dat de labels die zijn gebruikt voor de bias analyse correct zijn. Ten tweede zijn een aantal van de onderzochte groepen klein, wat betekent dat er weinig aanvragen zijn die behoren bij de desbetreffende groep. Dit maakt de uitkomsten van de bias analyse gevoelig voor een verandering in het aantal valspositieven in de kleine groep. Voor een betrouwbare analyse moeten de groepen die met elkaar vergeleken worden voldoende groot zijn, anders worden er mogelijk conclusies getrokken op basis van te weinig, toevallige data. Het is daarom moeilijk vast te stellen of er bias zit in het model. Het is van belang om op bias te blijven controleren indien het model wordt doorontwikkeld. Voor het vervolg is het van belang dat vooraf in de succescriteria wordt bepaald welke uitkomst van de bias analyse als geaccepteerde bias kan worden beschouwd en wat als problematische bias.

In deze bias analyse kijken we naar het verschil in de kans dat een persoon van de ene of de andere groep ten onrechte door het model geselecteerd wordt. Als je twee groepen vergelijkt, is er vrijwel altijd een klein verschil door toeval, hierdoor kan bias nooit helemaal worden uitgesloten. Daarnaast is het voor de bias analyse belangrijk dat het model vergelijkt kan worden met het huidige proces, zoals dit is gedaan tijdens de pre-pilot. Voor de bias analyse over de pilot fase is dit niet mogelijk omdat gedurende deze periode alle binnenkomende aanvragen alleen door het proces met het model zijn beoordeeld en niet door het proces waar het model niet wordt gebruikt. Om aan te kunnen tonen of het model meer of minder bias toont is het nodig om deze vergelijking te kunnen maken.

27

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Annex 1

Lijst westerse landen Argentinië

Duitsland

Indonesië

Slowakije

Italië

Nederlandse Antillen Nieuw-Zeeland

Australië

Estland

België

Finland

Japan

Noorwegen

Tsjechië

Bondsrepubliek Duitsland Bulgarije

Frankrijk

Kroatië

Oostenrijk

Tsjecho-Slowakije

Griekenland

Letland

Polen

USA

Canada

Groot-Brittannië

Litouwen

Portugal

Zweden

Canarische Eilanden Cyprus Denemarken

Hongarije

Luxemburg

Roemenië

Zwitserland

IJsland

Nederland

Slovenië

ItaliaansSomaliland Ivoorkust

Mozambique

Somalië

Myanmar

Sovjet-Unie

Jamaica

Namibië

Sri Lanka

Spanje

Lijst niet-westerse landen Afghanistan

Djibouti

Albanië Algerije

Dominicaanse Republiek Ecuador

Angola

Egypte

Jemen

Nieuw-Guinea

Suriname

Armenië

El Salvador

Joegoslavië

Nepal

Syrië

Aruba

Jordanië

Nicaragua

Taiwan

Azerbeidzjan

EquatoriaalGuinea Eritrea

Kaapverdië

Niger

Tanzania

Bangladesh

Ethiopië

Kameroen

Nigeria

Thailand

Belarus

Filipijnen

Kazachstan

Noord-Jemen

Tibet

Bhutan

Frans West-Afrika Kenya

Noord-Korea

Togo

28

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Bolivia

Frans-Guyana

Kirgizië

Oekraïne

BosniëHerzegovina Brazilië

Gambia

Koeweit

Oman

Trinidad en Tobago Tunesië

Georgië

Korea

Opper-Volta

Turkije

Brits-Guyana

Ghana

Libanon

Pakistan

Uganda

Burkina Faso

Goudkust

Liberia

Panama

Uruguay

Burma

Guadeloupe

Libië

Peru

Venezuela

Burundi

Guatemala

Macedonië

Puerto Rico

Ceylon

Guinee

Malakka

Qatar

Chili

Guinee-Bissau

Malawi

Rhodesië

Verenigde Arabische Emiraten Verenigde Arabische Republiek Vietnam

China

Guyana

Maleisië

Rusland

Zambia

Colombia

Haïti

Mali

Rwanda

Zimbabwe

Congo

Honduras

Marokko

Réunion

Zuid-Afrika

Congo-Kinshasa

Hongkong

Mauritanië

Saoedi-Arabië

Zuid-Jemen

Costa Rica

India

Mauritius

Senegal

Zuid-Korea

Cuba

Irak

Mexico

Sierra Leone

Dahomey

Iran

Moldavië

Singapore

DRC

Israël

Mongolië

Soedan

29

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk Eindevaluatie pilot Slimme Check

Versie 1.0 14 december 2023

Bias analyse

Reden features niet geselecteerd voor indirecte bias analyse

Feature is een expliciete beleidsregel voor afwijzing De reden om dit soort features niet te analyseren is dat ze expliciet deel uitmaken van het beleid, wat legitimeert dat ernaar gekeken wordt. Moeilijk om direct verband te leggen met gevoelig attribuut De reden om dit soort features niet te analyseren is dat, als er een verschil gevonden wordt op de feature, het zo goed als onmogelijk is om dit te koppelen aan een gevoelig attribuut. Daardoor kan niet bepaald worden of er iets aan het model aangepast moet worden of niet. Beperkte data beschikbaar De reden om dit soort features niet te analyseren is dat voor een betrouwbare analyse de groepen die met elkaar worden vergeleken voldoende groot moeten zijn, anders worden er mogelijk conclusies getrokken op basis van te weinig, toevallige data.

30