B - 11 Brief_evaluatie_fraudepreventie.pdf

Raadsinformatiebrief

Aan:

Portefeuillehouder(s): Behandeld door

De leden van de gemeenteraad van Amsterdam 23 januari 2024 Sociale Zaken Rutger Groot Wassink Directie Inkomen (bestuurszaken.wpi@amsterdam.nl)

Onderwerp

Brief evaluatie pilot digitale fraudepreventie

Datum Portefeuille(s)

Geachte leden van de gemeenteraad, Begin dit jaar, 8 maart jl, heb ik uw raad geïnformeerd over een pilot met gedigitaliseerde preventie van onrechtmatigheid en mogelijke fraude door de directie Werk, Participatie en Inkomen (WPI). Met deze brief informeer ik u nu over de resultaten van de pilot en het besluit van het college om geen vervolg te geven aan de pilot. Ook informeer ik u over de wijze waarop het college vorm heeft gegeven aan de toezeggingen die zijn gedaan tijdens de commissievergadering van 29 maart 2023. Pilot ‘Slimme Check’ In de periode 17 april 2023 tot en met 31 augustus 2023 heeft WPI onder de noemer ‘Slimme Check’ een pilot gedaan met gedigitaliseerde preventie van onrechtmatigheid en mogelijke fraude bij bijstandsaanvragen. Aanvankelijk zou de pilot 3 maanden duren. Maar doordat medewerkers moesten wennen aan de ‘nieuwe werkwijze’ en de daarbij horende werkinstructie nog niet volledig was, duurde de opstart van de pilot langer dan van tevoren ingeschat. Hierdoor is besloten de pilot tot 1 september 2023 te verlengen, om zo voldoende data te verzamelen voor een zorgvuldige evaluatie. Over deze verlenging heb ik uw raad met de brief van 7 juli 2023 geïnformeerd. In het pilotplan zijn de volgende 5 belangrijke succesfactoren geformuleerd: 1. Het model kan effectief de zaken aanwijzen die onderzocht moeten worden.

Daardoor kunnen relatief meer onrechtmatige aanvragen worden afgewezen als blijkt dat er geen recht is. 2. Het aandeel onterecht onderzochte aanvragen door Handhaving is minimaal, zodat de Amsterdammer zo min mogelijk ten onrechte belast wordt. 3. Gevoelige kenmerken zoals gender en nationaliteit spelen geen rol bij het labelen van aanvragen als wel/niet onderzoekswaardig1. 4. De werkinstructie voor de medewerkers die het model gaan gebruiken is helder voor de medewerker. 5. De uitleg per onderzoekswaardige aanvraag zijn helder voor de medewerker 1 Er is sprake van een onderzoekswaardige aanvraag wanneer er een verschil is tussen de door de aanvrager

opgegeven omstandigheden en de gegevens die in de geautomatiseerde bronbestand bij de gemeente van de aanvragen bekend zijn waardoor er twijfel over de rechtmatigheid bestaat.

Gemeente Amsterdam, raadsinformatiebrief

Datum 23 januari 2024 Pagina 2 van 5

Kwantitatieve resultaten

Tijdens de pilot zijn er in totaal 1.582 aanvragen door Slimme check beoordeeld. Daarvan zijn er door het model 408 aangemerkt als mogelijk onderzoekswaardig. Deze zaken zijn door een medewerker vooronderzoek (de medewerker die de onderzoekswaardigheid beoordeelt) gecontroleerd op het risico op onrechtmatigheid. De overige 1.174 aanvragen die tijdens de pilot zijn binnengekomen zijn direct doorgeleid naar de inkomensconsulent, de medewerker die tot taak heeft bijstandsaanvragen af te handelen. Na de beoordeling van de medewerker vooronderzoek zijn er van de 408 volgens Slimme Check onderzoekswaardige zaken 215 aanvragen overgebleven die ook echt onderzoekswaardig werden gevonden. Van de 1.174 aanvragen die direct naar de inkomensconsulent zijn geleid, zijn 89 zaken als onderzoekswaardig beoordeeld en overgedragen aan Handhaving. Van de onderzoekswaardig bevonden aanvragen zijn er, na screening door de medewerker fraudepreventie en controle, uiteindelijk in totaal 272 aanvragen gecontroleerd over de periode 1 juni 2023 tot en met 31 augustus 2023.Als gevolg van de inzet van Slimme Check zijn er meer bijstandsaanvragen door een medewerker fraudepreventie en controle onderzocht dan tijdens de oude werkwijze. Dit komt doordat er tijdens de pilot in absolute zin meer aanvragen als onderzoekswaardig zijn aangemerkt.

Een routebeschrijving vindt u op amsterdam.nl

Gemeente Amsterdam, raadsinformatiebrief

Datum 23 januari 2024 Pagina 3 van 5

De uiteindelijke resultaten qua terecht onderzoekswaardig zijn relatief gezien hoger (51%) dan de gemiddelde langjarige resultaten van de ‘oude werkwijze’ (46%) waarbij de inkomensconsulent zelf bepaalt of een aanvraag al dan niet onderzoekswaardig is. Daarnaast is het percentage van aanvragen die onterecht onderzocht zijn (49%) in relatieve zin lager dan tijdens de oude werkwijze (54%). Hierbij wel de opmerking dat er tijdens de pilot in absolute zin meer mensen onterecht zijn gecontroleerd. Relatief gezien is er bij meer gevallen (dan onder de ‘oude werkwijze’) voorkomen dat Amsterdammers onrechtmatig instroomden in de bijstand. De handhavingscontroles van de 272 zaken die door Slimme Check en de menselijke beoordeling als onderzoekswaardig zijn aangemerkt leidden in 42% van die zaken tot een advies om af te wijzen. In 4% van de gevallen luidde het advies om een lagere uitkering toe te kennen dan was aangevraagd. Er zijn geen Amsterdammers geweest die hebben aangegeven niet te willen dat hun bijstandsaanvraag mede door Slimme Check zou worden beoordeeld. Het college heeft geen klachten ontvangen. Over de aanvragen die gedurende de pilot zijn ontvangen zijn geen bezwaarschriften ingediend. De bezwaartermijn is inmiddels gesloten.

Duiding van de resultaten ten opzichte van de gestelde doelen Middels de Slimme Check zijn er relatief gezien meer onderzoekswaardige aanvragen afgewezen dan via de ‘oude werkwijze’. Hierdoor heeft de Slimme Check aangetoond dat het beter presteert dan de ‘oude werkwijze’. Opmerking daarbij is dat het model nog wel beter kan worden afgesteld, om het aandeel onterecht onderzochte aanvragen verder omlaag te brengen. De verhoging is het gevolg van een meer geborgde aandacht voor rechtmatigheid bij bijstandsaanvragen. Belangrijk uitgangspunt van de pilot was het voorkomen van onbedoelde en ongewenste discriminatie (bias). De bias analyse heeft niet uitgewezen of er wel of geen sprake is van een discriminerend effect in het risicomodel. Dit komt voornamelijk doordat het aantal aanvragen in bepaalde groepen die tegen elkaar zijn afgezet voor het uitvoeren van de bias analyse in combinatie met de hoeveelheid verzamelde data te laag is voor een betrouwbare analyse. Tijdens de pre-pilot2 is de bias analyse uitgevoerd met verzamelde data over een periode van 11 maanden. De inschatting was dat het uitvoeren van de bias analyse met data over 3 maanden voldoende zou zijn om een uitspraak te kunnen doen. Helaas bleek dit in de praktijk anders uit te pakken.

Ook hebben we geconstateerd dat het aantal aanvragen in bepaalde groepen die tegen elkaar zijn afgezet voor het uitvoeren van de bias analyse tijdens de pre-pilot dichterbij elkaar lagen dan tijdens de uiteindelijke pilot. De resultaten van de pilot zijn ook besproken en gedeeld met Deloitte, CPA, Lighthouse Reports en adviseur de heer de Zwart van de Hogeschool van Amsterdam. Deze partijen onderschrijven de zorgvuldigheid waarmee Amsterdam de Slimme Check heeft ontwikkeld en vormgegeven. Maar

2 De pre-pilot is de onderzoeksfase voorafgaand aan de eigenlijke pilot-fase. Op basis van de resultaten van de pre-

pilot is de pilot-fase van start gegaan.

Een routebeschrijving vindt u op amsterdam.nl

Gemeente Amsterdam, raadsinformatiebrief

Datum 23 januari 2024 Pagina 4 van 5

ook onderschrijven zij onze conclusie dat wij geen conclusies kunnen trekken over bias in het model kunnen doen. De heer De Zwart is van mening dat bias onvermijdelijk is. Conclusies op basis van de verwerkte data Rekening houdend met de vijf gestelde doelen, leiden de metingen uit de pilot niet tot de conclusie dat ‘Slimme Check’ aan alle gestelde doelen voldoet omdat de tijdens de pilot verzamelde data onvoldoende inzicht geven over de aanwezigheid van bias of de afwezigheid er van. De pilot heeft aangetoond dat een geborgde objectieve blik, als gevolg van geautomatiseerde preventie, bij de beoordeling van bijstandsaanvragen het aantal overdrachten3 van zaken aan de fraudepreventiemedewerker doet toenemen. Daarmee is de rechtmatige instroom door gebruik van Slimme Check in het bijstandsbestand in relatieve zin verhoogd omdat het percentage overdrachten hoger was dan bij de ‘oude werkwijze’. Het aantal zaken dat als gevolg van een handhavingsonderzoek leidde tot een afwijzingsadvies, lag hoger dan het aantal op grond van de oude werkwijze. Er zijn daarmee relatief minder aanvragen ten onrechte door handhaving onderzocht. Een voor het college zwaarwegende conclusie is dat op grond van de tijdens de pilot verzamelde data niet kan worden geconcludeerd of er binnen het model al dan niet sprake is van bias.

Met andere woorden, op basis van de data kan niet met zekerheid worden uitgesloten of er bij de beoordeling door Slimme Check al dan niet sprake is geweest van onwenselijk onderscheid op bijvoorbeeld afkomst, geslacht of leeftijd. Dit weegt voor het college dermate zwaar, dat daarmee, ondanks het behalen van een groot deel van de gestelde doelen, de verdere ontwikkeling van de Slimme Check op dit moment stop wordt gezet. Afdoen toezeggingen In de commissievergadering van 29 maart 2023 heb ik het raadslid Bentoumya toegezegd de meetpunten van de evaluatie met de raad te delen. Als bijlage bij deze brief heb ik het meetplan toegevoegd. Aan het raadslid Namane heb ik toegezegd ook een steekproef uit te voeren.

Gedurende de pilot zijn 105 ad random geselecteerde bijstandsaanvragen die niet door Slimme Check als onderzoekswaardig zijn aangemerkt, alsnog door een medewerker gecontroleerd op onderzoekswaardigheid. Van deze zaken zijn 28 door de medewerkers vooronderzoek als onderzoekswaardig in aanmerking genomen. Dit is 27%. Deze 28 aanvragen zijn tijdens de evaluatie nader onderzocht. Uiteindelijk bleek na een administratieve check van medewerkers fraudepreventie en controle dat 14 van de 28 aanvragen onderzoekswaardig waren. Van deze 14 3 Er is sprake van een overdracht wanneer een bijstandsaanvraag voor uitgebreidere controle wordt overgedragen

aan een medewerker fraudepreventie en controle.

Een routebeschrijving vindt u op amsterdam.nl

Gemeente Amsterdam, raadsinformatiebrief

Datum 23 januari 2024 Pagina 5 van 5

aanvragen hebben we geconstateerd dat alle aanvragen, op 1 na, alsnog het juiste proces (eventueel via Handhaving) hadden doorlopen. Ik vertrouw erop hiermee aan uw toezeggingen te hebben voldaan. Vervolg Hoewel we geen uitspraak kunnen doen over de af- of aanwezigheid van bias in Slimme Check, zijn er geen redenen om aan te nemen dat er Amsterdammers zijn die door Slimme Check ten onrechte benadeeld zijn. Niet alleen bij het gebruik van het model maar ook in alle andere stappen binnen het aanvraagproces zijn we extra alert geweest op mogelijke onterechte benadeling. De daadwerkelijke afhandeling van de aanvragen en de besluitvorming om een uitkering toe te kennen zijn in alle gevallen uitgevoerd door medewerkers van WPI. Hierover hebben wij geen klachten ontvangen van Amsterdammers. Het college ziet dat de toepassing van geautomatiseerde fraudepreventie kansen biedt om bijstandsaanvragen effectiever, eerlijker en transparanter te beoordelen. Echter, nu met de uitgevoerde pilot niet te beoordelen is of er sprake is van bias, ziet het college af van de verdere ontwikkeling van Slimme Check en het gebruik van geautomatiseerde fraudepreventie bij de beoordeling van bijstandsaanvragen. Wel zal het college de komende tijd onderzoeken op welke manier de geleerde lessen uit de pilot toepasbaar zijn bij het optimaliseren van de dienstverlening bij bijstandsaanvragen.

Met vriendelijke groet, Namens het college van burgemeester en wethouders van de gemeente Amsterdam,

Rutger Groot Wassink Wethouder Sociale Zaken

Een routebeschrijving vindt u op amsterdam.nl