2023-12-14 Eindevaluatie-rapport Pilot Slimme Check v1.0.pdf

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport Team Advanced Analytics

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

Management samenvatting

In de periode van 17 april tot en met 31 augustus is er een pilot geweest waarin de Slimme check is ingezet op het aanvraagproces Levensonderhoud om nieuwe aanvragen al dan niet aan te merken als onderzoekswaardig. Na afloop van de pilot is de verzamelde data geanalyseerd op basis van het meetplan en heeft er ook een bias analyse plaatsgevonden. Daarnaast zijn er ook interviews geweest met betrokken medewerkers en heeft er een enquête plaatsgevonden onder de medewerkers Handhaving en Inkomensvoorziening om de ervaringen en inzichten van de medewerkers op te halen. Op basis van de geanalyseerde data en inzichten & ervaringen van de medewerkers is deze eindevaluatie opgesteld en hebben we kunnen bepalen of de succescriteria van de pilotdoelen behaald zijn. Resultaten van de belangrijkste 5 pilotdoelen • We hebben geconstateerd dat de Slimme check onderzoekswaardige zaken effectief kan aanwijzen, waardoor relatief meer onrechtmatige aanvragen ten opzichte van het huidige handmatige proces via de Inkomensconsulent zijn afgewezen als bleek dat er geen recht is. Het model presteert hiermee beter dan het handmatige proces. • De configuratie van het model moet beter worden afgestemd op de onderzoekswaardigheid, zodat het aandeel onterecht onderzochte aanvragen ‘minimaal’ is. • Er kan niet worden bepaald of wel of geen sprake is van bias in het risicomodel.

De kwaliteit van de data ten behoeve van de bias analyse is niet voldoende om hier een uitspraak over te doen. • De werkinstructie leverde in het begin onduidelijkheid op, maar na aanpassing was deze uiteindelijk voor de betrokken medewerkers helder. • De weergave van de 3 belangrijkste features die als reden gelden waarom een aanvraag onderzoekswaardig is, werkten voor de medewerkers verwarrend en waren niet richtinggevend voor nader onderzoek.

Conclusie: doorontwikkelen Slimme check We zijn tot de conclusie gekomen dat het Slimme check model zoals deze nu is ontwikkeld, op dit moment niet geïmplementeerd kan worden. Op basis van zowel de resultaten van de analyse van de data als de ervaringen, inzichten en aanbevelingen vanuit de betrokken medewerkers heeft het model wel de potentie, maar dient de Slimme check verder doorontwikkeld te worden om op de gewenste werkbare wijze te kunnen functioneren. Dit betreft op hoofdlijnen het doorvoeren van verbeteringen in het model, een duidelijke weergave van de redenen tot onderzoekswaardigheid, het aanscherpen van de randvoorwaarden en definities voor het model en ten behoeve van de bias analyse en een verdere optimalisatie van het werkproces.

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

Inhoud

1 Hoofdstuk 1 titel ..................................................................................................... 5 1.1 Pre-pilot Slimme Check............................................................................................................. 6 1.2 Waarborging bij de ontwikkeling van de Slimme Check ............................................................ 6 1.3 Pilot Slimme Check ....................................................................................................................7 1.4 Eindevaluatie pilot Slimme Check ............................................................................................. 8 2 Verloop pilot ........................................................................................................... 9 2.1 Voorbereiding & start-maand ................................................................................................... 9 2.1.1 Eerste dag: geen resultaten Slimme Check ............................................................................ 9 2.1.2 Wennen aan nieuwe werkwijze via de Slimme Check ............................................................. 9 2.1.3 Herhalende acties bij gebruik algoritme .................................................................................

9 2.1.4 Instructies in Dataverkenner onduidelijk ...............................................................................10 2.2 Tijdens de pilot in juni-juli-augustus.........................................................................................10 2.2.1 Technisch mankement..........................................................................................................10 2.3 Korte omschrijving werking model ..........................................................................................10 2.4 Samenvatting werkinstructie medewerker vooronderzoek ..................................................... 11 2.5 Dagelijks contact medewerker vooronderzoek ........................................................................12 3 Voorbereiding dataset ........................................................................................... 13 3.1 Lijsten openstaande aanvragen ............................................................................................... 13 3.1.1 Dataverzameling ................................................................................................................... 13 3.1.2 Herstellijsten gewiste uitslag.................................................................................................

13 3.1.3 Herstellijsten verwijderde kolom dienstnummer ...................................................................14 3.2 Filters.......................................................................................................................................14 3.2.1 Filter: Inkomensvoorziening Scts Team.................................................................................14 3.2.2 Filter: RMW Team klant ........................................................................................................14 3.2.3 Filter: Leeftijd ≥ 27 jaar ..........................................................................................................14 3.2.4 Labels verwijderd uit Sherlock .............................................................................................. 15 3.3 Samenvoegen van tabellen ...................................................................................................... 15 3.3.1 Samenvoegen ....................................................................................................................... 15 3.3.2 Verwijdering van dubbele berekende scores .........................................................................

15 3.3.3 Verwijdering van dubbele berekende onderzoeken Sherlock ................................................16 4 Proces analyse ...................................................................................................... 17 4.1 Resultaten meetplan................................................................................................................ 17 4.1.1 M1: Filters over meegenomen aanvragen..............................................................................18 4.1.2 M2: Meer aanvragen geselecteerd door Slimme Check.........................................................18 4.1.3 M7: Minder hoog percentage onderzoekswaardig dan verwacht ...........................................18 4.1.4 M5: Thema’s bij valsnegatieven ............................................................................................19

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

4.2 Steekproef...............................................................................................................................19 4.2.1 Resultaat ..............................................................................................................................19 4.2.2 Relatief veel onderzoekswaardig bij steekproef ................................................................... 20 4.2.3 Conclusie ............................................................................................................................. 20

5 Bias analyse .......................................................................................................... 21 6 Ervaringen en inzichten medewerkers ..................................................................... 22 6.1 Medewerkers Vooronderzoek ................................................................................................. 22 6.1.1 Ervaringen ........................................................................................................................... 22 6.1.2 Inzicht & aanbevelingen ........................................................................................................23 6.2 Medewerkers Fraudepreventie & controle (Handhaving) ........................................................ 24 6.2.1 Ervaringen ........................................................................................................................... 24 6.2.2 Inzicht & aanbevelingen ...................................................................................................... 25 6.3 Inkomensconsulenten............................................................................................................. 26 6.3.1 Enquête ...............................................................................................................................

26 6.4 Experts uit de werkgroep ......................................................................................................... 27 6.4.1 Ervaringen ............................................................................................................................ 27 6.4.2 Inzichten & aanbevelingen.................................................................................................... 27 7 Pilotdoelen en succescriteria .................................................................................. 29 7.1 Doelstelling Informatiegestuurd Handhaven ........................................................................... 29 8 Conclusie .............................................................................................................. 36 8.1 Eindadvies ...............................................................................................................................38 Bijlagen .................................................................................................................. 40

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

1 Hoofdstuk 1 titel

De afdeling WPI van de gemeente Amsterdam heeft enerzijds als doel gesteld dat Amsterdammers die recht hebben op een bijstandsuitkering deze ook zo snel mogelijk krijgen en anderzijds het aantal ten onrechte verstrekte bijstandsuitkeringen te verminderen. Dit voorkomt het ontstaan van bijstandsschulden als gevolg van een ten onrechte verstrekte uitkering. Dergelijke schulden hebben een grote impact op het leven van Amsterdammers, zeker wanneer hun bestaanszekerheid kwetsbaar is. Daarnaast moet ervoor worden gezorgd dat publiek geld wordt ingezet waar nodig en het sociale stelsel betaalbaar blijft. Binnen WPI heeft de afdeling Handhaving op basis hiervan de volgende visie ontwikkeld:

Hierbij is het doel van Handhaving: • Voorkomen dat iemand onrechtmatig een uitkering ontvangt, draagt bij aan het voorkomen van escalatie van problemen. We helpen de burgers de regels na te leven. • We kijken naar de individuele situatie van de klant, en houden rekening met verwijtbaarheid en draagkracht. We maken onderscheid tussen de bewuste fraudeur en de kwetsbare Amsterdammer die door de onduidelijke wet- en regelgeving te veel uitkering heeft ontvangen. • Effectief handhaven op hoge rechtmatigheidsrisico's door data-gestuurd te werken Onderzoek binnen WPI De afgelopen jaren is er vanuit WPI onderzoek gedaan naar de mogelijkheden om op een objectievere en effectievere manier te bepalen welke bijstandsaanvragen nader moeten worden onderzocht. Op basis van een zo objectief mogelijke weging van ter beschikking staande data uit de uitkeringsadministratie wil het college het aandeel onderzoeken bij Amsterdammers die een bijstandsuitkering aanvragen waarbij geen onrechtmatigheid wordt geconstateerd terugbrengen en zo verder invulling geven aan werken op basis van vertrouwen. Het college is op basis van de resultaten van het onderzoek van mening dat de mogelijkheden die digitalisering de gemeente daarvoor biedt, hierbij kunnen helpen.

Een drie maanden durende pilot waarbinnen het door de gemeente Amsterdam ontwikkelde algoritme (hierna: Slimme check) wordt getest moest uitwijzen of dit zo is. De Slimme check wordt enkel ingezet in het aanvraagproces, en kan niet worden gebruikt om de onderzoekwaardigheid van reeds toegekende uitkeringen te bepalen. Het kan en zal dus enkel preventief worden ingezet, niet repressief. Het model bepaalt de onderzoekwaardigheid van een aanvraag, dus of het nodig is dat een aanvraag door een handhaver wordt bekeken. Dit kan wijzen

5

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

op fraude, maar het is ook mogelijk dat er fouten zijn gemaakt in de aanvraag vanwege de complexiteit van de Participatiewet. Het gaat hier dus uitdrukkelijk niet om een fraudedetectiemodel.

1.1 Pre-pilot Slimme Check Voorafgaand aan de ontwikkeling van de Slimme check werden aanvragen handmatig geselecteerd voor een extra onderzoek. Na onderzoek met gegevens uit 2019 blijkt dat dit proces ertoe leidt dat in ongeveer 35% van de onderzochte aanvragen een onrechtmatigheid wordt aangetroffen. De Slimme check zal dit proces ondersteunen door een voorselectie van nieuwe binnenkomende aanvragen levensonderhoud te maken, en bepaalt of deze door een Medewerker Fraudepreventie en Controle W&I onderzocht dienen te worden, of dat ze direct door de Inkomensconsulent op kunnen worden gepakt. Er is geen sprake van geautomatiseerde besluitvorming, alle aanvragen worden door meerdere medewerkers bekeken alvorens een uitkering wordt toegekend of afgewezen. Het Slimme check model draagt hieraan bij door elke nieuwe aanvraag te voorzien van een onderzoekswaardigheidsscore. Deze indicatie helpt een medewerker om te bepalen of een aanvraag nader moet worden onderzocht voordat een bijstandsuitkering wordt verstrekt. Als we kijken naar eerdere resultaten van het model tijdens de pre-pilot fase, gebaseerd op de prestatie op historische data, dan is het de verwachting dat als 9% van de aanvragen nader onderzocht wordt, 56% hiervan daadwerkelijk onderzoekswaardig is.

Deze resultaten geven vertrouwen dat door de inzet van het model de onderzoekswaardigheid van een aanvraag beter kan worden vastgesteld, waardoor aanvragers die wel bijstandsgerechtigd zijn ook zo min mogelijk worden belast met een onderzoek. Dit leidt tot een meer proportionele inzet van de bevoegdheid om nader onderzoek uit te voeren. Dit verbetert ook de dienstverlening ten behoeve van de burger. Onafhankelijk van de gekozen drempelwaarde betekent dit dat we in verhouding met minder onterechte onderzoeken (vergeleken met het huidige proces) evenveel (of meer) onrechtmatige aanvragen vinden, en dus meer proportioneel werken.

1.2 Waarborging bij de ontwikkeling van de Slimme Check Tijdens het ontwikkelen van het Slimme check model zijn onder andere de volgende analyses uitgevoerd: • Data Protection Impact Assessment • Impact Assessment Mensenrechten en Algoritmes om de impact op de mensenrechten te wegen • Uitvoerige bias analyse en een kritische beoordeling van de variabelen die worden gebruikt • Kunstmatige Intelligentie Impact assessment

6

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

Daarnaast heeft het college tijdens de ontwikkeling van het model de Participatieraad, de Commissie Persoonsgegevens Amsterdam en Deloitte geconsulteerd met als doel zoveel mogelijk input te verzamelen en de ontwikkeling binnen de kaders van ethiek en rechtmatigheid te houden. Tijdens de pilot- & eindevaluatiefase hebben we naast afstemming met de Commissie Persoonsgegevens Amsterdam, de Clientenraad en Deloitte, onder andere ook afstemming gehad met Lighthouse reports en adviseur Hans de Zwart van de Hogeschool van Amsterdam. Op basis van wat nationale en internationale autoriteiten hedendaags op het gebied van het gebruik van modellen hebben geformuleerd als vereisten voor een eerlijk model, heeft het college vorig jaar ‘The Fairness Handbook’ gepubliceerd. In het handboek wordt onder meer beschreven wat in de context van modellen ‘eerlijkheid’ en ‘bias’ inhouden, hoe deze bij het ontwikkelen van een model respectievelijk kunnen worden versterkt en voorkomen en wat de risico’s van het gebruik van een model kunnen zijn. Dit handboek is tijdens de ontwikkeling van het Slimme Check model ontstaan.

1.3 Pilot Slimme Check Om de werking van het model verder te onderzoeken, is er in het eerste kwartaal van 2023 akkoord gegeven om een pilot hiervoor op te zetten waarin nieuwe aanvragen via de Slimme check al dan niet als onderzoekswaardig worden aangemerkt. Voorafgaand aan de pilot zijn pilotdoelen, subdoelen met succescriteria en een meetplan opgesteld. Hieronder staan de belangrijkste pilotdoelen weergegeven.

In de pilot bepaalt het algoritme van het Slimme check model (een Explainable boosting machine) of een aanvraag het label ‘onderzoekswaardig’ of ‘niet onderzoekswaardig’ krijgt. Dit wordt daarna door een medewerker Vooronderzoek van Handhaving Werk en Inkomen gecontroleerd.

7

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

Het algoritme kan verbanden en patronen vinden in een grote hoeveelheid informatie over aangevraagde bijstandsuitkering en bepaalt welke informatie vaker in verband kan worden gebracht met aanvragen waarvoor een nader onderzoek noodzakelijk was en welke niet. Het Slimme check model is getraind op historische data en bestaat uit vijftien datapunten. Na afloop van de pilot bepalen we of deze manier van werken beter is voor de Amsterdammer. De pilot liep van 17 april tot en met 31 augustus. De pilot-periode is langer dan de eerdergenoemde drie maanden. De oorzaak hiervoor is dat in de eerste maand van de pilot is gebleken dat het ingewikkelder is om van de menselijke inzet tijdens de pilot op korte termijn vertrouwen te vragen in een nieuw nog onbekend instrument in het proces van de beoordeling van de kans op onrechtmatigheid bij bijstandsaanvragen. In deze eindevaluatie wordt hier bij het onderdeel rondom de ervaringen en inzichten van de betrokken medewerkers dieper op ingegaan.

1.4 Eindevaluatie pilot Slimme Check Na afloop van de pilot is de eindevaluatie fase gestart van 1 september t/m 6 november 2023. Tijdens deze fase is de data geanalyseerd, inclusief op bias. De resultaten zijn vervolgens tegen de succescriteria en het meetplan aangehouden om te komen tot conclusies. Daarnaast zijn er verschillende betrokken medewerkers geïnterviewd en zijn er enquêtes onder de medewerkers uitgezet om de ervaringen en inzichten rondom het werken met de Slimme check gedurende de pilot te verzamelen. Zowel de geanalyseerde data als de opgedane ervaringen en inzichten vanuit de medewerkers tijdens de pilot zijn onderdeel van deze eindevaluatie en hebben geleid tot de resultaten van deze eindevaluatie.

8

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

2 Verloop pilot

2.1 Voorbereiding & start-maand In april is de Pilot Slimme Check gestart. Tijdens de eerste maand zijn er een aantal onduidelijkheden verhelderd en hebben de medewerkers vooronderzoek kunnen wennen aan het nieuwe proces. Verder in dit hoofdstuk staat vermeld welke verbeteringen er zijn aangebracht in de eerste weken van de pilot. Vanaf eind mei ondervonden de medewerkers vooronderzoek geen noemenswaardige problemen of onduidelijkheden en ervaarden we het werkproces zoals beoogd was voor de pilot.

2.1.1 Eerste dag: geen resultaten Slimme Check Op de eerste dag van de pilot zijn alle medewerkers vooronderzoek uitgenodigd op kantoor om de nieuwe werkwijze samen uit te voeren. Op deze ochtend bleek dat de scores die gegenereerd zijn door het model niet goed werden weergegeven door de Dataverkenner. Dit had als gevolg dat er op de eerste dag niet samen door de werkinstructie gelopen kon worden. Het samen door de werkinstructie lopen vond later online plaats.

2.1.2 Wennen aan nieuwe werkwijze via de Slimme Check Medewerkers moesten wennen aan de nieuwe werkwijze en de daarbij horende werkinstructie. De ervaringen, inzichten en aanbevelingen van de medewerkers staan opgenomen in hoofdstuk 6.

2.1.3 Herhalende acties bij gebruik algoritme Bij elke aanvraag bekijkt de medewerker vooronderzoek de uitkomst van het Slimme Check model. Om te zien wat de score hiervan is moet de medewerker de aanvraag opzoeken in Focus en de het administratienummer omzetten in een burger servicenummer (BSN). Deze BSN moest

9

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

vervolgens ingevuld worden in Dataverkenner waarna de score zichtbaar was. Deze stappen die bij elke vraag opnieuw moeten worden doorlopen vraagt om een veel herhalende beweging waar sommige medewerkers vooronderzoek last van ondervonden.

2.1.4 Instructies in Dataverkenner onduidelijk Bij een “Nee” niet-onderzoekswaardig staat in de werkinstructie: “De aanvraag is nu klaar voor de medewerker vooronderzoek”. Echter, in dataverkenner staat dat de medewerker altijd eigen expertise moet gebruiken om de aanvraag te beoordelen. Dit schuurt met elkaar en leidde tot verwarring bij de medewerker vooronderzoek.

2.2 Tijdens de pilot in juni-juli-augustus 2.2.1 Technisch mankement In week 28 was de Slimme Check niet beschikbaar en is gebruik gemaakt van de twee beslisregels van GALO. Het issue betrof het langzaam vollopen van het geheugen, waardoor het gereserveerde geheugen in week 28 te vol liep en resulteerde in een crash op de server. Vervolgens was de samenwerking met een derde partij nodig om dit probleem te verhelpen. Het langzaam vollopen van het geheugen is vervolgens definitief opgelost door de bug op te lossen. Een extra opmerking van een teamlid uit het team dat het model in beheer had tijdens het model was dat de infrastructuur robuuster opgezet kon worden mocht de Slimme Check een vervolg krijgen.

2.3 Korte omschrijving werking model Er wordt gebruik gemaakt van een KI die is ontwikkeld om de onderzoekswaardigheid van een uitkeringsaanvraag in te schatten. Er is gekozen om een Explainable Boosting Machine algoritme te gebruiken en deze is “voorspellend” van aard. Een Explainable Boosting Machine is een machine learning algoritme voor classificatie- en regressievraagstukken. Het kan niet-lineaire relaties in data beschrijven en maakt daarvoor gebruik van een “tree-based supervised learning” techniek. Daarmee is het algoritme redelijk complex van aard en geschikt om voorspellingen te doen, kansen op gebeurtenissen te schatten, verdachte gebeurtenissen te detecteren of veranderingen in een dataset te ontdekken. Het algoritme is geen “black box”, want het is transparant hoe de features tot een bepaalde voorspelling leiden. Voor alle features wordt op dezelfde wijze op basis van de data bepaald welk effect de feature heeft. Het ontwikkelde algoritme genereert op basis van de informatie uit de aanvraag en andere beschikbare informatie over de aanvrager een score die de onderzoekswaardigheid van de aanvraag aangeeft. Deze onderzoekswaardigheidsscore wordt slechts berekend voor nieuw

10

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

binnenkomende aanvragen en het algoritme creëert dus geen “nieuwe” te onderzoeken zaken op basis van lopende uitkeringen. Daarnaast worden sowieso alle aanvragen beoordeeld door een medewerker. Het model zorgt er dus niet voor dat sommige aanvragen niet meer bekeken worden, maar draagt slechts bij aan het bepalen van de noodzaak om een diepgaand nader onderzoek te doen in plaats van een minder diepgaande screening. De onderzoekswaardigheidsscore is het gemiddelde van een zeer groot aantal berekeningen (middels beslisbomen) dat het model heeft uitgevoerd. Deze score kan worden gebruikt om te bepalen of een aanvraag beter kan worden beoordeeld met een uitvoerig onderzoek of met een minder diepgravende screening. Het algoritme geeft ook uitleg over hoe de score tot stand is gekomen. Deze informatie is om meerdere redenen wenselijk, maar onder andere om in het onderzoek gericht te kijken naar de door het algoritme geïdentificeerde belangrijke factoren.

2.4 Samenvatting werkinstructie medewerker vooronderzoek De medewerker vooronderzoek van de dag haalt ‘s morgens als eerste de lijst met nieuwe aanvragen uit RPS en maakt er een Excellijst van. De aanvragen uit die lijst zijn dan al gescreend door het algoritme op onderzoekwaardigheid. In de Dataverkenner staat daar dan de uitkomst van. Deze uitkomst wordt zoals hierboven omschreven is weergegeven als “wel/niet onderzoekwaardig”. Voor onderzoekwaardige aanvragen worden daarnaast de belangrijkste drie datapunten weergegeven die hebben geleid tot deze uitkomst. Hierna gaat de MVO’er van de dag bij iedere onderzoekswaardige aanvraag een vragenlijst door om te kijken of deze aanvraag meteen afgewezen kan worden en naar een inkomensconsulent kan worden overgedragen op basis van een checklist (zie figuur 1).

11

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

Figuur 1: Checklist voor medewerker vooronderzoek om te bepalen of een volgens-het-model-onderzoekswaardige aanvraag naar Inkomensconsulent of Handhaving te sturen.

2.5 Dagelijks contact medewerker vooronderzoek Vanaf eind mei is de business analist elke dag met Medewerker Vooronderzoek in gesprek gegaan. Dit kwam tot stand toen er werd geconstateerd dat het aantal aanvragen dat onderzoekswaardig was meer fluctueerde dan gevoelsmatig het geval hoorde te zijn (soms waren geen aanvragen onderzoekswaardig, soms 40% van de aanvragen van die dag). De medewerkers vooronderzoek zijn op een ondersteunende manier benaderd waardoor zij gemakkelijker konden wennen aan het nieuwe proces. In hetzelfde gesprek konden de resultaten ook besproken worden en gezorgd worden dat de verzamelde data op een goede manier geïnterpreteerd kon worden t.b.v. de datakwaliteit.

12

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

3 Voorbereiding dataset

3.1 Lijsten openstaande aanvragen 3.1.1 Dataverzameling De lijst met openstaande aanvragen die elke dag is opgevoerd in RPS (Rapportage Portaal Sociaal) is gebruikt als basis voor de dataset. De lijst bevat alle aanvragen die worden behandeld door de medewerker vooronderzoek. Alleen in deze gevallen wordt gebruik gemaakt van de Slimme Check. Elke dag dat een medewerker deze lijst had voltooid, heeft de business analist van Team Advanced Analytics contact opgenomen met de desbetreffende medewerker om te vragen of alles goed is gegaan en om eventuele opmerkelijkheden te bespreken. Hierna is ook bijgehouden hoeveel aanvragen er waren, hoeveel het model als onderzoekswaardig heeft bevonden en hoeveel er naar handhaving zijn gestuurd na het uitvoeren van de werkinstructie door de medewerker vooronderzoek. De lijsten zijn handmatig bij elkaar gevoegd en gecontroleerd met de aantallen die elke dag bijgehouden zijn. De data van Socrates (Inkomensvoorziening) en Sherlock (Handhaving) voor de analyse is verkregen van de Adviseur Planning en Control van de afdeling Data & Informatie. De data is 6 weken na het einde van de pilot, 12 oktober, opgehaald. De dienstverleningstermijn is de termijn waarbinnen we eigenlijk willen dat de aanvraag is afgehandeld, deze termijn bedraagt 4 weken en wordt in grofweg 80% van de gevallen gehaald. De wettelijke termijn is 8 weken.

Het klopt dat er een aantal aanvragen zijn die 6 weken na einde pilot nog niet zijn afgehandeld, maar omdat het gaat over minder dan 20% van de aanvragen die in de laatste 2 weken (14%) afgehandeld zullen zijn hebben we besloten de data op een eerder moment op te halen. De data over de uitslagen van het model zijn verkregen via de data engineer van het team dat het model in beheer had tijdens de pilot. Deze data is direct na de pilot toegestuurd.

3.1.2 Herstellijsten gewiste uitslag Twee lijsten die de medewerker vooronderzoek heeft ingevuld, zijn in de maand juli voor het maken van een back-up tussentijds verwijderd. Toch is een manier gevonden om deze score te achterhalen. Allereerst zijn de originele oningevulde lijsten hersteld zodat duidelijk was welke aanvragen die dag zijn behandeld door de medewerker vooronderzoek. Via de scoretabel is achterhaald hoeveel aanvragen het model heeft bestempeld als onderzoekswaardig. Via de datum en de informatie vanuit Sherlock (systeem Handhaving) kon worden achterhaald dat het exacte aantal (uit het bijgehouden aantallen tabel) “in onderzoek voor handhaving” overheen kwam met alle onderzoeken die door handhaving dezelfde dag nog zijn begonnen.

13

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

Hierdoor zijn alle scores op een betrouwbare manier hersteld.

3.1.3 Herstellijsten verwijderde kolom dienstnummer Lijsten waarvan de kolom “dienstnummer” gewist zijn, zijn hersteld. Deze nummers zijn hersteld door de scoretabel te gebruiken. In het scoretabel zijn het administratienummer, datum en dienstnummer bekend. De administratienummers en datum van berekening van het scoretabel zijn gematcht aan de administratienummers en de werkdag na de opvoerdatum van de openstaande aanvragenlijsten. De matches zijn handmatig gecontroleerd en juist bevonden. Hierdoor is een betrouwbare match tot stand gekomen en konden alle dienstnummers hersteld worden.

3.2 Filters 3.2.1 Filter: Inkomensvoorziening Scts Team Zoals het meetplan voorschrijft zijn de aanvragen gefilterd op de teams van inkomensvoorziening. Hierdoor zijn aanvragen van de volgende categorieën uit de dataset gefilterd. • BD instroomhuis (1) • BD Klantbegeleiding (1) • Werk – Werk & Veiligheid (13)

3.2.2 Filter: RMW Team klant “Intake team 4 BD” komt niet voor in de dataset in de kolom “RMW Team klant”. Daarom is hiervoor geen filter toegepast.

3.2.3 Filter: Leeftijd ≥ 27 jaar Vanuit de overheid is bepaald dat een jongere onder 27 jaar die levensonderhoud aanvraagt verplicht is om eerst te kijken of deze een opleiding kan volgen of werk kan vinden. Omdat jongeren onder de 27 jaar een ander proces doorlopen zijn de uitkomsten niet betrouwbaar genoeg om meegenomen te worden in de analyse. Daarom worden jongeren onder 27 jaar uit de aanvragen gefilterd.

14

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

3.2.4 Labels verwijderd uit Sherlock Onjuiste opvoer De medewerker Fraudepreventie & controle is niet in staat om een opgevoerde aanvraag te verwijderen uit het systeem. Daarom is er een label ontwikkeld dat zorgt dat een aanvraag die eigenlijk niet onderzocht moest worden niet wordt meegenomen in het proces. Voor de analyse betekent dit dat de aanvragen die in Sherlock worden opgevoerd met label “Onjuiste opvoer” worden verwijderd uit de dataset. Onjuiste overdracht: retour De aanvraag is onderzoekswaardig bevonden in eerdere aanvraag, maar wordt opnieuw aangeboden aan handhaving zonder gewijzigde feiten of omstandigheden. Gezien bij de werkgroep onenigheid was over welk label (onderzoekswaardig/niet-onderzoekswaardig) toe te wijzen aan deze categorie en of er een onderzoek heeft plaatsgevonden, is besloten om “Onjuiste overdracht: retour” te verwijderen uit de dataset. Tijdens de pre-pilot is dit label ook verwijderd. Niet onderzoekswaardig vooronderzoek Vanuit het meetplan is geïnstrueerd om de onderzoeken met dit label niet mee te nemen.

3.3 Samenvoegen van tabellen 3.3.1 Samenvoegen Om een compleet beeld te krijgen van de aanvragen in het kop tot staart proces, voegen we de behandelde aanvragen samen met data van handhaving (Sherlock) en de inkomensconsulenten (Socrates, lijst afgehandelde aanvragen) en de scores t.b.v. de bias analyse. Sherlock data kon gecombineerd worden via een dienstnummer, dus zoals in de technische documentatie is deze gekoppeld via administratienummer en een datum aanvang onderzoek binnen 14 dagen van de datum opvoer. Op deze manier kon 87% van de onderzoekswaardige aanvragen gekoppeld worden aan een handhavingsonderzoek. Socrates data (afgehandelde aanvragen) kon worden gekoppeld aan de RPS lijst met behulp van dienstnummer en opvoerdatum. Dit resulteerde in unieke matches over 97% van de aanvragen. De aanvragen waarbij geen socrates data beschikbaar is, is data van aanvragen die zijn behandeld in het latere stadium van de pilot en aannemelijk nog niet afgehandeld (zie Dataverzameling).

3.3.2 Verwijdering van dubbele berekende scores In drie gevallen gebeurde het dat twee scores een paar seconden uit elkaar berekend werden. Deze scores waren exact hetzelfde en kwamen op alle fronten overeen behalve op de exacte timestamp. Om deze reden is één van deze resultaten uit de scoredata verwijderd. Het verwijderen van deze dubbel berekende scores is belangrijk zodat er geen dubbele waarden ontstaan tijdens het samenvoegen van de data.

15

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

3.3.3 Verwijdering van dubbele berekende onderzoeken Sherlock Er zijn drie aanvragen waarbij er meerdere handhavingsonderzoeken zijn gestart binnen 14 dagen na opvoerdatum. Een handhaver heeft deze onderzoeken nog eens nagekeken en aangegeven welk onderzoek toepasselijk was bij de desbetreffende aanvraag en dus voor de analyse van de pilot.

16

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

4 Proces analyse

Een overzicht van de resultaten per meetpunt uit het meetplan zijn opgenomen in slides. Deze slides zijn als bijlage toegevoegd aan dit Eindevaluatie-rapport.

4.1 Resultaten meetplan #M

Definitie Hoeveel aanvragen Levensonderhoud >27 jaar (team Intake) zijn er M1 1582 aangevraagd? Hoeveel van de aanvragen zijn er onderzocht door Medewerkers M2 408/1582 (25,8%) Vooronderzoek? M2+ Hoeveel van de aanvragen zijn onderzoekswaardig volgens de 215/1582 (13,6%) (Extra) Medewerker Vooronderzoek? 215/408 (52,7% ) Hoeveel van de aanvragen zijn onderzoekswaardig en zijn in het proces M3 286 /1582 (18,3%) behandeld door de Handhavingsspecialist? Hoeveel van de aanvragen zijn niet-onderzoekswaardig en gaan daarmee M4 1367/1582 (86,4%) naar de Inkomensconsulent? Hoeveel van de aanvragen die de Inkomensconsulent behandelt worden M5 89/1367 (6,5%) overgedragen naar een Handhavingsspecialist? (Valsnegatieve) Hoeveel van de aanvragen die de MVer/Handhavingsspecialist behandelt M6 46/215 (21%) worden overgedragen naar een Inkomensconsulent (Valspositieve) Wat zijn de resultaten van de onderzoeken die Handhaving heeft M7 50,5% onderzoekswaardig uitgevoerd? Wat zijn de resultaten van de onderzoeken die Inkomensconsulenten M8 40% afwijzing via HH hebben uitgevoerd? M9 Hoe vaak is het advies van HH door Inkomen opgevolgd? 160/175 (91%) Wat is het percentage aan afwijzingen (%) dat aan het eind van het M18 406/1140 (35,6%) aanvraagproces door de inkomensconsulent wordt gedaan? Subdoel 1: Effectiviteit Wat is het percentage vals-positieven van de aanvragen die Handhaving M10 49,5%

(meetplan) krijgt? Wat is het percentage vals-negatieven van de aanvragen die Handhaving M11 M5: 6,5% krijgt? Subdoel 2: Tijdig en kwalitatief Hoe vaak komt het voor dat een aanvraag niet binnen 3 weken is M12 53/257 (21%) afgehandeld, waarbij HH een onderzoek heeft gedaan? M13 Hoeveel dagen is het handhavingsproces? 7,9 dagen gemiddeld Subdoel 3: Efficiënt inzetten capaciteit Het aantal aanvragen die een HH ontvangt is afgestemd op de M14 MVO + IC = 17,2% beschikbare capaciteit Subdoel 4: Dienstverlening Hoe vaak zijn er klachten en bezwaarschriften ingediend op een beslissing M15 0 klachten aanvraag LO waarin een handhavingsadvies is gegeven? Hoe vaak wordt er doorverwezen door Handhaving bij een aanvraag M16 N/A Levensonderhoud naar een andere voorzieining in de keten? Subdoel 6: Gelijk, proportioneel en onbevooroordeeld

17

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

M17 M18

Zijn er biases in het model en op bepaalde features, tegen bepaalde Zie Bias analyse document groepen? Hoeveel van de aanvragen die de Inkomensconsulent behandelt worden Zie evaluatieslides voor uitslag per team overgedragen naar een Handhavingsspecialist? per team

4.1.1 M1: Filters over meegenomen aanvragen Over bepaalde aanvragen die niet deel uitmaakte van de pilot werden toch scores berekend door de Slimme Check. Dit betrof zowel ‘scores die berekend zijn over aanvragen buiten de aanvragen die behandeld worden door de medewerker vooronderzoek’ als 'scores die berekend zijn over aanvragen die door de medewerker vooronderzoek zijn behandeld maar er later worden uitgefilterd’. Om uit te sluiten dat het model niet verkeerd wordt gebruikt, moet er gerichter worden geselecteerd op de aanvragen die worden aangeboden aan het model.

4.1.2 M2: Meer aanvragen geselecteerd door Slimme Check Vooraf is aan de hand van de pilot de drempelwaarde van de Slimme Check ingesteld. Hierbij was het streven om 9% van de aanvragen te selecteren voor een onderzoek door handhaving. De 9% is aangehouden omdat de capaciteit van handhaving in de buurt ligt van dit percentage. Van deze 9% werd rekening gehouden dat 50% van de aanvragen die geselecteerd werden door de Slimme Check door de medewerkers vooronderzoek niet-onderzoekswaardig werden bevonden en zou worden doorgestuurd naar de inkomensconsulent. Doordat de Slimme Check meer aanvragen (25,8% i.p.v. 18%) heeft geselecteerd en de medewerkers vooronderzoek daarvan ook meer aanvragen (52,7% i.p.v. 50%) heeft doorgestuurd naar handhaving, is het totale aantal aanvragen dat is gecontroleerd door handhaving hoger dan verwacht (13,6%). Een groot voordeel van een model is dat de drempelwaarde makkelijk af te stellen is. Indien 9% van de aanvragers werd geselecteerd door het Slimme Check model en de medewerker vooronderzoek is te zien dat het model beter presteert. Procentueel worden er dan minder mensen onterecht onderzocht waarbij het totale aantal onderzoeken ook afneemt. Van de aanvragen door de Slimme Check zal dit leiden tot een 38,6% daling van het aantal onterecht onderzochte aanvragen, maar ook in een daling van 29,6% van het terecht onderzochte aan

4.1.3 M7: Minder hoog percentage onderzoekswaardig dan verwacht Voorafgaand aan de pilot is een onderzoekswaardigheid verwacht van 56%. Het percentage dat uiteindelijk daadwerkelijk onderzoekswaardig was tijdens de pilot was 50,5%. Een van de succescriteria is dat het model niet significant slechter mag presteren dan de nulmeting met een confidence interval van 75%. We kunnen met behulp van een Chi-squared test niet aantonen dat het nieuwe proces (50,5%) beter of slechter presteert dan het oude proces (48%). De prestatie van de Slimme Check lijkt beter te worden als de drempelwaarde wordt verhoogt, maar dit kan niet met zekerheid worden gezegd omdat niet inzichtelijk is welke aanvragen de inkomensconsulent eruit pikt en naar handhaving stuurt. De prestatie worden namelijk gemeten over het hele proces

18

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

(medewerker vooronderzoek naar handhaving & inkomensconsulent naar handhaving). Voor nu kunnen we dus alleen concluderen dat met de gebruikte drempelwaarde in de pilot de Slimme Check de pricisie niet significant slechter gepresteerd heeft dan tijdens de nulmeting.

4.1.4 M5: Thema’s bij valsnegatieven De aanvragen die door de inkomensconsulent naar handhaving zijn gebracht zijn onderzocht of hier bepaalde thema’s op terugkomen. De thema’s die hierbij gevonden worden kunnen worden overwogen om het model mee te verbeteren. Een handhaver is gevraagd om de valsnegatieven te bekijken en op te schrijven wat de reden was waarom destijds de inkomensconsulent de aanvraag aan handhaving heeft aangeboden. Hier kwamen twee thema’s sterk naar voren. Meer dan de helft van de aanvragen die werd doorgestuurd was de reden een no-show; klant reageerde niet meer op de contactverzoeken van de gemeente, of een draaideur; handhaving heeft de aanvraag op een eerder moment beëindigd. Deze redenen stonden vaak aangeven in het systeem en blijken zeer voorspellend te zijn voor de onderzoekswaardigheid van de aanvraag, maar niet geselecteerd door het model. Hier lijkt dus winst te behalen voor de effectiviteit van het model.

4.2 Steekproef 4.2.1 Resultaat Tijdens de pilot is er ook een steekproef uitgevoerd. Met behulp van deze steekproef krijgen we al tijdens de pilot een beeld van de vals negatieven. Gedurende pilotperiode zijn elke week 10 aanvragen ad random uit de nieuwe aanvragen van de week ervoor gekozen door een medewerker van de werkgroep met een achtergrond in handhaving. Het enige criterium hierbij is dat de aanvraag niet-onderzoekswaardig moet zijn bevonden door de Slimme Check en medewerker vooronderzoek. Deze aanvragen zijn vervolgens bekeken door de medewerkers vooronderzoek waarbij ze mogen werken met alle informatie die beschikbaar is volgens de huidige werkwijze. De resultaten van de steekproef zien er als volgt uit: Niet-onderzoekswaardig Onderzoekswaardig

77 28

73% 27%

Waarbij gekeken is naar de onderzoekswaardig bevonden aanvragen die volgens de Slimme Check niet-onderzoekswaardig waren. Hoe is de inkomensconsulent hiermee omgegaan? Alsnog doorgestuurd naar handhaving Ingetrokken Afwijzingen Toegekend

14 2 4 8

19

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

Van de 8 aanvragen die onderzoekswaardig zijn bevonden door de medewerker vooronderzoek en direct toegekend zijn door de inkomensconsulent zijn nog eens extra onderzocht door een handhaver (zonder dat de klant hier last van ondervindt) om inzichtelijk te maken of een aanvrager niet onterecht levensonderhoud wordt uitgekeerd. Handhaving toch betrokken

4

Niet relevante doelgroep (IAOW/BD/Begeleid wonen) Onderzoekswaardig

3 1

Bij deze aanvraag lijkt het erop dat alles goed is ingevuld en de aanvrager bijstandsgerechtigd is. Echter is deze aanvraag wel onderzoekswaardig omdat het gewenst is om in dit geval een huisbezoek te doen om een schijnverlating uit te sluiten.

4.2.2 Relatief veel onderzoekswaardig bij steekproef Wat opviel in de eerste maanden is dat er nogal veel aanvragen die “ad-random” uit de nietonderzoekswaardige aanvragen zijn gepikt toch onderzoekswaardig bleken te zijn. Daarom werd de ex-handhaver uit de werkgroep, die de aanvragen ad-random heeft uitgezocht, nog eens gevraagd hoe hij deze aanvragen heeft geselecteerd. Hieruit bleek dat er toch werd gekeken naar de reden van de aanvraag. Gezien het voor hem lastig was om andere data in het tabel te negeren heeft de business analist van de werkgroep (zonder jarenlange kennis van handhaving) deze taak overgenomen. Hierna bleek dat niet 40%, maar 16% van de niet onderzoekswaardige aanvragen volgens de Slimme Check toch onderzoekswaardig was. Dit impliceert dat een handhaver met een snelle blik op de data kan voorspellen welke aanvragen onderzoekswaardig zijn. De reden van de aanvraag was hierbij een belangrijke factor, omdat hier uit kan worden afgeleid dat een aanvraag een draaideur aanvraag is of is beeindigd omdat de klant niet kwam opdagen (no-show). Dezelfde twee thema’s die terugkomen bij de vals-negatieven.

4.2.3 Conclusie Ondanks er één toch onderzoekswaardige aanvraag door de inkomensconsulent niet is doorgezet naar handhaving, krijgen we vertrouwen dat de inkomensconsulent tijdens de pilot de doorstroom van vals-negatieven goed heeft bewaakt.

20

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

5 Bias analyse

Informatie over de bias analyse, de conclusies hieruit en de getroffen maatregelen is in een apart document uitgewerkt. Zie hiervoor het Bias analyse document. Dit document is als bijlage toegevoegd aan dit Eindevaluatie-rapport

21

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

6 Ervaringen en inzichten medewerkers

In het kader van de pilot Slimme Check en de daarbij horende eindevaluatie zijn in de maanden augustus en september 2023 alle medewerkers vooronderzoek, verschillende medewerkers bij handhaving en verschillende medewerkers uit de werkgroep geïnterviewd. Daarnaast is er een enquête rondom de ervaringen met het werken via de Slimme check uitgezet voor medewerkers van de afdelingen Inkomensvoorziening en Handhaving. De inzichten en ervaringen die de medewerkers op deze wijze met ons hebben gedeeld, staan hieronder per team op algemene en anonieme wijze beschreven.

6.1 Medewerkers Vooronderzoek Tijdens de pilot (van 17 april t/m 31 augustus) hebben de medewerkers vooronderzoek (MVO) de uitkomsten van het Slimme Check model beoordeeld of een aanvraag terecht door het model als onderzoekwaardig voor handhaving was aangemerkt. Dagelijks voerden de MVO’ers hiervoor een controle uit door 9 vragen in een checklist te beantwoorden. Deze checklist is opgenomen in de werkinstructie voor de MVO’er en is speciaal voor de pilot Slimme Check Bijstandsaanvragen opgesteld. De aanvragen die de MVO’er na het doorlopen van de checklist heeft aangemerkt als onderzoekwaardig werden doorgezet naar Handhaving. De aanvragen die op basis van de checklist toch niet onderzoekwaardig zijn voor Handhaving, werden doorgezet naar de Inkomensconsulenten. Daarbij waren er dagelijks ook veel aanvragen die niet als onderzoekwaardig voor Handhaving door het Slimme check model waren aangemerkt. Deze aanvragen gingen direct door naar de Inkomensconsulent. Wekelijkse werden hier wel door MVO’ers steekproeven op uitgevoerd, om een beeld te krijgen of bepaalde aanvragen toch wel als onderzoekwaardig voor Handhaving hadden moeten worden aangemerkt.

6.1.1 Ervaringen Dagelijks hebben we vanuit het team Advanced Analytics contact gehad met de betrokken MVO’ers die bezig waren met het doorlopen van de checklist om vervolgens te bepalen of de Slimme Check terecht een aanvraag als onderzoekwaardig voor handhaving had aangemerkt. Deze interactie zorgde er in de eerste maand voornamelijk voor dat de nieuwe werkinstructie verder aangescherpt/bijgesteld werd en daarbij dat de MVO’ers de nieuwe werkwijze eigen konden maken. De MVO’ers waren jarenlang gewend om hun werk op een andere manier uit te voeren. Hierdoor was het voor de MVO’ers wennen om via een nieuwe werkinstructie te moeten werken. Verschillende MVO’ers vonden deze nieuwe werkwijze in het begin niet leuk. Sommigen vielen logischerwijs terug in oude patronen om aanvragen volledig te checken en volgden

22

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

daardoor de checklist in de werkinstructie niet. Ook was er door de nieuwe werkwijze bij een aantal MVO’ers de drang om aanvragen volledig te checken die als niet onderzoekwaardig voor handhaving waren aangemerkt. Vooral bij de aanvragen die in de lijst stonden als niet onderzoekwaardig, maar waarvan op basis van de Galo check (oude werkwijze) een ‘rood signaal’ was afgegeven. Hierdoor ontstonden ook weer vragen of dit soort aanvragen dan alsnog via de Inkomensconsulent bij Handhaving kwam. Een ander issue aan het begin van de pilot was de constatering dat niet alle MVO’ers toegang hadden tot SUWI inkijk. De toegang tot SUWI inkijk is cruciaal voor het correct kunnen doorlopen van de checklist. In de loop van mei was voor alle betrokken MVO’s de autorisatie en daarmee toegang tot SUWI inkijk geregeld. Door dagelijks gezamenlijk in gesprek te gaan en van elkaar te leren over het toepassen van de werkinstructie en de daarbij horende checklist, constateerden we dat vanaf eind mei de nieuwe werkwijze dagelijks correct werd uitgevoerd. Dit merkten we in de gesprekken met de MVO’ers, maar zagen we ook direct terug in de cijfers. De cijfers waren stabieler qua aantallen en percentages. Bovenstaande had als gevolg dat de verzamelde data in de eerste periode tot eind mei onbruikbaar was om te gebruiken voor de analyses.

Dit leidde ertoe om aan de Wethouder toestemming te vragen voor een maand verlenging van de pilot tot en met 31 augustus. Hierop werd op 5 juli jl. akkoord gegeven. Aan het eind van de pilot was er verdeeldheid onder de MVO’ers of deze werkwijze nu beter en prettiger is dan de ‘oude’ werkwijze. De werkinstructie was in ieder geval voor iedereen helder.

6.1.2 Inzicht & aanbevelingen De MVO’ers hebben tijdens de pilot met hun jarenlange ervaring met een kritische blik gekeken naar de nieuwe werkwijze via de Slimme Check. Dit heeft geleid tot nieuwe inzichten en aanbevelingen: 1. De MVO’er moet voor het beantwoorden van de vragen in de checklist veel verschillende applicaties openen om op basis van de beschikbare informatie tot de benodigde conclusie te komen. Hierdoor duurt de werkwijze langer dan de vorige en heeft de MVO’er ook veel meer schermen open. Deze handelingen zouden ook voor een gedeelte geïntegreerd kunnen worden (middels geautomatiseerde bronbevragingen) in het model. Dit geldt met name voor de informatie uit de SUWI bronnen die nu handmatig in SUWI inkijk moet worden geraadpleegd. 2. Het zou prettig zijn als onderzoekwaardige aanvragen geautomatiseerd aan het juiste team (bijv. HH1, HH2 of HH3) kunnen worden doorgezet. Het is in bepaalde gevallen lastig om te bepalen of een adres nu in bijvoorbeeld nieuw West of Zuid is. 3. Bij het switchen tussen verschillende applicaties moesten de MVO’ers om informatie over de aanvrager/huishouden te raadplegen, ook een vertaalslag maken van administratienummer naar BSN. Het verzoek is om het raadplegen op één generieke wijze binnen alle applicaties door te voeren om ‘overbodige’ handelingen te voorkomen. 4.

De drie belangrijkste features of indicatoren (de belangrijkste 'hits' van het model op basis van de in totaal vijftien features) die in de voor medewerkers zichtbare applicatie ‘Dataverkenner’ worden weergegeven zijn niet erg zinvol / behulpzaam voor de MVO’ers,

23

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

maar ook niet voor de medewerkers Handhaving. De reden hiervoor is dat deze lastig voor hen leken te doorgronden. In veel gevallen lijkt het namelijk voor de medewerkers alsof een bepaalde aanvraag niet onderzoekwaardig is, terwijl deze na onderzoek wel degelijk onderzoekwaardig blijkt te zijn. Het model werkt goed, alleen de weergave van de uitkomst van scores op de verschillende wegingen per datapunt die het model toont zorgt voor verwarring. Het model moet hierop verbeterd worden door de uitkomst (waarom een aanvraag onderzoekwaardig is?) op een andere manier weer te geven, zodat zowel de MVO’er en eventueel vervolgens de medewerker Handhaving beter gericht onderzoek kan uitvoeren. 5. De MVO’ers die vroeg starten, vonden het jammer dat de lijst met aanvragen via het Slimme Check model pas dagelijks vanaf ongeveer 8:00 uur beschikbaar kwamen. Dit tijdstip had te maken met een aantal nachtelijke geautomatiseerde processen die mogelijk anders ingericht kunnen worden, zodat de lijst met aanvragen eerder beschikbaar komt voor de MVO’ers. 6. De uitkomst van de Slimme check werd toegevoegd aan een bestaand en voor MVO’ers bekend overzicht, de ‘RPS-lijst’. In dit overzicht wordt ook aangegeven wat de uitkomst zou zijn via de ‘Galo’-check. Dit zorgde in het begin ook voor verwarring.

Vooral als de Slimme check een aanvraag als niet onderzoekwaardig voor handhaving aanmerkte en de ‘Galo’-check wel middels een ‘rood signaal’. Het advies is om in het vervolg bij de introductie van een nieuwe werkwijze, de uitkomsten van een oude werkwijze niet meer te tonen, zodat verwarring en de neiging om af te wijken van de nieuwe werkinstructie kan worden voorkomen. 7. Tijdens de pilot zijn er een aantal storingen geweest, waarvan één verstoring zelfs een week duurde. Dit heeft te maken doordat de Slimme Check een klein radartje is in een groter geheel met diverse applicaties. In het geval van een gevolg moeten we binnen deze keten van applicaties gezamenlijk afspraken maken om er voor te zorgen dat het aantal verstoringen en de onbeschikbaarheid van applicaties zo minimaal mogelijk is. Aanvullend was er tijdens de pilot ook een onverwachte aanpassing in het RPS overzicht. Dit zorgde ook voor verwarring en had voorkomen kunnen worden door hierover van te voren tussen de diverse applicatie-teams afspraken te maken, bijvoorbeeld door dit tijdig te communiceren.

6.2 Medewerkers Fraudepreventie & controle (Handhaving) Tijdens de pilot (van 17 april t/m 31 augustus) hebben de medewerkers Handhaving (HH) geen specifieke nieuwe werkinstructies gekregen. De medewerkers HH ontvingen dagelijks de onderzoekwaardige aanvragen vanuit MVO.

6.2.1 Ervaringen Het eerste wat de meeste medewerkers HH deden na het ontvangen van een onderzoekwaardige aanvraag via MVO was het raadplegen van de applicatie Dataverkenner om te kijken naar wat de 3 belangrijkste features/indicatoren zijn voor onderzoek. Vaak was er dan een weergave waarvan de medewerker HH zelf al concludeerde dat het juist niet onderzoekwaardig bleek te zijn op die punten, maar na verder kijken in het dossier/aanvraag wel onderzoekwaardig was op andere punten. Uiteraard waren er ook aanvragen bij die helemaal niet onderzoekwaardig waren volgens

24

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

de medewerkers HH. Deze constatering dat de reden in de Dataverkenner verwarrend werkt, hebben we vanuit alle medewerkers ontvangen die we hebben gesproken of die een enquête hadden ingevuld. In de dataverkenner werden vaak dezelfde features getoond als belangrijkste reden voor nader onderzoek voor Handhaving, zoals bijvoorbeeld ‘percentage deelnames gestart’ of ‘… aantal dagen sinds verhuizing’, terwijl bij nader onderzoek er andere redenen waren waarom de aanvraag wel degelijk onderzoekwaardig was, zoals bijvoorbeeld ‘meerdere personen op hetzelfde adres’. Het Slimme check model controleert wel op deze feature (medebewoners), maar concludeert toch dat andere features belangrijker zijn. Een aantal medewerkers HH hebben aangegeven dat het voor hen tijdens de pilot onduidelijk was wat de werkinstructie voor MVO was, welke checklist gehanteerd werd en op welke indicatoren het Slimme check model nu concludeert of een aanvraag al dan niet onderzoekwaardig is voor HH. Na een toelichting hierop was er meer begrip en duidelijkheid bij de medewerkers over wat de pilot allemaal behelsde. De algemene indruk bestond dat er tijdens de pilot meer aanvragen werden doorgezet naar HH dan tijdens de oude werkwijze.

Medewerkers HH ontvingen ook aanvragen vanuit inkomensconsulenten die door het model als niet onderzoekwaardig waren aangemerkt, maar door de inkomensconsulent wel voor nader onderzoek was doorgezet naar HH. Deze onderlinge afstemming tussen de inkomensconsulenten en de medewerkers HH liep goed tijdens de pilot. Vaak is het wel dezelfde Inkomensconsulent die een collega HH benaderd doordat er al een jarenlange samenwerking is. De medewerkers HH zijn zich er goed van bewust dat het Slimme check model bedoeld is om iedere Amsterdammer gelijkwaardig zonder vooringenomenheid te behandelen conform de ‘fairness handbook’. Maar er wordt ook benoemd dat sommige criteria die misschien als discriminerend betiteld zijn, best wel relevant kunnen zijn om te bepalen of een aanvraag voor HH onderzoekwaardig is. Dit is een complex onderdeel bij het bepalen van de onderzoekswaardigheid en een vraagstuk waar de medewerkers HH mee worstelen. Is het onderzoek vanuit HH wel te vatten in een aantal features? Er komt veel meer bij kijken dan alleen de informatie die beschikbaar is en/of gebruikt wordt door het model. De slimme check kan als hulpmiddel alleen ingezet worden als richtingbepalend voor mogelijk onderzoek.

6.2.2 Inzicht & aanbevelingen De medewerkers HH hebben na afloop van de pilot zowel middels interviews als een enquête hun ervaringen gedeeld op de nieuwe werkwijze via de Slimme Check. Dit heeft geleid tot nieuwe inzichten en aanbevelingen: 1. Zoals ook al aangegeven bij het inzicht en de aanbevelingen vanuit de MVO’ers. De drie belangrijkste features of indicatoren (de belangrijkste 'hits' van het model op basis van de in totaal vijftien features) die in de voor medewerkers zichtbare applicatie ‘Dataverkenner’ worden weergegeven zijn niet erg zinvol / behulpzaam voor de MVO’ers, maar ook niet voor de medewerkers Handhaving.

25

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

2. De Slimme check kan er wel voor zorgen dat aanvragen die onderzoekwaardig zijn voor HH er minder snel door heen glippen. Dat kan het voordeel zijn van de inzet van de Slimme Check in aanvraagproces. 3. De medewerkers HH waren onvoldoende bekend met de werking van het Slimme check model en de daarbij horende werkinstructie, ondanks alle communicatie en afstemming die voorafgaand aan de pilot was opgetuigd. In een eventueel vervolg is dit een aandachtspunt om medewerkers nog nadrukkelijker te betrekken in het traject. 4. Er is zijn veel terugkoppelingen geweest van medewerkers HH die graag willen meedenken bij de doorontwikkeling van het model en hoe we indicatoren beter kunnen weergeven zodat medewerkers HH beter gericht onderzoek kunnen uitvoeren. Daarbij hebben sommige medewerkers HH aangegeven dat zij graag willen meedenken hoe vraagstelling in het aanvraagformulier kan leiden tot beter inzicht om te bepalen of een aanvraag al dan niet onderzoekwaardig is.

6.3 Inkomensconsulenten Onder Inkomensconsulenten heeft een enquête plaatsgevonden over de nieuwe werkwijze via de Slimme check.

6.3.1 Enquête Het merendeel van de deelnemers aan de enquête ziet de inzet van de Slimme check als positief ten opzichte van de oude werkwijze en heeft vertrouwen in de werking van de Slimme check als oplossing binnen het aanvraagproces voor Levensonderhoud. Er werd aangegeven dat de werkwijze voor een eerlijke screening op rechtmatigheid aan de voorkant zorgt. Iedere aanvraag gaat door dezelfde check. Daarnaast is deze werkwijze efficiënt en kan er sneller beoordeeld worden. Ook het voordeel dat er hierdoor vroeg in het proces extra onderzoek kan worden ingezet, draagt bij aan efficiëntie. Ook is er het signaal dat er vanuit inkomensvoorziening wordt gezien dat bepaalde aanvragen al in het voorstadium wordt afgevangen. Dit is een grote toegevoegde meerwaarde op het gebied van rechtmatigheid en leidt voor inkomensvoorziening ook weer tot minder werk. Daarnaast heeft het wennen aan de nieuwe werkwijze en verstoringen in het proces er ook toe geleid dat overgedragen aanvragen Levensonderhoud in bepaalde gevallen niet binnen 5 werkdagen opgepakt werden vanwege achterstanden. Ook werd er aangegeven dat het beoordelen van een aanvraag maatwerk betreft. Iedere persoons- of gezinssituatie is anders en heeft (mogelijk) ook weer een ander soort informatie nodig voor het uitvoeren van een onderzoek. Dit is een gegeven dat je niet in een model kan vangen.