2023-12-14 Eindevaluatie-rapport Pilot Slimme Check v1.0.pdf

De slimme check kan als hulpmiddel alleen ingezet worden als richtingbepalend voor onderzoek.

26

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

Er werd verdeeld gereageerd op de vraag of er meer contact was tussen de Inkomensconsulent en de medewerker Handhaving tijdens de pilot dan daarvoor. Er werd wel unaniem aangegeven dat het contact en de samenwerking met de collega’s van Handhaving prettig en goed verloopt.

6.4 Experts uit de werkgroep Een groot aantal deskundigen hebben bijgedragen aan de realisatie van het Slimme check model. Tijdens de pilot hebben er een aantal van deze experts dicht op de teams (MVO & HH) gezeten om de pilot in goede banen te leiden.

6.4.1 Ervaringen De experts hebben ook geconstateerd dat de overgang naar een andere werkwijze met nieuwe werkinstructie niet vlekkeloos is verlopen. Naast dat er veel nieuwe collega’s in dit traject instroomden, werd er geconstateerd dat het lastig is om iets nieuws te leren na jarenlang het werk op een andere wijze uit te voeren. Hierdoor werden collega’s ook onzeker en bang om fouten te maken. Daardoor is er in de beginfase van het traject ook veel aandacht en energie gestoken in het gezamenlijk uitvoeren van het nieuwe werkproces, zodat er van elkaar geleerd werd. Dit bracht vertrouwen bij de medewerkers, maar hierdoor was de data die in de eerste maand van de pilot werd verzameld helaas onbruikbaar. Een andere constatering tijdens de beginfase betreft de overdracht van aanvragen tussen MVO en HH. Deze verliep ook niet altijd soepel doordat HH niet altijd wist hoe zij de onderzoekwaardige aanvragen zelf moesten opvoeren in het systeem. Er is vertrouwen in het Slimme check model waarbij vooral de mogelijkheden benadrukt worden die een zelflerend model met zich meebrengt. Met de tijd kan het model, zolang dit ook goed gemonitord blijft op bias, steeds effectiever worden, zodat de werkverdeling tussen handhaving en de inkomensconsulenten efficiënter ingericht kan worden. De aandacht en capaciteit kan daar worden ingezet, waar die nodig is.

Een ander voordeel aan dit werkproces betreft het genereren van de RPS lijst. Voorheen waren er 7 losse verschillende lijsten die eerst moesten worden samengevoegd. Dat is met de nieuwe werkwijze veel efficiënter ingericht.

6.4.2 Inzichten & aanbevelingen Een aantal experts heeft via interviews hun kritische ervaringen gegeven op de uitvoering van de nieuwe werkwijze via de Slimme Check. Dit heeft geleid tot nieuwe inzichten en aanbevelingen: 1. Het aantal dat als onderzoekwaardig wordt aangemerkt door het model en na de checklist door de MVO’er als niet onderzoekwaardig wordt doorgezet naar de Inkomensconsulent, is hoog. Het model zou hier beter op afgesteld kunnen worden, zodat verhoudingsgewijs minder aanvragen als onderzoekwaardig aangemerkt worden waarvan de MVO’er beoordeelt dat deze conform de checklist toch niet onderzoekwaardig zijn.

27

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

2. Er staat heel veel uitleg, informatie en toelichting in de werkinstructie. Tijdens de eerste maand is deze ook nog verder aangepast en gefinetuned. Deze had mogelijk compacter en eenvoudiger kunnen worden opgesteld. Daarnaast wordt ook aangegeven dat je op een gegeven moment ook gewoon moet starten en niet moet wachten totdat alles in de puntjes is geregeld. 3. Ook de experts geven aan dat de ‘Dataverkenner’ andere informatie moet tonen waarmee de MVO en HH meer inzicht over een aanvragen krijgen en HH gericht onderzoek kan uitvoeren. 4. In de RPS lijsten stond na de ‘Galo’ uitslag (bijv. rood signaal), ook een kolom met reden voor aanvraag Levensonderhoud. De reden kon ook tot verwarring leiden bij de medewerkers die in het verleden getriggerd werden door een reden zoals bijvoorbeeld ‘Beëindiging uitkering’. Als in dit geval de aanvraag via de Slimme check als ‘niet onderzoekwaardig’ was aangemerkt, werd er in het begin toch afgeweken van de werkinstructie doordat MVO zelf op onderzoek uitging. 5. De experts gaven ook aan om de applicaties eenduidig te gebruiken, of informatie ophalen via het administratienummer of via het BSN. De wens is om deze niet door elkaar te gebruiken binnen de verschillende applicaties 6.

Het is belangrijk om bij dit soort innovatieve (door)ontwikkelingen en opzetten van nieuwe werkinstructies een goede mix te hebben van inhoudsdeskundigen, experts van het proces, medewerkers in de uitvoering en technische collega’s die een oplossing realiseren. Dit is de sleutel voor succes. 7. Monitoring van de werkwijze en het model is noodzakelijk. Een voorbeeld hiervan is het periodiek blijven analyseren van de false negatives en false positives, maar ook het continue monitoren van het model op trends (afwijkingen/bias). Daarbij kan het flexibel afstemmen van het model op de beschikbare capaciteit ook een belangrijke factor spelen in de (tijdige) verwerking van de aanvragen. 8. De menselijke maat moet leidend zijn. Het is noodzakelijk dat er altijd een menselijke handeling/interventie in het proces zit, zodat er met een kritische blik gekeken blijft worden naar de werkwijze en het daarbij horende Slimme check model. 9. Over bepaalde aanvragen die niet deel uitmaakte van de pilot werden toch scores berekend door de Slimme Check. Dit betrof zowel ‘scores die berekend zijn over aanvragen buiten de aanvragen die behandeld worden door de medewerker vooronderzoek’ als 'scores die berekend zijn over aanvragen die door de medewerker vooronderzoek zijn behandeld maar er later worden uitgefilterd’.

Om uit te sluiten dat het model niet verkeerd wordt gebruikt, moet er gerichter worden geselecteerd op de aanvragen die worden aangeboden aan het model. 10. Implementeer een beter documenten bewaarsysteem. 11. Zorg voor minder vrijheid in het bewerken van de lijsten of zorg dat de lijsten eenmaal uit het systeem (en in Excel) minder aanpassingen nodig hebben. Dit voorkomt dat er meer ruimte voor menselijk fouten beschikbaar is. 12. Er is één persoon waarbij team Advanced Analytics de data over bias-, Socrates- en Sherlockdata kon opvragen. Het feit dat daar nu maar één persoon beschikbaar voor is, maakt deze werkwijze fragiel. Het advies is om per direct de kennis om deze taak uit te voeren te delen en anderen beschikbaar te stellen om deze data uit het systeem te halen. 13. Geef elke aanvraag een uniek nummer zodat aanvraag gevolgd kan worden in het hele proces ten behoeve van de proces analyse.

28

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

7 Pilotdoelen en succescriteria

7.1 Doelstelling Informatiegestuurd Handhaven Vanuit Handhaving is het doel om de onrechtmatige instroom van aanvragen in het aanvraagproces Levensonderhoud te minimaliseren. Hierdoor kunnen we optimale dienstverlening leveren en onnodige problemen voor de Amsterdammer voorkomen. Dit doen we middels een datagedreven aanpak die de informatiepositie aan de kop van het aanvraagproces verbetert. Hiermee worden de aanvragen effectiever en efficiënter onderzocht. Voor het evalueren van de pilot zijn een aantal criteria (de pilotdoelen) leidend voor het maken van besluitvorming. Deze pilotdoelen staan ook weergegeven in hoofdstuk 1. Daarnaast zijn er ook subdoelen voor de pilot opgesteld met succescriteria. Deze dienen als achtergrondinformatie bij de besluitvorming, en vormen daarnaast een startpunt voor het opzetten van de jaarlijkse evaluaties uit het beheerplan als wordt overgegaan tot implementatie. Hieronder staan de resultaten van alle pilot(sub)doelen aan de hand van de vooraf bepaalde succescriteria:

Effectiviteit In het aanvraagproces worden alleen de aanvragen nader onderzocht wanneer er aanleiding is om deze te onderzoeken om te voorkomen dat Amsterdammers onnodig belast worden met onderzoeken, vragen en stress. Pilotdoel Type Resultaat Het model kan onderzoekswaardige zaken effectief aanwijzen, Meten waardoor relatief meer onrechtmatige aanvragen kunnen worden afgewezen als blijkt dat er geen recht is. Succescriteria De precisie is niet significant gedaald t.o.v. de nulmetingen bij eenzelfde percentage aanvragen doorgezet naar handhaving (confidence level van ten minste 75%. Dit confidence level is een trade-off tussen enerzijds een betrouwbaar resultaat, en anderzijds een niet te lange looptijd van de pilot) Onderbouwing resultaat Via de Slimme check is de precisie niet significant gedaald t.o.v. de nulmeting terwijl er een hoger percentage aanvragen naar handhaving is doorgezet. (confidence level >75%). De precisie lijkt

29

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

hoger te worden als achteraf de drempelwaarde wordt verlaagd, maar dit kan niet met zekerheid worden gezegd omdat het niet duidelijk is welke aanvragen worden afgevangen door de inkomensconsulent. Zie voor meer informatie de resultaten van de meetpunten in het meetplan (hoofdstuk 5) Succescriteria Type Resultaat Er wordt gestuurd op een optimale balans tussen het aanmerken van wel- en niet-onderzoekswaardige zaken, maar wanneer er gekozen moet worden zullen we de voorkeur geven aan het sneller aanmerken Borgen van niet-onderzoekswaardige zaken (vals-negatieven) dan onderzoekswaardige zaken (vals-positieven). Onderbouwing resultaat De flexibiliteit is mogelijk binnen de configuratie door de hoogte te bepalen van de gewenste risicoscore waarop het Slimme check model moet meten. Door de business gewenste aanpassingen in het model leiden tot het herijken van de assessments en documentatie. Succescriteria De onderzoekswaardigheid van een aanvraag is gebaseerd op wet- en regelgeving, vastgesteld beleid en gevalideerde/vastgestelde input vanuit de business.

Type

Resultaat

Borgen

Onderbouwing resultaat De uitwerking hiervan staat opgenomen in het ‘Overzicht verwerkte data en features v1.0’

Succescriteria De oplossing zorgt voor een stijging van het percentage afwijzingen binnen het gehele aanvraagproces.

Type

Resultaat

Meten

Onderbouwing resultaat Uit analyse is gebleken dat de Slimme Check bijdraagt aan een stijging van het percentage afwijzingen binnen het gehele aanvraagproces. Zie voor meer informatie de resultaten van de meetpunten in het meetplan (hoofdstuk 5)

Tijdig en kwalitatief In het aanvraagproces wordt de aanvraag tijdig en kwalitatief goed beoordeeld door de professional. Succescriteria Er ontstaat een duidelijke rolverdeling in het aanvraagproces tussen de functies Inkomensconsulenten, Medewerkers Vooronderzoek en Handhavingsspecialisten. Hierbij wordt er aandacht besteed aan de overdracht en de informatie in het proces. Dit leidt tot hogere kwaliteit in het aanvraagproces en wordt geborgd in een werkinstructie.

Type

Resultaat

Borgen

30

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

Onderbouwing resultaat In de beginfase van de pilot is de werkinstructie aangepast om de activiteiten, rollen en verantwoordelijkheden verder te verduidelijken. Naarmate de pilot vorderde liep de werkwijze en de onderlinge afstemming en overdracht tussen de functies Inkomensconsulenten, Medewerkers Vooronderzoek en medewerkers Fraudepreventie & controle steeds beter.

Efficiënt inzetten capaciteit In het aanvraagproces wordt de beschikbare capaciteit van de functies Handhavingsspecialist, Inkomensconsulent en Medewerker Vooronderzoek zo efficiënt mogelijk ingezet. Succescriteria Type Resultaat De capaciteit wordt zo optimaal mogelijk benut door een procesverandering gebaseerd op standaardisatie van onderzoekswaardige Borgen zaken waarmee dubbel werk door verschillende functies wordt voorkomen. Onderbouwing resultaat Dit is gedeeltelijk gerealiseerd. Enerzijds heef het model terecht meer aanvragen als onderzoekswaardig aangemerkt, waardoor aanvragen naar de juiste afdeling werden doorgezet. Anderzijds heeft het model tijdens de pilot meer aanvragen als onderzoekswaardig aangemerkt die eigenlijk niet onderzoekswaardig waren dan vooraf als doel was gesteld met de gekozen drempelwaarde. Van deze aanvragen kan je zeggen dat deze aanvragen als ‘dubbel werk’ worden beschouwd

Succescriteria Het aantal aanvragen die een Handhavingsspecialist ontvangt is afgestemd op de beschikbare capaciteit.

Type

Resultaat

Borgen

Onderbouwing resultaat Het Slimme check model is technisch zo ontworpen om hier qua configuratie in te voorzien. Alleen tijdens de pilot is gebleken dat dit (nog) niet correct werkte o.b.v. de resultaten uit de prepilot. Er werd gekozen voor een drempelwaarde met een risico-score van 62%. De verwachting was dat hierdoor 9% van het totaal aantal aanvragen als onderzoekswaardig doorgezet zou worden vanuit de medewerker Vooronderzoek naar Handhaving. Op basis van de pilotresultaten is uiteindelijk 13,6% van het totaal aantal aanvragen als onderzoekswaardig doorgezet naar Handhaving.

Dienstverlening verbeteren voor de Amsterdammer

31

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

In het aanvraagproces wordt de Amsterdammer zo goed mogelijk geholpen door de professional en wordt zo nodig integraal en ketenoverstijgend doorverwezen. Succescriteria Het aantal terugvorderingen naar aanleiding van onrechtmatig toegekende aanvragen neemt af.

Type

Resultaat

Meten

geen oordeel

Onderbouwing resultaat Dit doel hebben we niet kunnen toetsen. Hiervoor was de periode voor de eindevaluatie te kort.

Succescriteria Type Resultaat De verbetering in dienstverlening aan de Amsterdammer wordt inzichtbaar gemaakt door het bijhouden van klachten en bezwaarschriften op het eerdere onderscheid in Meten onderzoekswaardigheid en niet-onderzoekswaardigheid aan de kop van het proces. Onderbouwing resultaat Met betrekking tot de inzet van de Slimme check zijn er rondom het onderscheid in onderzoekswaardigheid en niet-onderzoekswaardigheid vanuit aanvragers geen klachten of vragen ontvangen bij de Gemeente Amsterdam. Vanuit klanttevredenheid onderzoek zien we dezelfde scores tijdens de pilot als van voor de pilot. Doordat de nieuwe werkwijze volledig afwijkt van de handmatige werkwijze kunnen we eigenlijk geen goede vergelijking maken. We beoordelen dit vandaar als neutraal.

Transparant en uitlegbaar In het aanvraagproces worden de digitale en technologische middelen die worden toegevoegd in het proces zo transparant en uitlegbaar mogelijk gemaakt voor zowel de Amsterdammer als voor de professional. Pilotdoel Type Resultaat De werkinstructie voor de medewerkers die het model gaan gebruiken Borgen / is helder voor de medewerker. kwalitatief meten Succescriteria Ten minste 50% van de geïnterviewde eindgebruikers zijn na afloop van de pilot tevreden over de werkinstructies. Onderbouwing resultaat

32

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

In de eerste periode van de pilot waren de medewerkers niet tevreden over de nieuwe werkwijze en daarbij horende werkinstructie. Dit had vooral te maken met het wennen aan de nieuwe werkwijze en dat de werkinstructie nog niet volledig was. Naarmate de pilot vorderde werden meerdere gebruikers positiever over de nieuwe werkwijze/werkinstructie en kunnen we stellen dat meer dan 50% positief was.

Pilotdoel Type Resultaat De oplossing is transparant en uitlegbaar voor de medewerker door Borgen / per risico indicatie van een aanvraag een uitleg te genereren die zij kwalitatief kunnen inzien en raadplegen in het beoordelen van de aanvraag. meten Succescriteria Ten minste 50% van de geïnterviewde eindgebruikers zijn na afloop van de pilot tevreden over de uitleg per risico indicatie. Onderbouwing resultaat De in het Slimme check-model opgenomen risico indicaties (features) waren afzonderlijk voor iedereen inhoudelijk duidelijk. De medewerkers waren niet tevreden over de uitkomst van de 3 belangrijkste features waarom een aanvraag onderzoekswaardig was. Deze uitkomst was onduidelijk en niet richtinggevend voor nader onderzoek. Met het model achter de Slimme check, Explainable Boosting Machine, is goed te interpreteren hoe een score tot stand is gekomen vanuit het geleerde algoritme. Maar het is moeilijk te verklaren waarom de score hoger is op bepaalde plekken in de grafiek van de feature (partial dependence plot). Een voorbeeld hiervan is dat het niet uit te leggen valt waarom iemand die 3 jaar op dezelfde plek woont nog steeds onderzoekswaardig is. Wel kun je zien dát het een positieve bijdrage heeft geleverd aan de onderzoekswaardigheid van de aanvraag.

Het model is dus wel goed te interpreteren, maar kan als leeralgoritme niet verklaren waarom iemand die ergens 3 jaar woont nog steeds onderzoekswaardig is, wat het model niet volledig transparant maakt.

Succescriteria Type Resultaat Het is duidelijk hoe de oplossing tot stand is gekomen, dit is gecommuniceerd via o.a. de website van de Gemeente en het Borgen algoritmeregister. Onderbouwing resultaat Er is op verschillende manieren gecommuniceerd wat de Slimme check is en dat deze tijdens de pilotfase ingezet werd in het aanvraagproces Levensonderhoud. Dit is kenbaar gemaakt op zowel het aanvraagformulier als op de website van de Gemeente Amsterdam via een toelichting hierop met daarbij een informatiefilmpje. Daarnaast is de Slimme check ook opgenomen in het algoritmeregister van Amsterdam.

Succescriteria De oplossing is uitlegbaar en transparant voor de Amsterdammer door informatie bij de aanvraag te laten zien op een toegankelijke manier in verschillende talen.

Type

Resultaat

Borgen

33

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

Onderbouwing resultaat Tijdens de pilot is op het (online) aanvraagformulier de inzet van de Slimme check in het aanvraagproces vermeld. Daarbij is er een informatiefilmpje over de Slimme check geplaatst en is er verwezen naar informatie over de Slimme check die beschikbaar is op de site van de gemeente Amsterdam. M.b.t. de transparantie is er niet inzichtelijk gemaakt op welke 15 indicatoren (features) de Slimme check een aanvraag al dan niet onderzoekswaardig aanmerkt.

Succescriteria De oplossing is transparant en uitlegbaar voor de interne organisatie en de handhavingsspecialisten door training en werkinstructies met uitleg over de oplossing en hoe om te gaan met de uitkomsten en risico's van de oplossing.

Type

Resultaat

Borgen / kwalitatief meten

Onderbouwing resultaat Ondanks de vele informatiesessies en de opgestelde werkinstructie bleek toch dat dit niet voldoende was geweest voor de medewerkers. Dit kwam ook met name doordat de 3 belangrijkste features ‘waarom een aanvraag onderzoekswaardig is’ onduidelijk en niet richtinggevend voor nader onderzoek waren.

Gelijk, proportioneel en onbevooroordeeld In het aanvraagproces wordt de handhavingsspecialist door de technologie ondersteund in het zorgdragen voor een gelijke, proportionele en onbevooroordeelde behandeling van elke Amsterdammer die een aanvraag doet. Pilotdoel Het aandeel onterecht onderzochte aanvragen is minimaal, zodat de Amsterdammer zo min mogelijk ten onrechte belast wordt.

Type

Resultaat

Meten

Succescriteria Het aandeel valspositieven is significant gedaald t.o.v. de nulmetingen (confidence level zie bovenstaand). Onderbouwing resultaat De configuratie van het model moet beter worden afgestemd op de onderzoekswaardigheid zodat het aandeel onterecht onderzochte aanvragen minimaal is. Zie voor meer informatie de resultaten van de meetpunten in het meetplan (hoofdstuk 5)

Pilotdoel Gevoelige attributen zoals gender en nationaliteit spelen geen rol bij het labelen van aanvragen als wel/niet onderzoekswaardig. Onbevooroordeelde en gelijke behandeling wordt gestimuleerd door

Type

Resultaat

Meten

34

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

de oplossing te toetsen d.m.v. de bias analyse, tijdens implementatie wordt de bias gemonitord Succescriteria De bias analyse laat zien dat er ook bij actief gebruik van het model geen sprake is van bias in het risicomodel Onderbouwing resultaat Er kan niet worden bepaald of wel of geen sprake is van bias in het risicomodel. De kwaliteit van de data ten behoeve van de bias analyse is niet voldoende om hier een uitspraak over te doen. Er bestaat onzekerheid over de onderzoekswaardigheid-labels die worden gebruikt voor de bias analyse. Er is gebleken dat de gebruikte afboekcodes op meerdere manieren te interpreteren zijn. Hierdoor kunnen we niet met zekerheid zeggen dat de labels die gebruikt zijn voor de bias analyse correct zijn. Daarnaast zijn het aantal aanvragen in bepaalde groepen (bevoordeelde/ benadeelde groep) te klein om een betrouwbare analyse op uit te voeren. Zie voor meer informatie het ‘Bias analyse’ document.

Succescriteria Gelijke behandeling wordt gestimuleerd door het juridisch en praktisch toetsen van de gebruikte data, business rules en features

Type

Resultaat

Borgen

Onderbouwing resultaat De uitwerking hiervan staat opgenomen in het ‘Overzicht verwerkte data en features v1.0’. Daarnaast is dit juridisch geborgd middels een geaccordeerde DPIA, KIIA en IAMA. Bij iedere aanpassing in het model vindt opnieuw een herijking plaats van alle documentatie waaronder DPIA, KIIA en IAMA.

Succescriteria De kenmerken van de oplossing zijn geïnspireerd op nieuwe statistische inzichten, wet- en regelgeving en beleid en kennis van medewerkers

Type

Resultaat

Borgen

Onderbouwing resultaat De uitwerking hiervan staat opgenomen in het ‘Overzicht verwerkte data en features v1.0’

Succescriteria Type Resultaat De proportionaliteit wordt geborgd door in de (juridische) documentatie uit te leggen hoe de oplossing in verhouding staat tot Borgen het doel van het werkproces namelijk: beoordelen aanvragen levensonderhoud Onderbouwing resultaat Dit is juridisch geborgd middels een geaccordeerde DPIA, KIIA en IAMA. Deze assessments moeten bij wijzigingen in het Slimme check model worden herijkt.

35

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

8 Conclusie

Uit onze analyse is gebleken dat de inzet van een tool als de slimme check die vaststelt of een aanvraag Levensonderhoud al dan niet onderzoekswaardig is van toegevoegde waarde kan zijn. Het beproefde model achter de Slimme check heeft de potentie om het aanvraagproces Levensonderhoud verder te optimaliseren, maar moet gezien de resultaten nog verder doorontwikkeld worden om te kunnen voldoen aan alle pilotdoelstellingen en daarbij horende succescriteria en metingen. Daarbij zijn er ook een groot aantal aanbevelingen met betrekking tot het gebruikte werkproces. Hiervan is de weergave waarom een aanvraag onderzoekswaardig is (3 belangrijkste features) de meest urgente aanpassing om te komen tot een werkbaar proces voor de medewerkers. Onze algemene conclusie is dat de Slimme check en het daarbij gebruikte werkproces hierdoor op deze wijze niet verder in productie kan worden genomen. Hieronder geven we per doelstelling onze verder onderbouwing van onze conclusie weer: Effectiviteit In het aanvraagproces worden alleen de aanvragen nader onderzocht wanneer er aanleiding is om deze te onderzoeken om te voorkomen dat Amsterdammers onnodig belast worden met onderzoeken, vragen en stress.

Conclusie We hebben geconstateerd dat de Slimme check onderzoekwaardige zaken effectief kan aanwijzen, waardoor relatief meer onrechtmatige aanvragen ten opzichte van het huidige handmatige proces via de Inkomensconsulent zijn afgewezen als bleek dat er geen recht is. Het model presteert hiermee beter dan het handmatige proces. Daarbij wordt wel de kanttekening geplaatst dat het model nog beter afgesteld moet worden, om minder aanvragen onterecht als onderzoekswaardig aan te merken. Deze worden vanuit de voorselectie er weliswaar uitgefilterd, maar dit aantal kan wat ons betreft lager. Dit betreft een configuratie van het flexibele model achter de Slimme check. Tijdig en kwalitatief In het aanvraagproces wordt de aanvraag tijdig en kwalitatief goed beoordeeld door de professional.

Conclusie Na een korte periode van wennen aan de nieuwe werkwijze verliep de onderlinge samenwerking tussen de functies Inkomensconsulenten, Medewerkers Vooronderzoek en medewerkers Fraudepreventie & controle goed.

36

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

Efficiënt inzetten capaciteit In het aanvraagproces wordt de beschikbare capaciteit van de functies Handhavingsspecialist, Inkomensconsulent en Medewerker Vooronderzoek zo efficiënt mogelijk ingezet. Conclusie Dit is gedeeltelijk gerealiseerd. De configuratie van het model moet beter afgestemd worden op de onderzoekswaardigheid van een aanvraag en de beschikbare capaciteit bij de afdeling Handhaving. Dienstverlening verbeteren voor de Amsterdammer In het aanvraagproces wordt de Amsterdammer zo goed mogelijk geholpen door de professional en wordt zo nodig integraal en ketenoverstijgend doorverwezen.

Conclusie Het klanttevredenheidsonderzoek liet dezelfde uitkomsten zien als voor de pilot. Er zijn geen klachten ontvangen tijdens de pilot over de Slimme check. Transparant en uitlegbaar In het aanvraagproces worden de digitale en technologische middelen die worden toegevoegd in het proces zo transparant en uitlegbaar mogelijk gemaakt voor zowel de Amsterdammer als voor de professional. Conclusie De werkinstructie is in de beginfase van de pilot verduidelijkt en was uiteindelijk voor iedereen helder. De weergave van de 3 belangrijkste features die als reden gelden waarom een aanvraag onderzoekswaardig is, werkten voor de medewerkers verwarrend en waren niet richtinggevend voor nader onderzoek. Dit kwam mede door de zware weging die sommige features hadden gekregen bij het trainen van het model. In de informatie/communicatie richting de Amsterdammer ontbreekt op basis van welke 15 features het Slimme check model de aanvraag checkt. Het model is transparant in interpreteerbaarheid, maar kan niet verklaren waarom bij bepaalde waarden van features een aanvraag onderzoekswaardig is of niet. Dit maakt het model niet volledig transparant.

Gelijk, proportioneel en onbevooroordeeld In het aanvraagproces wordt de handhavingsspecialist door de technologie ondersteund in het zorgdragen voor een gelijke, proportionele en onbevooroordeelde behandeling van elke Amsterdammer die een aanvraag doet. Conclusie

37

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

De configuratie van het model moet beter worden afgestemd op de onderzoekswaardigheid, zodat het aandeel onterecht onderzochte aanvragen minimaal is. Er kan niet worden bepaald of wel of geen sprake is van bias in het risicomodel. De kwaliteit van de data ten behoeve van de bias analyse is niet voldoende om hier een uitspraak over te doen.

8.1 Eindadvies Voorafgaand aan de pilot zijn onderstaande scenario's opgesteld waarmee op basis van de pilotevaluatie een beslissing kan worden genomen over het vervolg van de Slimme Check, het algoritme-model en de daarbij horende werkwijze. 1.GO

2.NO GO

3.Doorontwikkelen

4.Verlengen

Het risicomodel is klaar voor implementatie. Doorontwikkelingen zullen in het beheerproces worden meegenomen, en het algoritme kan direct van de pilotfase over naar de beheerfase. Om een GO te kunnen geven, zullen ten minste de succescriteria Effectiviteit en Proportioneel, onbevooroordeeld en gelijk behaald moeten zijn. Als deze niet behaald zijn, zal niet worden overgegaan tot implementatie. Het risicomodel wordt ongeschikt bevonden voor implementatie. Er zal geen doorontwikkeling plaatsvinden en het project wordt afgerond. Dit kan gebeuren als blijkt dat het model niet werkt zoals behoort, of onverwachte negatieve gevolgen heeft die niet of onvoldoende kunnen worden gemitigeerd. Een voorbeeld hiervan is als problemen rondom de performance niet kunnen worden opgelost, of als bias in het model wordt aangetroffen die we niet kunnen corrigeren Het risicomodel wordt op dit moment ongeschikt gevonden voor implementatie. Wel zou het model onder voorbehoud van een aantal doorontwikkelingen wel passend kunnen zijn. Hierbij kunnen bijvoorbeeld extra features worden toegevoegd of weggehaald. Dit kan bijvoorbeeld gebeuren als we denken dat bepaalde belangrijke informatie nu onvoldoende door het model gevangen wordt. In dat geval worden er mogelijk een of meerdere features toegevoegd aan het model.

Ook kan het zo zijn dat er tijdens de pilot problemen zijn aangetroffen rondom datakwaliteit en bias die eerst opgelost dienen te worden voordat het model in productie kan worden genomen. Het is mogelijk dat tijdens de pilotfase onvoldoende data verzameld wordt om een duidelijke conclusie te trekken met betrekking tot de pilotdoelen Effectiviteit en Proportioneel, onbevooroordeeld en gelijk. Dit kan bijvoorbeeld gebeuren wanneer de werkeloosheid daalt en daardoor minder Amsterdammers een bijstandsuitkering aanvragen in de pilot periode. Wanneer wel een duidelijke verbetering zien in de precisie en valspositieven, maar onvoldoende aanvragen hebben om het gewenste significantieniveau te behalen kan gekozen worden voor een eenmalige verlenging. De looptijd van deze verlenging wordt vooraf scherp afgebakend, en de doelstelling is enkel het vergroten van de sample size.

38

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

Op basis van de conclusies uit deze eindevaluatie is ons advies voor het vervolg van de Slimme check, het algoritme-model en de daarbij horende werkwijze: 3.Doorontwikkelen. De Slimme check wordt op dit moment ongeschikt gevonden voor implementatie. Op basis van de inzichten en aanbevelingen uit de pilot voorzien wij wel dat het model en de daarbij horende werkwijze en mogelijkheden onder voorbehoud van een aantal doorontwikkelingen wel passend zou kunnen zijn. Qua effectiviteit zit er veel potentie in het model. Ondanks dat we zien dat het model nog beter geconfigureerd kan worden om te voldoen aan de doelen, zien we nu al dat het model meer onderzoekwaardige zaken effectief kan aanwijzen, waardoor relatief meer onrechtmatige aanvragen kunnen worden afgewezen als blijkt dat er geen recht is. Daarbij is het van belang om in de doorontwikkelingsfase opnieuw te bepalen of er extra features moeten worden toegevoegd of juist weggehaald en dit ook op ethische- en privacyaspecten te toetsen. Dit kan er ook toe leiden dat het model nog beter gaat presteren. Daarbij moeten we de weergave met de reden waarom een aanvraag onderzoekswaardig is voor de medewerkers, anders vormgeven zodat deze richtinggevend is voor nader onderzoek. Voor de uitvoering van de bias analyse moeten we de randvoorwaarden en definities aanscherpen m.b.t.

de labels zodat deze niet op meerdere manieren te interpreteren zijn. Daarnaast is het noodzakelijk om vooraf in het succescriterium te bepalen welke uitkomst als geaccepteerde bias kan worden beschouwd en wat als problematische bias. Bij ons advies tot Doorontwikkelen hebben we nog de volgende opmerking en aanvulling: Opmerking • Met de komst van het nieuwe Basis-platform worden een aantal huidige bronsystemen vervangen. Dit betekent dat er nieuwe bronsystemen aan de Slimme check gekoppeld moeten gaan worden. Hierdoor moet het model eerst weer opnieuw gevormd worden. Daarnaast dient het proces ook weer zorgvuldig doorlopen te worden en zullen we de diverse assessments (DPIA, KIIA, IAMA, etc.) opnieuw moeten uitvoeren of herijken. Aanvulling • Met het nieuwe Basis-platform ontstaan er mogelijk nieuwe inzichten/oplossingen waarmee een aanvraag LO al dan niet ook als onderzoekswaardig aangemerkt kan worden. Wij stellen voor om dit te onderzoeken als eventueel alternatief voor het huidige model achter de Slimme check.

39

Gemeente Amsterdam Opgave: De Amsterdammer financieel gezond en naar werk

Versie 1.0 14 december 2023

Eindevaluatie pilot Slimme Check Eindrapport

Bijlagen

Documenten horende bij dit Eindevaluatie-rapport: • 2023-11 Eindevaluatie Slimme check -resultaten Meetplan • 2023-11 Eindevaluatie Pilot Slimme Check Bias Analyse • Overzicht verwerkte data & features 1.0

40