2023-12-14 Eindevaluatie Slimme check -resultaten Meetplan v1.0.pdf

SLIMME CHECK EINDEVALUATIE – RESULTATEN MEETPLAN November ’23

Team Advanced Analytics

1. MEETPLAN Resultaten metingen van data ontvangen op 12-10-23

M1 - Hoeveel aanvragen Levensonderhoud ≥27 jaar (team Intake) zijn er aangevraagd? Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

NIO Medewerker vooronderzoek doorgaat checklist

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

Basis: 2026 aanvragen zijn behandeld in de pilot Slimme Check in de maanden juni t/m augustus.

Filters: •

Periode datum opvoer: juni-juli-augustus

•

Regeling ≠ IOAZ/IOAW (3)

•

Scts Team: inkomensvoorziening (28)

•

RMW Team Klant ≠ “Intake team 4 BD” ( 0)

•

Leeftijd: ≥27 jaar (416)

Dit resulteert in een dataset van 1582 Aanvragen.

Inkomensconsulent maakt besluit op

NIO

Niet In Onderzoek

IO

In Onderzoek

M2 - Hoeveel van de aanvragen zijn er onderzocht door Medewerkers Vooronderzoek? Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

NIO Medewerker vooronderzoek doorgaat checklist

408/1582 Aanvragen zijn onderzocht door de medewerkers vooronderzoek (25,8%)

Dit zijn alle onderzoekswaardige aanvragen volgens het Slimme Check model.

Inkomensconsulent maakt besluit op

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

NIO

Niet In Onderzoek

IO

In Onderzoek

M2,5 (Extra) - Hoeveel van de aanvragen zijn onderzoekswaardig volgens de Medewerker Vooronderzoek? Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

Inkomensconsulent maakt besluit op

NIO Medewerker vooronderzoek doorgaat checklist

215/ 1582 aanvragen

| 13,6% van totaal

215 / 408 aanvragen

| 52,7% van onderzochte aanvragen

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

➢ IO volgens Medewerker Vooronderzoek Dit zijn meer aanvragen dan waar eerder op was geanticipeerd (9%). De drempelwaarde van het model kan worden bijgesteld om het daadwerkelijke aantal aanvragen dat wordt doorgezet naar beneden bij te stellen.

NIO

Niet In Onderzoek

IO

In Onderzoek

M3 - Hoeveel van de aanvragen zijn onderzoekswaardig en zijn in het proces behandeld door de Handhavingsspecialist? Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

NIO Medewerker vooronderzoek doorgaat checklist

272/ 1582 aanvragen (17,2 %) ➢ Filter op gevulde start datum onderzoek HH “Datum start handhaving”

➢ Filter Sherlock ➢ “Onjuiste opvoer” ➢ “Niet onderzoekswaardig MVO” ➢ "Onjuiste overdracht: retour"

Inkomensconsulent maakt besluit op

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

NIO

Niet In Onderzoek

IO

In Onderzoek

M4 - Hoeveel van de aanvragen zijn niet-onderzoekswaardig en gaan daarmee naar de Inkomensconsulent? Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

NIO Medewerker vooronderzoek doorgaat checklist

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

1367/1582 (86,4%) aanvragen waren niet onderzoekswaardig en gingen naar de Inkomensconsulent. M1 = 1582 aanvragen

M2,5= 215 aanvragen M4 = M1 – M2,5 = 1367

Inkomensconsulent maakt besluit op

NIO

Niet In Onderzoek

IO

In Onderzoek

M5 - Hoeveel van de aanvragen die de Inkomensconsulent behandelt worden overgedragen naar een Handhavingsspecialist? (dit duidt op een valsnegatieve: de aanvraag was onderzoekswaardig, maar ging naar IC) Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

Inkomensconsulent maakt besluit op

NIO Medewerker vooronderzoek doorgaat checklist

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

89/1367 (6,5%) aanvragen werden door de inkomensconsulent overgedragen aan een Handhavingsspecialist ➢ Filter op gevulde start datum onderzoek HH “Resultaat Onderzoek”

➢ Filter “NIO” door medewerker vooronderzoek ➢ Start HH onderzoek soms voor start onderzoek ic ➢ 18 aanvragen waar HH onderzoek na datum screening ic was ➢ No show & draaideur grootste redenen voor overdracht naar HH

NIO

Niet In Onderzoek

IO

In Onderzoek

M6 - Hoeveel van de aanvragen die de MVer/Handhavingsspecialist behandelt worden overgedragen naar een Inkomensconsulent (dit duidt op een valspositieve: de aanvraag was niet-onderzoekswaardig, maar ging naar HH) Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

Inkomensconsulent maakt besluit op

NIO Medewerker vooronderzoek doorgaat checklist

46 /215 (21%) van de aanvragen die door de medewerker vooronderzoek als onderzoekswaardig zijn aangemerkt worden door de handhaver als niet onderzoekswaardig bevonden. •

Filter IO medewerker vooronderzoek

•

Filter: Sherlock.Resultaat Onderzoek: Niet onderzoekswaardig

•

19 niet onderzocht door hh • Deze aanvragen zijn opnieuw beoordeeld door de medewerker vooronderzoek nadat de Slimme Check geen scores produceerde ivm een geheugen issue.

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

NIO

Niet In Onderzoek

IO

In Onderzoek

M7 - Wat zijn de resultaten van de onderzoeken die Handhaving heeft uitgevoerd? Model geeft onderzoekwaardigheidsscore: Ja/Nee

Klant vraagt LO aan

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

Inkomensconsulent maakt besluit op

NIO Medewerker vooronderzoek doorgaat checklist

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

NIO

Niet In Onderzoek

IO

In Onderzoek

Meetplan Afwijzen

154

42%

Wijzigingen

14

4%

Geen wijzigingen

122

33%

Geen wijziging (Rechtvaardigheid)

17

5%

Niet onderzoekswaardig

59

16%

Totaal

366

Data van verschillende processen in verschillende perioden gemeten MeetperiodeProces MP2 BR only MP3 BR only MP4 BR only MP2 IC only MP3 IC only MP4 IC only MP5 Pilot

Hitrate Hitrate Wijzigingen + Hitrate Wijzigingen + Afwijzigingen + afwijzigingen Afwijzigingen Geen wijziging (rechtvaardigheid) 44,66% 49,51% 51,46% 54,69% 56,25% 56,25% 43,24% 51,35% 54,05% 25,00% 32,89% 35,53% 34,55% 36,36% 38,18% 32,79% 40,98% 44,26% 42,08% 45,90% 50,55%

M8 - Wat zijn de resultaten van de onderzoeken die Inkomensconsulenten hebben uitgevoerd? Model geeft onderzoekwaardigheidsscore: Ja/Nee

Klant vraagt LO aan

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

Inkomensconsulent maakt besluit op

NIO Medewerker vooronderzoek doorgaat checklist

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

NIO

Niet In Onderzoek

IO

In Onderzoek

1538/1582 (97%) aanvragen bekend Meting 5 (Pilot)

IC Resultaten

Meting 4

Meting 3

Totaal Traject met HH Totaal Traject met HH

Totaal

Meting 2

Meting 0

Traject met HH Totaal Traject met HHGEMAAKT Totaal Traject HH ▪ CHECK OF VERGELIJKING KANmet WORDEN

Afwijzing

26%

40%

25%

44%

27%

41%

25%

35%

25%

36%

Buiten Behandeling

17%

9%

12%

5%

16%

5%

15%

13%

17%

0%

Intrekking

5%

10%

6%

3%

6%

5%

7%

6%

6%

4%

Onjuiste opvoer

4%

4%

4%

4%

2%

4%

4%

3%

6%

6%

Toekenning

48%

37%

52%

44%

49%

45%

50%

43%

46%

54%

M9 - Hoe vaak is het advies van HH door Inkomen opgevolgd?

Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

NIO Medewerker vooronderzoek doorgaat checklist

Opgevolgd Totaal Afwijzing: geen medewerking (21)

52

52

Afwijzing: middelen (22)

3

3

Afwijzing: voorliggende voorziening

6

6

Afwijzing: woon/leefsituatie (23)

22

24

Geen wijziging (1)

66

74

Geen wijziging (Rechtvaardigheid)

6

10

Wijziging: middelen (12)

1

2

Wijziging: woon/leefsituatie (13)

4

4

160 (91%)

175

Totaal

Inkomensconsulent maakt besluit op

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

NIO

Niet In Onderzoek

IO

In Onderzoek

M10 - Wat is het percentage vals-positieven van de aanvragen die Handhaving krijgt? (Hoeveel van de aanvragen die handhaving kreeg waren onnodig omdat deze toch niet-onderzoekswaardig waren) Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

NIO Medewerker vooronderzoek doorgaat checklist

142/272 (52,2%) aanvragen zijn als niet-onderzoekswaardig of als geen wijzigingen bestempeld door Handhaving

MP: 181/366 (49,5%) aanvragen zijn als niet-onderzoekswaardig of als geen wijzigingen bestempeld door Handhaving

IO

Inkomensconsulent maakt besluit op

NIO Handhavingsspecialist onderzoekt de aanvraag en geeft advies

NIO

Niet In Onderzoek

IO

In Onderzoek

M11 - Wat is het percentage vals-negatieven van de aanvragen die Handhaving krijgt? (Hoeveel van de aanvragen waren wel onderzoekswaardig die handhaving níet kreeg) Model geeft onderzoekwaardigheidsscore: Ja/Nee

Klant vraagt LO aan

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

Inkomensconsulent maakt besluit op

NIO Medewerker vooronderzoek doorgaat checklist

Steekproef. 10 aanvragen per week. Resultaten van juni – juli - aug:

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

NIO

Niet In Onderzoek

IO

In Onderzoek

Extra onderzoek door HH

IO

28

27%

▪ 8 toegekend

▪ 1 Onderzoekswaardig

NIO

77

73%

▪ 14 naar HH

▪ 4 Handhaving toch betrokken

Totaal

105

▪ 2 ingetrokken

▪ 3 Niet relevante doelgroep (IAOW/BD/Begeleid wonen)

▪ 4 afwijzingen

M12 - Hoe vaak komt het voor dat een aanvraag niet binnen 3 weken is afgehandeld, waarbij HH een onderzoek heeft gedaan? Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

∑

NIO Medewerker vooronderzoek doorgaat checklist

257/272 aanvragen waarbij er eerder een besluit was bij handhaving dan bij de inkomensconsulent.

53/257 aanvragen is een besluit over genomen meer dan 21 dagen na na einde onderzoek handhaving Dit komt neer op 21% van de 257 aanvragen

Inkomensconsulent maakt besluit op

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

NIO

Niet In Onderzoek

IO

In Onderzoek

M13 - Hoeveel dagen is het HH proces?

Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

Inkomensconsulent maakt besluit op

NIO Medewerker vooronderzoek doorgaat checklist

Het aantal dagen vanaf het begin van het onderzoek tot het einde van het onderzoek: Gemiddeld 7,9 dagen

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

NIO

Niet In Onderzoek

IO

In Onderzoek

M14 - Het aantal aanvragen die een HH ontvangt is afgestemd op de beschikbare capaciteit

Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

Inkomensconsulent maakt besluit op

NIO Medewerker vooronderzoek doorgaat checklist

215/1582 (13,6%) aanvragen zijn via de medewerker Vooronderzoek naar handhaving gestuurd.

Uiteindelijk zijn er 272/1582 (17,2%) aanvragen bij HH onderzocht.

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

NIO

Niet In Onderzoek

IO

In Onderzoek

M15 - Hoe vaak zijn er klachten en bezwaarschriften ingediend op een beslissing aanvraag LO waarin een HH advies is gegeven? Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

Inkomensconsulent maakt besluit op

NIO Medewerker vooronderzoek doorgaat checklist

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

Geen klachten ontvangen tijdens de pilot Slimme Check van aanvragers levensonderhoud.

NIO

Niet In Onderzoek

IO

In Onderzoek

M16 - Hoe vaak wordt er doorverwezen door Handhaving bij een aanvraag Levensonderhoud naar een andere voorziening in de keten? Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

Inkomensconsulent maakt besluit op

NIO Medewerker vooronderzoek doorgaat checklist

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

Kan niet betrouwbaar worden achterhaald vanuit de data. Juni & juli: Alle onderzochte aanvragen zijn naar de inkomensconsulent gegaan. Augustus: 5 van de 88 onderzochte aanvragen door handhaving zijn nog niet door de inkomensconsulent beoordeeld.

NIO

Niet In Onderzoek

IO

In Onderzoek

M18 - Hoeveel van de aanvragen die de Inkomensconsulent behandelt worden per team overgedragen naar een Handhavingsspecialist? Model geeft onderzoekwaardigheidsscore: Ja/Nee

Klant vraagt LO aan

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja Teams IKV Digitale Klantpost IKV Project Schuldhulpverlening IKV Centrum IKV Flex IKV Jongeren ZVV IKV Nieuw West 1 IKV Nieuw West 2 IKV Noord 1 IKV Noord 2 IKV Oost 1 IKV Oost 2 IKV West 1 IKV West 2 IKV Zuid IKV Zuidoost 1 IKV Zuidoost 2 Eindtotaal

Onderzoek HH Aanvragen bij IC Percentage 1 1 100% 0 6 2 0 5 11 6 10 1 3 5 7 8 7 17 89

2 133 31 3 99 132 76 92 84 117 121 86 160 91 127 1355

0% 5% 6% 0% 5% 8% 8% 11% 1% 3% 4% 8% 5% 8% 13%

Inkomensconsulent maakt besluit op

NIO Medewerker vooronderzoek doorgaat checklist

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

NIO

Niet In Onderzoek

IO

In Onderzoek

M18 - Wat is het percentage aan afwijzingen (%) dat aan het eind van het aanvraagproces door de inkomensconsulent wordt gedaan? Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

Inkomensconsulent maakt besluit op

NIO Medewerker vooronderzoek doorgaat checklist

406 aanvragen zijn afgewezen gedeeld door het totaal van 1140 (toekenning + afwijzing) = 35,6%

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

NIO

Niet In Onderzoek

IO

In Onderzoek

M17 - Zijn er biases in het model en op bepaalde features, tegen bepaalde groepen? Klant vraagt LO aan

Model geeft onderzoekwaardigheidsscore: Ja/Nee

Inkomensconsulent onderzoekt de aanvraag

Nee

Ja

Inkomensconsulent maakt besluit op

NIO Medewerker vooronderzoek doorgaat checklist

IO

Handhavingsspecialist onderzoekt de aanvraag en geeft advies

NIO

Niet In Onderzoek

IO

In Onderzoek

Het is voor de Gemeente Amsterdam van belang dat de algoritmes die gebruikt worden in de stad niet onbedoeld bias hebben, en aanvragers vaker onterecht selecteert op basis van bijvoorbeeld gender, leeftijd of migratieachtergrond. Dit soort gevoelige attributen worden niet gebruikt door het model, maar het is mogelijk dat andere variabelen die door het model gebruikt worden toch indirect verband houden met dit soort attributen. Dit noemen we proxy variabelen. Om dit te onderzoeken is er een bias analyse uitgevoerd (net zoals tijdens de pre-pilot fase) op basis van het Fairness Handboek.

De Methodiek die is geselecteert voor de bias analyse is False Postive/Group Size Parity

23

Wat is de kans dat een willekeurig persoon die een uitkering aanvraagt ten onrechte wordt onderzocht op basis van zijn/haar geslacht, achtergrond of andere sensitieve attributen?

24

De data voor de bias analyse bestaat uit aanvragen die zowel door het model als door handhaving een zijn gelabeld Tijdens de pilot zijn alle aanvragen door het model gelabeld als onderzoekswaardig of niet onderzoekswaardig aan de hand van een risicoscore. De aanvragen die hierna door handhaving zijn onderzocht krijgen een afboekcode waaruit we kunnen afleiden of een aanvraag in werkelijkheid onderzoekswaardig was of niet (zie Tabel 1). Deze aanvragen kunnen worden gebruikt voor de bias analyse. Voor de bias analyse kijken we naar het aantal vals positieven per groep. Een vals positieve is wanneer een aanvraag door het model wordt aangemerkt als onderzoekswaardig en door handhaving als niet onderzoekswaardig.

Afboekcode

Onderzoekswaardigheid

Afwijzing: middelen

Onderzoekswaardig

Afwijzing: voorliggende voorziening

Onderzoekswaardig

Afwijzing: woon/leefsituatie

Onderzoekswaardig

Afwijzing: geen medewerking

Onderzoekswaardig

Geen wijziging

Niet onderzoekswaardig1

Geen wijziging: Rechtvaardigheid

Onderzoekswaardig

Niet onderzoekswaardig

Niet onderzoekswaardig

Wijziging: middelen

Onderzoekswaardig

Wijziging: woon/leefsituatie

Onderzoekswaardig

Tabel 1: Onderzoekswaardigheid mapping afboekcodes. 1 Dit label kan niet met zekerheid worden bepaald. Het kan voorkomen dat een aanvraag met afboekcode Geen wijziging wel onderzoekswaardig is.

25

Resultaten van de directe bias analyse

Aantal aanvragen bevoordeelde groep

Aantal aanvragen benadeelde groep

Leeftijd: <30 vs 30+

36

238

Leeftijd: <40 vs 40+

152

120

Leeftijd: <50 vs 50+

208

64

Man vs vrouw

144

128

Nationaliteit: NL vs niet-nl

212

59

Nationaliteit: Westers vs niet-westers

246

25

Attribuut

Tabel 2: Verdeling groepen bevoordeelde vs bendadeelde per feature

Figuur 1: Resultaten directe bias analyse. De percentages weergeven de ratio’s. Een positief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) x% meer kans heeft om onterecht onderzocht te worden; een negatief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) x% minder kans heeft om onterecht onderzocht te worden.

26

Resultaten van de indirecte bias analyse

Aantal aanvragen bevoordeelde groep

Aantal aanvragen benadeelde groep

Eerder LO ontvangen Nee vs Ja

203

69

Dagen sinds einde dienst >1 jaar vs <1 jaar

202

70

Dagen sinds einde dienst >2 maanden vs <2 maanden

242

30

Dagen sinds verhuizing >1 jaar vs <1 jaar

175

97

Aantal adressen 1 vs 2+

248

24

Attribuut

Tabel 3: Verdeling groepen bevoordeelde vs bendadeelde per feature

Figuur 2: Resultaten indirecte bias analyse. De percentages weergeven de ratio’s. Een positief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) x% meer kans heeft om onterecht onderzocht te worden; een negatief resultaat betekent dat een aanvrager uit de benadeelde groep (rechts) x% minder kans heeft om onterecht onderzocht te worden.

27