Presentatie tech sessie cie WIISA 2-9

Het risico-inschattingsmodel voor onrechtmatigheid bij uitkeringen.

Technische sessie 1 september 2021

Overzicht sessie 1

Inleiding

2

Toelichting algoritme

3

Rondvraag en sluiting

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

2

Overzicht sessie 1

Inleiding

2

Toelichting algoritme

3

Rondvraag en sluiting

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

3

2

Toelichting algoritme

2.1

Introductie machine learning

2.2

Gebruikte gegevens risico-inschattingsmodel

2.3

Modellen, risicoscores

2.4

Finale model

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

4

Wat is een algoritme?  Een set reken- of beslisregels  Bijvoorbeeld: appels – losse verkoop of appelmoes? Appel Beurse plekken? Ja

Nee Rijp? Nee

Ja Gewicht > 200g

<= 200g

Misvormd? Ja

Diameter Nee < 8cm

Appelmoes

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

>= 8cm Losse verkoop

5

Wat is een algoritme?    

Dit zijn door de fruithandelaar bedachte regels Stel: je weet die regels niet Je hebt alleen kistjes met appels die wel of geen sticker hebben Zou je die regels toch kunnen vinden?

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

6

Wat is een algoritme?  Laten we eens naar een paar eigenschappen kijken:

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

Kleur

Steeltje

Diameter

Sticker

Donkergroen

Ja

6,3

Ja

Lichtrood

Ja

8,1

Ja

Lichtgroen

Ja

9,1

Ja

Donkergroen

Nee

6,6

Nee

Donkergroen

Ja

7,4

Ja

Geel

Nee

6,3

Nee

Lichtrood

Nee

7,0

Nee

Geel

Ja

6,2

Nee

Lichtgroen

Ja

7,0

Ja

Lichtrood

Ja

8,2

Ja

Geel

Nee

8,0

Ja

Geel

Ja

6,1

Nee

7

Wat is een algoritme?  Laten we eens naar een paar eigenschappen kijken:  Als de diameter 7,0 of groter is, dan is de kans groot dat er een sticker op zit (6 van de 7)

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

Kleur

Steeltje

Diameter

Sticker

Donkergroen

Ja

6,3

Ja

Lichtrood

Ja

8,1

Ja

Lichtgroen

Ja

9,1

Ja

Donkergroen

Nee

6,6

Nee

Donkergroen

Ja

7,4

Ja

Geel

Nee

6,3

Nee

Lichtrood

Nee

7,0

Nee

Geel

Ja

6,2

Nee

Lichtgroen

Ja

7,0

Ja

Lichtrood

Ja

8,2

Ja

Geel

Nee

8,0

Ja

Geel

Ja

6,1

Nee

8

Wat is een algoritme?  Laten we eens naar een paar eigenschappen kijken:  Als de diameter 7,0 of groter is, dan is de kans groot dat er een sticker op zit (6 van de 7)  Als de kleur Geel is en de diameter is kleiner dan 8,0 dan lijkt er vrijwel zeker geen sticker op te zitten

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

Kleur

Steeltje

Diameter

Sticker

Donkergroen

Ja

6,3

Ja

Lichtrood

Ja

8,1

Ja

Lichtgroen

Ja

9,1

Ja

Donkergroen

Nee

6,6

Nee

Donkergroen

Ja

7,4

Ja

Geel

Nee

6,3

Nee

Lichtrood

Nee

7,0

Nee

Geel

Ja

6,2

Nee

Lichtgroen

Ja

7,0

Ja

Lichtrood

Ja

8,2

Ja

Geel

Nee

8,0

Ja

Geel

Ja

6,1

Nee

9

Wat is een algoritme?  Laten we eens naar een paar eigenschappen kijken:  Als de diameter 7,0 of groter is, dan is de kans groot dat er een sticker op zit (6 van de 7)  Als de kleur Geel is en de diameter is kleiner dan 8,0 dan lijkt er vrijwel zeker geen sticker op te zitten  Groene appels lijken altijd een sticker te krijgen, behalve als er geen steeltje aan zit

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

Kleur

Steeltje

Diameter

Sticker

Donkergroen

Ja

6,3

Ja

Lichtrood

Ja

8,1

Ja

Lichtgroen

Ja

9,1

Ja

Donkergroen

Nee

6,6

Nee

Donkergroen

Ja

7,4

Ja

Geel

Nee

6,3

Nee

Lichtrood

Nee

7,0

Nee

Geel

Ja

6,2

Nee

Lichtgroen

Ja

7,0

Ja

Lichtrood

Ja

8,2

Ja

Geel

Nee

8,0

Ja

Geel

Ja

6,1

Nee

10

Wat is een algoritme? We hebben nu zelf uit de data enkele beslisregels afgeleid. Dat is dus ook al een algoritme.  Wat valt op aan onze poging:  Met enkele regels kunnen we redelijk goed de appels indelen  Geen enkele regel die we hebben bedacht is foutloos (wel of geen sticker)  We hebben lukraak gezocht naar goede regels

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

11

Hoe kunnen we dit beter maken? 1.

Met meer voorbeeld-appels kunnen we met meer zekerheid goede regels maken 2. Met extra eigenschappen vergroten we de kans om betere regels te vinden 3. We kunnen de beste regels, die op het oog moeilijk te vinden zijn, berekenen  Het programmeren en automatiseren van dit rekenwerk noemen we machine learning

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

12

Machine learning beslisboom Kleur

Steeltje

Diameter

Sticker

Donkergroen

Ja

6,3

Ja

Lichtrood

Ja

8,1

Ja

Lichtgroen

Ja

9,1

Ja

Donkergroen

Nee

6,6

Nee

Donkergroen

Ja

7,4

Ja

Geel

Nee

6,3

Nee

Lichtrood

Nee

7,0

Nee

Geel

Ja

6,2

Nee

Lichtgroen

Ja

7,0

Ja

Lichtrood

Ja

8,2

Ja

Geel

Nee

8,0

Ja

Geel

Ja

6,1

Nee

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

Appel Diameter < 7,2cm

>= 7,2cm

Kleur Geel, Lichtrood

Donkergroen, Lichtgroen Steeltje? Nee

Appelmoes

Ja

Losse verkoop

100%

13

Checkmoment Hoofdpunten: • We zijn dus in staat om uit de kenmerken van een kist appels regels af te leiden die de appels perfect kunnen scheiden • Hoe meer appels we hebben en hoe meer kenmerken, des te beter de regels die we kunnen maken • Het afleiden van die regels kunnen we automatiseren; we noemen dat machine learning Is iedereen nog aan boord?

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

14

Trainen en testen  Toch weten we nog niet of dit een goed algoritme is, want we weten alleen maar dat het werkt op deze 12 appels  Hoe doet dit algoritme (of “model“) het op een nieuwe kist appels? Appels dus, die niet gebruikt zijn om de beslisregels uit af te leiden?  Naar verwachting werkt het dan slechter (maakt meer fouten), want er zullen zich nieuwe combinaties van eigenschappen voordoen en er is geen garantie dat het model die goed indeelt  Het beste model is dus niet het model dat op de voorbeeld-appels het beste presteert, maar op de ongeziene appels, want dat is de situatie die het algoritme uiteindelijk in de praktijk gaat tegenkomen  We zeggen dan: dat model “generaliseert” het beste

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

15

Trainen, testen en scoren

Trainingsdata met labels

In machine learning noemen we de voorbeeld-appels de trainingsdata, waarmee we een model (algoritme) maken of “trainen”. We trainen meerdere modellen.

  Testdata met labels

Scoringsdata zonder labels



De ongeziene appels noemen we de testdata, waarmee we de modellen dus “testen” Op de testdata krijgen we een indruk van de prestatie die we van de modellen in de praktijk kunnen verwachten Een veelgebruikte maat voor die prestatie is de nauwkeurigheid: het gedeelte correct voorspelde appels

Uiteindelijk gaan we het best geteste algoritme in de praktijk inzetten. Dat noemen we het finale model. Alle appels die van de lopende band komen krijgen dan van dat algoritme wel of niet een sticker. Dit proces noemen we scoren, de stroom aan appels noemen we de scoringsdata.

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

16

Trainen, testen en scoren Features Label Kleur

trainset 80%

testset 20%

Steeltje

Diameter

Voorspelling

scoringsset

Sticker

Kleur

Steeltje

Diameter

Sticker

Ja

5,3

Nee

Donkergroen

Ja

6,3

Ja

Geel

Lichtrood

Ja

8,1

Ja

Lichtrood

Nee

6,1

Ja

Ja

9,1

Ja

Lichtgroen

Ja

9,1

Ja

Lichtgroen

Donkergroen

Nee

6,6

Nee

Rood

Nee

6,6

Ja

Donkergroen

Ja

7,4

Ja

Donkergroen

Ja

7,4

Ja

Geel

Nee

6,3

Nee

Geel

Nee

6,3

Nee

Lichtrood

Nee

7,0

Nee

Lichtrood

Nee

7,0

Ja

Geel

Ja

6,2

Nee

Geel

Ja

6,2

Nee

Lichtgroen

Ja

7,0

Ja

Lichtrood

Ja

7,4

Nee

Ja

8,2

Ja

Lichtrood

Ja

8,2

Ja

Lichtrood

Geel

Nee

8,0

Ja

Geel

Ja

8,2

Ja

Geel

Ja

6,1

Nee

Donkergroen

Ja

6,3

Ja

Lichtrood

Ja

8,1

Ja

Lichtgroen

Ja

9,1

Nee

Donkergroen

Nee

6,4

Nee

Geel

Ja

6,1

Nee

Donkergroen

Ja

6,3

Ja

Lichtrood

Ja

8,1

Ja

Lichtgroen

Ja

9,1

Ja

Geel

Nee

6,3

Nee

Geel

Ja

6,2

Nee

Donkergroen

Ja

7,4

Nee

Lichtgroen

Ja

7,0

Ja

Geel

Nee

6,3

Ja

Nee

7,2

Ja

selectie

modellen

finale model

scoren

Lichtgroen

Nee

7,1

Ja

Lichtrood

Lichtrood

Ja

5,4

Nee

Rood

Ja

6,2

Ja

Lichtgeel

Ja

7,0

Nee

Lichtrood

Ja

8,2

Nee

Geel

Nee

8,0

Nee

…

…

…

…

…

…

…

…

Lichtrood

Ja

8,2

Ja

Ja

Geel

Nee

8,0

Ja

Nee

Lichtgroen

Ja

6,5

Ja

Geel

Ja

6,1

Nee

Nee

Donkergroen

Nee

8,1

Ja

Lichtgroen

Ja

7,0

Ja

Ja

Geel

Ja

6,1

Ja

Lichtrood

Ja

8,2

Nee

Ja

Geel

Ja

5,5

Ja

Donkergroen

Nee

7,2

Nee

Lichtrood

Nee

8,3

Ja

Lichtgroen

Ja

7,6

Nee

…

…

…

…

…

…

…

…

…

…

…

…

Geel

Nee

8,0

Ja

Ja

…

…

…

…

…

testen

Voorspelling

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

17

Checkmoment Het proces van machine learning: • We trainen meerdere modellen (algoritmes) op voorbeelddata • We testen de modellen op andere voorbeelddata • We selecteren het beste model voor toepassing in de praktijk Is iedereen nog aan boord?

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

18

2

Toelichting algoritme

2.1

Introductie machine learning

2.2

Gebruikte gegevens risico-inschattingsmodel

2.3

Modellen, risicoscores

2.4

Finale model

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

19

Onze casus: onrechtmatigheid in de uitkering  Kunnen we, net als bij de appels, regels ontdekken die het optreden van onrechtmatigheid in een bijstandsuitkering zo goed mogelijk inschatten?  We hebben voorbeeld-appels: rechtmatigheidsonderzoeken die in het verleden uitgevoerd zijn en waarvan we de uitkomst weten  We hebben scorings-appels: de mensen die nu een bijstandsuitkering ontvangen  Wat zijn de eigenschappen (features) waarop we de beslisregels willen baseren? Dat zijn de gegevens die we van de ontvangers van een uitkering hebben  Gegevens die nodig zijn voor de inkomensverstrekking  Gegevens die gebruikt worden om mensen weer naar werk toe te leiden

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

20

Welke gegevens gebruiken we?  We gebruiken uitsluitend gegevens die we zelf vastgelegd hebben voor de uitvoering van de Participatiewet, er zijn geen koppelingen met externe systemen of databronnen  Personen zijn gepseudonimiseerd, we weten niet om wie het gaat  Niet alle gegevens zijn bruikbaar:  Gevoelige data zoals nationaliteit  Teksten die medewerkers vrij in kunnen typen  Gegevens die niet consistent vastgelegd zijn (datakwaliteit)  We stemmen dit iedere ronde af met de opdrachtgever bij W&I

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

21

Welke gegevens gebruiken we?  Uit het “inkomen” systeem (Socrates) halen we deze gegevens:  Persoon: geslacht, geboortedatum (alleen jaar en maand)  Adres(sen): buurt, wijk, plaats, soorten (verblijf, verzend, …), datums van-tot; NB: geen straat/huisnummer  Relaties: aantal partners, kinderen, overige (kostendeler, bewindvoerder, …), datums van-tot  Ook halen we uit Socrates de resultaten van rechtmatigheidsonderzoeken

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

22

Welke gegevens gebruiken we?  Uit het “werk” systeem (Raak/RMW) deze:  Afspraken: naam, resultaat, datum  Belemmeringen: omschrijving, datums van-tot  Beschikbaarheid: naam, datums van-tot  Competenties: omschrijving, datums van-tot  Contacten: soort, onderwerp, datum  Deelname activiteiten: reïntegratieladder, voortijdige beëindiging, datums van-tot  Instrumenten: reïntegratieladder, reden beëindiging, datums van-tot  Ontheffingen: naam, datums van-tot  Plannen van aanpak: naam, reden einde, doelstelling, datums van-tot  Typeringen: naam, datums van-tot  Persoonlijke eigenschappen: niveaus NL spreken/lezen/schrijven/begrijpen, taaleis, spreektaal, opmerkingen over motivatie, flexibiliteit, zelfstandigheid, presentatie, houding, etc.

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

23

Van gegevens naar features  In de getoonde vorm zijn de gegevens – om technische redenen – niet geschikt om er een model op te trainen  We passen een transformatie toe, met de volgende stappen: 1. Omvormen naar geschikt format (numeriek)

Persoon

Contact_soort

…

1

E-mail (inkomend)

…

2

Chat

…

3

Chat

…

1

E-mail (inkomend)

…

3

Telefoontje (uitgaand)

…

…

…

…

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

Persoon

Contact_soort_ Contact_soort_ Contact_soort_ … email_inkomend chat telefoontje_ uitgaand

1

2

0

0

…

2

0

1

0

…

3

0

1

1

…

…

…

…

…

…

24

Van gegevens naar features  In de getoonde vorm zijn de gegevens – om technische redenen – niet geschikt om er een model op te trainen  We passen een transformatie toe, met de volgende stappen: 1. Omvormen naar geschikt format (numeriek)

Persoon

Uiterlijke_ verzorging_ opm

Motivatie_opm

1

“Verzorgd”

“Cliënt neemt … geen initiatieven”

2

3

…

“Solliciteert actief op allerlei functies” “soms onverzorgd, niet fris” …

…

…

Persoon

Motivatie_opm … Uiterlijke_ verzorging_ opm

1

1

1

…

2

0

1

…

3

1

0

…

…

…

…

…

…

…

…

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

 De inhoud van de tekst nemen we dus niet mee, dus ook niet of het positief, negatief of gevoelig is wat er staat.  We maken alleen een indicator die aangeeft óf er iets geschreven is over motivatie, uiterlijke verzorging, houding etc.

25

Van gegevens naar features  In de getoonde vorm zijn de gegevens – om technische redenen – niet geschikt om er een model op te trainen  We passen een transformatie toe, met de volgende stappen: 1. Omvormen naar geschikt format (numeriek) 2. Berekenen afgeleide features  zoals: aantal dagen op adres, aantal kinderen historisch, aantal dagen huidige partner 3. Selectie van definitieve features  Features die voor (bijna) alle personen dezelfde waarde hebben, kunnen we laten afvallen Stel alle appels zijn lichtgroen  Features die (bijna) identiek variëren als andere variabelen, kunnen we ook laten afvallen Diameter en omtrek: een van de twee volstaat

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

ca. 90 gegevens (variabelen)

ca. 800 features

315 features

26

Van gegevens naar features Persoon Competentie

…

1

Aansturen

…

2

Formuleren en rapporteren

…

3

Beslissen en activiteiten initiëren

…

1

Leren

…

3

Leren

…

…

…

…

Persoon

1 gegeven (variabele)

25 features

18 features

Competentie_ aansturen

Competentie_ analyseren

Competentie_ beslissen_en_ activiteiten_ initiëren

Competentie_ ethisch_en_ integer_ handelen

Competentie_ formuleren_en _rapporteren

1

1

0

0

0

0

0

1

…

0

1

…

2

0

0

0

0

1

0

0

…

0

0

…

3

0

0

1

0

0

0

1

…

0

0

…

…

…

…

…

…

…

…

…

…

…

…

…

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

Competentie_ Competentie_ gedrevenheid_ leren en_ambitie_ tonen

…

Competentie_ relaties_ bouwen_en_ netwerken

Competentie_ … samenwerken_ en_overleggen

27

Features                

Adres Competenties Contacten Beschikbaarheid Deelname activiteiten Relatie partner Relatie kind Relatie overig Plan van aanpak Ontheffing Belemmering Typering Persoon Persoonlijke eigenschappen Afspraak Instrument

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

28

Checkmoment + PAUZE Hoofdpunten: • We hebben gegevens (variabelen) uit Raak/RMW en Socrates gehaald • We hebben deze variabelen getransformeerd naar features Is iedereen nog aan boord?

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

29

Overzicht

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

30

Trainen, testen en scoren Features Label Kleur Donkergroen

Steeltje Ja

Diameter 6,3

Overzicht

Sticker

Kleur

Steeltje

Diameter

Sticker

Ja

Geel

Ja

5,3

Nee

Features van6,1 Lichtrood Nee personen die nu Lichtgroen Ja 9,1 Rood Nee 6,6 bijstand ontvangen

Features van8,1 Labels Lichtrood Ja Ja personen ten tijde van Uitkomsten onderzoeken Lichtgroen Ja 9,1 Ja Donkergroen Nee 6,6 Nee eerder uitgevoerde onrechtmatigheid Ja/Nee Donkergroen Ja 7,4 Ja onderzoeken trainset 80%

Geel

Nee

6,3

Nee

Lichtrood

Nee

7,0

Nee

6,2

Nee

7,0

Ja

In plaats van: Geel Ja -Lichtgroen kleur Ja -Lichtrood steeltje Ja -Geel diameter Nee Geel

Ja

8,2

Ja

8,0

Ja

6,1

Hebben Donkergroen we nu: Ja 6,3 -Lichtrood competentie_analyseren Ja 8,1 -Lichtgroen presentatie_opm Ja 9,1 Nee 6,3 -Geel kind_huidige_aantal Ja 6,2 -Geel leeftijd_bij_onderzoek Lichtgroen Ja 7,0 - … en nog 311

testset 20%

Voorspelling

scoringsset

Nee Ja

Ja Ja Ja

Donkergroen

Ja

7,4

Ja

Idem:

Geel

Nee

6,3

Nee

Lichtrood

Nee

7,0

Ja

In plaats van: Lichtrood Ja -Lichtrood kleur Ja -Geel steeltje Ja -Geel diameter Ja

Geel

Ja

6,2

Nee

7,4

Nee

8,2

Ja

8,2

Ja

6,1

Nee

Donkergroen

6,3

Ja

Ja

Lichtgroen

Nee

7,1

Ja

Hebben we nu: Lichtrood Ja 8,1 -Lichtgroen competentie_analyseren Ja 9,1 -Donkergroen presentatie_opm Nee 6,4 -Donkergroen kind_huidige_aantal Ja 7,4 -Geel leeftijd_bij_onderzoek Nee 6,3 Lichtrood Nee 7,2 - … en nog 311

Lichtrood

Ja

5,4

Nee

Rood

Ja

6,2

Ja

Lichtgeel

Ja

7,0

Nee

Lichtrood

Ja

8,2

Nee

Geel

Nee

8,0

Nee

selectie

Ja Ja

modellen

Nee Nee Ja

…

…

…

…

…

…

…

…

testen

finale model

scoren

Ja Nee Nee Nee Ja Ja

Lichtrood

Ja

8,2

Ja

Ja

Geel

Nee

8,0

Ja

Nee

Lichtgroen

Ja

6,5

Ja

Geel

Ja

6,1

Nee

Nee

Donkergroen

Nee

8,1

Ja

Lichtgroen

Ja

7,0

Ja

Ja

Geel

Ja

6,1

Ja

Lichtrood

Ja

8,2

Nee

Ja

Geel

Ja

5,5

Ja

Donkergroen

Nee

7,2

Nee

Lichtrood

Nee

8,3

Ja

Lichtgroen

Ja

7,6

Nee

…

…

…

…

…

…

…

…

…

…

…

…

Geel

Nee

8,0

Ja

Ja

…

…

…

…

…

Voorspelling

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

31

2

Toelichting algoritme

2.1

Introductie machine learning

2.2

Gebruikte gegevens risico-inschattingsmodel

2.3

Modellen, risicoscores

2.4

Finale model

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

32

Trainen, testen en scoren Features Label Kleur

trainset 80%

testset 20%

Steeltje

Diameter

Overzicht

Voorspelling

scoringsset

Sticker

Kleur

Steeltje

Diameter

Sticker

Ja

5,3

Nee

Donkergroen

Ja

6,3

Ja

Geel

Lichtrood

Ja

8,1

Ja

Lichtrood

Nee

6,1

Ja

Ja

9,1

Ja

Lichtgroen

Ja

9,1

Ja

Lichtgroen

Donkergroen

Nee

6,6

Nee

Rood

Nee

6,6

Ja

Donkergroen

Ja

7,4

Ja

Donkergroen

Ja

7,4

Ja

Geel

Nee

6,3

Nee

Geel

Nee

6,3

Nee

Lichtrood

Nee

7,0

Nee

Lichtrood

Nee

7,0

Ja

Geel

Ja

6,2

Nee

Geel

Ja

6,2

Nee

Lichtgroen

Ja

7,0

Ja

Lichtrood

Ja

7,4

Nee

Ja

8,2

Ja

Lichtrood

Ja

8,2

Ja

Lichtrood

Geel

Nee

8,0

Ja

Geel

Ja

8,2

Ja

Geel

Ja

6,1

Nee

Donkergroen

Ja

6,3

Ja

Lichtrood

Ja

8,1

Ja

Lichtgroen

Ja

9,1

Nee

Donkergroen

Nee

6,4

Nee

Geel

Ja

6,1

Nee

Donkergroen

Ja

6,3

Ja

Lichtrood

Ja

8,1

Ja

Lichtgroen

Ja

9,1

Ja

Geel

Nee

6,3

Nee

Geel

Ja

6,2

Nee

Donkergroen

Ja

7,4

Nee

Lichtgroen

Ja

7,0

Ja

Geel

Nee

6,3

Ja

Nee

7,2

Ja

selectie

modellen

finale model

scoren

Lichtgroen

Nee

7,1

Ja

Lichtrood

Lichtrood

Ja

5,4

Nee

Rood

Ja

6,2

Ja

Lichtgeel

Ja

7,0

Nee

Lichtrood

Ja

8,2

Nee

Geel

Nee

8,0

Nee

…

…

…

…

…

…

…

…

testen

Lichtrood

Ja

8,2

Ja

Ja

Geel

Nee

8,0

Ja

Nee

Lichtgroen

Ja

6,5

Ja

Geel

Ja

6,1

Nee

Nee

Donkergroen

Nee

8,1

Ja

Lichtgroen

Ja

7,0

Ja

Ja

Geel

Ja

6,1

Ja

Lichtrood

Ja

8,2

Nee

Ja

Geel

Ja

5,5

Ja

Donkergroen

Nee

7,2

Nee

Lichtrood

Nee

8,3

Ja

Lichtgroen

Ja

7,6

Nee

…

…

…

…

…

…

…

…

…

…

…

…

Geel

Nee

8,0

Ja

Ja

…

…

…

…

…

Voorspelling

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

33

Modellen maken  Het aantal features (kolommen) en het aantal onderzoeken (rijen) is groot  Een eenvoudige beslisboom volstaat niet meer, elke verdeling 80%-20% levert een andere beslisboom op (generaliseert niet goed)  We zetten andere, meer geavanceerde technieken in: random forest, gradient boosting

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

34

Voorbeeld: random forest  Idee: we halen niet 1 beslisboom uit de data, maar honderden 1.

Elke boom wordt gemaakt op een gedeelte van de data:  een random gekozen deel van de features  een random gekozen deel van de rijen (onderzoeken)

2. De voorspellingen van alle bomen tellen even zwaar, de meerderheid bepaalt de uiteindelijke voorspelling van het gehele random forest model

Boom 1

Trainingsdata met labels

Boom 2

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

Boom 1

Appel nr 123 Diameter: 8cm Steeltje: Ja

Boom 2

35

Voorbeeld: gradient boosting  Gradient boosting is conceptueel iets moeilijker uit te leggen  We gaan daarom kijken naar het maken van een schilderij (= model) op de manier van een random forest en daarna gradient boosting  Random forest Meerdere schilders schilderen hetzelfde stilleven

De schilderijen zijn gemaakt op transparant papier en worden over elkaar gelegd

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

Het combinatie-schilderij is waarheidsgetrouwer dan alle individuele schilderijen

36

Voorbeeld: gradient boosting  Gradient boosting is conceptueel iets moeilijker uit te leggen  We gaan daarom kijken naar het maken van een schilderij (= model) op de manier van een random forest en daarna gradient boosting  Gradient boosting

Een schilder gaat stilleven schilderen

Meerdere keren tijdens het schilderen neemt de schilder afstand tot het doek om het schilderij en stilleven goed te bekijken

Deze iteratieve manier van evalueren en voorzichtig bijstellen resulteert in een waarheidsgetrouw schilderij De schilder ziet bijvoorbeeld dat het schilderij meer rood nodig heeft. De schilder is voorzichtig en doet een heel klein beetje rood erbij.

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

37

Modeloutput: risicoscores  Het model probeert te classificeren: wel of geen sticker, wel of niet onrechtmatigheid  We kunnen daar meer nuance in aanbrengen  Bij een random forest komt de classificatie tot stand door het tellen van de stemmen van alle onderliggende bomen  Voor persoon nr. 8012 bijvoorbeeld: - 680 van de 1000 bomen zeggen onrechtmatigheid = Ja - 320 van de 1000 bomen zeggen onrechtmatigheid = Nee  We kunnen daardoor zeggen: met een kans van 680/1000 = 68% schat het model in dat er voor persoon nr. 8012 sprake zou kunnen zijn van onrechtmatigheid  We drukken dat uit in een getal tussen 0 en 1, en dat noemen we de risicoscore  In bovengenoemd voorbeeld: 0,68  Hoe hoger de score, hoe zekerder het model is dat er sprake is van onrechtmatigheid; hoe lager de score, hoe zekerder het model is dat er geen sprake is van onrechtmatigheid  Ook bij gradient boosting wordt gebruik gemaakt van de stemmen van alle onderliggende bomen

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

38

Checkmoment Hoofdpunten: • We hebben een grote data set dus 1 simpele beslisboom is onvoldoende • Random forest en Gradient boosting zijn modellen die uit meerdere bomen bestaan • De output van de modellen is een getal tussen 0 en 1: de risicoscore • Hoe hoger de score, hoe zekerder het model is dat er sprake is van onrechtmatigheid; hoe lager de score, hoe zekerder het model is dat er geen sprake is van onrechtmatigheid Is iedereen nog aan boord?

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

39

2

Toelichting algoritme

2.1

Introductie machine learning

2.2

Gebruikte gegevens risico-inschattingsmodel

2.3

Modellen, risicoscores

2.4

Finale model

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

40

Trainen, testen en scoren Features Label Kleur

trainset 80%

testset 20%

Steeltje

Diameter

Overzicht

Voorspelling

scoringsset

Sticker

Kleur

Steeltje

Diameter

Sticker

Ja

5,3

Nee

Donkergroen

Ja

6,3

Ja

Geel

Lichtrood

Ja

8,1

Ja

Lichtrood

Nee

6,1

Ja

Ja

9,1

Ja

Lichtgroen

Ja

9,1

Ja

Lichtgroen

Donkergroen

Nee

6,6

Nee

Rood

Nee

6,6

Ja

Donkergroen

Ja

7,4

Ja

Donkergroen

Ja

7,4

Ja

Geel

Nee

6,3

Nee

Geel

Nee

6,3

Nee

Lichtrood

Nee

7,0

Nee

Lichtrood

Nee

7,0

Ja

Geel

Ja

6,2

Nee

Geel

Ja

6,2

Nee

Lichtgroen

Ja

7,0

Ja

Lichtrood

Ja

7,4

Nee

Ja

8,2

Ja

Lichtrood

Ja

8,2

Ja

Lichtrood

Geel

Nee

8,0

Ja

Geel

Ja

8,2

Ja

Geel

Ja

6,1

Nee

Donkergroen

Ja

6,3

Ja

Lichtrood

Ja

8,1

Ja

Lichtgroen

Ja

9,1

Nee

Donkergroen

Nee

6,4

Nee

Geel

Ja

6,1

Nee

Donkergroen

Ja

6,3

Ja

Lichtrood

Ja

8,1

Ja

Lichtgroen

Ja

9,1

Ja

Geel

Nee

6,3

Nee

Geel

Ja

6,2

Nee

Donkergroen

Ja

7,4

Nee

Lichtgroen

Ja

7,0

Ja

Geel

Nee

6,3

Ja

Nee

7,2

Ja

selectie

modellen

finale model

scoren

Lichtgroen

Nee

7,1

Ja

Lichtrood

Lichtrood

Ja

5,4

Nee

Rood

Ja

6,2

Ja

Lichtgeel

Ja

7,0

Nee

Lichtrood

Ja

8,2

Nee

Geel

Nee

8,0

Nee

…

…

…

…

…

…

…

…

testen

Lichtrood

Ja

8,2

Ja

Ja

Geel

Nee

8,0

Ja

Nee

Lichtgroen

Ja

6,5

Ja

Geel

Ja

6,1

Nee

Nee

Donkergroen

Nee

8,1

Ja

Lichtgroen

Ja

7,0

Ja

Ja

Geel

Ja

6,1

Ja

Lichtrood

Ja

8,2

Nee

Ja

Geel

Ja

5,5

Ja

Donkergroen

Nee

7,2

Nee

Lichtrood

Nee

8,3

Ja

Lichtgroen

Ja

7,6

Nee

…

…

…

…

…

…

…

…

…

…

…

…

Geel

Nee

8,0

Ja

Ja

…

…

…

…

…

Voorspelling

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

41

Selectie van het beste model  De testdata gebruiken we om te zien hoe goed alle modellen het doen  Een veelgebruikte maat hiervoor is de nauwkeurigheid: het gedeelte correct voorspelde stickers of heronderzoeken  Een andere manier om naar nauwkeurigheid te kijken is de hitrate (trefkans)  Die geeft ons een indruk van de nauwkeurigheid bij de hoogste risicoscores (de scores waar wij ons op richten)

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

42

Hoe werkt hitrate?    

We hebben net gezien dat elke persoon in de testdata een score krijgt Elke persoon in de testdata krijgt dus een inschatting van de kans op onrechtmatigheid Vervolgens ordenen we op de hoogte van de score De hitrate is het percentage Onrechtmatigheid = Ja tot en met die positie in de lijst

Testdata met labels



Persoon Onrechtmatigheid

Score

Persoon Onrechtmatigheid Persoon Score Onrechtmatigheid

Hitrate

1

Nee

0,62

4350

Ja 4

0,89

1

100%

2

Ja

0,56

4

Ja 1

0,88

0

100%

3

Nee

0,41

397

Nee2

0,81

1

66%

4

Ja

0,88

1665

Ja 3

0,79

0

75%

5

Ja

0,78

18

Nee

0,77

60%

6

Nee

0,39

266

Nee

0,71

50%

…

…

…

…

…

…

Voorbeeld: Voor Model 1 en Model 2 is de hitrate

Hitrate

uitgerekend voor een groep van 100 personen. 

Model 1 weet beter de onrechtmatigheid te vinden. De personen met hoge scores hebben een hogere hitrate.

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

Aantal personen

43

Selectie van het beste model    

De hitrate gebruiken we om vast te stellen welk model we het beste vinden Dat noemen we het finale model Het finale model gaan we inzetten in de praktijk Dit zou je “het algoritme” kunnen noemen waar men altijd over spreekt

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

44

Trainen, testen en scoren Features Label Kleur

trainset 80%

testset 20%

Steeltje

Diameter

Overzicht

Voorspelling

scoringsset

Sticker

Kleur

Steeltje

Diameter

Sticker

Ja

5,3

Nee

Donkergroen

Ja

6,3

Ja

Geel

Lichtrood

Ja

8,1

Ja

Lichtrood

Nee

6,1

Ja

Ja

9,1

Ja

Lichtgroen

Ja

9,1

Ja

Lichtgroen

Donkergroen

Nee

6,6

Nee

Rood

Nee

6,6

Ja

Donkergroen

Ja

7,4

Ja

Donkergroen

Ja

7,4

Ja

Geel

Nee

6,3

Nee

Geel

Nee

6,3

Nee

Lichtrood

Nee

7,0

Nee

Lichtrood

Nee

7,0

Ja

Geel

Ja

6,2

Nee

Geel

Ja

6,2

Nee

Lichtgroen

Ja

7,0

Ja

Lichtrood

Ja

7,4

Nee

Ja

8,2

Ja

Lichtrood

Ja

8,2

Ja

Lichtrood

Geel

Nee

8,0

Ja

Geel

Ja

8,2

Ja

Geel

Ja

6,1

Nee

Donkergroen

Ja

6,3

Ja

Lichtrood

Ja

8,1

Ja

Lichtgroen

Ja

9,1

Nee

Donkergroen

Nee

6,4

Nee

Geel

Ja

6,1

Nee

Donkergroen

Ja

6,3

Ja

Lichtrood

Ja

8,1

Ja

Lichtgroen

Ja

9,1

Ja

Geel

Nee

6,3

Nee

Geel

Ja

6,2

Nee

Donkergroen

Ja

7,4

Nee

Lichtgroen

Ja

7,0

Ja

Geel

Nee

6,3

Ja

Nee

7,2

Ja

selectie

modellen

finale model

scoren

Lichtgroen

Nee

7,1

Ja

Lichtrood

Lichtrood

Ja

5,4

Nee

Rood

Ja

6,2

Ja

Lichtgeel

Ja

7,0

Nee

Lichtrood

Ja

8,2

Nee

Geel

Nee

8,0

Nee

…

…

…

…

…

…

…

…

testen

Lichtrood

Ja

8,2

Ja

Ja

Geel

Nee

8,0

Ja

Nee

Lichtgroen

Ja

6,5

Ja

Geel

Ja

6,1

Nee

Nee

Donkergroen

Nee

8,1

Ja

Lichtgroen

Ja

7,0

Ja

Ja

Geel

Ja

6,1

Ja

Lichtrood

Ja

8,2

Nee

Ja

Geel

Ja

5,5

Ja

Donkergroen

Nee

7,2

Nee

Lichtrood

Nee

8,3

Ja

Lichtgroen

Ja

7,6

Nee

…

…

…

…

…

…

…

…

…

…

…

…

Geel

Nee

8,0

Ja

Ja

…

…

…

…

…

Voorspelling

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

45

Scoren  Alle personen met een bijstandsuitkering krijgen via het finale model een risicoscore  We sorteren alle personen op risicoscore van hoog naar laag  Hiervan maken we een lijst met 3 kolommen: - het volgnummer in de rangschikking - het pseudoniem - de risicoscore  Een andere, interne partij vertaalt de pseudoniemen terug naar de originele persoonsnummers en draagt de lijst over aan W&I

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

Volgnummer

Pseudoniem

Risicoscore

1

FA69E258B4…

0.794419878884568

2

FE12738286…

0.783731750075798

3

DD0D624240…

0.780053619455959

4

1E755AD654…

0.778655772361875

5

B6432E98D1…

0.778401006172024

6

CEE7EBB0E5…

0.775539388641069

7

74F0C29C6B…

0.774055530811058

8

C72C27A192…

0.772794739139676

9

1872AC62D6…

0.765859427166758

10

67968A3DED…

0.763475750123788

11

5D563B34C2…

0.759223072926588

12

B64341C7EB…

0.756079793330262

…

…

…

…

…

…

46

Checkmoment Hoofdpunten: • We trainen meerdere modellen • Aan de hand van de hitrate op de testset kijken we welk model het beste presteert • Dat noemen we het finale model • Daarmee berekenen we de risicoscore voor alle personen die een bijstandsuitkering hebben

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

47

Einde van de uitleg van het risicoinschattingsmodel.

Technische sessie 1 september 2021

Overzicht sessie 1

Inleiding

2

Toelichting algoritme

3

Rondvraag en sluiting

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

49

2

Toelichting algoritme

2.1

Introductie machine learning

2.2

Gebruikte gegevens risico-inschattingsmodel

2.3

Modellen, risicoscores

2.4

Finale model

2.5

Feature importance van het model

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

50

Feature importance van een model 

De feature importance geeft aan hoe belangrijk een feature in het model is om tot de verschillende voorspellingen te komen De feature importance kunnen we berekenen en is afhankelijk van 2 zaken: 1. Hoeveel appels worden door de feature geraakt? 2. In hoeverre scheidt de feature de appels?



2 voorbeelden:



Diameter

Steeltje

1. 2.

Alle 12 de appels 1 groepje appels kan direct door naar losse verkoop. Echter is het andere groepje nog een mix tussen stickers en geen stickers.

 

Uiteindelijk krijgt elke feature een cijfer van 0 tot 100 In Random forest en Gradient boosting worden scores van dezelfde feature over alle bomen bij elkaar opgeteld, ook weer tot max 100

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

1. Maar 3 appels 2. Weet de appels zo te scheiden dat er een groepje stickers en groepje geen stickers ontstaat.

51

Feature importances van ons algoritme Feature

Feature importance

persoon_leeftijd_bij_onderzoek

100

relatie_overig_actueel_vorm__kostendeler

35,485674

contacten_onderwerp_no_show

27,874802

competentie_vakdeskundigheid_toepassen

25,106633

contacten_onderwerp_overleg_met_inkomen

24,101367

adres_dagen_op_adres

23,329141

relatie_overig_kostendeler

20,74895

pla_historie_ontwikkeling

19,111295

instrument_ladder_huidig_activering

17,504787

contacten_soort_afgelopenjaar_document__uitgaand_

15,413835

persoonlijke_eigenschappen_dagen_sinds_taaleis

15,153846

persoonlijke_eigenschappen_dagen_sinds_opvoer

14,928516

ontheffing_dagen_hist_vanwege_uw_medische_omstandigheden

13,817025

relatie_partner_totaal_dagen_partner

12,442484

pla_hist_pla_categorie_doelstelling_16

11,934668

relatie_kind_leeftijd_verschil_ouder_eerste_kind

11,165915

relatie_kind_huidige_aantal

10,847997

instrument_ladder_historie_activering

10,760433

persoon_geslacht_vrouw

9,903954

afspraak_inspanningsperiode

9,3556413

…

…

…

…

Risico-inschattingsmodel | Thomas Kocken & Eric Becker | 1 september 2021 Rotterdam.

52