[23bb005667] Bijlage 2 behorende bij 23bb005665 over Project-Verslag analytics uitkeringsfraude (Big Data)-Optimized
Tekst van het document
Rapport project analytics uitkeringsfraude
Versie
1.99
Opdrachtgever
W&I Toetsing en Toezicht / BCO Onderzoek en BI
Auteurs
Projectgroep analytics uitkeringsfraude
Datum
23-08-2018
Status
Concept
Rapport | Versie 1.99 | 8-2-2018
1
Inhoud
Rapport project analytics uitkeringsfraude .................................................................. 1 1 Inhoud ............................................................................................................................. 3 2 Documentinformatie .................................................................................................. 5 2.1 Documenteigenschappen ...................................................................................... 5 2.2 Documenthistorie ..................................................................................................... 5 2.3 Reviews ........................................................................................................................ 5 2.4 Gerelateerde documenten .................................................................................... 5 3 Managementsamenvatting ...................................................................................... 6 4 Voorbereiding ............................................................................................................... 7 4.1 Fasering ....................................................................................................................... 7 4.2 Verkenning en mobilisatie ....................................................................................
7 4.3 Dataverzameling en -ontsluiting ........................................................................ 7 4.4 Gebruikte analysesoftware en infrastructuur ................................................ 8 5 Aanpak en gebruikte technieken .......................................................................... 9 5.1 Een risicomodel ......................................................................................................... 9 5.2 Target ......................................................................................................................... 10 5.3 Analytics Base Table en feature selectie ....................................................... 11 5.4 Text mining .............................................................................................................. 13 5.5 Modelleren en testen van model ...................................................................... 13 6 Resultaten labfase .................................................................................................... 15 6.1 Resultaten modellen op data Cognos-extracties........................................ 15 6.2 Socrates-extractie.................................................................................................. 16 6.3 Toevoegen voorgaande jaren en gestructureerde RAAK-data..............
16 6.4 Toevoegen data text mining .............................................................................. 17 6.5 Overzicht en interpretatie van de resultaten............................................... 18 6.6 Toepasbaarheid ....................................................................................................... 19 6.7 Volgende stappen .................................................................................................. 20 7 Aanpak en activiteiten pilotfase en voorbereiding uitrol ........................... 21 7.1 Ontwikkeling pilot-model .................................................................................... 21 7.2 Onderzoeksopzet pilot .......................................................................................... 21 7.3 Herontwerp dataleveringen ................................................................................ 22 7.4 Bestendigen van model en code, raamwerk toekomstige modellen .. 22 8 Resultaten en conclusies pilotfase ...................................................................... 23 8.1 Hitrates: het model werkt ................................................................................... 23 8.2 Selectie: veel afvallers door actualiteit en positieve uitstroom............ 24 8.3 Eigenschappen van de risicogroep ..................................................................
25 8.4 Verbanden tussen belangrijke features en risicogroep ........................... 25 9 Aanbevelingen doorontwikkeling en vervolgonderzoek ............................. 28 9.1 Aanknopingspunten voor vervolgonderzoek ................................................ 32 9.2 Doorontwikkelmogelijkheden voor het risicomodel .................................. 32 9.3 Aanbevelingen rondom het selectieproces van T&T ................................. 34 10 Geleerde lessen ......................................................................................................... 36 10.1 Juiste mix van omstandigheden ....................................................................... 36 10.2 Data ontsluiten en gegevensmanagement ................................................... 37 10.3 Lab-omgeving voor innovatie is noodzakelijk (maar niet ingewikkeld)38 10.4 Privacy wordt handelbaar door PIA en goede fasering ............................ 39 10.5 Samen stappen zetten noodzakelijk voor leereffect en voortgang ..... 40 C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 3 van 64
Rapport | Versie 1.99 | 8-2-2018
10.6 Eigenaarschap, aansturing en verandermanagement bij innovaties . 40 10.7 Praktijkervaring en pionieren blijft nodig voor groei ................................ 41 BIJLAGE A – GEBRUIKTE DATA EN ABT’s ................................................................... 42 BIJLAGE B – GEDETAILEERDE MODELRESULTATEN ............................................... 45 BIJLAGE C – VERGELIJKING POPULATIES .................................................................. 46 Vergelijking van de onderzoekspopulatie met de gehele populatie uitkeringsgerechtigden .................................................................................................... 46 Zijn er significante verschillen tussen de populaties in de verschillende features? 46 Zijn de verschillende tussen de populaties betekenisvol? .............................. 46 Inzoemen om de features met een gemiddelde effectsize ............................. 46 Features ................................................................................................................................ 47 Conclusie 1 ........................................................................................................................ 50 BIJLAGE D – PRIVACY IMPACT ASSESSMENT ...........................................................
56 Documenteigenschappen ......................................................................................................... 56 Documenthistorie ..................................................................................................................... 56 Inleiding 56 Doelbinding ............................................................................................................................ 56 Proportionaliteit .................................................................................................................... 56 Anonimisering en toegestane gegevensvastlegging ................................................................. 56 Informatiebeveiliging ............................................................................................................. 57 Beantwoording vragenlijst Privacy Impact assessment Labfase Analytics Uitkeringsfraude..... 58
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 4 van 64
Rapport | Versie 1.99 | 8-2-2018
2
Documentinformatie
2.1
Documenteigenschappen
Titel Auteur Versie Versie Datum Versie Status
2.2
Rapport Projectgroep 1.99 8-2-2018 Concept
Documenthistorie
Datum
Versie
11-1-2017 17-1-2017
0.5 0.6
Initiële versie in de vorm van verslag labfase Verder invullen H6 en 7 en verwerken review
1-2-2017
1.0
Verwerken reviews
14-8-2017
1.5
Start met verwerken pilotresultaten en ombouw tot Rapport van het project
27-9-2017
1.7
Vervolg aanvullen pilotresultaten, vullen H7,8
23-1-2018
1.9
Afgerond tot eindconcept eindrapport project
8-2-2018
1.99
Reviews verwerkt
2.0
Eindversie ter bespreking in begeleidingsgroep
2.3
Aangepast door
Opmerkingen
Reviews
Datum
Versie
16-1-2017 25-1-2017
0.5 0.6
22-8-2017
1.5
24-8-2018
1.9
2.4
gereviseerd door / goedgekeurd
Opmerkingen
Diverse tekstverbeteringen en aanscherpingen Begeleidingsgroep,
Mangementsamenvatting besproken in de begeleidingsgroep.
Gerelateerde documenten
Dit document doet verslag van de aanpak en resultaten van de pilot van het project Analytics uitkeringsfraude. Het is een uitbreiding van het verslag van de eerder voltooide labfase: de managementsamenvatting is aangepast aan de stand van zaken na de pilot en er zijn hoofdstukken toegeveogd over de aanpak en resultaten van de pilot. De volgende documenten liggen ten grondslag aan dit verslag: -
Verslag labfase uitkeringsfraude – 8 maart 2017 Plan van Aanpak Pilotfase v1.1 – 13 februari 2017 Privacy Impact Assesment pilot Project Uitkeringsfraude, v1.0 – 20 januari 2017 Technical Decisions Document Risicomodel Uitkeringsfraude – Groeidocument Verslagen bijeenkomsten begeleidingsgroep Plan van aanpak Informatiegestuurd Werken, juli 2016
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 5 van 64
Rapport | Versie 1.99 | 8-2-2018
3
Managementsamenvatting
Het doel van het Project Analytics Uitkeringsfraude (augustus 2016 – februari 2018) was om met analytics-technieken een risicomodel te ontwikkelen dat onrechtmatigheid bij gemeentelijke uitkeringen voorspelt ten behoeve van het handhavingsproces. Het beoogde resultaat is een beter en sneller inzicht in fraudegevallen bij bijstandsverstrekking, waardoor een verhoogde efficiency wordt bereikt: -
Enerzijds door vermindering van gemeentelijk geld dat onterecht wordt uitgekeerd aan bijstand Anderzijds door een effectievere inzet van de beschikbare capaciteit voor handhaving, waardoor er een hogere pakkans is voor fraudeurs en compliante burgers minder worden belast. De nevendoelstelling was kennisverwerving en vaardigheidsontwikkeling van (innovatieve) data-analysetechnieken binnen de gemeente. De pilot heeft aangetoond dat rechtmatigheidsonderzoeken bij werkzoekenden die hoog scoren in het ontwikkelde risicomodel (de “top-groep”) in circa 40% van de gevallen tot een ‘hit’ (beëindiging of terugvordering van de uitkering) leiden tegenover 30% in de controlegroep. Ruim 22% van de 151 onderzochte uitkeringen van de top-groep werden beëindigd tegenover slechts 9% in de controlegroep. Daarmee is het aantal beëindigingen significant hoger voor de werkzoekenden met een hoge risicoscore dan bij willekeurig geselecteerde werkzoekenden, dit maakt het aannemelijk dat dit verschil niet op toeval berust maar een effect is van het ontwikkelde model. De totale hit-ratio lijken ook hoger te liggen dan andere eerder gebruikte selectiemethoden zoals woonprofielen, maar door de kleine aantallen is deze uitspraak nog niet statistisch te verifiëren.
Deze resultaten bevestigen de resultaten van de labfase, waarin al met een eerdere versie van het model op historische populaties (zonder daadwerkelijk nieuwe onderzoeken uit te voeren) betere voorspelkracht werd gezien dan met huidige werkwijzen. Bovendien verwacht het projectteam dat met verbetering van de onderliggende data en betere afstemming van de training van het model op het gebruik in de praktijk de hit-ratio nog omhoog kan in volgende versies van het model. Met de gemeten verbeteringen levert een business case voor grootschaliger gebruik van dit risicomodel een mogelijke jaarlijkse besparing van circa EUR 2 miljoen per jaar door extra beëindigde en teruggevorderde uitkeringsbedragen. Dit bedrag is geldig wanneer ongeveer 3000 heronderzoeken worden uitgevoerd op basis van de hoogste risicoscores (de helft van de jaarlijkse doelstelling). De aannames en uitwerking bij deze business case zijn in een apart document te vinden. Bij de afronding van dit project kan worden geconcludeerd dat met succes een model is ontwikkeld, getest en gevalideerd dat klaar is voor grootschalig gebruik om de doelstelling te bereiken, met een positieve business case bij voldoende gebruik. Het is aan W&I om het ontwikkelde product in te zetten en de ontwikkelkosten terug te verdienen.
De ervaring leert dat voortdurende aandacht en hard werk nodig is om te voorkomen dat het bij een succesvol project blijft dat niet duurzaam landt in het primaire proces. Daarnaast is het aan programma Datagedreven Werken om de opgedane ervaringen en geleerde lessen in bredere zin te borgen en in nieuwe trajecten te benutten. Het project analytics uitkeringsfraude is met dit machine learning model de eerste succesvolle toepassing van advanced analytics binnen de gemeente Rotterdam. Er is nu ook een raamwerk voor het uitvoeren van andere supervised machine learning projecten binnen de gemeente; de genomen stappen en een deel van de code zijn herbruikbaar. Dit project heeft naast bovenstaande conclusies over de onderzoeksvragen, waardevolle lessen opgeleverd over tal van onderwerpen op het gebied van informatiegestuurd werken: gegevensmanagement, privacy, infrastructuur en tooling, organisatie (zoals: het betrekken / commiteren van ‘de werkvloer’ en meer inzicht in voorwaarden voor het succesvol toepassen van analytics in het primaire proces). Een belangrijke conclusie is dat een project als dit echt pioniert binnen de gemeentelijke organisatie en veel hordes moet nemen op weg naar resultaten. Het nemen van die hordes lukt echter wel en de ervaring die zo wordt opgedaan draagt bij aan een volwassener organisatie op het gebied van IGW en GM.
Momenteel zijn de gebrekkige infrastructuur en de mogelijkheden voor beheer nog onvoldoende om tot duurzame uitrol over te gaan, al is het model zelf daar wel bijna klaar voor. De geleerde lessen zijn in hoofdstuk 7 beschreven. In de rest van dit rapport vindt u meer informatie over de gevolgde aanpak en details van de resultaten. Hierbij zijn aparte hoofdstukken gewijd aan de lab- en de pilotfase.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 6 van 64
Rapport | Versie 1.99 | 8-2-2018
4
Voorbereiding
4.1
Fasering
Het project uitkeringsfraude is in fases opgeknipt om de beheersbaarheid te vergroten en periodiek te kunnen afwegen of de investering nog gerechtvaardigd is. Hiervoor wordt een vaste indeling gehanteerd die is weergegeven in Figuur 1.
Figuur 1: Innovatietrechter Dit rapport beschrijft de uitvoering en resultaten totaan de uitrolfase. De labfase is uitgevoerd tussen augustus en december 2016, de pilot tussen januari en augustus 2017. Tot februari 2018 is het model verder versterkt met de lessen uit de pilot en zijn afspraken gemaakt over het gebruik, al kan vanwege beperkingen in de organisatie (o.a. infrastructuur, onvolwassen werkprocessen) duurzame uitrol nog niet volledig plaatsvinden.
4.2
Verkenning en mobilisatie
Voorafgaand aan de formele start van de labfase is een exploratie- en mobilisatiefase uitgevoerd. Daarin zijn afspraken gemaakt tussen BCO (OBI) en W&I (T&T) als gezamenlijke opdrachtgevers en Accenture en de Hogeschool Rotterdam als opdrachtnemers. Het projectteam is samengesteld en de aanpak van de labfase is vastgesteld. De gekozen aanpak gaat uit van een iteratieve en gefaseerde aanpak van dit analytics-project, zoals weergegeven in onderstaande figuur. De labfase had als doel eerste risicomodellen te bouwen en de onderzoeksvragen te beantwoorden teneinde een go/ no go-beslissing te kunnen nemen voor het uitvoeren van een pilot. In de mobilistatiefase werd al duidelijk dat enkele belangrijke randvoorwaarden, voornamelijk op het gebied van de benodigde infrastructuur en op het gebied van de beschikbaarheid van data, nog onvoldoende waren ingevuld en dus als onderdeel van de labfase zouden moeten worden ingericht. Onderdeel van de mobilisatie was het maken van afspraken met de privacy- en security officers van W&I, om akkoord te krijgen op het verwerken van de persoonsgegevens van uitkeringsgerechtigden ten behoeve van de analyses. Het doel van het project en de maatregelen om privacy en gegevensbeveiliging te beschermen zijn hiervoor vastgelegd in een Privacy Impact Assesment voor de labfase.
Tevens is de afspraak gemaakt om deze PIA opnieuw te doen voor de volgende fasen van het project.
4.3
Dataverzameling en -ontsluiting
Na de start van de labfase was de eerste prioriteit om de benodigde data beschikbaar te krijgen voor het projectteam om de analyses te kunnen starten. Uitgangspunt hierbij waren door Toetsing & Toezicht ( ) ter beschikking gestelde lijsten met de resultaten van rechtmatigheidsonderzoeken uit 2015, gegevens van de onderzochte personen en hun relaties (partners, kinderen etc.). Deze lijsten waren gemaakt door middel van een Cognos-extractie. Daaraan moest in elk geval de ongestructureerde data worden toegevoegd uit gespreksverslagen, om de text mining uit te voeren die de tweede onderzoeksvraag kon beantwoorden. Daarnaast was de inschatting van het projectteam dat modellen die gebouwd werden op de Cognos-extractie onbetrouwbaar waren en/of niet voorspellend. Dit was omdat van een zeer groot deel van de kenmerken van uitkeringsgerechtigden in de dataset alleen de waardes bekend waren na afloop van het onderzoek; de gebouwde modellen zouden daarom ofwel ‘voorspellen met voorkennis’, wat de resultaten onbruikbaar maakt voor voorspellen van onrechtmatigheid wanneer die voorkennis niet beschikbaar is, ofwel de ‘voorkennis’-kenmerken moeten uit de data worden weggelaten, waarna er te weinig informatie overbleef om een model te maken dat beter scoort dan willekeurig trekken. Deze twee effecten zijn nader beschreven en onderbouwd in het hoofdstuk resultaten. C.
PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 7 van 64
Rapport | Versie 1.99 | 8-2-2018
Om deze redenen was het noodzakelijk om aanvullende data-extracties op te vragen uit het datawarehouse van W&I. Het projectteam heeft hierbij nauw samengewerkt met het BI-team van W&I en de databasebeheerders ( ). Zo zijn uiteindelijk in verschillende dataleveringen de benodigde datasets beschikbaar gekomen voor het projectteam. Deze bestonden uit 15GB aan data verdeeld in 7 Access-databases met in totaal 44 tabellen met tot een miljoen regels over circa 80.000 personen. De gebruikte datasets zijn beschreven in het overzicht in Bijlage A. Een moeilijkheid voor het team was dat een goede beschrijving van de datasets ontbrak. Het verzamelen en ontsluiten van de data is een essentieel onderdeel van elk IGW-project en de opgedane ervaring biedt waardevolle lessen voor vervolgprojecten en voor de inrichting van gegevensmanagement. Meer hierover is te vinden in Hoofdstuk 7.
4.4
Gebruikte analysesoftware en infrastructuur
Voor het maken van een risicomodel is analysesoftware nodig die de data kan inlezen en de modelberekeningen kan doen. De gebruikte technieken gaan voorbij de mogelijkheden van de momenteel bij de gemeente beschikbare software. Spreadsheets als Excel of statistische programma’s zoals SPSS zijn voor het beoogde doel niet geschikt. Er zijn vele programma’s en pakketten in omloop die gebruikt kunnen worden voor analytics en machine learning. In de mobilisatiefase is afgesproken om als analysesoftware te kiezen voor ‘R’. Omdat deze software niet beschikbaar is op de reguliere werkstations van de gemeente zijn de allereerste analysewerkzaamheden uitgevoerd op een reguliere laptop van de gemeente die niet met het gemeentelijke netwerk was verbonden. De rekenkracht van deze laptop was echter al snel onvoldoende en bovendien was samenwerken problematisch op losse laptops, zodat er moest worden gezocht naar alternatieven om analysesoftware en de te analyseren data bij elkaar te brengen. Verschillende alternatieven zijn onderzocht en geprobeerd. Het pad om intern bij de gemeente een labaratoriumomgeving in te richten met de benodigde specificaties leidde niet (snel genoeg) tot resultaat. Uiteindelijk is daarom besloten om een tijdelijke omgeving in te richten in een beveiligde cloud via het Accenture Cloud Platform/ Amazon Web Services.
Deze bestaat uit remote-desktop-toegang tot een beveiligde server waarop analysetool R studio, programmeertaal Java en databasesysteem SQL kunnen worden gebruikt (en op aanvraag andere software). Gebruikers die toegang nodig hebben tot de omgeving kunnen, na autorisatie en installatie, de server benaderen vanaf een met het internet verbonden computer. Deze server wordt gehost door Amazon Web Services op een server in Europa (Frankfurt). De basis- server is volledig schaalbaar vanaf de basis van een zogeheten ‘r3.xlarge’-server met 4 processoren, 30,5 GB RAM en 80 GB opslagruimte; als meer rekenkracht is vereist was kan deze tijdelijk twee, vier of acht keer zo krachtig worden gemaakt. Aan het eind van het project is deze omgeving vervangen door een vergelijkbare omgeving onder duurzamer beheer. Dit is echter nog steeds een tijdelijke oplossing, in afwachting van het door de gemeente te ontwikkelen Advanced Analytics Platform dat onderdeel zal worden van de gemeentelijke infrastructuur in de loop van 2018. De zoektocht naar een geschikte constructie biedt waardevolle lessen voor vervolgprojecten en de doorontwikkeling van de gemeentelijke infrastructuur. Hierover is meer te vinden in Hoofdstuk 7.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 8 van 64
Rapport | Versie 1.99 | 8-2-2018
5
Aanpak en gebruikte technieken
5.1
Een risicomodel
Een risicomodel sorteert een populatie op kans (het risico) dat een vooraf gedefinieerde stelling waar is. Die stelling was voor dit project “Er is sprake van onrechtmatigheid bij de uitkering van deze persoon” (zie hieronder voor de gekozen technische definitie van het target). Het model sorteert dus de populatie zo, dat de personen met de hoogste kans op onrechtmatigheid bovenaan komen en degenen met de kleinste kans onderaan. De sortering komt simpel gezegd tot stand door kenmerken van nieuwe individuen te vergelijken met (zoveel mogelijk) historische voorbeelden waarvan al bekend is of de stelling waar of niet waar was. Het risicomodel zoekt dus naar patronen in de bekende historische gevallen om die te herkennen in nieuwe gevallen. Door het gebruik van zoveel mogelijk data en geavanceerde analytics technieken, kan de rekenkracht van computers worden gebruikt om patronen te vinden die door een mens niet zouden worden herkend. Er zijn diverse modelleertechnieken waarmee een risicomodel kan worden gemaakt en in dit project zijn meerdere technieken toegepast en uitgeprobeerd. Alle modellen zijn gemaakt met het R-pakket “caret”: Modeleertechniek
Uitleg
Gebruikt algoritme
Desicion tree
Een door de computer gegeneerde beslisboom. Het algoritme verdeelt de data in steeds kleinere homogene groepen. De verdeling wordt gemaakt op basis van de features. Welke feature er op welk moment gekozen worden om de data op te verdelen, wordt door het algoritme berekend. De feature die leidt tot de meest homogene groepen wordt gekozen. Dit proces wordt per “tak” van de boom herhaald.
CART classification tree. Split gebaseerd op de Gini index
Een random forest is een verzameling van vele bomen. Iedere boom wordt gemaakt op een subset van alle observaties en alle kolommen. Op deze subset wordt de beste boom gecreëerd. Bij het voorspellen van het target krijgt iedere boom een stem. De groep met de meeste stemmen wint en wordt de voorspelling voor die observatie.
Random forest met CART classification tree. Split gebaseerd op de Gini index.
Met gradient boosting worden verschillende bomen die apart van elkaar werken als zwakke classifiers samen gecombineerd tot een sterk model. Iteratief wordt er een boom gegroeid op de data. De observaties die foutief zijn voorspeld krijgen in de volgende ronde een zwaardere weging. De bomen worden gewogen afhankelijk van de hoeveelheid data in de bomen.
Stochastic Gradient Boosting met CART classification trees. Split gebaseerd op Gini index.
Methode om een lineair verband te vinden dat de sum-of-squared errors minimaliseert tussen het geobserveerde en voorspeelde uitkomsten. Methode wordt veelvuldig gebruikt in de statistiek.
Generalized linear model, family = binominal
Random Forest
Gradient Boosting
Regressie
Genetisch algoritme
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Tuning parameters: cp (complexity parameter)
Tuning parameters: Mtry (hoeveelheid random features gebruiken per split)
Tuning parameters: shrinkage, n.minobsinnode, n.trees, interaction.depth
Tuning parameters: geen
Algoritme ontwikkeld door Hogeschool Rotterdam
Pagina 9 van 64
Rapport | Versie 1.99 | 8-2-2018
5.2
Target
Zoals hierboven duidelijk werd gemaakt moet voor een risicomodel een target worden gedefinieerd. De definitie van het target bepaalt waarnaar het risicomodel zoekt en is dus erg belangrijk om het goede model te kunnen ontwikkelen. Er is gekozen om als target ‘onrechtmatigheid’ te gebruiken: een persoon ontvangt meer uitkering dan waarop hij recht heeft. Opzettelijke fraude gebruiken als target geeft op dit moment te veel onzekerheid. Opzet kan met de in de labfase beschikbare gegevens niet altijd worden aangetoond. Wellicht wordt het in een vervolgfase mogelijk en wenselijk om andere keuzes te maken voor het target; het is bijvoorbeeld in principe mogelijk om verschillende typen onrechtmatigheid en fraude apart te gaan voorspellen met een model door een gedifferentieerd target te bouwen, of in de voorspelling rekening te houden met het verwachte terugvorderbedrag. Dit vergt echter complexere modellen en aanvullende data, vandaar dat voor deze fase is gekozen het target breed en eenvoudig te houden. Van alle historisch onderzochte personen wordt bepaald of het target waar of onwaar is op basis van de volgende definitie: Er is sprake van onrechtmatigheid ALS: Het veld ‘Bedrag’ IS NIET leeg OF Het veld ‘Gevolgen’ == “Beëindiging lopende uitkering” OF Het veld ‘Gevolgen’ == “Beëindiging lopende uitkering ABO” OF Het veld ‘Gevolgen’ == “Aanpassing lopende uitkering”.
Met andere woorden: als de uitkomst van het onderzoek was dat er een bedrag is teruggevorderd of de uitkering is aangepast of beëindigd, wordt dit aangemerkt als onrechtmatigheid.
5.3 Tardis Om dit model te maken is het noodzakelijk om de volgende vraag te kunnen beantwoorden: “Wat wisten wij van persoon/uitkering x op het moment vlak voordat een historisch onrechtmatigheidsonderzoek werd gestart.” Wanneer we deze informatie voor historische onderzoeken hebben kunnen we - gecombineerd met het bekende resultaat van de historische onderzoeken - een model maken waarbij we op basis van de gereconstrueerde data de uitkomst van het onderzoek voorspellen. Het model dat we hiermee verkrijgen kunnen we vervolgen toepassen op de actuele populatie waarbij we eigen de volgende vraag beantwoorden: Wat is het te verwachten resultaat van een potentieel rechtmatigheidsonderzoek? De twee systemen waar we informatie uit gebruiken voor dit project zijn RAAK en Socrates. Dit document beschrijft voor beide systemen afzonderlijk de stappen die we hebben genomen om een historische status te reconstrueren. Hierbij wordt onderscheid gemaakt tussen de volgende 2 stappen: 1. Wat was de inhoud van de database op historische datum X? 2. Wat was de actuele informatie op historische datum X? Om het onderscheid tussen bovenstaande 2 te illustreren. Het kan zijn dat iemand een (psychische, sociale of fysieke) beperking had van 1-1-2015 t/m 31-12-2015.
Wanneer we teruggaan naar de kennis van 1-72016 is er actueel geen sprake van een beperking (er was immers alleen in 2015 sprake van een beperking). Wel hadden we op 1-7-2016 de kennis dat er een historische beperking was.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 10 van 64
Rapport | Versie 1.99 | 8-2-2018
5.4
Analytics Base Table en feature selectie
Het risicomodel zoekt zoals gezegd naar verbanden in de al onderzochte populatie, om deze verbanden vervolgens te kunnen terugvinden bij nog niet onderzochte personen. Een risicomodel wordt gemaakt door te leren van de data. Door dit leren maakt het algoritme een model specifiek voor een bepaald probleem. Om een model te bouwen moet het algoritme zo veel mogelijk kenmerken hebben om van de leren. Deze kenmerken worden features genoemd. Hiertoe moeten zoveel mogelijk kenmerken van de onderzochte
Artikel 8.8 Woo jo artikel 65 Pw
Figuur 2 - schematische weergave van een ABT
populatie, inclusief de waarde van het target, bijeengebracht worden in een grote tabel, die de Analytics Base Table wordt genoemd. In deze tabel is elke regel een persoon, en bevatten de honderden tot duizenden kolommen de kenmerken van die persoon; deze worden ‘features’ genoemd. Figuur 2 geeft een versimpeld voorbeeld van hoe deze tabel eruit ziet. Het model is ontwikkeld, of ‘getraind’, op personen waarbij een onderzoek heeft aangetoond of het target waar of niet waar is. Dit is nodig zodat het model kan leren welke features een verband hebben met het target. Om te kunnen testen of het model goede voorspellingen doet is een deel van de populatie, de testset, niet meegenomen bij het trainen zodat de voorspellingen die het model voor die personen doet kunnen worden vergeleken met de werkelijke uitslag van het onderzoek. Na de labfase wordt het model gevalideerd in een pilot: dan worden voorspellingen gedaan voor nog niet onderzochte personen en op basis van die voorspellingen onderzoeken gedaan.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 11 van 64
Rapport | Versie 1.99 | 8-2-2018
Het bouwen van de ABT is de kern geweest van het werk in de labfase en is in stappen gebeurd waardoor verschillende, steeds uitgebreidere versies van de ABT zijn gemaakt. Om deze tabellen te maken zijn tientallen verschillende tabellen uit verschillende brondatabases aan elkaar gekoppeld. Uit die brontabellen worden naast vaste gegevens die rechtstreeks worden overgenomen, ook afgeleide features geconstrueerd waardoor vele bewerkingen op de oorspronkelijke data nodig zijn. Er wordt bijvoorbeeld uit alle losse regels van de ‘belemmeringen’ tabel geteld hoe vaak een persoon een belemmering heeft gehad, uit de tabel met werkervaring wordt uitgerekend hoe lang iemand gemiddeld een baan had en wordt er gekeken of er iets
Artikel 8.8 Woo jo. artikel 65 PW
genoteerd staat over de motivatie. Het proces van het opwerken van de data van bron tot ABT is schematisch weergegeven in onderstaande figuur.
Tabel 1 Beschrijving van de verschillende versies van de ABT (#rijen en features indicatief)
Data in ABT
# personen (regels)
# features (kolommen)
A Basis
Elementaire Cognos-extractie tbv verslaglegging (2015)
8000
50
B Basis geen onderzoek
8000
30
Cognos-extractie minus directe uitkomsten onderzoek
C Basis gesnoeid
Cognos-extractie minus alle onbetrouwbare kolommen
8000
4
Socrates-extractie van dezelfde velden om Time Travel problemen op 8000 Basis plus 2015 te lossen (2015)
50
Versie ABT
D
E Basis plus
Toevoegen alle jaren (2007-2015, 33.000 pers)
40 000
50
F
Toevoegen RAAK tabellen alle jaren met aanvullende gestructureerde 40 000 velden
400
Toevoegen RAAK-data Ongestructueerd (tekst)
1800
Advanced G Premium
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
40 000
Pagina 12 van 64
Rapport | Versie 1.99 | 8-2-2018
5.5
Text mining
Een van de expliciete vragen van W&I, vanuit de G12 waarin 12 gemeenten samenwerken aan betere handhaving, was of ongestructureerde tekst toegevoegde waarde heeft. Om een eerste antwoord op die vraag te vinden is in de labfase ‘text mining’ toegepast op de vrije tekstvelden in de applicaties, waarin onder andere gespreksverslagen van de onderzochte personen zijn opgeslagen. In deze gespreksverslagen wordt door medewerkers van W&I veel informatie vastgelegd over hun contacten met werkzoekenden, soms inclusief kopieën van e-mailwisselingen, waardoor de teksten soms duizenden woorden lang zijn. Veel teksten zijn echter ook heel kort. Text mining is een techniek om ongestructueerde teskt data te structueren. Er zijn vele vormen van text mining. Omdat het doel van dit project is het maken van een riscomodel, wordt hier text mining gebruikt om features te bouwen voor de ABT In de labfase is alleen een eerste stap van text mining toegepast waar nog veel verfijningen en verbeteringen op mogelijk zijn. Deze techniek heet ‘bag of words’; alle woorden zijn teruggebracht tot de stam en daarna is door een algoritme geteld hoe vaak elk woord voorkomt. De woorden zonder inhoudelijke betekenis, zoals lidwoorden, zijn eruit gefilterd en vervolgens is van circa 1400 veelvoorkomende woorden de frequentie als features toegevoegd aan de ABT.
Dit is de stap van ABT-versie F naar G in bovenstaande tabel. Er zijn nog heel veel verbeteringen denkbaar in dit deel van de analyse waardoor de text mining krachtiger kan worden. De reeds toegepaste technieken kunnen worden verbeterd en er zijn nog tal van aanvullende technieken die kunnen worden uitgeprobeerd.
5.6
Modelleren en testen van model
Zodra een ABT tot stand is gekomen kan het daadwerkelijke modelleren beginnen. Hiervoor wordt de ABT als input gegeven aan de verschillende modelleertechnieken die in 5.1 zijn beschreven. Het voordeel van het in stappen opbouwen van de ABT met steeds meer en verbeterde data is dat hierdoor ook het effect van het toevoegen en verbeteren van de data op de kwaliteit van het model duidelijker wordt; op elke versie van de ABT zijn meerdere modellen gemaakt met verschillende technieken. De kwaliteit van het beste model per versie van de ABT geeft een indicatie van hoeveel voorspelkracht er uit deze data te halen is. In hoofdstuk 6 worden deze resultaten gepresenteerd. Er zijn vele statistische grootheden die de kwaliteit van een model beschrijven. Deze zijn te berekenen door het model uit te voeren op de test-set en de voorspellingen van het model te vergelijken met de werkelijkheid. Elke modelvoorspelling valt dan in een van vier categorieën: -
True positives: het aantal correct voorspelde gevallen van onrechtmatigheid: het model voorspelt dus dat er onrechtmatigheid is en dat blijkt te kloppen met de uitkomst van het onderzoek; True negatives: het aantal correct voorspelde gevallen zonder onrechtmatigheid: het model voorspelt dat er geen onrechtmatigheid is en blijkt te kloppen met de uitkomst van het onderzoek; False positives: het aantal onterecht als onrechtmatig aangemerkte gevallen: het model voorspelt dat er onrechtmatigheid is maar uit het onderzoek is gebleken dat dat niet het geval is; False negatives: het aantal onterecht als niet onrechtmatig aangemerkte gevallen: het model voorspelt dat er geen onrechtmatigheid is maar uit onderzoek is gebleken dat dat wel het geval is. Het perfecte model heeft alleen voorspellingen in de eerste twee categorieën, maar dat is onmogelijk te bereiken. In de praktijk is het altijd een afweging, afhankelijk van het doel van het model, welke maat het meest belangrijk is; als je zoveel mogelijk van de onrechtmatigheidsgevallen wilt opsporen is het belangrijk dat het aantal false negatives zo laag mogelijk is. Het nadeel van een model dat daarop gericht is, is vaak dat het meer false positives geeft.
In de context van Toetsing en Toezicht waar sprake is van een beperkte capaciteit is het van belang dat zo veel mogelijk van de als ‘verdacht’ aangemerkte gevallen ook echt onrechtmatig zijn, zodat de onderzoekscapaciteit zo efficiënt mogelijk wordt ingezet; het aantal false positives moet daarvoor zo klein mogelijk zijn, met weer als nadeel dat er waarschijnlijk ook meer false negatives zijn oftewel dat er onrechtmatigheden door de mazen van het model glippen en niet worden opgemerkt.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 13 van 64
Rapport | Versie 1.99 | 8-2-2018
Een in de business erg bruikbare maat voor de kwaliteit die rekening houdt met deze afwegingen is de hitrate bij een bepaald volume. Het model geeft namelijk niet alleen een ‘1’ (onrechtmatigheid) of ‘0’ (geen onrechtmatigheid) maar een risicoscore tussen 0 en 1, waardoor een gerangschikte lijst kan worden gemaakt waarop de hoogste scores, dus het hoogste risico op onrechtmatigheid, bovenaan komen. De hitrate is dan gedefinieerd als het percentage true positives (correcte voorspellingen van onrectmatigheid) in een bepaald deel van de lijst, bijvoorbeeld de bovenste 100 of 1000 voorspellingen. Omdat de lijst van hoog naar laag risico is gesorteerd komen lager op de lijst dus steeds meer niet-onrechtmatige gevallen voor en zal de hitrate dalen naarmate het gekozen volume groter is. De resultaten zullen in het volgende hoofdstuk gepresenteerd worden door de hitrate af te zetten tegen het volume. De eigenschappen van de verschillende model-versies worden steeds beschreven met de volgende kenmerken:
Naam Model
De versie van de gebruikte ABT en het model dat daarop is gemaakt
Data in Model
Toelichting gebruikte data
%Ja
Acc
Het percentage onrechtmatigheid in de gebruikte populatie; dit is altijd veel hoger dan in de gehele populatie uitkeringsgerechtigden omdat de gebruikte populaties alleen de personen bevatten die zijn onderzocht, en waarbij er dus aanleiding was om dat onderzoek te starten. De ‘accuracy’ van het model op basis van out-sample performance: Acc := (true positves + true negatives) / totaal # voorspellingen
Hitrate 500
De cumulatieve hitrate van het model in de eerste 500 voorspellingen
Hitrate 3000
De cumulatieve hitrate van het model in de eerste 3000 voorspellingen
Betrouwbaarheid
Kwalitatieve inschatting van hoe waarschijnlijk het is dat de resultaten ook in recente data standhouden.
Verbeter-potentieel
Mogelijkheden om op basis van dezelfde data het model nog verder te verbeteren
Verbetermogelijkheden Specificatie van de verbetermogelijkheden op de toevoegde data
De gedetailleerde statistische scores van de belangrijkste model-versies zijn opgenomen in bijlage B.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 14 van 64
Rapport | Versie 1.99 | 8-2-2018
6
Resultaten labfase
6.1
Resultaten modellen op data Cognos-extracties
De door T&T aangeleverde Cognos-extractie bevat kenmerken van de werkzoekenden én de resultaten van het onderzoek, vastgelegd op het moment van het maken van de extractie; dit is dus vaak langere tijd na afloop van het onderzoek, omdat de extracties zijn gemaakt in de loop van 2016 over de in 2015 uitgevoerde onderzoeken. Op basis van die volledige extractie kan een perfecte ‘voorspelling’ worden gedaan van wel of geen onrechtmatigheid omdat de velden waaruit het target berekend wordt – de uitkomsten van het onderzoek – er gewoon in staan: het model zal dus bijvoorbeeld de simpele regel opleveren “als het veld ‘terugvorderbedrag’ niet 0 is of het veld ‘gevolgen’ gevuld is met ‘beëindiging uitkering’ of ‘aanpassing uitkering’, voorspel dan ‘onrechtmatigheid’, anders voorspel ‘geen onrechtmatigheid’. Dit is uiteraard een zinloze exercitie aangezien je deze gegevens van niet onderzochte personen niet hebt en het model dan dus geen voorspelling kan doen. Voor de volledigheid is dit model wel gemaakt en opgenomen als versie A van de ABT in de overzichtstabel in 6.2; te zien is dat het model inderdaad een perfecte voorspelling doet (Accuracy en hitrates zijn 1,00), maar dat de betrouwbaarheid zeer slecht is: gezien bovenstaande redenen heb je in de praktijk niks aan dit model.
Voor een eerste serieus model zijn daarom alle kolommen die naar aanleiding van het onderzoek pas worden ingevuld verwijderd uit de ABT om tot versie B te komen. Het model krijgt dan dus niet meer de uitkomst van het onderzoek als input. Te zien is dat het model dan geen perfecte voorspelling meer kan doen, sterker nog, dat de modelresultaten matig worden. Hier komt een onderliggend probleem met de data aan het licht, namelijk dat deze is verzameld ruim na afloop van het onderzoek. Ook de velden die niet de directe uitkomst van het onderzoek bevatten kunnen daarom wel zijn aangepast met informatie uit het onderzoek, zonder dat dat evident is. Hierdoor kan het gebeuren dat het model patronen vindt die in een niet-onderzochte populatie niet aanwezig zijn. Een simpel voorbeeld hiervan in het model op ABT-versie B is dat het model de regel vond dat uitkeringen van mensen die als woonplaats een andere waarde hadden dan Rotterdam, bijvoorbeeld ‘Suriname’ of ‘Breda’, beduidend vaker onrechtmatig waren. Logisch natuurlijk aangezien niet-Rotterdammers per definitie geen recht hebben op een uitkering in deze stad, maar ook vreemd aangezien ze die uitkering nooit hadden kunnen krijgen als dit bij aanvraag al bekend is.
In deze gevallen is dus hoogstwaarschijnlijk de daadwerkelijke woonplaats ingevuld die aan het licht kwam uit het onderzoek, terwijl voor het onderzoek nog gewoon ‘Rotterdam’ was ingevuld. Dit probleem kan zichtbaar worden zoals in bovenstaand voorbeeld maar ook (in andere velden) verborgen zitten. Daarom wordt bij het maken van een risicomodel altijd alleen data gebruikt van vóór de start van ingrepen die tot aanpassingen kunnen leiden; in dit geval dus voor de start van het rechtmatigheidsonderzoek. Voor de volledigheid is nog een model gemaakt waarbij alle kolommen zijn verwijderd die in de loop van de tijd kunnen wijzigen (ABT-versie C); dan blijven alleen de kolommen geboortejaar, geslacht en geboorteland over. Zoals te verwachten blijkt dat een risicomodel op basis van zo weinig gegevens niet beter voorspelt dan willekeurig kiezen. De resultaten van deze drie modelversies zijn als volgt: Naam Model A) Basis
Data in Model
%Ja Acc
Hitrate Hitrate Betrouw- Verbeter- Verbetermogelijkheden op de toevoegde 500 3000 baarheid potentieel data
Elementaire Cognos-extractie tbv verslaglegging (2015, ca 8000 pers)) 0.61 1.00 1.00
1.00
zeer slecht Niet
Geen
B) Basis Cognos-extractie minus geen directe uitkomsten onderzoek onderzoek
0.61 0.70 0.82
NA
zeer slecht Laag
Combinatie features maken
C) Basis gesnoeid
0.61 0.63 0.65
NA
slecht
Geen
Cognos-extractie minus alle onbetrouwbare kolommen
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Niet
Pagina 15 van 64
Rapport | Versie 1.99 | 8-2-2018
6.2
Socrates-extractie
Om de problemen met deze eerste datalevering op te lossen is historische data opgevraagd van dezelfde personen en zijn de waarden van alle features opnieuw vastgesteld zoals ze bekend waren voordat het onderzoek startte1. Dit levert ABT versie D op. De modelresultaten op deze versie van de ABT zijn wat betrouwbaarder dan die van de eerdere modellen en er lijkt enige voorspelkracht in te zitten. De dataset is echter eigenlijk te klein voor een goed en stabiel risicomodel omdat het alleen gaat om de onderzoeken uit 2015. Dit levert problemen op in de modellen waardoor de betrouwbaarheid als slecht wordt ingeschat, ondanks redelijke statistische scores. Naam Model
Data in Model
D) Basis plus 2015
6.3
Socrates-extractie van dezelfde velden om Time Travel problemen op te lossen (2015)
%Ja Acc
Hitrate Hitrate Betrouw- Verbeter- Verbetermogelijkheden op de toevoegde 500 3000 baarheid potentieel data
0.61 0.75 0.90
NA
slecht
Redelijk
Historische features maken, combinatie features maken, model tunen, expert features toevoegen, feature verbetering
Toevoegen voorgaande jaren en gestructureerde RAAK-data
In de volgende stap is een grote hoeveelheid aanvullende data toegevoegd, namelijk de onderzoeken uit alle beschikbare jaren vóór 2015 sinds start van de vastlegging in 2007. Het gaat hier om circa 33 000 personen (ABT-versie E). Daarnaast is een grote hoeveelheid kolommen toegevoegd op basis van gestructureerde RAAK-data (ABT-versie F). Naam Model
Data in Model
%Ja Acc
Hitrate Hitrate Betrouw500 3000 baarheid
Verbeter- Verbetermogelijkheden op de toevoegde potentieel data
E) Basis plus Toevoegen alle jaren (2007- 0.49 0.63 0.78 2015, 33.000 pers)
0.62
voldoende
Hoog
F) Advanced Toevoegen RAAK tabellen alle jaren met aanvullende gestructureerde velden
0.68
voldoende
Hoog
1
0.49 0.68 0.90
Historische features maken, combinatiefeatures maken, model tunen, expertfeatures toevoegen, feature verbetering Historische features maken, combinatiefeatures maken, model tunen, expertfeatures toevoegen, feature verbetering, dimensiereductie
Voor personen waarbij meerdere onderzoeken hebben plaatsgevonden is het moment gekozen voorafgaand aan het eerste pósitieve onderzoek (het eerste onderzoek dat als uitkomst onrechtmatigheid had).
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 16 van 64
Rapport | Versie 1.99 | 8-2-2018
Van vier verschillende modellen op ABT-versie F zijn hieronder de hitrate – volume plots weergegeven. Deze laten zien dat verschillende modeltechnieken op dezelfde ABT-versie sterk verschillende resultaten geven. De horizontale rode lijn geeft de verwachte hitrate bij willekeurig trekken aan.
6.4
Toevoegen data text mining
De laatste stap was het toevoegen van de resultaten van de bag-of-words text mining. In deze stap zijn als features tellingen toegevoegd van circa 1.400 ‘gestemde’ (tot de stam teruggebrachte) woorden die niet als stopwoord waren aangemerkt. De modellen geven vergelijkbare resultaten als de beste modellen zónder de text mining, wat aangeeft dat er met deze eerste versie van text mining nog weinig extra voorspelkracht kan worden gehaald ten opzichte van het meest uitgebreide gebruik van gestructureerde data. Dit is niet onverwacht gezien het feit dat er nog vele mogelijkheden zijn tot verbetering van de text mining ten opzichte van deze eerste pogingen. Deze pasten echter niet in de tijd en scope van de labfase. Wel is bij gedetailleerde analyse van de modellen zichtbaar dat de text-features wel worden gebruikt door het model; dat geeft aan dat de data in elk geval niet waardeloos is, alleen dat er op deze manier nog niet méér waarde uit te halen is dan uit de beschikbare gestructureerde data.
Naam Model Premium
Hitrate Hitrate Betrouw500 3000 baarheid
Data in Model
%Ja Acc
Toevoegen RAAK-data Ongestructueerd (tekst)
0.49 0.68 0.89
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
0,69
voldoende
Verbeter- Verbetermogelijkheden op de toevoegde potentieel data Zeer hoog Stemming, stopwoorden verbeteren, synoniemenlijst, spellingscheck, labels creëren, expert features maken, model tunen, dimensiereductie, historische features, combinatie features.
Pagina 17 van 64
Rapport | Versie 1.99 | 8-2-2018
6.5
Overzicht en interpretatie van de resultaten
De labfase had twee expliciete onderszoeksvragen: 1. 2.
Kan een analytics-risicomodel onrechtmatigheid beter voorspellen dan de huidige werkwijze(n)? Wat is de toegevoegde voorspellende waarde van ongestructureerde (tekst)data ten opzichte van gestructureerde data?
De hierboven gepresenteerde resultaten laten zien dat het mogelijk is om een risicomodel te maken dat onrechtmatigheid bij bijstandsuitkeringen voorspelt. Hiervoor is meer data nodig dan beschikbaar was in de initiële Cognos-extractie maar deze data is wel beschikbaar in de bron-databases van Cognos en RAAK. Op basis van de resultaten zijn de onderzoeksvragen als volgt te beantwoorden: Vraag 1: De nieuw ontwikkelde risicomodellen kunnen in de onderzochte historische populatie onrechtmatigheid beter voorspellen dan een groot deel van de huidige werkwijzen. Het toevoegen van meer en betere data verbetert de voorspellende waarde van de modelresultaten. Omdat de in de labfase gebruikte populatie per definitie niet representatief is voor de gehele populatie uitkeringsgerechtigden, omdat deze alleen daadwerkelijk onderzochte gevallen uit het verleden betreft, biedt dit resultaat geen zekerheid de voorspellingen ook in de praktijk waardevol blijven. Hiervoor is een praktijkonderzoek (een pilot) nodig die als volgende fase wordt uitgevoerd. Vraag 2: Met de gebruikte rudimentaire vorm van text mining op de ongestructureerde data uit gespreksverslagen is nog geen significant verschil in voorspelkracht te zien tussen het beste model met alleen gestructureerde data en de modellen met ook ongestructureerde data.
Daaruit kan niet worden geconcludeerd dat tekstdata geen toegevoegde waarde heeft. Wel lijkt het vanuit business-perspectief en efficiëntieoverwegingen het aanbevelen waard om eerst de voorspelkracht van de gestructureerde data te gaan benutten voordat grote investeringen worden gedaan in betere modellen met text mining. De onderstaande tabel vat de resultaten samen van de beste modellen aan per versie van de ABT.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 18 van 64
Rapport | Versie 1.99 | 8-2-2018
Naam Model
Data in Model
Hitrate Hitrate Betrouw- Verbeter- Verbetermogelijkheden op de %Ja Acc 500 3000 baarheid potentieel toevoegde data
Elementaire Cognos0.61 1.00 1.00 extractie tbv verslaglegging (2015, ca 8000 pers))
1.00
zeer slecht Niet
Geen
Basis geen Cognos-extractie minus 0.61 0.70 0.82 onderzoek directe uitkomsten onderzoek
NA
zeer slecht Laag
Combinatie features maken
Basis gesnoeid
Cognos-extractie minus 0.61 0.63 0.65 alle onbetrouwbare kolommen
NA
slecht
Niet
Geen
Basis plus Socrates-extractie van 0.61 0.75 0.90 dezelfde velden om 2015 Time Travel problemen op te lossen (2015)
NA
slecht
Redelijk
Historische features maken, combinatie features maken, model tunen, expert features toevoegen, feature verbetering
Basis plus Toevoegen alle jaren (2007-2015, 33.000 pers)
0.49 0.63 0.78
0.62
voldoende Hoog
Historische features maken, combinatiefeatures maken, model tunen, expertfeatures toevoegen, feature verbetering
Advanced Toevoegen RAAK 0.49 0.68 0.90 tabellen alle jaren met aanvullende gestructureerde velden
0.68
voldoende Hoog
Historische features maken, combinatiefeatures maken, model tunen, expertfeatures toevoegen, feature verbetering, dimensiereductie
Premium Toevoegen RAAK-data 0.49 0.68 0.89 Ongestructueerd (tekst)
0,69
voldoende Zeer hoog Stemming, stopwoorden verbeteren, synoniemenlijst, spellingscheck, labels creëren, expert features maken, model tunen, dimensiereductie, historische features, combinatie features.
Basis
6.6 Toepasbaarheid Al met al bieden de resultaten van de labfase een goed perspectief op het ontwikkelen van een risicomodel dat in de praktijk van het handhavingsproces kan worden gebruikt. Hiertoe zal het model echter moeten worden doorontwikkeld en gevalideerd. Dit is wat typisch gebeurt in een pilot op basis van de labfaseresultaten. De belangrijkste kanttekening bij de resultaten van de labfase-modellen is dat deze gemaakt zijn op populaties van in het verleden uitgevoerde onderzoeken. Deze populaties zullen om twee redenen niet representatief zijn voor de populatie (huidige uitkeringsgerechtigden) waarvoor het model uiteindelijk voorspellingen zal moeten doen om te kunnen worden toepast: -
-
In de lab-populaties is per definitie sprake van onderzoeken die al zijn uitgevoerd. In de handhavingspraktijk worden vrijwel alle onderzoeken uitgevoerd naar aanleiding van een signaal, zoals een tip van een burger of een melding van wit inkomen. Om deze reden bevat de onderzochte populatie veel vaker onrechtmatigheid dan de totale populatie De populatie ontwikkelt zich elk jaar; er ontstaan nieuwe manieren van fraude, de vulling van de bronsystemen verandert door evolutie in de werkprocessen etc. Hierdoor zal een model gemaakt op historische gegevens nooit volledig representatief zijn.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 19 van 64
Rapport | Versie 1.99 | 8-2-2018
De effecten van deze niet-representativiteit zullen merkbaar worden bij het valideren van het model: het uitvoeren van rechtmatigheidsonderzoeken op basis van voorspellingen op de huidige populatie. Een voorbeeld van dit effect is dat de ‘baseline’ – het percentage onrechtmatigheid bij willekeurig kiezen – in lab-populatie 50 tot 60% is, terwijl uit eerdere aselecte steekproeven bekend is dat in de volledige populatie dit percentage tussen de 10 en 25% ligt. De hitrates van de lab-modellen zijn dus zeker niet representatief voor de te verwachten resultaten in de praktijk. Een statistische analyse van de verschillen tussen de lab- en volledige populatie laat zien dat voor een groot deel van de gebruikte features statistisch significante verschillen bestaan. Wanneer echter wordt onderzocht welke van die verschillen groot genoeg zijn om sterke invloed op de modelresultaten te hebben blijven enkele tientallen features over. De details van deze analyse zijn opgenomen als bijlage C. Het is daarom reëel om te verwachten dat de lab-modellen ook op de echte populatie nuttige voorspellingen kunnen doen. De kwaliteit van die voorspellingen kan echter pas na echte validatie worden vastgesteld. 6.7
Volgende stappen
In de labfase heeft de focus gelegen op zo snel mogelijk bruikbare resultaten genereren om aan te tonen dat het mogelijk is een risicomodel te maken. Hierbij was niet het doel om deze resultaten ook te optimaliseren om de maximale voorspelkracht uit de data te halen. Daarvoor was geen tijd en capaciteit. Het is wel duidelijk dat er nog vele verbetermogelijkheden zijn. Enkele voorbeelden: -
-
Meer gestructureerde features gebruiken: momenteel wordt slechts een deel van de beschikbare data gebruikt in de ABT. De gebouwde features zijn de meest voor de hand liggende kenmerken die uit de brongegevens te extraheren zijn. Expert features toevoegen (kennis van domeinexperts gebruiken als input voor features) Volgende stappen in tekst mining nemen: van woordentelling (bag-of-words) naar groepen woorden (n-grams) etc.
Bij het maken van een risicomodel is er altijd een afweging te maken tussen kwaliteit en snelheid van resultaat. Het is absoluut mogelijk om nog zes maanden vol door te ontwikkelen aan het model en in die tijd kan het model waarschijnlijk sterk worden verbeterd. De business-waarde wordt echter pas duidelijk bij validatie van een versie van het model. Om deze reden is na de labfase besloten te starten met een pilotfase waarin zowel het model is doorontwikkeld als een praktijkvalidatie is uitgevoerd door daardwerkelijke rechtmatigheidsonderzoeken uit te voeren. In de volgende hoofdstukken zijn de aanpak en resultaten daarvan te vinden.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 20 van 64
Rapport | Versie 1.99 | 8-2-2018
7 Aanpak en activiteiten pilotfase en voorbereiding uitrol 7.1 Ontwikkeling pilot-model Na de veelbelovende resultaten van de labfase is in een tweede iteratie een nieuw model ontwikkeld. In essentie zijn de gebruikte technieken daarbij dezelfde als voor het eerste model, maar op verschillende vlakken zijn verbeteringen doorgevoerd: -
-
-
Actuele data zijn ingeladen vanuit het datawarehouse van W&I; Uit delen van de data die nog niet werden gebruikt zijn aanvullende features gebouwd om het model te verrijken, en de feature selectie is aangescherpt en verbeterd. Zo is meer werk besteed aan het verminderen van multicolineariteit en near zero variance in de features om te voorkomen dat onnodig veel features worden meegenomen. De scope (de selectie van historische onderzoeken waarmee het model getraind wordt) is aangepast aan het beoogde gebruik; zo zijn detentiesignalen dit keer niet meegenomen omdat deze al zeer betrouwbaar worden opgevolgd. De scripts zijn verbeterd, beter leesbaar en onderhoudbaar gemaakt.
Deze stappen hebben geleid tot een ‘1.0’ versie van het model dat klaar was om in de praktijk te testen.
7.2 Onderzoeksopzet pilot De essentie van een pilot is om het ontwikkelde product op kleine schaal in de praktijk te testen om de werking te valideren en verbeterpunten te vinden. Omdat het gebouwde risicomodel bedoeld is om gevallen van onrechtmatigheid betrouwbaarder te voorspellen, is deze test uitgevoerd door daadwerkelijke rechtmatigheidsonderzoeken uit te voeren naar aanleiding van de voorspellingen van het model. Om een zo betrouwbaar resultaat te bereiken is daarbij de volgende opzet gekozen: -
Met behulp van het model zijn twee groepen uitkeringsgerechtigden geselecteerd: o Een groep met hoog risico op onrechtmatigheid. Deze groep bestaat uit een willekeurige selectie uit de duizend personen met de hoogste risicoscores. (top-groep) o Een controlegroep. Deze groep is aselect gekozen uit alle uitkeringsgerechtigden. (random-groep)
-
Van beide groepen is de rechtmatigheid van de uitkeringen onderzocht op dezelfde manier waarop alle rechtmatigheidsonderzoeken van de laatste jaren zijn uitgevoerd: door het project heronderzoeken (PHO). Op deze manier wordt invloed van de onderzoeksmethode op de resultaten geminimaliseerd. Een schematische weergave van het onderzoeksproces is in figuur x te vinden.
-
De resultaten van de onderzoeken zijn gemeten door in elke groep bij te houden hoeveel uitkeringen werden beëindigd, hoeveel terugvorderingen er werden gedaan en hoeveel ongewijzigd zijn voortgezet. De pilot is geslaagd als de door het model als hoog-risico aangewezen top-groep tot een hoger percentage ‘hits’ (beëindigingen of terugvorderingen) leidt dan de aselecte controlegroep.
Voor de betrouwbaarheid en de statistische significantie van de resultaten is een zo groot mogelijk aantal onderzoeken aan te bevelen. Het projectteam adviseerde daarom minimaal 300 onderzoeken uit te voeren, verdeeld over beide groepen. Vanwege beperkingen in de capaciteit en vanwege de planning heeft de begeleidingsgroep besloten de pilot te beperken tot 250 onderzoeken, waarvan 150 in de top-groep en 100 in de random-groep. Begin maart is een selectie in twee groepen door het projectteam overgedragen aan Toetsing en Toezicht, waarna enkele controles zijn uitgevoerd naar of de geselecteerde personen voor een onderzoek in aanmerking kwamen. Uit de selectie van het projectteam zijn zo de top- en randomgroep van respectievelijk 150 en 100 personen samengesteld. Deze groepen zijn half maart gemengd overgedragen
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 21 van 64
Rapport | Versie 1.99 | 8-2-2018
aan het project heronderzoeken voor het uitvoeren van de rechtmatigheidsonderzoeken. De onderzoekers wisten niet wat tot welke groep de te onderzoeken personen behoorden om ze niet te beïnvloeden. De in totaal 250 onderzoeken zijn uitgevoerd tussen half maart en eind juni.
7.3 Herontwerp dataleveringen Bij het ontwikkelen van het labfase-model en daarna het pilotmodel werden steeds meer de tekortkomingen van de aangeleverde data zichtbaar. Deze werden geleverd via meerdere handmatige tussenstappen uit het datawarehouse van W&I, en het projectteam ontdekte verschillende problemen. Zo bleken achtereenvolgende leveringen niet consistent (de tabellen hadden soms een andere vorm gekregen of data die in vorige leveringen zat ontbrak in nieuwe leveringen), en rezen vraagtekens bij de meegeleverde historie. Van de zogenoemde ‘kubussen’ waarin data over uitkeringen en fraude werden geleverd, bleken de totstandkoming en ontwerpkeuzes onbekend en ongedocumenteerd, waardoor onduidelijk was of deze gegevens betrouwbaar waren en hoe ze precies moesten worden geïnterpreteerd. Dit probleem heeft bredere implicaties dan alleen voor het risicomodel, omdat juist deze kubussen de basis zijn van de managementinformatie van W&I. Dit probleem is aangekaart in de begeleidingsgroep. Voor het ontwikkelen van het pilotmodel was weinig tijd, zodat gewerkt moest worden met de beschikbare data. Tijdens het uitvoeren van de onderzoeken door PHO heeft het projectteam de tijd genomen om de problemen met de data verder te onderzoeken, en samen met het datawarehouse-team van W&I gewerkt aan verbeteringen.
Gezien de aard en ernst van de problemen heeft het datawarehouse-team besloten de gehele levering te herontwerpen en voortaan onder te brengen in het concern datawarehouse, als stap op weg naar het uitfaseren van het W&I-datawarehouse. Hiertoe is een Cognosontwikkelaar samen met de oorspronkelijke dataleverancier secuur alle data nagegaan om de gegevens juist in het concern datawarehouse te krijgen. Hierbij zijn ook de handmatige stappen en Access-stappen verwijderd, wat de consistentie heeft vergroot. Bovendien is uitgebreidere informatie over de historie toegevoegd zodat situaties uit het verleden betrouwbaarder kunnen worden gereconstrueerd. In paragraaf 11.2 zijn de geleerde lessen over dit onderwerp verder beschreven.