[23bb005667] Bijlage 2 behorende bij 23bb005665 over Project-Verslag analytics uitkeringsfraude (Big Data)-Optimized
Tekst van het document
7.4 Bestendigen van model en code, raamwerk toekomstige modellen Al bovenstaande verbeteringen in de datalevering konden nog niet worden verwerkt in het pilot-model, maar zijn de basis van een derde iteratie (een ‘2.0’-versie), die na het verwerken van de pilotresultaten is begonnen en aan het eind van het project is opgeleverd. In deze versie is bovendien veel werk verzet om het model gemakkelijk te kunnen beheren; de code is verder verbeterd door het toevoegen van foutcontroles en betere structurering. Dit heeft onder andere als resultaat gehad dat het opgeleverde model ook als framework kan dienen voor andere unsupervised machine learning modellen: de stappen na het verwerken van de data en het bouwen van de ABT zijn immers generiek; de code om verschillende modelleertechnieken toe te passen op de ABT en daaruit de beste te selecteren is grotendeels herbruikbaar. Een supervised machine learning model kan gebruikt worden om een uitkomst te voorspellen, in het geval van dit project is deze uitkomst onrechtmatigheid. W&I wil weten welke uitkeringen onrechtmatig zijn voordat het onrechtmatigheidsonderzoek is afgenomen en heeft veel historische voorbeelden van eerdere onrechtmatigheidsonderzoeken. Deze werkwijze kan toegepast worden op elke situatie waar je een uitkomst wilt weten in de toekomst en waar er veel historische voorbeelden zijn van deze uitkomst.
Een aantal hypothetische voorbeelden zijn; vervangingsmoment infrastructuur, toekennen van bezwaren tegen boetes, uitstroom uit de uitkering naar werk.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 22 van 64
Rapport | Versie 1.99 | 8-2-2018
8 Resultaten en conclusies pilotfase 8.1 Hitrates: het model werkt De pilot laat zien dat rechtmatigheidsonderzoeken bij werkzoekenden die hoog scoren in het ontwikkelde risicomodel (de “top-groep”) in circa 40% van de gevallen tot een ‘hit’ (beëindiging of terugvordering van de uitkering) leiden tegenover 30% in de controlegroep (chi-square(1)= 2.33, p = 0.13). Ruim 22% van de 151 onderzochte uitkeringen van de top-groep werden beëindigd tegenover slechts 9% in de controlegroep. Daarmee is het aantal beëindigingen significant hoger (chi-square(1) = 7.27**, p <.01) voor de werkzoekenden met een hoge risicoscore dan bij willekeurig geselecteerde werkzoekenden, dit maakt het aannemelijk dat dit verschil niet op toeval berust maar een effect is van het ontwikkelde model. De totale hit-ratio lijken ook hoger te liggen dan andere eerder gebruikte selectiemethoden zoals woonprofielen, maar door de kleine aantallen is deze uitspraak nog niet statistisch te verifiëren. Onderstaande tabel zet de resultaten af tegen eerdere onderzoeksgroepen van PHO:
Onderzocht #
# einde
# TV
% einde
% TV
gemiddelde terugvordering
% hit
pilot top
151
34
36
22,5
23,8
2.576,39
40,4
Pilot random
101
9
25
8,9
24,8
3.187,14
30,7
1.000 op Zuid
912
281
88
30,8
9,6
1.978,87
31,9
pHO-AIO
32
18
1
56,3
3,1
1.442,03
59,4
pHO-Alw Man
3.957
742
430
18,8
10,9
3.548,13
27,2
pHO-Inw Man
2.401
565
191
23,5
8,0
1.308,07
25,8
pHO-Inw Vrouw
1.013
207
62
20,4
6,1
1.740,66
25,0
pHO-Matching
139
73
13
52,5
9,4
3.225,27
56,1
pHO-MO
16
11
1
68,8
6,3
12.402,84
75,0
pilot Alw Man
107
19
10
17,8
9,3
1.016,93
20,6
pilot aselect
771
97
100
12,6
13,0
2.306,79
24,3
pilot Inw Vrouw
100
31
6
31,0
6,0
1.857,46
32,0
Selectie
Te zien is dat het percentage beeïndigingen van de topgroep duidelijk hoger is dan dat van de randomgroep en vergelijkbaar met een aantal van de eerdere onderzoeksselecties zoals inwonende mannen en vrouwen, en alleenwonende mannen. De groepen met flink hogere beëindigingspercentages zoals AIO, Matching en MO betreffen kleine zeer specifieke groepen. Ook valt op dat het aantal terugvorderingen in zowel de top- als de randomgroep erg hoog is vergeleken met eerdere selecties. Mogelijk heeft dit te maken met het hoge percentage kostendelers en/of veranderingen in de keuzes van de onderzoekers. Door het relatief kleine aantal onderzoeken is de onzekerheidsmarge in de hitrates bij de pilotgroepen vrij groot. Deze onzekerheidsmarges zijn in onderstaande figuur opgenomen.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 23 van 64
Rapport | Versie 1.99 | 8-2-2018
Figuur 3 – hitrates (percentage beëindiging en/of terugvordering) van belangrijkste onderzoeksgroepen PHO met rechts de twee pilotgroepen.
Conclusie op basis van deze cijfers is dus dat de pilot geslaagd is: personen die door het model een hoge risicoscore krijgen toegewezen blijkt vaker onrechtmatig een uitkering hebben dan de controlegroep.
8.2 Selectie: veel afvallers door actualiteit en positieve uitstroom Zoals in het vorige hoofdstuk werd vermeld zijn de top- en randomgroep samengesteld in twee stappen: het project heeft twee lijsten met (gepseudonimiseerde) BSNs opgeleverd met meer dan het uit te nodigen aantal personen. . Bij Toetsing en Toezicht zijn uit die lijsten vervolgens de te onderzoeken personen gekozen door personen te schrappen waarbij een onderzoek naar het oordeel van T&T niet mogelijk/wenselijk was.. In deze tweede stap zijn opvallend veel personen afgevallen: 242 van de 700. Het grootste deel van deze afvallers viel af doordat de werkzoekende inmiddels geen uitkering meer had (85) of de uitkering was opgeschort (85). Een andere grote groep was al recent onderzocht (31). Een deel van de verklaring hiervoor ligt in een actualiteitsprobleem met de data die werd gebruikt voor het risicomodel; door een fout in de datalevering waren de uitkeringsgegevens een half jaar oud op het moment van selecteren, en waren er dus in de tussentijd mensen uitgestroomd. Dit kon het effect echter niet geheel verklaren, en nader onderzoek wees uit dat bovengemiddeld veel mensen met hoge risicoscore’s lijken te zijn uitgestroomd naar werk of studie (topgroep = 8%, randomgroep = 3%, chi-square(1) = 6.17*, p <.05). Mogelijk voorspelt het model onbedoeld niet alleen onrechtmatigheid, maar ook positieve uitstroom.
Dit heeft als nadeel dat deze mensen onnodig een onrechtmatigheidsonderzoek krijgen zij zullen uitstromen zonder tussenkomst van een fraudeonderzoek. Daarnaast zijn dit niet de mensen die je negatief wilt benaderen, maar juist wilt stimuleren om uit te stromen naar een baan. Verder kan het targetten van juist deze succesverhalen de draagkracht voor het model bij de werkconsulenten verkleinen. In een doorontwikkelfase kan dit probleem aangepakt worden. Door bijvoorbeeld uitstroom expliciet mee te nemen in het model. Het model zou dan twee scores op kunnen leveren: een voor onrechtmatigheid en een voor de kans op positieve uitstroom. Deze laatste score biedt dan juist weer kansen in de vorm van een voorspelling dat iemand waarschijnlijk positief kan uitstromen en wellicht nog een laatste zetje kan gebruiken.
Artikel 5.2 lid 1 Woo C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 24 van 64
Rapport | Versie 1.99 | 8-2-2018
8.3 Eigenschappen van de risicogroep De pilot laat zien dat in de top-groep vaker onrechtmatigheid voorkomt dan bij aselect gekozen personen. Het is interessant om te onderzoeken welke verschillen er verder zijn tussen de top- en random groep. Onderstaande tabel geeft daar een eerste indruk van door de waardes van een aantal kenmerken te vergelijken tussen verschillende groepen. Hieruit is op te maken dat de personen in de topgroep ruim tien jaar jonger zijn dan gemiddeld, wat vaker man en relatief kort een uitkering hebben. Opvallend is dat een groot deel kostendeler is en dat alle personen in de top-groep eerder waren onderzocht. Het is belangrijk om te realiseren dat deze statistieken beschrijvend zijn en niet verklarend of voorspellend en achteraf zijn gemaakt. Dit betekent dat de onderstaande tabel niet gelezen kan worden als kenmerken van mensen die vaker frauderen maar om een beeld te geven van welke groep is onderzocht. Inzichten zoals deze kunnen gebruiken worden om de hitrate te interpreteren, werkproces aan te passen en te controleren of het model een wenselijke groep uitwerpt. Groep
Top
random Aselect Hele WoonPHO 2015 populatie profielen PHO overig
Trainset
aantal_onderzoeken
151
101
759
36764
4745
25926
Per_hit
40,4%
30,7%
24,3%
-
20 – 27 %
gem_leeftijd
34.7
47.4
43.0
46.2
44.0
36.4
39.9
percentage_vrouw
43.7
58.4
66.7
53.4
18.5
8.10
48.2
gem_duur_uitkering
1036
3200
2687
2670
2109
1131
1436
aantal_bewindvoerders
4
4
0
843
0
0
0
per_bewindvoerders
2.64%
3.96%
0%
2.29%
0%
0%
0%
aantal_kostendelers
85
16
52
3908
19
9
515
per_kostendelers
56.2%
15.8%
6.85%
10.63% 0.40%
0.25%
1.98%
per_mensen_onderzocht
100%
30.6%
28.9%
41.4%
34.4%
31.8%
20.9%
per_mensen_onderzocht_negatief 88.1%
25.7%
22.1%
32.4%
25.6%
23.2%
19.0%
Feature
3492
50%
8.4 Verbanden tussen belangrijke features en risicogroep Zoals in hoofdstuk 5 werd beschreven kiest een modelleeralgoritme uit alle honderden features zelf welke features in welke mate gebruikt worden voor de voorspelling. In het best presterende model bleken uiteindelijk negen features dominant in de voorspelling. Dat betekent niet dat in de andere features geen voorspelkracht zit; er zijn vaak vele andere manieren om tot een vergelijkbaar goede voorspelling te komen.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 25 van 64
Rapport | Versie 1.99 | 8-2-2018
Figuur 4. Data komt uit RAAK en socrates en maken daarna verschillende stappen door. Het model finale model heeft van 367 features kunnen leren en heeft 97 features gebruikt waarvan 9 feature de kern vormen. Tijdens de feature selectie worden andere algoritmes gebruikt om tot de juiste selectie van features te komen. Figuur 4 rechts: Op de y-as staat relatieve belangrijkheid van de feature in het model. Het is te zien dat de belangrijkheid zeer snel afloopt.
Opvallend is dat de belangrijkste features (hieronder weergegeven) vrijwel allemaal te maken hebben met het registratieproces van de gemeentelijke organisatie: het zijn features die activiteit rondom de werkzoekende in de gemeentelijke organisatie en interactie tussen de werkzoekende en de gemeente weergeven, in plaats van echte kenmerken van de werkzoekende zelf. Dat is te interpreteren als indicatie dat het model erin slaagt de kennis die zit verborgen in alle losse interacties en registraties te lezen en het ‘systeembewustzijn’ om te zetten in een risicoscore. Een individuele registratie van een verstuurde brief of een afgezegde afspraak bevat te weinig informatie om een conclusie uit te trekken, maar het model vindt patronen in duizenden afzonderlijke registraties van activiteit en gebruikt die om tot een sortering te komen. Het model zoekt naar de kortste manier op te voorspellen. Dit zegt niks over de verklarende waarde van deze features. Rang
feature
top
random
scoring
1
persoonlijke_eigenschappen_vulling
31.4
26.55
26.75
2
inschrijving_uwv_nrecords
9.32
6.44
6.32
3
afspraken_laatstejaar_count
6.57
4.47
4.86
4
component_aantal_laatste12mnd_bijstandsnorm_alleenstaande_21 1.53
8.34
8.58
5
fraude_eerdere_onderzoeken
1.65
0.35
0.51
6
inschrijving_uwv_ingeschreven
1
0.98
0.98
7
huisvesting_duur_totaal
4804.44 11176.11 9529.33
8
typering_aantal_tijd
1429.34 894.77
857.97
9
contacten_onderwerp_document__
51.19
27.77
27.46
In bovenstaande tabel worden de negen belangrijkste features getoond met daarachter de gemiddelde waarde van die feature in drie verschillende groepen. Dit laat zien dat hoewel de waardes van de features C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 26 van 64
Rapport | Versie 1.99 | 8-2-2018
Risicoscore uit model
soms flink verschillen tussen groepen, het verband niet eenvoudig is te omschrijven in de vorm van bijvoorbeeld “personen die meer dan 5 afspraken gehad hebben in het laatste jaar hebben een hoger risico”; de verbanden zijn complex en niet lineair. Dat is nog beter te zien in Figuur 5, die visueel weergeeft wat de verbanden tussen deze negen features en de risicocores zijn.
Waarde van feature Figuur 5 - verband met risicoscore van de 9 belangrijkste features: elk puntje in de grafieken stelt een werkzoekende voor met op de horizontale as de waarde van de feature, op de verticale as de risicoscore. De groene en rode puntjes zijn de geselecteerde personen voor respectievelijk de top- en de random-groep, de zwarte puntjes zijn wel gescoord maar niet onderzocht in de pilot.
Deze figuur geeft een beeld van de complexiteit van de werking van het model en maakt inzichtelijk waarom de voorspellingen niet met een simpel verband te reproduceren zijn. Een risicomodel vindt hoogcomplexe, niet-lineaire voorwaardelijke verbanden.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 27 van 64
Rapport | Versie 1.99 | 8-2-2018
9 Aanpak en activiteiten uitrol fase 9.1 Ontwikkeling finale model Na de succesvolle pilot is in een finale iteratie gedaan en is een nieuw model ontwikkeld. Het doel van de uitrol fase is om een end-to-end oplossing af te leveren dat in de lijnorganisatie opgenomen kan worden. N.a.v. de pilot zijn model-technische wijzigingen doorgevoerd en is ook het proces en de daarbij behorende verantwoordelijken vastgesteld. Nieuwe validatie data is gebruikt om van het verbeterde model een indicatie te geven van de verwachte prestatie in de praktijk. De gebruikte modelleer-technieken zijn niet radicaal veranderd, maar op enkele vlakken zijn incrementele verbeteringen doorgevoerd: Data en model: -
Actuele data zijn ingeladen vanuit het datawarehouse van W&I; Een nieuwe validatie set is gemaakt, op basis van het aselecte onderzoek in het NPRZ gebied. De scripts zijn herschreven zodat ze met minimale handmatige input gedraaid kunnen worden en de output overzichtelijk wordt weggeschreven. Business proces: -
Alle rollen in het end-to-end proces zijn gedefinieerd, en personen/afdelingen zijn daar aan toegeschreven. Het formaat, frequentie en wijze waarop de voorspelde lijst wordt geleverd is vastgesteld. De impact van de cut-points van de business rules is bestudeerd a.d.h.v. de data. Begeleidende documentatie is geschreven, dan wel geüpdatet.
Deze stappen hebben geleid tot een end-to-end oplossing die klaar is om in de lijnorganisatie op te worden genomen.
9.2 Planning In de uitrol fase zijn we begonnen met de migratie van de data en code naar de nieuwe (WOB) server. Daar is getest of alles nog werkt. Vervolgens is een nieuwe data extractie gedaan (inclusies nieuwe validatie data) waarop de nieuwe modellen worden ontwikkeld. De resulterende lijst is gevalideerd bij W&I en feedback is meegenomen voor verdere verbetering van het model. Ten slotte zijn de scripts herschreven en is de final run neergezet, om vervolgens dé scoring lijst op te leveren. Naast het data science werk is ook met business aan het operationele model gewerkt, zodat deze oplossing werkbaar blijft na afsluiting van de projectfase. De uitkomst hiervan wordt toegelicht in het business document(.pptx).
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 28 van 64
Rapport | Versie 1.99 | 8-2-2018
June 24 11-jun
Migration prep
Activities
KT
25 18-jun
26 25-jun x - do
27 2-jul x
July 28 29 9-jul 16-jul x x
6-jul 6-jul 6-jul
13-jul 13-jul
30 23-jul x
31 30-jul x
32 6-aug
August 33 13-aug x
34 20-aug x
35 27-aug
Owner
Config server (samenwerking) WOB server delivery Netwerk account Check user access ( + xx) Tooling validation R libraries check Data Migration check & validation Run & validate ABT scripts Technical Monitoring scripts (config) Functional Monitoring scripts (config) Migration Model Documentation (draaiboek)
20-jun 22-jun 22-jun
20-jun
29-jun 29-jun 29-jun
29-jun 6-jul
Business Delivery
Beheer Hand-over
Analytics Modeling
#1 - MODEL UPDATE (AS IS)
Update model based on new data Train new model Score new data Validate results (data science team) Transform to BSNs Validate results with business Update Documentation
√ √ √ √
6-jul 13-jul 20-jul 20-jul 24-jul 3-aug 24-jul
#2 - FINAL UPDATE & RUN
Develop additional requirements(*) Develop full Run Functional & Technical Montoring final update Run the full Run Validate results (data science team) Transform to BSNs Validate results with business Update Documentation
To fill in with Data ( Omgeving (
√ √
17-aug 17-aug 24-aug 24-aug 24-aug
√ √
28-aug 31-aug 31-aug
/ beheer)
Validate 1st Run Validate Final Run Feedback Process Qualitative Feedback Presentation Begeleidingsgroep Uitkeringsfraude
3-aug 31-aug 10-aug
12-jul
9-aug
9.3 Data 9.3.1 Actualiteit Door een fout in de datalevering tijdens de pilotfase waren de uitkeringsgegevens een half jaar oud op het moment van selecteren, en waren er dus in de tussentijd mensen uitgestroomd. De fout in het extraheren van de data en het creëren van de ABT is gecorrigeerd. De data is maximaal één dag oud op moment van extractie. Uiteraard duurt het enige tijd voordat de lijst W&I / THO bereikt. Daarom wordt de lijst ook nog op actualiteit gecontroleerd vlak voordat hij naar team Heronderzoeken (tHO) gestuurd wordt.
9.3.2 Tardis In de ABT wil je alleen data hebben die bekend was voordat iemand onderzocht werd, en niet de data die resulteert uit een dergelijk onderzoek. De meest recente data meenemen is dus niet altijd wenselijk. De recentere data werd voorheen inactief gemaakt, maar nu is een zogenaamde Tardis gemaakt. Dit script C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 29 van 64
Rapport | Versie 1.99 | 8-2-2018
haalt de data op zoals die vlak vóór het onderzoek bekend was. Het dient dus als een soort tijdsmachine. In bijlage D wordt de Tardis in detail besproken.
9.3.3 Nieuwe validatie set voor model In de pilotfase is een relatief kleine validatie set gebruikt. Deze set is in deze uitrolfase in de traindata toegevoegd, omdat er op dit moment een nieuw – grootschaliger – aselect onderzoek bezig is: Aselect NPRZ. Dit bestaat uit 3000 onderzoeken waarvan er nu ongeveer 1000 zijn afgerond, met een hitrate van 16%. 500 observaties zijn voor de validatie set gebruikt en de overige zijn in de traindata opgenomen. Het aselecte onderzoek wordt als benchmark gebruikt om iets te kunnen zeggen over de verwachtte prestatie van het model in de praktijk.
9.4 Model De modellen en resultaten werden voorheen weggeschreven in aparte mappen en in losse files. Om dit overzichtelijker te maken worden ze nu centraal opgeslagen in tibbles. Hierin staan alle model versies én hun performance metrics in één file opgeslagen. De model evaluatie wordt automatisch gegenereerd en het notebook wordt opgeslagen als een html bestand. De modellen worden getraind op drie performance metrics: 1) accuracy, 2) Area under ROC, 3) Kappa. Daarnaast worden de volgende vier methodes toegepast: 1) Random Forest, 2) Gradient Boosting Models, 3) XGBoost, 4) Decision Tree. Dit resulteert in twaalf initiële modellen, waar verder mee getraind wordt door met de tuning parameters te spelen (b.v. de grid size en het aantal iteraties). Verder is er afgesproken dat de business rules voor de doelgroep scope ná het genereren van de lijst worden toegepast. Op die manier kunnen we inzicht geven in welke (en waarom) personen worden weg gefilterd.
9.5 Business proces Er is overeengekomen dat het end-to-end proces uit twee zelfstandige processen bestaat. Dit is gedaan zodat de OBI en W&I betrokkenen hun eigen planning kunnen aanhouden. OBI pusht vier keer per jaar een scoringslijst naar de server, waarop W&I de lijst kan ophalen en de actualiteit kan verversen wanneer tHO daar om vraagt. Er zal uiteraard wel communicatie tussen OBI en W&I zijn, omdat het data science proces afhankelijk is van kennis uit de business en vice versa. De output vanuit OBI naar W&I is een lijst met gescoorde uitkeringsontvangers. Deze is gesorteerd van hoog naar laag risico. De kolommen zijn als volgt: volgnummer, ID, risicoscore. De risicoscore is puur ter documentatie. De scores moeten beschikbaar zijn voor wanneer er dieper inzicht in het uitkeringsfraude project moet worden gegeven. Deze scores zijn moeilijk te interpreteren en dienen daarom niet voor verdere analyse of communicatie te worden gebruikt! In dit project is er voor gekozen om inhoudelijke keuzes zo veel mogelijk bij W&I te houden. Op die manier is OBI ‘slechts’ de facilitator van het data science proces. Er is uiteraard continue samenwerking, omdat dat aan de basis staat van een relevante en bruikbare data science output. De business rules die in het modelleer proces worden gebruikt, worden bijvoorbeeld door W&I bepaald.
OBI kan op basis van de data suggesties doen, maar is vooral de partij die de rules toepast op de data. De uiteindelijke eigenaar van de ontwikkelde oplossing is W&I. Een versimpelde illustratie van het end to end proces is weergegeven in het figuur hieronder.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 30 van 64
Rapport | Versie 1.99 | 8-2-2018
Ten slotte zijn er verschillende documenten geschreven om het kennis en inzichten overdraagbaar te maken. Er zijn zowel algemene als data science specifieke documenten geschreven, en zowel mede eenmalige als doorlopende documenten.
EENMALIG BUSINESS OVERVIEW iedereen Geeft overzicht in de wat, hoe, en wie omtrent dit product. Hierin wordt gespecificeerd waar de verantwoordelijkheden liggen en wat de mogelijkheden en beperkingen van het model zijn. DRAAIBOEK data scientist Stap voor stap handleiding om 1) een nieuwe lijst te genereren, 2) modellen te hertrainen. PROJECT DOCUMENT project team Dit document. Proces document dat het project van begin tot eind beschrijft. Verklaart gemaakte keuzes en stappen. (Incl: privacy impact assesment)
PERIODIEK LEGAL DOCUMENT product owner, data scientist Geeft inzicht in welke data types en bronnen zijn gebruikt. Wordt bij elke lijst gegenereerd – en meegestuurd naar W&I – op basis van de gebruikte data voor specifiek die versie van de gegenereerde lijst. MODEL BESCHRIJVING data scientist Technische uitleg van het voorspellende model. Wordt geupdated na hertrainen en beschrijft dus altijd de meest recente versie van het model. (Incl: technical decisions document)
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 31 van 64
Rapport | Versie 1.99 | 8-2-2018
10 Aanbevelingen doorontwikkeling en vervolgonderzoek Met de modelversie die bij het afronden van het project is opgeleverd is een toepasbaar en volwassen product beschikbaar gekomen dat op grotere schaal kan worden toegepast door W&I. Dat betekent echter allerminst dat het model is uitontwikkeld en dat al het onderste uit de kan is gehaald. Op twee vlakken zijn nog heel veel kansen ontstaan: verdere verbetering van het model teneinde het nog effectiever te maken (hogere hitrates) en nader onderzoek ter beantwoording van kennisvragen naar aanleiding van inzichten uit het project.
10.1 Aanknopingspunten voor vervolgonderzoek In de voorgaande paragrafen zijn al een aantal interessante observaties genoemd die nader onderzoek verdienen. In het algemeen is duidelijk geworden dat hoewel het bouwen van een risicomodel niet als primaire doel heeft om kennis op te doen en verklaringen te geven voor effecten, er als ‘bijvangst’ wel degelijk erg veel kennis vergaard wordt en vooral veel aanknopingspunten voor nader onderzoek uit voortkomen. Hieronder is samengevat welke onderwerpen en welke onderzoeksvragen volgens het projectteam het belangrijkst zijn. Er zijn een aantal initiëlee analyses gedaan door het team die apart beschikbaar zijn. In de beperkte beschikbare capaciteit en tijd, en om de scope van het project te bewaken, was het helaas niet mogelijk deze vragen nog verder uit te diepen.Het team beveelt dan ook met klem aan om deze vragen verder te onderzoeken. •
•
•
•
Meer contact (brieven, bellen, afspraken) leidt tot hogere risicoscore •
Wat zijn dit voor mensen en contacten? Hypothese: probleemgevallen waar lang omheen gedraaid wordt?
•
Hebben deze mensen een hoger risico om te frauderen? Of is er slechts een hoger risico dat zij betrapt worden?
Mensen met eerdere (negatieve) ‘onderzoeken’ scoren heel hoog •
Hoe is recidivisme te voorkomen?
•
Is er onderscheid tussen UBO – PHO – BI? Hypothese: onderzoeken worden vaak niet afgerond bij gebrek aan aanknopingspunten, maar wel degelijk onrechtmatigheid.
•
Zijn er betere onderzoeksmethoden te vinden die ‘hits’ beter opsporen?
•
Willen we ook in een andere vijver gaan vissen?
Veel positieve uitstroom (naar werk/studie) onder hoge risicoscores •
Kan het zijn dat model als bijvangst heeft mensen die op het punt staan uit te stromen? Hypothese: veel contact voorspelt zowel positieve als negatieve uitstroom, maar model heeft alleen van negatief geleerd.
•
Kan dit verband ten goede worden ingezet?
Overig: hoge aantal terugvorderingen, tragere behandeling, vulling data in proces etc etc
10.2 Doorontwikkelmogelijkheden voor het risicomodel Tijdens het maken van het model zijn we verschillende mogelijkheden tegenkomen om het model verder te ontwikkelen. Met het model verder ontwikkelen bedoelen we de risicoscores accurater of specifieker maken. Voor een deel zijn deze gerelateerd aan de bovengenoemde onderwerpen. Een aantal van deze mogelijkheden zijn voorgesteld aan Toetsing en Toezicht. Er was toen wel interesse in deze mogelijkheden maar het was niet het moment om deze op te pakken. C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 32 van 64
Rapport | Versie 1.99 | 8-2-2018
Performance metrics focussen op meer dan we geinteresseerd in zijn De modellen zijn tot nu toe getraind op verschillende metrics die zowel true positives en true negatives over de gehele populatie in acht nemen. Echter, wij zijn slechts geïnteresseerd om in de top X personen zoveel mogelijk true positives te krijgen. Het maakt daarbij niet uit of we de niet-fraudegevallen goed kunnen voorspellen. Voor verdere ontwikkeling is het daarom interessant om een eigen performance metric te schrijven aan de hand waarvan tijdens het trainen louter op de fraudegevallen in de top X wordt gefocussed. Werkzoekende stroomt vaak uit naar arbeid We zien dat er relatief veel mensen uitstromen naar arbeid binnen de pilotgroep met een hoog risico. Dit heeft 3 belangrijke nadelen bij gebruik van het risicomodel voor selectie van een onderzoeksgroep (naast de hierboven genoemde kansen tot kennisontwikkeling die het ook biedt): •
Onderzoek naar deze mensen is niet nodig want deze zullen uitstromen naar werk. Er is geen tussenkomst van een fraude onderzoek nodig om deze mensen uit de uitkering te laten gaan. Dus ook geen reden deze mensen uit te werpen met een hoog risico score
•
Dit zijn niet de mensen die je lastig wilt vallen met een negatief onderzoek. Mensen die op het punt staan uit te stromen naar werk wil je juist stimuleren dit te doen.
•
Dit verkleint het draagvlak voor pHO, het kan zijn dat werkconsulenten het niet goed vinden als hun beste klanten opgeroepen worden door pHO.
Er zijn concrete ideeën om dit op te lossen in het model, bijvoorbeeld door ook positieve uitstroom te voorspellen met hetzelfde mode (zie vorige paragraaf). Voordeel van deze oplossing is dat er een model gemaakt kan worden voor uitstroom in plaats van onrechtmatigheid. Dit model zou dan een voorspelling geven voor negatieve uitstroom (die moet opgepakt worden door pho) en positieve uitstroom (dit kan opgepakt worden door werkconsulenten, in de toekomst misschien). Een ander idee om dit op te pakken is door een tweede model te bouwen dat positieve uitstroom voorspelt. Dit model kan naast het onrechtmatigheidsmodel gebruikt worden om vast te stellen of iemand en een hoge kans op onrechtmatigheid heeft en een hoge kans om uit te stromen naar arbeid. Onderzoek naar beide zal nodig zijn om te kijken welke oplossing als beste past en of het mogelijk is dit op te nemen in het model.
Mensen zijn al vaker eerder onderzocht We zien in de pilotgroep dat iedereen die in de topgroep zit al een keer eerder onderzocht is (dat wil zeggen, eerder voorkwamen in de fraudemodule; dat kan variëren van slechts een melding tot een echt onderzoek) terwijl niet de gehele populatie eerder is onderzocht. Het lijkt er echter wel op dat mensen die eerder zijn onderzocht een hogere kans hebben op onrechtmatigheid ongeacht de uitkomst van het onderzoek. Het blijven aanleveren van mensen die eerder zijn onderzocht, en daarmee op termijn het aanleveren van steeds dezelfde mensen heeft een aantal belangrijke nadelen: ▪
Je blijft veel aandacht geven aan de mensen die al een keer eerder verdacht zijn gevonden. De werkzoekende komt moeilijk van het stempel af;
▪
Het wordt moeilijker nieuwe onrechtmatigheid te vinden. Groepen die nu buiten beeld zijn, blijven buiten beeld;
▪
Er kan een zichzelf versterkende loop in het model ontstaan.
Een idee om dit op te lossen is door twee modellen te maken. Een voor veelplegers en een mensen die nog nooit fraude hebben gepleegd. Aandacht van onrechtmatigheidsonderzoeken kan beter verdeeld worden over alle werkzoekende en de kans is kleiner dat iemand buiten beeld blijft, maar zo hoef je niet aselect te selecteren en als het model werkt, heeft het ook een hogere hitrate dan aselect. C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 33 van 64
Rapport | Versie 1.99 | 8-2-2018
Met 2 modellen kunnen er sneller nieuwe groepen aan het licht komen dan met het huidige risicomodel en hierdoor kan de algemene hitrate stijgen. Het moet natuurlijk eerst onderzocht worden of er twee verschillende modellen gemaakt kunnen worden. Een probleem zou kunnen zijn dat veelplegers en nieuwe onrechtmatigheid er in de data hetzelfde uit zien en dat deze moeilijk uit elkaar te trekken zijn.
Specifiek advies welke methode (UBO, PHO of BI) toegepast moet worden Momenteel wordt er alleen een risicoscore voor onrechtmatigheid berekend. Het zou onderzocht kunnen worden of dit verder uitgebreid kan worden. Bijvoorbeeld kan er voorspeld worden welke onderzoeksmethode (UBO onderzoek, PHO onderzoek of BI onderzoek) er het beste toegepast kan worden op welke persoon. Dit kan ingezet worden door alleen de zaken met een grote pakkans door pho uit te werpen of als het process daar klaar voor is, dat een zaak van een bepaalde werkzoekende naar aanleiding van de situatie van die werkzoekende toegewezen wordt aan een bepaalde afdeling en dat er tijdens het onderzoek de zaak doorgezet kan worden naar een andere afdeling. Een ander idee is dat er een voorspelling wordt gedaan van de soort onrechtmatigheid zoals inkomnensonrechtmatigheid, woonfraude etc. Dit heeft dan dezelfde uitwerking. In plaats van een enkele score op onrechtmatigheid, geeft dit een beter idee waar ernaar gezocht moet worden en welke methode hiervoor gebruikt moet worden. Het voordeel van een dergelijk advies is dat er passend op de situatie de juiste onderzoeksmethodes worden ingezet en hiermee de hitrate verhoogd kan worden. Bijvoorbeeld partnerfraude wordt minder makkelijk opgespoord met de pho-methode.
Hybride model Momenteel staat het model in het werkproces van T&T naast alle andere regels en profielen die er zijn om werkzoekenden te selecteren. Dit is niet nodig. Er kan gekeken worden of het risicomodel samengevoegd kan worden met andere regels en profielen tot een hybride model. In een dergelijk model leidt een bepaalde regel of een bepaald profiel tot een bepaald risico. Dit risico wordt vervolgens afgezet tegen de risicoscores. Met selectiemodules zijn in dit geval de huidige methodes zoals de woonprofielen, maar kunnen ook businessregels van BI zijn, of andere signalen van bijvoorbeeld andere gemeentes. De selectiemodules en het risicomodel samen geven een bepaald risico aan. Aan de hand van dit risico wordt de capaciteit verdeeld.
10.3 Aanbevelingen rondom het selectieproces van T&T De werkprocessen bij W&I zijn sterk afhankelijk van handwerk, losse excel-bestanden en kennis en ervaring van enkele individuen. Dit project heeft een mogelijkheid gecreëerd om een gedeelte daarvan te automatiseren en verbeteren. Voor een volgende stap ik informatiegestuurd werken zijn ook dit soort ontwikkelingen essentieel. Voor een beter reproduceerbare, objectievere en minder arbeidsintensieve werkwijze zijn de volgende verbeteringen mogenlijk: -
-
Objectificeren en definiëren van selectiecriteria profielen; momenteel vinden selecties plaats door middel van handmatig filteren in een excel-extractie uit cognos. Het is tot nu toe onmogelijk gebleken die criteria eenduidig te reproduceren. Hetzelfde geldt voor de uitsluitingscriteria; er wordt bij selecties bijvoorbeeld een regel gehanteerd dat iemand in het laatste jaar niet eerder onderzocht mag worden, maar deze regel wordt niet eenduidig gehandhaafd.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 34 van 64
Rapport | Versie 1.99 | 8-2-2018
-
Het vaststellen van de resultaten van onderzoeken gebeurt momenteel ook nog met veel handwerk; deels moeten de vastgelegde resultaten in het systeem handmatig worden gecontroleerd aan de hand van de daadwerkelijk verzonden beschikkingen, omdat in de registratie fouten voorkomen die een scheef beeld veroorzaken. Dit heeft tot gevolg dat resultaten van verschilllende selectiemethodes niet altijd eerlijk met elkaar vergeleken kunnen worden.
Deels hebben deze moeilijkheden te maken met de ontoereikendheid van de gegevens in het datawarehouse, waardoor interpretatie en correctie noodzakelijk blijft. Verbetering van de vastlegging is daarom ook nodig. Zolang echter handmatig wordt gecorrigeerd zal aan de oppervlakte ook de noodzaak ontbreken van deze verbeteringen, zodat het probleem zichzelf in stand houdt.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 35 van 64
Rapport | Versie 1.99 | 8-2-2018
11 Geleerde lessen Het project uitkeringsfraude is de eerste ervaring met advanced analytics binnen de gemeente Rotterdam. Het was een pionierproject, waarin niet alleen voor het eerst risicomodellen zijn ontwikkeld, maar ook ervaring wordt opgedaan met tal van randvoorwaardelijke processen. Het leereffect voor de organisatie was ook een expliciet doel van het project, en de visie van de opdrachtgevers is dat de ervaringen uit het project leiden tot vergroting van de volwassenheid van de organisatie op het gebied van Informatiegestuurd Werken. Zo diende het project niet alleen een inhoudelijk doel voor de business: het ontwikkelen van een product dat de handhavingspraktijk verbetert, maar komt er ook waarde uit voort op vele andere terreinen. De belangrijkste lessen staan samengevat in onderstaande figuur en worden in dit hoofdstuk beschreven.
11.1 Juiste mix van omstandigheden De totstandkoming van het project illustreert dat er verschillende stoplichten op groen moeten staan om een initiatief daadwerkelijk van de grond te laten komen, en dat niet altijd voorspelbaar is welke initiatieven tot succes gaan leiden. Zeker vier elementen kwamen samen die ertoe leidden dat op het gebied van uitkeringsfraude iets tot stand kwam: a)
Er was een duidelijke vraag en opdrachtgeverschap vanuit de business (het primaire proces). In dit geval werd deze vraag nog extra urgent door de toezegging die de gemeente Rotterdam in de G12 had gedaan om de mogelijkheden van text mining op basis van eigen gegevens te onderzoeken en voor 1-1-2017 met resultaten te komen. Dit zorgde bij betrokkenen voor de urgentie om echte stappen te zetten. b) Er werd een team opgericht met capaciteit en de juiste vaardigheden om het werk uit te voeren. Er zitten honderden mens-uren in het ontwikkelen van de gewenste producten, en het is dus niet reëel om te verwachten dat resultaten tot stand komen als medewerkers het project naast hun reguliere werk moeten uitvoeren. De benodigde vaardigheden zitten op zowel het gebied van data science als op het gebied van projectleiderschap; zeker bij een pionieerproject moeten voortdurend obstakels worden opgelost en keuzes worden gemaakt om voortgang te verzekeren. c) De data die nodig is voor de gewenste resultaten bestaat en is beschikbaar. Het opvragen en ontsluiten van de juiste data speelt in dit project een grote rol en neemt veel tijd in beslag, maar in elk geval is duidelijk dat er wel voldoende is. Zie ook de volgende paragraaf. d) Het product wordt helder gedefinieerd en afgestemd met de business.
In dit geval zou een risicomodel worden gemaakt dat uitkeringsgerechtigden rangschikt van hoge naar lage kans op C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 36 van 64
Rapport | Versie 1.99 | 8-2-2018
onrechtmatigheid. Een duidelijk en gedeeld beeld van het eindresultaat en het goed definiëren daarvan zorgt ervoor dat alle betrokkenen hetzelfde doel voor ogen hebben en de verwachtingen kloppen. Vanwege deze mix van omstandigheden is het project uitkeringsfraude als eerste uit de startblokken gekomen, terwijl andere geïdentificeerde kansrijke projecten minder snel gaan. Wat betreft het team is in het programmaplan DARE reeds beschreven welke vaardigheden en capaciteit in een typisch data science project nodig zijn. Figuur 6 geeft dit weer per fase. Daarin is te zien dat voor een volledig team in de labfase circa 5 fte nodig zijn. In dit project is gewerkt met een minimale variant; gedurende de labfase was er uiteindelijk 1,5 fte aan data-science capaciteit beschikbaar en 1 fte aan gedeeld projectleiderschap/business analist. Dit is verre van optimaal en met een volledig team waren minder concessies nodig geweest.
Figuur 6 – teamsamenstelling per fase, exclusief projectleiderschap. Bron – Programmaplan DARE
Aan het eind van het project is toepassing op grote schaal nog steeds niet gegarandeerd. Dit heeft te maken met verschillende belangen en bestuurlijke prioriteiten. Goede bestuurlijke betrokkenheid vanaf het begin is dan ook zeer aan te bevelen. Advies: controleer bij het opdrachtgeven voor een project of aan de juiste randvoorwaarden is voldaan. Vooral voldoende capaciteit en projectleiderschap met een pro-actieve en probleemoplossend vermogen zijn essentieel. Voor succesvolle inbedding in het primaire proces is goede betrokkenheid en steun tot op bestuurlijk niveau noodzakelijk.
11.2 Data ontsluiten en gegevensmanagement De eerste drie maanden van het project zijn voor een groot deel in beslag genomen door het opvragen en ontsluiten van data. Er was toegang nodig tot de gegevens (waaronder ongestructureerde tekst) uit RAAK. Het werd bovendien al snel duidelijk dat de Cognos-extractie (dit was een via Cognos gemaakte extractie uit de ‘Kubus’ fraude van het datawarehouse van W&I) waarmee werd begonnen onvoldoende data bevatte voor het bouwen van een goed risicomodel. (Zie 6.1). Het zoeken naar de juiste data en deze ontsluiten in de juiste vorm is vrijwel altijd een tijdrovend onderdeel van data-science projecten en wordt makkelijk onderschat. Een van de lessen op dit gebied is dus dat hiervoor voldoende tijd moet worden gereserveerd en capaciteit nodig is zowel in het projectteam als bij de teams die de databases beheren. Daarnaast zijn uit de projectervaringen lessen te trekken voor het inrichten van gegevensmanagement, waarvoor de gemeente net een programma is gestart. Er is binnen de gemeente / W&I nog geen duidelijke structuur van data-eigenaarschap en -beheer. Vanaf de bronsystemen RAAK en Socrates worden vele stappen en bewerkingen op de data gedaan en er zijn verschillende ontsluitingen naast de systemen zelf, onder andere via een zogenoemde Kubus.
Verschillende Gebruikers hebben daardoor verschillende perspectieven op de data wat communicatie en eenduidige datalevering niet altijd makkelijk maakt; er is vaak nog geen ‘single version of the truth’.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 37 van 64
Rapport | Versie 1.99 | 8-2-2018
Socrates
Gebruikers business
DWH W&I Rotterdam Rapportage-database
Staging
ODS
DataMart
Raak/RMW
Kubussen Cognos
WeGo4IT
Figuur 1 – Schematische weergave van de opwerkingsstappen van de data. Het project startte met data uit een van de kubussen, en heeft later meer onbewerkte data ontvangen uit de stap ‘staging’. Dit schema is pas aan het eind van de labfase duidelijk geworden.
Het kostte het projectteam al enige tijd om de personen te lokaliseren die het beheer voerden over de benodigde data. Door versnippering van het gegevensbeheer en gebrek aan documentatie was er bovendien geen duidelijk overzicht van wat er precies beschikbaar was en wie daar toegang toe had. Dit heeft geleid tot moeilijkheden bij het specificeren van de vraag, en leidt soms tot problemen met de kwaliteit van de data of het verifiëren daarvan. In het project was bovendien behoefte aan data met historie. Hoewel alle mutaties door het systeem worden vastgelegd en de historie dus wel beschikbaar is, ontstond de indruk dat hier tot nu toe zelden naar wordt gevraagd en dat deze historie moeilijker beschikbaar te maken is. Het team had geluk met zeer competente en meewerkende databasebeheerders, waardoor het lukte om buiten de gebaande paden toegang te organiseren tot voldoende data. Na de pilotfase is naar aanleiding van de ervaringen met vereende krachten gebouwd aan een gedeeltelijke verbetering van de beheers- en reproduceerbaarheid van de dataleveringen, door de brondata op te nemen in het concern datawarehouse en de data via een extratieschema toegankelijk te maken, zie ook paragraaf 7.3. Dit was de start van een breder project vanuit het datawarehouseteam W&I om een stap naar een volgend volwassenheidsniveau te nemen.
De ervaringen uit het project kunnen waardevolle input zijn bij het inrichten van een volwassener gegevensbeheer. Tijdens de looptijd van het project heeft het programma gegevensmanagement zich nog op een hoger abstractieniveau begeven waardoor nog weinig echte kruisbestuiving heeft kunnen plaatsvinden. Voor echte verbetering zal een inspanning nodig zijn op het gebied van metadata- en masterdatamanagement als onderdeel van gegevensmanagement. Er zal soms een sterke link naar architectuur zijn (keuzes en richtlijnen voor de plaats waar we welk soort gegevens opslaan). Met deze inspanningen zal het gegevenslandschap en het beheer daarvan zich steeds verder in kunnen ontwikkelen naar een volwassener niveau. Als daarin goede stappen gemaakt kunnen worden zou dat volgende projecten tijd schelen en de betrouwbaarheid van data sterk vergroten, en het is een randvoorwaarde voor het betrouwbaar uitrollen van ontwikkelde producten. Advies: betrek de ervaringen uit het project uitkeringsfraude bij het lopende programma gegevensmanagement; zo kan de top-down inspanning worden gevoed met bottom-up praktische ervaringen om tot een inrichting van data diensten te komen die directe meerwaarde heeft voor data-projecten.
11.3 Lab-omgeving voor innovatie is noodzakelijk (maar niet ingewikkeld) Een grote complicatie voor dit project lag in een eigenlijk heel simpel probleem: er was een omgeving nodig waarin zowel de juiste analysesoftware (voor dit project ‘R’) als de data beschikbaar waren, met voldoende rekenkracht en werkgeheugen. De software is echter niet beschikbaar op de gemeentelijke (Citrix) werkstations, en de vertrouwelijke data mag daar vanwege beveiligingsredenen niet zomaar vanaf. Er zijn verschillende routes geprobeerd om hiervoor oplossingen te vinden. Als tijdelijke noodoplossing heeft het team met gemeentelijke stand-alone laptops gewerkt waarop de software wel geïnstalleerd kon worden en waarop de data werd gekopieerd. Dit had echter grote nadelen, zowel voor het samenwerken (er was geen centrale plek waarop meerdere mensen te gelijk konden werken), als voor de rekenkracht; de laptops hadden te weinig geheugen voor de gevraagde toepassingen. C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 38 van 64
Rapport | Versie 1.99 | 8-2-2018
Een tijd lang heeft het team geprobeerd via de reguliere IT-kanalen een oplossing te vinden: ofwel ‘R’ beschikbaar krijgen op het gemeentelijke netwerk ofwel een aparte server in te richten waarop dit kon. Hoewel de technische vraag eigenlijk heel simpel is was het proces hiervoor belemmerend; dit is niet ingericht op snelheid en flexibiliteit, maar eerder op robuustheid en lange-termijnoplossingen. Dat is een goede attitude voor bedrijfsoplossingen die door honderden of duizenden medewerkers in de gehele gemeente jarenlang gebruikt gaan worden, maar onwerkbaar voor innovatie. Dit spoor is dan ook doodgelopen met de nodige vertraging voor het project tot gevolg. De les voor de organisatie is dat voor dit soort projecten mogelijkheden moeten worden ingericht om snel en flexibel tijdelijk de juiste ITvoorzieningen te organiseren. Dat kan zo simpel zijn als een of twee mensen met de juiste kennis en houding die bij dit soort vragen als aanspreekpunt fungeren. Uiteindelijk is als oplossing voor het project een externe cloudomgeving ingericht via Amazon Web Services, na uitgebreid overleg met de privacy- en security-verantwoordelijken. Deze bestaat uit remote-desktoptoegang tot een beveiligde server waarop analysetool R studio, programmeertaal Java en databasesysteem SQL kunnen worden gebruikt (en op aanvraag andere software).
Gebruikers die toegang nodig hebben tot de omgeving kunnen, na autorisatie en installatie, de server benaderen vanaf een met het internet verbonden computer. (zie ook paragraaf 4.4) Het inrichten van deze oplossing kostte alsnog de nodige tijd en afstemming, en kent af en toe nog problemen. Sowieso is beheer en technische expertise nodig om deze te onderhouden. Gedurende de laatste maanden van het project is een nieuwe, robuustere externe cloudomgeving neergezet. Het proces hier naartoe was draconisch vergeleken bij de technische complexiteit. Dit werd onder meer veroorzaakt door veranderde houding en processen bij IT-security, en processen die niet zijn afgestemd op dit soort vraagstukken. Uiteindelijk is met vereende krachten een resultaat geboekt waarmee het product voorlopig beheerd kan worden, maar de benodigde tijd (meer dan 6 maanden) en inspanning (vele werkweken van meerdere in- en externe medewerkers) staat in geen verhouding tot de technische complexiteit. Hoewel het project nu hiermee tijdelijk uit de brand is, is een oplossing binnen de gemeente toch noodzakelijk voor duurzaam beheer; hiervoor wordt een Advanced Analytics Platform ontwikkeld. Advies: richt een proces in dat geschikt is voor het opleveren van flexibele IT-diensten voor innovatie (Damhof-kwadrant IV), los van de reguliere beheerde IT-kanalen (Damhof-kwadrant II).
Houd de infrastructuur voorlopig zo eenvoudig en klein als voor de gewenste projecten nodig. Geleidelijk opschalen is hierin verstandiger dan in één keer een grote omgeving neer te zetten.
11.4 Privacy wordt handelbaar door PIA en goede fasering Privacy is een ‘hot topic’ in overheidsland en met nieuwe Europese regels is er sprake van een grote alertheid en voorzichtigheid, mede vanwege de dreiging van hoge boetes. Dit heeft in de gemeentelijke context soms een verlammend effect omdat er nog beperkt duidelijkheid is over wat officieel wel en niet mag. Dit wordt nog eens extra gecompliceerd door de hierboven genoemde problemen in het gegevensmanagement, waardoor vaak niet makkelijk goed te specificeren is welke data exact wordt gebruikt en welke privacygevoelige elementen daar al dan niet in zitten. In het project is een heldere aanpak gekozen van duidelijk specificeren van doel en scope van de projectfase, zodat de vraag om toestemming van de privacy-officer zo smal mogelijk kon worden gemaakt. Er is alleen toestemming gevraagd voor datalevering ten behoeve van de labfase, met daarbij de afspraak dat voor vervolgfasen een nieuwe PIA zal worden gedaan, waarin dan gebruik kan worden gemaakt van de kennis en onderbouwing uit de vorige fase. Er is een Privacy Impact Assessment (PIA) opgesteld waarin de risico’s en mitigerende maatregelen zijn beschreven. Deze PIA is bijgevoegd als bijlage E.
Advies: zie privacy niet bij voorbaat als een blokkerend onderwerp, maar beschrijf doel, scope en te gebruiken data van het project helder en ga vroeg in het project in gesprek met de privacy en security officers. Deel het project op in fases en vraag per fase akkoord. Schrijf de
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 39 van 64
Rapport | Versie 1.99 | 8-2-2018
privacy- en beveiligingsrisico’s en -maatregelen uit in een Privacy Impact Assessment volgens een vast template om deze vast te leggen.
11.5 Samen stappen zetten noodzakelijk voor leereffect en voortgang In een data-science project worden dagelijks kleine en grotere beslissingen genomen over hoe om te gaan met de data en hoe deze te interpreteren. De grote lijnen van de aanpak en de resultaten kunnen goed worden samengevat en overgebracht in een presentatie of rapport, maar het echte leren door de organisatie treedt pas op als interne mensen het hele proces van zo dicht mogelijk bij meemaken. Van een afstand meekijken werkt daarbij maar beperkt en ook documentatie kan daar slechts een beperkt niveau van diepgang bereiken. Hiervoor is dus vaste interne betrokkenheid voor meerdere dagen in de week sterk gewenst van medewerkers die motivatie hebben om in de betreffende richting door te groeien. Er zijn ook meerdere specialismen binnen een data-science team die vaak verschillende medewerkers vereisen. In de labfase is pas in de laatste fase echte structurele ondersteuning aangesloten vanuit OBI. In de pilotfase is het team uitgebreid met nog twee OBI-medewerkers en zijn er twee vaste teamwerkdagen ingericht waarop het gehele team bij elkaar op kantoor zat. Er is een team nodig en een bepaalde team dynamiek om te werken aan een innovatietraject als dit. Je hebt meerdere mensen nodig om elkaar scherp te houden, maar ook bepaalde oplevermomenten om de vaart erin te houden.
Gedurende het project heeft dit op sommige momenten goed gewerkt en op andere minder. Duidelijke rolverdeling en opdrachtgeverschap zijn essentieel hierin. In de projectfase bleek dat er in de organisatie maar beperkt mensen waren die echt mee konden leren van het project. De afdeling OBI, die als ambitie had om door te groeien tot expertisecentrum IGW, was slechts beperkt betrokken en geïnteresseerd, hoewel wel meerdere presentaties en deep dives zijn georganiseerd. Vooralsnog is in de gemeente Rotterdam zeer beperkt expertise aanwezig op dit gebied en om de beschreven ambities waar te maken zullen flinke ingrepen nodig zijn. Advies: zorg bij projecten met een leerdoelstelling voor een goede mix van gemotiveerde interne en externe medewerkers, maak de interne medewerkers ook echt zoveel als mogelijk vrij om deel te nemen aan de dagelijkse projectpraktijk.
11.6 Eigenaarschap, aansturing en verandermanagement bij innovaties Zoals al in 10.1 beschreven was duidelijk opdrachtgeverschap noodzakelijk om het project van de grond te laten komen. Ook betrokkenheid van het primaire proces (de business) waarin de innovatie veranderingen zou laten plaatsvinden, was essentieel. Tegen het eind van het project zijn hierover de volgende reflecties te geven: -
-
-
Hoewel het gezamenlijk oprachtgeverschap grote betrokkenheid heeft laten zien, is de kennis en ervaring met dit soort trajecten nog gering, waardoor echte sturing voor de opdrachtgevers vaak lastig was. Echt richting geven vond maar beperkt plaats en veel beslissingen kwamen uiteindelijk op het uitvoerende team neer. Dit is begrijpelijk in deze fase van volwassenheid en zal met de tijd verbeteren. Kennis en ervaring zijn echter dus zowel op werkvloerniveau als op managementniveau noodzakelijk. Afstemming op hoog bestuurlijk niveau is ook noodzakelijk bij ingrepen in het primaire proces. Op grote schaal toepassen van het ontwikkelde product bleek aan het eind van het proces nog op weerstand en verschillende belangen te stuiten. Eerder betrekken van alle beslissers is hierbij belangrijk. Het proces waarin de veranderingen moeten landen heeft zelf ook een lage volwassenheid; veel handmatige acties, verschillende zelfgemaakte excelbestanden en weinig definities en vastgelegde procedures. Dit werd al beschreven in paragraaf 10.3. Dit heeft zijn weerslag op het gemak van implementatie. Het belang van goed verandermanagement is doorslaggevend in of een goed en
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 40 van 64
Rapport | Versie 1.99 | 8-2-2018
gevalideerd ook daadwerkelijk gebruikt gaat worden. Hier moet expliciet aandacht en expertise voor beschikbaar zijn; verandermanagement kan vaak niet door dezelfde mensen worden begeleid die het technische werk uitvoeren. Advies: zet in op ontwikkeling van kennis en ervaring bij managers die met innovatietrajecten in aanraking komen om aansturing te verbeteren. Neem in teams en projectaanpak expliciet ruimte voor verandermanagement op; een innovatie is pas geslaagd als hij leidt tot daadwerkelijke verandering van het primaire proces. Veranderbereidheid is makkelijk te overschatten.
11.7 Praktijkervaring en pionieren blijft nodig voor groei Dit project laat zien dat het mogelijk is om data science projecten en advanced analytics succesvol uit te voeren binnen de gemeente Rotterdam, als aan een aantal randvoorwaarden wordt voldaan. Het laat zien dat er tal van obstakels zijn voor succes, maar dat deze te overwinnen zijn met een pragmatische houding en doorzettingsvermogen. Het geloof is echter dat deze obstakels niet keer op keer opnieuw hoeven te worden overwonnen; dit soort pionier-projecten kan de weg effenen voor vervolgprojecten en leiden tot standaarden en werkprocessen voor veelvoorkomende moeilijkheden. Bovendien creëren ze kennis en begrip in de organisatie over data science en wat erbij komt kijken. Hiermee is het uitvoeren van echte projecten een onmisbare input voor de bredere ontwikkelingen die zijn gericht op informatiegestuurd werken, gegevensmanagement, infrastructuur en architectuur. Advies: blijf innovatieve projecten van verschillende aard starten en uitvoeren om kennis en ervaring te genereren voor de bredere ontwikkeling. Laat juist de medewerkers die verantwoordelijk zijn voor het inrichten van gegevensmanagement, architectuur en infrastructuur, intensief kennismaken met deze projecten om te borgen dat de lessen worden omgezet in echte verandering.
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 41 van 64
Rapport | Versie 1.99 | 8-2-2018
BIJLAGE A – GEBRUIKTE DATA EN ABT’s ABT naam
modelnaam
brontabellen
abt buidling
ABT
modelling
results
basis
code/7.modellen/basis/model _fit_tree1.rds
Brontabellen/kopie van 1JV-2015-jaarporductie versie DEF.xlsx Brontabellen/Kopie van 2Algemene informatie WZ versie DEF.xlsx Brontabellen/Kopie van 3Algemene informatie Wzrelatie versie DEF.xlsx
Code/4.feature building gestructureerd/abt_basis.R
Code/2.data/abt_ba sis_6_dec.rds
Code/4.feature building gestructureerd/abt_basis.R
Code/4.feature building gestructureerd/abt_basis.R Code/12.Resulaten/plot_hitrates .R
basis_geen _onderzoek
code/7.modellen/basis/model _fit_gbm3.rds
Brontabellen/kopie van 1JV-2015-jaarporductie versie DEF.xlsx Brontabellen/Kopie van 2Algemene informatie WZ versie DEF.xlsx Brontabellen/Kopie van 3Algemene informatie Wzrelatie versie DEF.xlsx
Code/4.feature building gestructureerd/abt_basis.R
Code/2.data/abt_ba sis_6_dec.rds
Code/4.feature building gestructureerd/abt_basis.R
Code/4.feature building gestructureerd/abt_basis.R Code/12.Resulaten/plot_hitrates .R
basis_gesn oeid
code/7.modellen/basis/model _fit_tree4.rds
Brontabellen/kopie van 1JV-2015-jaarporductie versie DEF.xlsx Brontabellen/Kopie van 2Algemene informatie WZ versie DEF.xlsx Brontabellen/Kopie van 3Algemene informatie Wzrelatie versie DEF.xlsx
Code/4.feature building gestructureerd/abt_basis.R
Code/2.data/abt_ba sis_6_dec.rds
Code/4.feature building gestructureerd/abt_basis.R
Code/4.feature building gestructureerd/abt_basis.R Code/12.Resulaten/plot_hitrates .R
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 42 van 64
Rapport | Versie 1.99 | 8-2-2018
basis_plus_ 2015
code/7.modellen/basis_plus_ 2015/model_gbm_7_dec.rds
brontabellen/igw_09_99_ex port_01.mdb brontabellen/igw_09_99_ex port_02.mdb brontabellen/igw_09_99_ex port_04.mdb brontabellen/igw_09_99_ex port_06.mdb brontabellen/igw_09_99_ex port_component.mdb
Code/4.feature building gestructureerd/abt_basis_pl us.R
Code/2.data/abt_ba sis_plus_5_dec.rds
Code/6.Modelleren/run_models _over_abts_basis_plus_2015.R
Code/6.Modelleren/run_models _over_abts_basis_plus_2015.R Code/12.Resultaten/plot_hitrate s.R
basis_plus
code/7.modellen/basis_plus/ model_gbm_7_dec.rds
brontabellen/igw_09_99_ex port_01.mdb brontabellen/igw_09_99_ex port_02.mdb brontabellen/igw_09_99_ex port_04.mdb brontabellen/igw_09_99_ex port_06.mdb brontabellen/igw_09_99_ex port_component.mdb
Code/4.feature building gestructureerd/abt_basis_pl us.R
Code/2.data/abt_ba sis_plus_5_dec.rds
Code/6.Modelleren/run_models _over_abts_basis_plus.R
Code/6.Modelleren/run_models _over_abts_basis_plus.R Code/12/Resultaten/plot_hitrate s.R
advanced
code/7.modellen/model_gbm _advanced_5_dec.rds
brontabellen/igw_09_99_ex port_01.mdb brontabellen/igw_09_99_ex port_02.mdb brontabellen/igw_09_99_ex port_04.mdb brontabellen/igw_09_99_ex port_06.mdb brontabellen/igw_09_99_ex port_component.mdb brontabellen/igw_09_99_ex port_03_2007_2013.mdb brontabellen/igw_09_99_ex port__032014_2016.mdb
Code/4.feature building gestructureerd/abt_gestruct ueerd_advanced.R
Code/2.data/abt_ad vanced_5_dec.rds
Code/6.Modelleren/run_models _over_abts_advanced.R
Code/6.Modelleren/run_models _over_abts_advanced.R Code/12/Resultaten/plot_hitrate s.R
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Pagina 43 van 64
Rapport | Versie 1.99 | 8-2-2018
premium
code/7.modellen/model_gbm _premium_14_dec.rds
brontabellen/igw_09_99_ex port_01.mdb brontabellen/igw_09_99_ex port_02.mdb brontabellen/igw_09_99_ex port_04.mdb brontabellen/igw_09_99_ex port_06.mdb brontabellen/igw_09_99_ex port_component.mdb brontabellen/igw_09_99_ex port_03_2007_2013.mdb brontabellen/igw_09_99_ex port__032014_2016.mdb
C. PROJECT_VERSLAG ANALYTICS UITKERINGSFRAUDE (BIG DATA)
Code/4.feature building gestructureerd/abt_gestruct ueerd_advanced.R Code/5.feature building tekst/tm_contacten_parallel _freq_words_ID_modular.R
Pagina 44 van 64
Code/2.data/abt_pr emium_14_dec.rds
Code/6.Modelleren/run_models _over_abts_premium.R
Code/6.Modelleren/run_models _over_abts_premium.R Code/12.Resulaten/plot_hitrates .R
Rapport | Versie 1.99 | 8-2-2018
BIJLAGE B – GEDETAILEERDE MODELRESULTATEN
basis basis_geen_onderzoek basis_geen_onderzoek basis_geen_onderzoek basis_gesnoeid basis_plus_2015 basis_plus_2015 basis_plus_2015 basis_plus_2015 basis_plus basis_plus basis_plus basis_plus advanced advanced advanced advanced advanced advanced premium premium premium premium premium
model naam TP FN FP TN Baseline Accuracy Kappa Sensitivity Specificity hit_volume50 hit_volume100 hit_volume500 hit_volume1000 hit_volume3000 model_fit_tree1 936,00 0,00 0,00 588,00 0,61 1,00 1,00 1,00 1,00 1,00 1,00 1,00 0,94 NA model_fit_tree3 778,00 158,00 357,00 231,00 0,61 0,66 0,24 0,83 0,39 0,72 0,67 0,65 0,69 NA model_fit_gbm3 783,00 153,00 298,00 290,00 0,61 0,70 0,35 0,84 0,49 0,88 0,89 0,82 0,74 NA model_fit_rf3 738,00 198,00 279,00 309,00 0,61 0,69 0,32 0,79 0,53 0,70 0,78 0,83 0,73 NA model_fit_tree4 776,00 160,00 407,00 181,00 0,61 0,63 0,15 0,83 0,31 0,64 0,63 0,65 0,67 NA model_gbm_7_dec 946,00 102,00 282,00 191,00 0,61 0,75 0,34 0,90 0,40 0,96 0,97 0,90 0,83 NA model_glm_7_dec 939,00 109,00 285,00 188,00 0,61 0,74 0,33 0,90 0,40 0,94 0,95 0,88 0,82 NA model_rpart_7_dec 961,00 87,00 323,00 150,00 0,61 0,73 0,27 0,92 0,32 0,86 0,88 0,86 0,79 NA model_rf_7_dec 917,00 131,00 262,00 211,00 0,61 0,74 0,35 0,88 0,45 0,96 0,92 0,91 0,82 NA model_gbm_7_dec.rds 1881,00 1366,00 1140,00 2309,00 0,51 0,63 0,25 0,58 0,67 0,86 0,83 0,78 0,74 0,62 model_glm_7_dec.rds 1857,00 1390,00 1187,00 2262,00 0,51 0,62 0,23 0,57 0,66 0,88 0,86 0,78 0,72 0,61 model_rpart_7_dec.rds 1711,00 1536,00 1164,00 2285,00 0,51 0,60 0,19 0,53 0,66 0,80 0,77 0,63 0,57 0,59 model_rf_7_dec.rds 1916,00 1331,00 1186,00 2263,00 0,51 0,62 0,25 0,59 0,66 0,70 0,81 0,75 0,74 0,62
model_gbm_advanced_5_dec.rds 1912,00 1335,00 813,00 2636,00 0,51 0,68 0,35 0,59 0,76 1,00 0,97 0,90 0,84 0,68 model_tree_advanced_5_dec.rds 1640,00 1607,00 973,00 2476,00 0,51 0,61 0,22 0,51 0,72 0,68 0,67 0,68 0,64 0,59 model_rf_advanced_5_dec.rds 2030,00 1217,00 795,00 2654,00 0,51 0,70 0,40 0,63 0,77 1,00 1,00 0,89 0,85 0,70 model_gbm_advanced_spec_23_jan.rds 1503,00 1744,00 702,00 2747,00 0,51 0,63 0,26 0,46 0,80 0,98 0,99 0,84 0,77 0,64 model_gbm_advanced_Sens_24_jan.rds 2059,00 1188,00 964,00 2485,00 0,51 0,68 0,36 0,63 0,72 0,98 0,92 0,88 0,84 0,68 model_gbm_advanced_AUC_25_jan.rds 1966,00 1281,00 813,00 2636,00 0,51 0,69 0,37 0,61 0,76 1,00 1,00 0,91 0,85 0,69 model_gbm_premium_2_dec.rds 1954,00 1293,00 818,00 2631,00 0,51 0,68 0,37 0,60 0,76 1,00 1,00 0,89 0,83 0,69 model_rf_premium_2_dec.rds 2026,00 1221,00 831,00 2618,00 0,51 0,69 0,38 0,62 0,76 1,00 0,97 0,87 0,83 0,70 model_gbm_premium_14_dec.rds 1934,00 1313,00 781,00 2668,00 0,51 0,69 0,37 0,60 0,77 1,00 0,99 0,91 0,84 0,69 model_tree_premium_14_dec.rds 1737,00 1510,00 1046,00 2403,00 0,51 0,62 0,23 0,53 0,70 0,98 0,97 0,63 0,64 0,60 model_logreg_premium_14_dec.rds 1912,00 1335,00 936,00 2513,00 0,51 0,66 0,32 0,59 0,73 0,98 0,96 0,89 0,82 0,66