Gemeente Amsterdam - Deloitte rapportage algoritme analyse - BEVEILIGD - (24 nov 2022).pdf
Tekst van het document
• In sectie 13.4 van de KIIA [2] wordt aangegeven dat bij de Product Owner en Algoritmegebruikers kennis aanwezig is over onder andere de beperkingen en potentiële tekortkomingen van het Algoritme doordat met hen de opgestelde Features zijn 62/93
• •
besproken. In de KIIA [2] en Technische Documentatie [7] wordt echter niet beschreven wat de beperkingen van het Algoritme zijn, en hoe de Algoritmegebruikers hiermee om moeten gaan. Er worden geen details gegeven over de performance verschillen tussen de drie algoritme types die zijn overwogen, namelijk Gradient Boosting, EBM en Random Forest. Er wordt geen onderbouwing gegeven voor de gekozen groepsindeling voor de attributen in Bias Analyse [17], bijvoorbeeld voor de keuze Westers versus Niet-Westers en Nederlands versus Niet-Nederlands.
De onvolledigheid van deze Technische Documentatie [7] en Bias Analyse [17] hebben invloed op de transparantie van het Algoritme voor betrokkenen, waaronder toezichthoudende instanties. De aanbeveling van Deloitte is om de Technische Documentatie [7] en Bias Analyse [17] te verrijken met meer details over de gemaakte keuzes en overwegingen die hebben geleid tot het Algoritme, zoals hierboven beschreven. 7.4. Data verzameling, voorbewerking en kwaliteit De aandachtspunten die door Deloitte geïdentificeerd zijn voor deze Dimensie worden hieronder in meer detail besproken. 7.4.1. Representativiteit van Dataset ten gevolge van COVID-19 In de Technische Documentatie [7] geeft de Algoritmeontwikkelaar aan dat een deel van de historische Aanvragen afkomstig uit de COVID-19 periode (grofweg van maart tot november 2020) is opgenomen in de Dataset, met uitzondering van: • •
De productcodes van producten die enkel bestonden ten tijde van COVID-19, zoals de Tozo-regeling, deze zijn niet opgenomen in de Dataset; en Een deel van de Aanvragen is tijdens COVID-19 direct door Handhavingsspecialisten gescreend zonder tussenkomst van een Inkomensconsulent, om de werkdruk van de Inkomensconsulenten te verlagen. De Aanvragen die via dit tijdelijke proces zijn gescreend worden ook niet opgenomen in de Dataset.
De resterende Aanvragen zijn wel opgenomen in de Dataset. Uit de Q&A [12] blijkt dat de Algoritmeontwikkelaar heeft onderzocht of de waardes en verdeling van de Features op basis van de Dataset pre-COVID-19 (tot maart 2020) substantieel afwijkt van de waardes en verdeling van de Features op basis van de Dataset inclusief COVID-19 (op basis van een geüpdatete versie van de Dataset uit 2022). De Algoritmeontwikkelaar geeft aan dat hieruit geen opvallende veranderingen zijn gebleken, maar licht niet toe hoe de conclusie tot stand is gekomen.
63/93
Deloitte observeert dat het onduidelijk is wat de precieze impact van COVID-19 is geweest, doordat details van de uitgevoerde analyse niet zijn gedocumenteerd en er geen statistische testen zijn gedocumenteerd. De aanbeveling van Deloitte is om inzicht te verkrijgen in de mogelijke verschillen in de Aanvragen pre- en post-COVID-19 om te verifiëren of de Dataset representatief is voor de periode post-COVID-19. Hierbij kan gebruik gemaakt worden van representativiteitstoetsen, welke kunnen worden vastgelegd in de analyse in de Algoritmedocumentatie. Alternatief kan gekozen worden om op basis van de Pilot te analyseren of de performance van het Algoritme in lijn is met de verwachting van Algoritmegebruikers en Algoritmeontwikkelaars, en zo ja, dan kan gekozen worden het verdere risico op beperkte representativiteit te accepteren. Merk op dat de Algoritmeontwikkelaar op basis van de resultaten van de Pre-Pilot (zie sectie 3.1) al heeft geanalyseerd wat de verwachte performance van het Algoritme is, en dat zij deze als positief ervaart. Hierbij is gekeken naar de periode 26 april 2021 tot en met 28 maart 2022, wat kan worden geclassificeerd als post-COVID-19.
Echter, door beperkingen van de Pre-Pilot, zoals dat Handhavingsspecialisten tijdens de Pre-Pilot bij de onderzoeken geen klantcontact hebben gehad, is het advies deze analyse opnieuw uit te voeren op basis van de Pilot resultaten.
7.4.2. Representativiteit ten gevolge van beschikbaarheid van Labels In de Technische Documentatie [7] staat beschreven dat voor een deel van de Aanvragen die door Handhaving zijn onderzocht geen betrouwbaar Label kon worden vastgesteld, zoals geen duidelijk resultaat van het onderzoek of een onvoltooid onderzoek door missende informatie. Deloitte heeft via Q&A [12] begrepen dat dit zo’n 2.000 Aanvragen betreft die uit de Trainingset en Testset zijn verwijderd van de in totaal 5.500 Aanvragen die door Handhaving zijn onderzocht. In totaal is hierdoor dus zo’n 36% van het totale aantal Aanvragen dat door Handhaving is onderzocht verwijderd uit de Dataset. De Algoritmeontwikkelaar geeft aan dat het merendeel van deze verwijderde Aanvragen ‘hersteltermijnen’20 betreft. Het is echter onduidelijk wat de impact van het verwijderen van deze Aanvragen is op de representativiteit van de Dataset. Deloitte beveelt aan om de representativiteit van de Dataset na verwijdering van de Aanvragen waarbij geen betrouwbaar Label kon worden vastgesteld te onderzoeken, en de Algoritmedocumentatie te verrijken met deze analyse. Alternatief kan gekozen worden om 20 Dit zijn Aanvragen die tijdelijk worden stopgezet nadat een Handhavingsspecialist aanvullende informatie opvraagt die niet is aangeleverd.
Als de Aanvrager de opgevraagde informatie aanlevert, en de Inkomensconsulent schaalt de Aanvraag wederom op naar Handhaving, dan komt de Aanvraag alsnog in de Dataset terecht. Als de Inkomensconsulent de Aanvraag zelf afhandelt, dan komt de Aanvraag niet in de Dataset terecht. 64/93
op basis van de Pilot te analyseren of de performance van het Algoritme in lijn is met de verwachting van Algoritmegebruikers en Algoritmeontwikkelaars, en zo ja, dan kan gekozen worden het verdere risico op beperkte representativiteit te accepteren. Merk op dat Algoritmeontwikkelaar op basis van de resultaten van de Pre-Pilot (zie sectie 3.1) al heeft geanalyseerd wat de verwachte performance van het Algoritme is, en dat ze deze als positief ervaart. Echter, door beperkingen van de Pre-Pilot, zoals dat Handhavingsspecialisten tijdens de Pre-Pilot bij de onderzoeken geen klantcontact hebben gehad, is het advies deze analyse opnieuw uit te voeren op basis van de Pilot resultaten.
7.4.3. Representativiteit ten gevolge van keuze van Labels Zoals beschreven in sectie 3.1 is voor het vaststellen van de Labels enkel gekeken naar Aanvragen die door Handhaving zijn onderzocht en niet naar de Aanvragen die door Inkomensconsulenten zijn afgehandeld zonder tussenkomst van Handhaving. In de Conceptreactie Op Advies Participatieraad [10] staat beschreven dat in het huidige proces ongeveer 4% van de Aanvragen door Handhaving wordt bekeken. Dat betekent dat voor 96% van de Aanvragen geen Label kon worden vastgesteld en dus ook niet is meegenomen in de Trainingset en Testset, terwijl het Algoritme wel toegepast zal worden op de volledige populatie waaronder ook veel Aanvragen die nooit door Handhaving zullen worden onderzocht. De Algoritmeontwikkelaar geeft in sectie 6.15 van de KIIA [2] aan dat er een afweging is gemaakt tussen de betrouwbaarheid van de Labels voor Aanvragen die niet door Handhaving zijn onderzocht, en de mogelijk betere representativiteit als deze Aanvragen meegenomen worden. Deloitte observeert dat de Bias Analyse zich niet toespitst op representativiteitstesten en dat de representativiteit van de Dataset zonder IC Screenings dus niet geanalyseerd is. Wel kan een mogelijk bias naar sensitieve groepen die ontstaat door representativiteitsproblemen van de data door de Bias Analyse inzichtelijk worden gemaakt en geminimaliseerd.
Dat het Algoritme enkel is getraind op Aanvragen die in het verleden door Handhaving zijn onderzocht, kan tot gevolg hebben dat het Algoritme niet goed overweg kan met simpele Aanvragen die niet onderzoekswaardig zijn. Immers zijn deze Aanvragen in het verleden meestal niet naar Handhaving gestuurd en dus niet in de Dataset terecht gekomen. Merk op dat dit risico deels gemitigeerd wordt doordat de Medewerker Vooronderzoek controleert of een Aanvraag die door het Algoritme is aangemerkt als onderzoekswaardig afgehandeld kan worden zonder tussenkomst van een Handhavingsspecialist. De aanbeveling van Deloitte is om een representativiteitsanalyse uit te voeren op de Dataset om de verschillen tussen de data die wél is onderzocht door Handhaving en de data die niet is onderzocht door Handhaving in kaart te brengen, en de Algoritmedocumentatie te verrijken met deze analyse. Alternatief kan gekozen worden om op basis van de Pilot te analyseren of de performance van het Algoritme in lijn is met de verwachting van 65/93
Algoritmegebruikers en Algoritmeontwikkelaars, en zo ja, dan kan gekozen worden het verdere risico op beperkte representativiteit te accepteren. Merk op dat Algoritmeontwikkelaar op basis van de resultaten van de Pre-Pilot (zie sectie 3.1) al heeft geanalyseerd wat de verwachte performance van het Algoritme is, en dat ze deze als positief ervaart. Echter, door beperkingen van de Pre-Pilot, zoals dat Handhavingsspecialisten tijdens de Pre-Pilot bij de onderzoeken geen klantcontact hebben gehad, is het advies deze analyse opnieuw uit te voeren op basis van de Pilot resultaten.
7.5. Eerlijkheid en bias in model en data Naast het aandachtspunt bij sectie 4.3.6 heeft Deloitte geen aandachtspunten op basis van deze Analyse.
7.6. Algoritme input De aandachtspunten die door Deloitte geïdentificeerd zijn voor deze Dimensie worden hieronder in meer detail besproken.
7.6.1. Keuze voor Features In het Overzicht Verwerkte Data en Features [6] heeft de Algoritmeontwikkelaar een analyse beschreven die de Algoritmeontwikkelaar heeft uitgevoerd op de Features die meegenomen worden als invoer voor het Algoritme. In deze analyse wordt per Feature onder andere een onderbouwing gegeven voor het gebruik van de Feature in het Algoritme. In het Overzicht Verwerkte Data en Features [6] is beschreven dat de Werkgroep en verschillende andere interne belanghebbenden, waaronder de privacy officer, zijn betrokken bij de beoordeling van de Features. Voor de Features ‘total_vermogen’ en ‘sum_inkomen_bruto_value’ wordt aangegeven dat de Feature ook in het huidige proces een expliciete beleidsregel voor afwijzing is, refererend naar art. 19 lid 1 sub b uit de Participatiewet. Er wordt toegelicht dat een Aanvrager niet bijstandsgerechtigd is als het vermogen en/of inkomen te groot is (en omgekeerd). Deloitte observeert dat een onderbouwing ontbreekt over waarom de Features ‘total_vermogen’ en ‘sum_inkomen_bruto_value’ als som van het bedrag worden meegenomen in het Algoritme. Zowel de beleidsregels in het huidige proces als art. 19 lid 1 sub b uit de Participatiewet spitsen zich toe op of iemand wel of niet teveel vermogen of inkomen heeft, wat kan leiden tot een afwijzing van de Aanvraag.
De beleidsregels specificeren niet dat de onderzoekswaardigheid van een Aanvraag afhangt van de hoogte van het inkomen of vermogen. Ter illustratie, het kan dus zijn dat het Algoritme een andere
66/93
onderzoekswaardigheidsscore toekent aan een Aanvrager met EUR 500 inkomen dan aan een Aanvrager met EUR 1.000 inkomen, terwijl beiden binnen de beleidsregelgrens vallen. Het is echter onduidelijk wat het causale verband is tussen deze Features en de totstandkoming van de onderzoekswaardigheidsscore. Dit brengt een risico met zich mee dat mensen een andere behandeling krijgen op basis van hun exacte vermogen of inkomen, terwijl de hoogte daarvan niet direct een aanleiding hoeft te zijn voor een afwijzing van een Aanvraag. Het risico op ongelijke behandeling wordt ook beschreven in de Beslisboom Discriminatie van het College voor de Rechten van de Mens [15], waar wordt aangegeven dat de hoogte van het inkomen mogelijk correleert met sensitieve data zoals ras of nationaliteit. Dit risico op ongelijke behandeling naar sensitieve data zoals ras of nationaliteit is wel beperkt doordat de Algoritmeontwikkelaar in de Bias Analyse [17] heeft gekeken of er sprake is van bias naar nationaliteit en geboorteland. De Algoritmeontwikkelaar heeft via Q&A [12] aangegeven dat er ook andere signalen in het vermogen en inkomen zitten die kunnen wijzen op onderzoekswaardigheid, bijvoorbeeld als het inkomen of vermogen net onder de norm is.
Het is echter onduidelijk of deze signalen getoetst zijn met de Algoritmegebruikers, doordat dit niet gedocumenteerd is in het Overzicht Verwerkte Data en Features [6]. De aanbeveling van Deloitte is om het gebruik van de Features ‘total_vermogen’ en ‘sum_inkomen_bruto_value’ aan te laten sluiten op de onderbouwing die wordt gegeven in het Overzicht Verwerkte Data en Features [6], en dus enkel de verbanden mee te nemen die ook door de beleidsregels worden beschreven, of, wanneer de Algoritmeontwikkelaar hier een meerwaarde in ziet, een additionele onderbouwing op te nemen in het Overzicht Verwerkte Data en Features [6] voor het veronderstelde verband tussen deze Features en de onderzoekswaardigheidsscore. Een expliciete beleidsregel voor afwijzing kan bijvoorbeeld worden meegenomen via automatische checks die buiten het Algoritme om gedaan worden. Alternatief kunnen de Features voorbewerkt worden, waarbij afgeleide Features worden gecreëerd door middel van drempelwaarden die aangeven of een specifiek vermogen of inkomen wel of niet aanleiding geeft tot een verhoogde onderzoekswaardigheid. Deze bewerkte Features kunnen vervolgens als invoer voor het Algoritme gebruikt worden.
67/93
7.7. Algoritme theorie De aandachtspunten die door Deloitte geïdentificeerd zijn voor deze Dimensie worden hieronder in meer detail besproken. 7.7.1. Uitlegbaarheid van het Algoritme In de Technische Documentatie [7] wordt de keuze voor een EBM techniek onderbouwd. Eén van de redenen die wordt genoemd als reden om te kiezen voor dit type algoritme is de hoge mate van uitlegbaarheid. Deloitte observeert dat uitlegbaarheid is te ontleden in twee delen: •
•
Lokale uitlegbaarheid: dit houdt in dat een uitleg wordt gegeven hoe de waarde van de Features van de specifieke Aanvraag bijdragen aan de onderzoekswaardigheidsscore van die Aanvraag. Globale uitlegbaarheid: dit houdt in dat inzichtelijk wordt gemaakt hoe het Algoritme werkt in algemene zin zonder naar een specifieke Aanvraag te kijken.
De Algoritmeontwikkelaar maakt gebruik van de lokale uitlegbaarheid door Algoritmegebruikers de drie Features te laten zien die de grootste bijdrage aan de onderzoekswaardigheidsscore hebben gegeven. Hoewel de inherente structuur van de EBM techniek het mogelijk maakt om de bijdrages van elke Feature eenvoudig te visualiseren, wordt in de Algoritmedocumentatie deze hoge mate van globale uitlegbaarheid niet uitgewerkt. Deloitte observeert dat de verbanden tussen de verschillende Features, en de manier waarop deze bijdragen aan de onderzoekswaardigheidsscore, niet zijn opgenomen in de Algoritmedocumentatie.21 Deloitte observeert dat de bevestiging van belanghebbenden, zoals Algoritmegebruikers, dat de gemodelleerde verbanden tussen de Features en de onderzoekswaardigheidsscore niet onlogisch of onwenselijk zijn, niet is gedocumenteerd. Door het ontbreken van deze bevestiging zou het beeld kunnen ontstaan dat verbanden niet in lijn zijn met de visie van belanghebbenden (zoals bijvoorbeeld de Werkgroep). Op deze risico’s wordt ook verder ingegaan in sectie 4.2.2 van dit rapport.
21 Hierbij wordt opgemerkt dat de partial dependence plots van de Algoritmeontwikkelaar buiten scope van de Algoritmedocumentatie vallen en daarmee niet door Deloitte zijn geanalyseerd. 68/93
Er blijkt wel uit de CPA Flaps [13] dat de Algoritmeontwikkelaar de partial dependence plots heeft gedeeld met de CPA, echter blijkt uit de Algoritmedocumentatie niet of en op welk detail level deze partial dependence plots zijn besproken. Deloitte beveelt aan de Algoritmedocumentatie te verrijken met details over hoe de gemodelleerde verbanden zijn besproken met belanghebbenden en een bevestiging van belanghebbenden, zoals de Algoritmegebruikers, dat de gemodelleerde verbanden niet onlogisch of onwenselijk zijn. Verder beveelt Deloitte aan om de stabiliteit van de gemodelleerde verbanden voor elke Feature over tijd te monitoren, zowel op basis van de Pilotuitkomsten als periodiek daarna. Hiermee wordt voorkomen dat wijzigingen in gemodelleerde verbanden onopgemerkt blijven.
7.7.2. Onderbouwing van aannames In de KIIA [2] worden door de Algoritmeontwikkelaar verschillende aannames genoemd, waaronder: • • •
het Label ‘niet-onderzoekswaardig’ is correct geweest (zie KIIA 6.10 [2]); het gecreëerde Label beschrijft het begrip onderzoekswaardig (zie KIIA 6.10 [2]); en de trainings-, validatie- en testdata is representatief voor hoe keuzes en beslissingen in de toekomst genomen moeten worden (zie KIIA 6.15 [2]). De Algoritmeontwikkelaar noemt in KIIA 6.10 [2] als aandachtspunt dat de Trainingset alleen Aanvragen omvat die onderzocht zijn door Handhaving, terwijl het Algoritme ingezet zal worden op alle nieuwe Aanvragen. Zie ook sectie 4.7.3 waarin wordt ingegaan op deze representativiteit.
Merk op dat de lijst met aannames op basis van de KIIA [2] zoals hierboven opgesteld door Deloitte geen volledige lijst met aannames betreft. In de Algoritmedocumentatie ontbreken bijvoorbeeld aannames rond het gebruik van het Algoritme, zoals dat Algoritmegebruikers de uitvoer van het Algoritme op een vergelijkbare manier zullen interpreteren en gebruiken (zie sectie 7.3.3). Deze aanname wordt overigens wel benoemd bij de risico’s in het Pilotplan [1], waar een lijst met risico’s en mitigatiemaatregelen is opgenomen. Deloitte observeert dat de aannames onvoldoende worden onderbouwd in de Algoritmedocumentatie, evenals de beperkingen van het Algoritme. In het Concept Beheerplan [5] wordt beschreven dat de intentie en aannames van het Algoritme jaarlijks zullen worden gemonitord door de privacy officer, beleidsadviseur en business analist. Het is echter onduidelijk of ook bovenstaande aannames onderdeel zijn van de periodieke monitoring. Hierdoor ontstaat het risico dat belanghebbenden niet voldoende bewust zijn van de aannames en beperkingen waar het Algoritme op steunt en er ontstaat een risico op onjuistheid van aannames, nu en / of in de toekomst.
69/93
De aanbeveling van Deloitte is de Algoritmedocumentatie te verrijken met een lijst met aannames en beperkingen van het Algoritme, en met duidelijke onderbouwing en (waar mogelijk) statistieken waarop elke aanname is gebaseerd. Daarnaast adviseert Deloitte de Algoritmedocumentatie te verrijken met een verduidelijking over de aannames die zullen worden gemonitord en hoe dat gebeurt.
7.7.3. Kwaliteit van Labels De Algoritmeontwikkelaar heeft gekozen voor het modelleren van onderzoekswaardigheid in plaats van het modelleren van afwijzingen of goedkeuringen van Aanvragen. In sectie 4.1.30 van dit rapport is al aangegeven dat de Algoritmeontwikkelaar hiervoor heeft gekozen om aan te sluiten op de bredere doelen binnen Handhaving om een onrechtmatige verstrekking van de Uitkering te voorkomen, in plaats van te handhaven in een bestaande situatie. In de KIIA [2] is daarnaast beschreven dat Handhaving daarbij zo min mogelijk Aanvragen wil onderzoeken die wel bijstandsgerechtigd zijn. Alle duidelijke gevallen van afwijzing of toewijzing worden niet doorgestuurd naar Handhaving, maar naar de Inkomensconsulent voor een rechtmatigheidsbeoordeling van de Aanvraag. Het modelleren van afwijzingen of goedkeuringen van Aanvragen zou de afdeling daarmee niet ondersteunen in het voorsorteren van de Aanvragen, zoals omschreven in sectie 4.1.2 van dit rapport. Bij de beoordeling van een Aanvraag is historisch niet bijgehouden of de Aanvraag onderzoekswaardig was of niet. Doordat dat in het verleden niet is bijgehouden, heeft de Algoritmeontwikkelaar achteraf een Label geconstrueerd. Dit Label is gebaseerd op het gegeven of een Aanvraag is gewijzigd of afgewezen (onderzoekswaardig) of toegewezen (niet onderzoekswaardig), nadat Handhaving de Aanvraag heeft onderzocht.
De historische Labels beschrijven echter niet of een Aanvraag onderzoekswaardig was of niet. Verder geldt dat onderzoekswaardigheid een menselijke bias kan bevatten, doordat Medewerkers Vooronderzoek historisch de werkinstructies [23] mogelijk verschillend hebben geïnterpreteerd en toegepast op de beoordeling van een Aanvraag. Door deze keuze voor een Label dat niet direct gemeten of geobserveerd kan worden (wel/niet onderzoekswaardig) ontstaat het risico op beperkte betrouwbaarheid van de Labels en kan er een bias in het Algoritme sluipen. Dit wordt ook wel construct validity bias genoemd. De Algoritmeontwikkelaar licht duidelijk toe waarom het modelleren van afwijzingen of goedkeuringen niet wenselijk is, echter dat neemt het risico op construct validity bias niet weg. Op basis van de Algoritmedocumentatie is niet duidelijk hoe wordt omgegaan met het mitigeren van het risico op beperkte betrouwbaarheid van de Labels. De aanbeveling van Deloitte is om de onderzoekswaardigheid van Aanvragen vast te leggen zodat deze informatie gebruikt kan worden voor monitoring doeleinden of verbetering van de Labels voor als het Algoritme in de toekomst getraind zal worden op nieuwe Aanvragen. Een mogelijke aanpak hiervoor is om in het werkproces terugkoppeling van de 70/93
Handhavingsspecialist en Inkomensconsulent te vragen, waarin de Handhavingsspecialist en Inkomensconsulent beiden aangeven of een Aanvraag ook afgehandeld had kunnen worden zonder tussenkomst van de Handhavingsspecialist.
7.7.4. Invloed van feedback loops op het Algoritme De rol van de Medewerker Vooronderzoek is afhankelijk van of een Aanvraag door het Algoritme is aangemerkt als onderzoekswaardig of niet (zie werkinstructie [23]: •
Optie 1: De Aanvraag is onderzoekswaardig Door op ‘Meer informatie’ te klikken, ziet de Medewerker Vooronderzoek wat de drie belangrijkste Features zijn waardoor het Algoritme deze Aanvraag als onderzoekswaardig bestempelt. Deze staan op volgorde van relevantie. Een (+) betekent dat de Feature de Aanvraag meer onderzoekswaardig maakt; een (-) betekent dat de Feature de Aanvraag minder onderzoekswaardig maakt. In dit geval moeten de Aanvragen die door de Inkomensconsulent kunnen worden afgewezen eruit gefilterd worden, alvorens de overige Aanvragen worden doorgezet naar Handhaving; en
•
Optie 2: De Aanvraag is niet onderzoekswaardig. Door op ‘Meer informatie’ te klikken, ziet de Medewerker Vooronderzoek een toelichting dat de Aanvraag door het Algoritme als niet onderzoekswaardig wordt aangemerkt en verder kan worden opgepakt door de Inkomensconsulent.
Deloitte observeert dat de rol van de Medewerker Vooronderzoek in het vaststellen van de onderzoekswaardigheid van een Aanvraag beperkt is om twee redenen: i.
ii.
Bij optie 1 dient de Medewerker Vooronderzoek op basis van de werkinstructie [23] de vraag te beantwoorden of er op basis van de drie belangrijkste Features een duidelijke oorzaak voor onrechtmatigheid is en of de Aanvraag door de Inkomensconsulent kan worden afgewezen zonder tussenkomst van een Handhavingsspecialist. De werkinstructie bevat echter geen toelichting over de manier waarop de Medewerker Vooronderzoek onrechtmatigheid kan vaststellen, waardoor het risico ontstaat dat deze check niet vaak zal leiden tot aanpassingen van de onderzoekswaardigheid die het Algoritme heeft vastgesteld. De Algoritmeontwikkelaar probeert dit risico te beperken door communicatiemiddelen zoals trainingen, en een aantal beslisregels (zoals een inkomensgrens) die zijn opgenomen in de werkinstructie [23]; en Bij optie 2 heeft de Medewerker Vooronderzoek géén invloed op de onderzoekswaardigheid van een Aanvraag.
Doordat de rol van de Medewerker Vooronderzoek in het vaststellen van de onderzoekswaardigheid van een Aanvraag beperkt is, zullen met name Aanvragen bij Handhaving terecht komen die door het Algoritme als onderzoekswaardig zijn aangemerkt.
71/93
Dit betekent dat als het Algoritme niet overweg kan met Aanvragen waarbij sprake is van een bepaalde vorm van onrechtmatigheid, deze Aanvragen meestal niet bij een Handhavingsspecialist terecht komen 22. Nieuwe Labels die aan de Dataset worden toegevoegd zijn dus met name afkomstig van Aanvragen die het Algoritme in het verleden als onderzoekswaardig heeft aangemerkt, waardoor bij toekomstig hertrainen de nieuwe data voor het Algoritme dus grotendeels afkomstig is van het Algoritme zelf. Hierdoor ontstaat het risico op een positieve feedback loop (ook wel reinforcing feedback loop genoemd) waarbij kleine verstoringen op den duur versterkt worden na hertrainen. Daarnaast ontstaat het risico dat bij hertrainen ook nieuwe vormen van onrechtmatige Aanvragen mogelijk niet gedetecteerd worden door het Algoritme. Naar aanleiding van Q&A [12] over dit onderwerp heeft de Algoritmeontwikkelaar nagedacht over een aantal opties om hier verdere invulling aan te geven, inclusief voor- en nadelen per overwogen optie.
Deze opties worden vermeld in het document Steekproef [16] en betreffen: (i) het onderzoeken van de Aanvragen die door de Inkomensconsulent als onderzoekswaardig worden bestempeld, maar die door het Algoritme als niet onderzoekswaardig worden bestempeld, (ii) het doorsturen van een willekeurige sample Aanvragen naar de Medewerkers Vooronderzoek, die door het Algoritme niet als onderzoekswaardig worden bestempeld, en (iii) het laten onderzoeken door Handhaving van een willekeurige sample uit de Aanvragen die door de Medewerkers Vooronderzoek aan de Inkomensconsulent zijn toegewezen als niet onderzoekswaardig. Om het risico op de positieve feedback te mitigeren adviseert Deloitte deze drie opties verder uit te werken en op basis daarvan vervolgstappen op te stellen.
7.7.5. Drempelwaarde onderzoekswaardigheidsscore Afhankelijk van de gekozen drempelwaarde bij het vaststellen van de onderzoekswaardigheidscategorie worden er meer of minder Aanvragen als mogelijk onderzoekswaardig voorgelegd aan de Medewerker Vooronderzoek. Deloitte heeft via de Q&A [12] begrepen dat deze drempelwaarde voorafgaand aan de Pilot wordt vastgesteld in overleg met de business. Dit wordt gedaan op basis van de Hit-rate bij diverse drempelwaardes (hoe lager de drempelwaarde, hoe lager de Hit-rate) en op basis van de capaciteit van Handhaving (hoe lager de drempelwaarde, hoe meer Aanvragen worden doorgestuurd naar de Handhavingsspecialisten). Verder wordt in het Concept Beheerplan [5] aangegeven dat tweemaal per jaar zal worden bekeken of de drempelwaarde nog passend is, en dat het beperken van de valspositieven 23 hierbij van belang is. Er wordt echter niet aangegeven wat wordt bedoeld met passend (zie ook sectie 7.3.2).
22 Merk op dat er wel een mogelijkheid is dat een Aanvraag bij een IC screening door een Inkomensconsulent alsnog wordt doorgestuurd naar een Handhavingsspecialist (zoals in het huidige proces ook gebeurt). Echter, uit de Algoritmedocumentatie is onduidelijk om welk deel van de Aanvragen dit gaat. 23 Een Aanvraag is valspositief als de Aanvraag wel is onderzocht, maar dat achteraf niet heeft geleid tot een wijziging of afwijzing van de Aanvraag. 72/93
Deloitte observeert dat het onduidelijk is of de drempelwaarde een vaste waarde is of dat deze dynamisch (twee maal per jaar) aangepast zal gaan worden om de capaciteit van Handhavingsspecialisten optimaal te benutten. Aangezien de gekozen drempelwaarde bepaalt of een Aanvraag wordt voorgelegd aan de Medewerker Vooronderzoek, groeit de waarschijnlijkheid dat een Aanvrager mogelijk als onderzoekswaardig wordt gezien. Wanneer een Aanvrager belast wordt met nader onderzoek, ontstaat het risico dat gelijke gevallen ongelijk worden behandeld. Dit draagt niet bij aan het doel om het proces transparant en uitlegbaar te houden. De aanbeveling van Deloitte is daarom om in de Algoritmedocumentatie te specificeren hoe de drempelwaarde voor het vaststellen van de onderzoekswaardigheidscategorie wordt vastgesteld en óf, en zo ja onder welke condities, deze bijgesteld kan worden.
7.8. Algoritme output De aandachtspunten die door Deloitte geïdentificeerd zijn voor deze Dimensie worden hieronder in meer detail besproken.
7.8.1. Performance testen Deloitte observeert dat de Algoritmedocumentatie een beperkte toelichting geeft over de performance van het Algoritme om een aantal redenen: •
•
In de Technische Documentatie [7] wordt aangegeven dat op basis van de Testset de area under curve rond de 0.63 zit en de precisie (of Hit-rate) 64% is. Er wordt benadrukt dat deze resultaten gebaseerd zijn op een Dataset waarin enkel Aanvragen zitten die door Handhaving zijn onderzocht, en dat deze populatie mogelijk afwijkt van de populatie die niet door Handhaving is onderzocht. De Algoritmeontwikkelaar geeft in de Technische Documentatie [7] aan dat het daarom essentieel is om op basis van de Pilot de performance verder te onderzoeken. De Algoritmeontwikkelaar geeft aan hierbij naar de Hit-rate van het Algoritme te zullen kijken. Het is dus niet mogelijk om te kijken naar de recall24, waardoor er momenteel geen monitoring plaatsvindt op de onderzoekswaardigheid van Aanvragen die niet naar Handhaving zijn gestuurd; In de Technische Documentatie [7] wordt aangegeven dat het risico op overfitting is tegengegaan op drie manieren: o Door onderzoek te doen naar het doel van de hyperparameters, waarbij gefocust is op performance en het voorkomen van overfitting. Deloitte observeert dat er geen informatie over het uitgevoerde onderzoek is beschreven, en hoe dit onderzoek heeft bijgedragen aan het voorkomen van overfitting;
24 De recall geeft weer hoeveel procent van de Aanvragen die gewijzigd of afgewezen had moeten worden, ook daadwerkelijk door het Algoritme als onderzoekswaardig is aangemerkt. 73/93
o
o
Door het verschil in area under curve te bekijken tussen de Trainingset en validatieset in een cross-validatie analyse om overfitting te identificeren. Er wordt aangegeven dat de uitkomst acceptabel was. Deloitte observeert dat details over deze analyse niet zijn opgenomen in de Algoritmedocumentatie, en dat onduidelijk is welke criteria zijn gebruikt om vast te stellen of de uitkomst acceptabel was; en Als derde wordt aangegeven dat het risico op overfitting is beperkt door het aantal Features in het Algoritme te beperken op basis van hun feature importance; en
In de Technische Documentatie [7] wordt aangegeven dat de standaard afwijking van de area under curve bij de cross-validatie analyse laag was (0.01) en dat het Algoritme dus stabiel is. Deloitte observeert dat enkel de uitkomst van de analyse wordt gegeven, maar dat details ontbreken (bijvoorbeeld hoeveel steekproeven er in de cross-validatie analyse zijn bekeken, et cetera). Daarnaast is onduidelijk of bijvoorbeeld ook de stabiliteit van de gemodelleerde verbanden is geanalyseerd. De aanbeveling van Deloitte is om in de Algoritmedocumentatie meer details op te nemen over (i) de stabiliteitstesten die zijn uitgevoerd op de Dataset en de Algoritme uitkomsten, (ii) de stappen die zijn genomen om het risico op overfitting van het Algoritme tegen te gaan, (iii) de stabiliteitstesten en performance testen die zullen worden gemonitord (zie voor de monitoring ook sectie 7.3.2 van dit rapport), en (iv) hoe de onderzoekswaardigheid van de Aanvragen die niet naar Handhaving zijn doorgestuurd zal worden gemonitord. 7.9. Omgang met persoonsgegevens Naast het aandachtspunt bij sectie 7.6.1, met betrekking tot de aansluiting van de ethische onderbouwing van de Features op het gebruik van de Features, heeft Deloitte geen aandachtspunten op basis van deze Analyse.
74/93
8. Appendix 2: Overzicht Analyse Tabel 5: Overzicht van de uitgevoerde Analyse per dimensie
Dimensie
Analyse impact
Activiteiten
Doelstelling
De doelstelling van het Algoritme moet helder geformuleerd zijn, een positieve impact hebben op de probleemstelling, en aansluiten bij de publieke waarden evenals de kernwaarden van WPI.
Analyseren van het projectplan van WPI, de vastlegging van uitgangspunten en de afweging met betrekking tot proportionaliteit, het proces van het vastleggen van criteria voor de afweging tussen verschillende belangen, doelstellingen en (publieke) waarden, het proces van vastgelegde kwaliteits- en prestatiedoelstellingen en een onderbouwing van het gerechtvaardigd belang, naast de wettelijke grondslag, bij de inzet van persoonsgegevens.
Impact en betrokkenheid
Het is essentieel om zicht te krijgen op de bredere (maatschappelijke) impact van het Algoritme op sociaal en politiek vlak; dit vraagt om inzicht in de visies en perspectieven van verschillende betrokkenen ten aanzien van het Algoritme, evenals de spanningsvelden die in deze context relevant zijn.
Analyseren van de betrokkenheid van belanghebbenden en het gezamenlijke doel van het Algoritme, getroffen maatregelen om transparantie en uitleg over het Algoritme te geven aan belanghebbenden, in kaart gebrachte disproportionele gevolgen voor bepaalde groepen, en de ingestelde mechanismen om externe feedback van belanghebbenden te verwerken.
Governance en proces
De governance en het proces rondom het maken en gebruiken van een algoritme moeten op orde zijn om het juist functioneren van het Algoritme continu te kunnen blijven waarborgen.
Analyseren van algoritmedocumentatie van WPI, het monitoringsplan, de verantwoordingsprocessen en rollen, de kwalitatieve en kwantitatieve deskundigheid en kennis binnen de organisatie, de borging van menselijke betrokkenheid, en de vastgelegde rol en invloed van het Algoritme in de werkprocessen.
75/93
Data verzameling, voorbewerking en kwaliteit
Data moet representatief zijn voor de maatschappelijke doelgroep om kwetsbare doelgroepen te beschermen tegen bestaande ongelijkheden. De datakwaliteit en de juiste datavoorbewerking zijn essentieel voor de kwaliteit van het Algoritme.
Analyseren van de onderbouwing van keuzes rondom gebruikte databronnen, herkomst, gebruik, beschikbaarheid en data eigenaarschap, data representativiteit, data stabiliteit, de voorbewerking van data en de waarborging van onafhankelijkheid van de verschillende datasets.
Eerlijkheid en bias in model en data
Het Algoritme moet voldoen aan intern beleid en maatschappelijke verwachtingen omtrent datagebruik en eerlijkheid.
Analyseren van de mitigatiestrategieën en andere maatregelen tegen bias, en van de onderbouwing van gebruikte eerlijkheidsstatistieken en hun drempelwaarden.
Algoritme input
Een goed functionerend algoritme met een uitlegbare uitvoer vraagt om een juist input selectieproces, dat wordt verrijkt met een onderbouwing van de gemaakte keuzes.
Analyseren van het input
Algoritme theorie
Algoritmes moeten gebaseerd zijn op empirisch bewijs, logica en de juiste theorie en methodologie om de doelstelling te kunnen vervullen.
Analyseren van de theorie en onderbouwing van de keuze voor hyperparameters, de onderbouwing van de keuze voor de EBM techniek, de overeenkomst tussen algoritme optimalisatie en de doelstelling, een onderbouwing van de juistheid en volledigheid van de aannames, en het algoritme training proces en de reproduceerbaarheid op basis van de technische algoritmedocumentatie van WPI.
Algoritme output
De output van een algoritme moet aansluiten op de doelstelling van het Algoritme door accuraat te zijn en juist te worden toegepast in de praktijk.
Analyseren van de controles over de aansluiting tussen input en output, de keuzes voor prestatiestatistieken, de documentatie rondom stabiliteit van het Algoritme, maatregelen tegen overfitting van het Algoritme, en de
76/93
selectieproces en 15 gekozen input Features, de keuzes rondom het borgen van uitlegbaarheid van het Algoritme.
uitlegbaarheid van de ruwe output in de uitvoering van het beleid van WPI. Omgang met persoonsgegevens Security en back-ups
Implementatie, change controls en audit logs
77/93
In het gebruik van het
Algoritme moet de privacy van de betrokkenen ten alle tijden gewaarborgd worden. Het Algoritme en de data moeten veilig zijn in gebruik (weerbaar tegen manipulatie en cyberaanvallen), ten alle tijden doen waar het voor gemaakt is en niet te beïnvloeden zijn van buitenaf. De implementatie van een
algoritme moet robuust, schaalbaar en in lijn zijn met de documentatie en ontwerp van het Algoritme.
Analyseren van de ethische aspecten van data privacy ten aanzien van de uitgevoerde KIIA [2] en DPIA [3]. Op verzoek van WPI is de dimensie ‘Security en back-ups’ niet in scope van deze Analyse.
Op verzoek van WPI is de dimensie ‘Implementatie, change controls en audit logs’ niet in scope van deze Analyse.
9. Appendix 3: Overzicht Algoritmedocumentatie In Tabel 6 wordt een overzicht weergegeven van de door WPI beschikbaar gestelde Algoritmedocumentatie, bestaande uit 33 verschillende documenten. Deloitte heeft een beschrijving aan ieder ontvangen document toegekend en de auteur van het document gespecificeerd. Indien Deloitte in het rapport verwijst naar specifieke documenten, dan wordt de referentie vermeld in Hoofdstuk 11. Tabel 6: Overzicht van ontvangen documenten
Document naam
Auteur
Beschrijving
Architectuurnotitie WPI Risicomodel v1.2.docx
WPI
De Architectuurnotitie beschrijft het ontwerp van en de afspraken over de informatiearchitectuur van het Algoritme. Het document is geschreven door WPI, versie van 28 juli 2022.
Bias analyse documentatie.docx
WPI
De Bias Analyse beschrijft de analyse die WPI heeft uitgevoerd op het algoritme om biases van het Algoritme in kaart te brengen. Het document is geschreven door WPI, versie van 7 juli 2022.
20220909 Concept Beheerplan pilot.docx
WPI
Concept Beheerplan Pilot beschrijft het beheerplan over het Algoritme tijdens de Pilot fase opgesteld door WPI. Onder andere worden de tools, evaluatie technieken en wie er verantwoordelijk zijn beschreven. Deze versie is van 9 september 2022.
20220909 Concept Beheerplan.docx
WPI
Concept Beheerplan beschrijft het beheerplan over het Algoritme opgesteld door WPI. Onder andere worden de tools, evaluatie technieken en wie er verantwoordelijk zijn beschreven. Deze versie is van 9 september 2022.
20220909 Concept Bewaartermijnen – algoritme onderzoekswaardigheid wpi.docx
WPI
Het Concept Bewaartermijnen is een documentatie van de bewaartermijnen van de data en algoritmes. Documentatie van een werkgroep binnen WPI van 9 september 2022.
78/93
20220909 concept Communicatieplan pilot - wpi onderzoekwaardigheid algoritme.docx
WPI
Het Communicatieplan legt vast hoe WPI transparante, open en eerlijke communicatie over de Pilot en het Algoritme kan waarborgen zowel intern als extern. Deze versie is van 9 september 2022.
20220909 Werkinstructie MvO aanvraag algoritme.docx
WPI
De Werkinstructie MvO beschrijft de nieuwe werkwijze om onderzoekswaardige Aanvragen uit het aanvraagproces te filteren voor Handhaving. Deze versie is van 9 september 2022.
Doelstellingen en succescriteria.pptx
WPI
De Doelstellingen en succescriteria legt de doelstelling van Informatiegestuurde Handhaving en de respectievelijke succescriteria vast. Deze versie is van 8 april 2021.
DPIA ondersteunend algoritme voor rechtmatigheidsonderzoek bij Aanvragen levensonderhoud v1.0.docx
WPI
Data Protection Impact Assessment die is uitgevoerd door het WPI omdat er sprake is van een hoog-risico-verwerking door het Algoritme (er worden persoonsgegevens verwerkt). De datum van deze versie wordt niet vermeld.
IAMA WPI model v0.8.pdf
WPI
De Impact Assessment Mensenrechten en Algoritmes beschrijft de impact van het Algoritme op grond- en/of mensenrechten. Deze versie is van juni 2021.
Kunstmatige Intelligentie Impact Assessment WPI model v1.0.docx
WPI
De Kunstmatige Intelligentie Impact Assessment beschrijft de impact en ethische principes van het Algoritme. De KIIA is uitgevoerd door WPI. Deze versie is van 12 augustus 2022.
Meetplan, metingen, resultaten.xlsx
WPI
Het Meetplan, Metingen en Resultaten legt doelstellingen en succescriteria van Informatiegestuurde Handhaving, de vertaling daarvan naar meetplan en borgingsplan en de resultaten van metingen vast. De datum van deze versie wordt niet vermeld.
79/93
Overzicht Verwerkte Data en Features v1.0.xlsx
WPI
In het Overzicht Verwerkte Data en Features legt team Advanced Analytics de verantwoording van de gebruikte data, business rules en Features vast. Het team doet dit in samenspraak met de business, de afdeling Handhaving van WPI. De datum van deze versie wordt niet vermeld.
Pilotplan WPI risicomodel bij aanvraag.pptx
WPI
Het Pilotplan bevat de aanleiding, probleemstelling, doelen en succescriteria, huidige status, methodiek, tijdlijn, rollen en verantwoordelijkheden, communicatieplan, architectuur, randvoorwaarden, risico’s en mitigatie van de Pilot. Deze versie is van 23 mei 2021.
Power calculation pilot.xlsx
WPI
De Power calculation van de Pilot laat zien wat de required sample size en lengte van de Pilot moet zijn. Deze versie is van april 2022.
Quick Scan WPI Risicomodel.docx
WPI
Quickscan uitgevoerd op het risicomodel geproduceerd door het Algoritme. Deze versie is van februari 2022.
Weging betrokken (grond)rechten – algoritme onderzoekswaardigheid wpi.xlsx
WPI
Weging betrokken (grond)rechten bevat een uiteenzetting van de (grond)rechten die betrokken zijn bij het Algoritme onderzoekswaardigheid. In dit document wordt aangegeven welke maatregelen zijn getroffen om aan de wetgeving te voldoen. De datum van deze versie wordt niet vermeld.
20220905 nieuw proces aanvraag LO versie 4.png
WPI
Een visuele weergave van het nieuwe proces intake LO. Deze versie is van 5 september 2022.
Technical documentation.docx
WPI
De Technische Documentatie van het algoritme onderzoekswaardigheid bevat de technische en theoretische achtergrond van het Algoritme. Geschreven door de Algoritmeontwikkelaars in samenwerking
80/93
met WPI. Deze versie is van 3 augustus 2022. model_statistics.pdf
WPI
De Model Statistics bevat een duidelijke lijst van parameterwaardes, gebruikte Features, feature importance en andere statistische informatie over het Algoritme. De datum van deze versie wordt niet vermeld.
Getekend WPI 20220203 WPD Onderzoek onbewuste vooringenomenheid WPI risicomodel.pdf
WPI
Autorisatiebesluit (leveringsovereenkomst) van BPRgegevens om onderzoek op onbedoelde vooringenomenheid van het Algoritme te kunnen doen. Deze versie is van 3 februari 2022.
210224 Bijlage bij WPD WPI model onderzoekswaardigheid aanvraag.docx
WPI
Bijlage bij Aanvraag formulier VAO informatie gestuurd handhaven. Deze versie is van 24 februari 2022.
210105 WPD WPI model onderzoekswaardigheid aanvraag wijziging def dd 050121 (IW).docx
WPI
Aanvraag formulier VAO informatie gestuurd handhaven, voor het onderzoek naar doorontwikkeling van informatiegestuurd werken met het Algoritme. Het formulier Verantwoording gegevensgebruik maakt onderdeel uit van het Werkproces Privacy gerelateerde Dataleveringen van OIS. Dit formulier heeft tot doel het rechtmatig gebruik van de VAO. De datum van deze versie wordt niet vermeld.
20200612_final_verkenning_
WPI
Dit document geeft een overzicht van de belangrijkste resultaten uit de Verkenning WPI, uitgevoerd door het programma Moderne Overheid. Deze versie is van 12 juni 2020.
WPI
Appendix databronnen & applicaties bij final verkenning. Deze versie is van 12 juni 2020.
WPI
Pre-Pilot plan bevat een plan voor een extra test van het Algoritme om zo een extra onderbouwing te geven over de
WPI.pptx.pdf
20200612_final_appendix_ WPI.pptx.pdf Pre-pilot plan.pptx
81/93
performance en betrouwbaarheid van het Algoritme. Deze versie is van 29 april 2022. 220530 review resultaten pre-pilot.pptx
WPI
Resultaten, conclusie en andere inzichten van het pre-Pilot onderzoek beschreven in Pre-Pilot plan.pptx. Deze versie is van 30 mei 2022.
Advies Participatieraad pilot AI_2022.pdf
Participatieraad
Gevraagd advies Pilot Algoritme onderzoekswaardigheid bij de Aanvraag van een Uitkering, geschreven door de Participatieraad. Deze versie is van 10 maart 2022.
concept – Reactie advies ai participatieraad.docx
WPI
Conceptversie reactie advies Pilot Algoritme onderzoekswaardigheid bij de Aanvraag van een Uitkering van de Participatieraad, geschreven door WPI. Deze versie is van 29 maart 2022.
Tussentijdse reactie advies AI.pdf
WPI
Tussentijdse reactie opgestuurd naar Participatieraad, geschreven door WPI. Deze reactie is van 18 juni 2022.
4. Flap Eerlijke Algoritmes 12122019.docx
CPA
Uitwerking van het besproken agendapunt WPI Risicomodel tijdens de CPA vergadering op 12 december 2019, geschreven door de CPA.
6. Flap WPI Risicomodel.docx
CPA
Uitwerking van het besproken agendapunt WPI Risicomodel tijdens de CPA vergadering op 9 december 2021, geschreven door de CPA.
4.1 CPA flap 2022 WPI Risicomodel.docx
CPA
Uitwerking van het besproken agendapunt WPI Risicomodel tijdens de CPA vergadering op 2 juni 2022, geschreven door de CPA.
Steekproef.pptx
WPI
Uitwerking van de verschillende opties om rekening te houden met Aanvragen die als niet onderzoekswaardig worden aangemerkt, tijdens het hertrainen. De datum van deze versie wordt niet vermeld.
82/93
10. Appendix 4: Overzicht van de aandachtspunten Nr. Categorie
Fase
Aandachtspunt
Aanbeveling
1
Documentatie Aandachtspunt, Niet alle Pilotdoelen zijn af te handelen uitgewerkt in meetbare voor start Pilot succescriteria voor de Pilot. Het is niet duidelijk (i) wanneer een Pilotdoel behaald wordt, en (ii) hoe deze verschillende resultaten gecombineerd worden tot één uitkomst van de Pilot, wanneer één of meer van de vier Pilotdoelen niet behaald worden.
Verrijk de Algoritmedocumentatie met meetbare kwantitatieve succescriteria per Pilotdoel. Geef daarbij aan hoe de succescriteria gezamenlijk zullen worden gebruikt voor het bepalen van de uitkomst van de Pilot, en wat de consequenties zijn als één of meerdere succescriteria niet worden behaald.
2
Documentatie Aandachtspunt, Er zijn geen duidelijke af te handelen criteria en voor start Pilot randvoorwaarden vastgelegd voor het eind van de Pilot en een eventuele verlenging van de Pilotfase.
Verrijk de Algoritmedocumentatie met duidelijke criteria ten aanzien van de benodigde verzamelde data, waardoor vooraf duidelijk is onder welke voorwaarden kan worden afgeweken van de vooraf gestelde duur van de Pilot.
3
Documentatie Aandachtspunt, Er is beperkte af te handelen documentatie beschikbaar voor start Pilot waarin een expliciete afweging wordt gemaakt of het Algoritme en het omliggende proces geschikt en proportioneel zijn voor het doel, afgezet tegen mogelijke alternatieven.
Verrijk de Algoritmedocumentatie met een expliciete afweging voor de toepassing van het Algoritme, waarin wordt meegenomen dat, hoewel door toepassing van het Algoritme de kans dat een Aanvrager onnodig wordt belast met een onderzoek zal afnemen, er in absolute aantallen een toename zal zijn
83/93
van het aantal individuele Aanvragen dat door Handhaving zal worden onderzocht. 4
Documentatie Aandachtspunt, De rollen, taken, af te handelen verantwoordelijkheden en voor start Pilot bevoegdheden van de interne belanghebbenden worden te algemeen beschreven in de Algoritmedocumentatie, waardoor de exacte invulling in de context van het Algoritme en bijbehorende procesverandering onduidelijk is.
Spits de rollen, taken, verantwoordelijkheden en bevoegdheden in de Algoritmedocumentatie toe op de ontwikkeling en de toepassing van het Algoritme.
5
Governance
Draag zorg dat interne belanghebbenden informatie en training krijgen die is afgestemd op hun rol, kennisniveau en ervaring, zodat ze over de juiste handvatten beschikken om inbreng te kunnen leveren op de besluitvorming rond het Algoritme en/of te begrijpen wat de impact is van het Algoritme. Een voorbeeldmaatregel is door aan de voorkant van het proces te bepalen welke training voor welke interne belanghebbenden noodzakelijk is om, vanuit hun eigen expertise en verantwoordelijkheid, op de hoogte te blijven van de ontwikkelingen van het Algoritme.
84/93
Aandachtspunt, Deloitte heeft via af te handelen interviews begrepen dat voor start Pilot de Epic Owner het als uitdaging ervaart voor de Algoritmeontwikkelaars om de interne belanghebbenden op de hoogte te brengen, en houden, van de technische ontwikkelingen van het Algoritme.
6
Governance
Aandachtspunt, Deloitte observeert dat de af te handelen Participatieraad niet voor start Pilot fungeert als klankbord voor de verdere ontwikkelingen van het Algoritme, door niet in gesprek te willen gaan over de wijzigingen die de Algoritmeontwikkelaar wil doorvoeren om de bezwaren van de Participatieraad weg te nemen. Hierdoor ontstaat het risico dat, buiten de inbreng van de CPA, onvoldoende feedback vanuit een maatschappelijk standpunt wordt meegenomen in de verdere ontwikkeling van het Algoritme.
Deloitte adviseert te blijven proberen de Participatieraad te betrekken, en daarin hun rol als klankbord te benadrukken. Specifiek kijkend naar de concept reactie op het negatieve advies van de Participatieraad adviseert Deloitte transparant te blijven en indien nodig gebruik te maken van een bemiddelaar om de Participatieraad te kunnen blijven betrekken bij de ontwikkeling van het Algoritme.
7
Governance
Aandachtspunt, De exitstrategie beschrijft af te handelen onvoldoende wat er moet voor start gebeuren om terug te Implementatie keren naar het oude proces, wat risico tot discontinuïteit van het aanvraagproces met zich meebrengt.
Werk de exitstrategie verder uit om de continuïteit van het aanvraagproces te verzekeren, waaronder (i) wie in dat geval verantwoordelijk is voor de uitrol van de exitstrategie, (ii) tijdslijnen tussen het besluit tot een exit en inwerkingtreding van de exitregeling, (iii) voor zover mogelijk vooraf bepaalde condities die aanleiding kunnen geven tot een exit, (iv) waar daarbij het onderscheid ligt tussen tijdelijk of definitief terug gaan naar het oude proces, en (v) de manier en frequentie waarop de exitstrategie zal worden getest.
85/93
8
Governance
Aandachtspunt, Deloitte observeert dat in De aanbeveling van Deloitte is af te handelen het Concept Beheerplan om, bij het finaliseren van het voor start [5] wordt beschreven wát Concept Beheerplan [5], details Implementatie er tijdens de monitoring op te nemen over hoe de activiteiten moet worden Algoritmeontwikkelaar invulling gemonitord, maar niet zal geven aan de hoe dit zal worden monitoringactiviteiten. gedaan.
9
Governance
Aandachtspunt, Er zijn geen processen Verrijk de af te handelen ingericht om te monitoren Algoritmedocumentatie met voor start of Medewerkers maatregelen om aan de hand Implementatie Vooronderzoek in het van statistische testen te nieuwe proces op dezelfde monitoren of er in verhouding wijze omgaan met de evenveel dossiers worden interpretatie van de opgeschaald naar Handhaving onderzoekswaardigheidsca vanuit de verschillende tegorie. Hierdoor ontstaat Medewerkers Vooronderzoek, het risico dat Aanvragers en waar nodig bij te sturen. afhankelijk van de Deloitte heeft via de Q&A [12] Medewerker begrepen dat de Vooronderzoek meer kans Algoritmeontwikkelaar dit zal hebben op een verdiepend opnemen in het meetplan. onderzoek. Dit risico op ongelijke behandeling geldt overigens ook in het huidige proces.
10 Documentatie Aandachtspunt, De beschikbaar gestelde af te handelen Algoritmedocumentatie voor start Pilot bevat onvoldoende structuur en een aantal verouderde werkdocumenten die bijgewerkt dient te worden. Hierdoor is het lastig om informatie terug te vinden.
86/93
Vereenvoudig de opzet van de Algoritmedocumentatie door informatie uit verschillende documenten te bundelen waar mogelijk. Voeg een begeleidend schrijven toe, waarin duidelijk wordt welke informatie per document te vinden is.
11 Documentatie Aandachtspunt, In de Technische af te handelen Documentatie en Bias voor start Pilot Analyse worden de gemaakte keuzes beschreven die hebben geleid tot het Algoritme, maar details over de onderliggende overwegingen ontbreekt op een aantal punten.
Verrijk de Technische Documentatie en Bias Analyse met meer details over de gemaakte keuzes en overwegingen die hebben geleid tot het Algoritme.
12 Data en Model
Aandachtspunt, Het is onduidelijk wat de Verkrijg inzicht in de mogelijke af te handelen precieze impact van verschillen in de Aanvragen voor start COVID-19 op de waardes pre- en post-COVID-19 om te Implementatie en verdeling van de verifiëren of de Dataset Features op basis van de representatief is voor de Dataset is geweest en in periode post-COVID-19. hoeverre de periode pre- Alternatief kan gekozen worden COVID-19 representatief om op basis van de Pilot is voor de periode postopnieuw te analyseren of de COVID-19, doordat details performance van het Algoritme van de uitgevoerde in lijn is met de verwachting analyse niet zijn van Algoritmegebruikers en gedocumenteerd en er Algoritmeontwikkelaars, en zo geen statistische testen ja, dan kan gekozen worden zijn gedocumenteerd. het verdere risico op beperkte representativiteit te accepteren.
13 Data en Model
Aandachtspunt, De Algoritmeontwikkelaar af te handelen heeft zo’n 36% van de voor start Aanvragen verwijderd uit Implementatie de Trainingset en Testset, omdat geen Label kon worden vastgesteld. De Algoritmeontwikkelaar geeft aan dat het merendeel van deze verwijderde Aanvragen hersteltermijnen betreft. Het is echter onduidelijk wat de impact van het
87/93
Vergelijk de Dataset voor en na verwijdering van de Aanvragen waarbij geen betrouwbaar Label kon worden vastgesteld en onderzoek de invloed van de representativiteit van de Dataset na verwijdering op de uitvoer van het Algoritme. Verrijk de Algoritmedocumentatie met deze analyse. Alternatief kan gekozen worden om op basis
verwijderen van deze Aanvragen is op de representativiteit van de Dataset.
van de Pilot te analyseren of de performance van het Algoritme in lijn is met de verwachting van Algoritmegebruikers en Algoritmeontwikkelaars, en zo ja, dan kan gekozen worden het verdere risico op beperkte representativiteit te accepteren.
14 Data en Model
Aandachtspunt, Deloitte observeert dat de Voer een af te handelen precieze impact op de representativiteitsanalyse uit voor start representativiteit, als op de Dataset en voer een Implementatie gevolg van dat het analyse uit om de verschillen Algoritme enkel is tussen de Dataset die wél is getraind op Aanvragen die onderzocht door Handhaving in het verleden door en de Dataset die niet is Handhaving zijn onderzocht door Handhaving onderzocht, onduidelijk is. in kaart te brengen. Er is een risico dat het Alternatief kan gekozen Algoritme niet goed worden om op basis van de overweg kan met Pilot te analyseren of de bepaalde Aanvragen die performance van het hierdoor niet in de Dataset Algoritme in lijn is met de zijn opgenomen. verwachting van Algoritmegebruikers en Algoritmeontwikkelaars, en zo ja, dan kan gekozen worden het verdere risico op beperkte representativiteit te accepteren.
15 Data en Model
Aandachtspunt, Als onderbouwing in de af te handelen Algoritmedocumentatie voor start Pilot voor het gebruik van de Features ‘total_vermogen’ en ‘sum_inkomen_bruto_valu e’ wordt gezegd dat deze Features in het huidige proces ook als beleidsregel worden meegenomen. De
88/93
De aanbeveling van Deloitte is om het gebruik van de Features ‘total_vermogen’ en ‘sum_inkomen_bruto_value’ aan te laten sluiten op de onderbouwing die wordt gegeven, en dus enkel de verbanden mee te nemen die ook door de beleidsregels worden beschreven, of, wanneer de
beleidsregel rechtvaardigt Algoritmeontwikkelaar hier echter niet dat twee een meerwaarde in ziet, een Aanvragers die beiden een additionele onderbouwing op vermogen of inkomen te nemen voor het onder de beleidsgrens veronderstelde verband tussen hebben, een andere deze Features en de onderzoekswaardigheidssc onderzoekswaardigheidsscore. ore wordt toegekend op basis van de exacte hoogte van hun vermogen of inkomen. Door het opnemen van deze Features in het Algoritme ontstaat het risico dat bepaalde inkomens- of vermogensgroepen een verhoogde kans hebben onderzocht te worden, wat niet aansluit op de huidige onderbouwing. 16 Documentatie Aandachtspunt, De manier waarop de af te handelen verschillende Features voor start Pilot bijdragen aan de onderzoekswaardigheidssc ore kan eenvoudig inzichtelijk gemaakt worden door de keuze voor een EBM techniek. Echter, de verbanden en de bevestiging dat de verbanden in lijn zijn met verwachtingen van experts, zijn niet gedocumenteerd.
89/93
Verrijk de Algoritmedocumentatie met details over hoe de gemodelleerde verbanden zijn besproken met belanghebbenden en een bevestiging van belanghebbenden, zoals de Algoritmegebruikers, dat de gemodelleerde verbanden niet onlogisch of onwenselijk zijn. Verder beveelt Deloitte aan om de stabiliteit van de gemodelleerde verbanden voor elke Feature over tijd te monitoren, zowel op basis van de Pilotuitkomsten als periodiek daarna. Hiermee wordt voorkomen dat wijzigingen in gemodelleerde verbanden onopgemerkt blijven.
17 Documentatie Aandachtspunt, Aannames en beperkingen af te handelen van het Algoritme worden voor start Pilot onvoldoende beschreven en onderbouwd, en er wordt niet beschreven welke aannames periodiek gemonitord worden en hoe dit gebeurt. Hierdoor ontstaat het risico dat betrokkenen niet voldoende bewust zijn van de aannames en beperkingen waar het Algoritme op steunt.
Verrijk de Algoritmedocumentatie met een lijst met aannames en beperkingen van het Algoritme, en met duidelijke onderbouwing en (waar mogelijk) statistieken waarop een aanname is gebaseerd.
18 Data en Model
Aandachtspunt, Er is gekozen voor het af te handelen modelleren van voor start onderzoekswaardigheid. Implementatie Door de keuze voor een subjectief Label zoals onderzoekswaardigheid dat niet meetbaar is ontstaat het risico op beperkte betrouwbaarheid van de Labels.
Leg de onderzoekswaardigheid van Aanvragen vast zodat deze informatie gebruikt kan worden voor monitoring doeleinden of verbetering van de Labels. Een mogelijke aanpak hiervoor is om in het werkproces terugkoppeling van de Handhavingsspecialist en Inkomensconsulent te vragen, waarin ze aangeven of een Aanvraag ook afgehandeld had kunnen worden zonder tussenkomst van de Handhavingsspecialist.
19 Data en Model
Aandachtspunt, Er is een risico dat er met Borg dat het risico op de af te handelen name Aanvragen bij positieve feedback wordt voor start Handhaving terecht zullen geminimaliseerd. Implementatie komen die door het Algoritme als onderzoekswaardig zijn aangemerkt. Nieuwe Labels die aan de Dataset worden toegevoegd zijn daardoor met name afkomstig van het
90/93
Verrijk de Algoritmedocumentatie met een verduidelijking van de aannames die zullen worden gemonitord en hoe dat gebeurt.
Algoritme. Hierdoor ontstaat het risico op een positieve feedback loop. Daarnaast ontstaat het risico dat bij hertrainen ook nieuwe vormen van onrechtmatigheid Aanvragen mogelijk niet gedetecteerd worden door het Algoritme. 20 Documentatie Aandachtspunt, Het is onduidelijk of de af te handelen drempelwaarde een vaste waarde is of dat deze voor start Implementatie dynamisch aangepast zal gaan worden om de capaciteit van Handhavingsspecialisten optimaal te benutten.
Specificeer in de Algoritmedocumentatie hoe de drempelwaarde voor het vaststellen van de onderzoekswaardigheidsscore wordt vastgesteld en óf, en zo ja onder welke condities, deze bijgesteld kan worden.
In het Concept Beheerplan [5] wordt aangegeven dat tweemaal per jaar zal worden bekeken of de drempelwaarde nog passend is, er wordt echter niet aangegeven wat wordt bedoeld met passend. 21 Documentatie Aandachtspunt, De Algoritmedocumentatie Verrijk de af te handelen geeft een beperkte Algoritmedocumentatie met voor start toelichting over de meer details over (i) de Implementatie performance van het stabiliteitstesten die zijn Algoritme. uitgevoerd, (ii) de stappen die zijn uitgevoerd om het risico op overfitting tegen te gaan, (iii) de stabiliteit en performance testen die zullen worden gemonitord, en (iv) hoe de performance van de Aanvragen die niet naar Handhaving zijn doorgestuurd zal worden gemonitord.
91/93
11. Referenties en interviews
Referentie
Afkorting
Document naam
[1]
Pilotplan
Pilotplan WPI risicomodel bij aanvraag.pptx
[2]
KIIA
[3]
DPIA
DPIA ondersteunend algoritme voor rechtmatigheidsonderzoek bij aanvragen levensonderhoud v1.0.docx