Eindrapport TNO

TNO VERTROUWELIJK

Anna van Buerenplein 1 2595 DA Den Haag Postbus 96800 2509 JE Den Haag

TNO-rapport

www.tno.nl

TNO 2021 R10732 | 1.0.0

Technische evaluatie van het AI-algoritme dat de Gemeente Nissewaard inzet voor de opsporing van misbruik en oneigenlijk gebruik van bijstandsuitkeringen

Datum

22 juni 2021

Projectleider

Dr. ir. J.M. Tang (TNO ICT Data Science)

Aantal pagina's Aantal bijlagen Opdrachtgever Projectnaam Projectnummer

44 (incl. bijlagen) 2 Gemeente Nissewaard Nissewaard-casus 060.47861

T +31 88 866 00 00

TNO VERTROUWELIJK

Anna van Buerenplein 1 2595 DA Den Haag Postbus 96800 2509 JE Den Haag www.tno.nl T +31 88 866 00 00

Auteurs: Dr.ir. J.M. Tang 1 Dr. M.H.T. de Boer S. Vethman MSc. Wetenschappelijke adviseurs: Dr. ing. C. J. Veenman Prof. dr. T.M. van Engers Prof. dr. ir. W. Kraaij Prof. dr. S.A. Raaijmakers TNO Postbus 96800 2509 JE Den Haag Alle rechten voorbehouden. Niets uit deze uitgave mag worden vermenigvuldigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op welke andere wijze dan ook, zonder voorafgaande toestemming van TNO. Indien dit rapport in opdracht werd uitgebracht, wordt voor de rechten en verplichtingen van opdrachtgever en opdrachtnemer verwezen naar de Algemene Voorwaarden voor opdrachten aan TNO, dan wel de betreffende terzake tussen de partijen gesloten overeenkomst. Het ter inzage geven van het TNO-rapport aan direct belanghebbenden is toegestaan. Juni 2021 © 2021 TNO

1

Corresponderende auteur. E-mailadres: jok.tang@tno.nl.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

3 / 44

Samenvatting Achtergrond van het onderzoek De Gemeente Nissewaard zet een door Totta Data Lab ontwikkeld algoritme in voor risico-indicatie van misbruik of oneigenlijk gebruik van ontvangers van bijstandsuitkeringen. Het specifieke doel van dit algoritme is om de eerder gehanteerde algemene periodieke controle te vervangen, waarbij het toezicht zoveel mogelijk gericht is op de cliënten die de aandacht verdienen (ook wel genoemd: risicogestuurd handhaven). De gemeente Nissewaard vindt het belangrijk dat het gebruik van het algoritme op correcte wijze plaatsvindt en wil de eigen werkwijze ook kritisch bekijken. Daarom heeft de Gemeente Nissewaard aan TNO gevraagd mogelijke risico’s ten aanzien van het (gebruik van het) algoritme in kaart te brengen en hiertoe een technisch-inhoudelijke evaluatie van het AI-algoritme uit te voeren. Het onderzoek past in een op dit moment gevoerde brede maatschappelijke discussie over het gebruik van dit soort algoritmen. De scope van het TNOonderzoek beperkt zich tot deze technisch-inhoudelijke evaluatie. Hierbij wordt er getoetst aan ethische richtlijnen, die als gegeven zijn gebruikt in deze evaluatie. Privacy-overwegingen, aspecten van “profiling” en een juridisch oordeel maken geen deel uit van het onderzoek. De werkwijze, resultaten, conclusies en aanbevelingen van de technisch-inhoudelijke evaluatie zijn beschreven in dit rapport.

Werkwijze in het onderzoek In de technisch-inhoudelijke evaluatie zijn vier hoofdactiviteiten uitgevoerd: • Vaststellen van de relevante evaluatieaspecten om het algoritme op te beoordelen. Dit is gedaan door het combineren van bestaande richtlijnen voor het toepassen van algoritmen van het Ministerie van Justitie en Veiligheid en die van de high-level expert group on AI van de Europese Commissie. • Opstellen van een vragenlijst voor interviews, op basis van de relevante evaluatieaspecten. De interviews zijn gehouden met vertegenwoordigers van zowel de Gemeente Nissewaard als van Totta Data Lab. • Uitvoeren van een technische analyse, waarbij gefocust is op de evaluatieaspecten “auditeerbaarheid en “doeltreffendheid en inbedding”. Hierbij is gekeken naar de inputdata, de softwarecode waarin het algoritme is vastgelegd en de uitkomsten van het algoritme. • Formuleren van de conclusies en aanbevelingen op basis van de bevindingen. Bevindingen van het onderzoek De positieve bevindingen ten aanzien van (de inzet van) het AI-algoritme zijn als volgt: • In het huidige protocol van de Gemeente Nissewaard worden de risicoindicaties die door het AI-algoritme worden aangegeven gecombineerd met andere risico-indicaties, waarbij de door het AI-algoritme aangedragen te onderzoeken dossiers slecht 10-15% van de te onderzoeken populatie bedraagt.

Deze risico-indicaties spelen een rol in de selectie van dossiers, maar hebben verder geen sturende invloed op het verder handmatig uitgevoerde toezicht- en handhavingsproces. De mens draagt en neemt vervolgens ook de verantwoordelijkheid voor mogelijke besluiten die uit het toezicht- en handhavingsproces voortvloeien. • Uit interviews is gebleken dat zowel de Gemeente Nissewaard als Totta Data Lab aandacht heeft besteed aan verschillende aspecten van verantwoord gebruik van AI-algoritmen, zoals datagebruik, nondiscriminatie, transparantie, verantwoording, uitlegbaarheid en publieksvoorlichting (beschreven in de richtlijnen). Naast de interviews zijn

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

4 / 44

deze aspecten niet verder onderzocht in de technische analyse van de evaluatie. Op de volgende punten presteert het AI-algoritme onvoldoende: • De auditeerbaarheid van het AI-algoritme is gebrekkig. Dit betekent dat het algoritme in de huidige vorm niet voldoende toetsbaar is aan inhoudelijke en procedurele eisen. De uitkomsten van het algoritme blijken namelijk niet reproduceerbaar te zijn. Dit betekent dat bij meerdere runs van dezelfde code met dezelfde instellingen er (significant) andere resultaten uitkomen. Daarnaast is de kwaliteit van de programmeercode niet op peil. Bij het implementeren van het algoritme, maar ook bij het testen van de code, zijn de best practices vanuit software-ontwikkeling onvoldoende toegepast. Evenmin ontbreekt het aan aanvullende documentatie voor softwareontwikkelaars en technische gebruikers van de code. Aspecten zoals reproduceerbaarheid en kwaliteit van de code zijn een voorwaarde voor het kunnen auditeren van andere relevante ethische aspecten, zoals nondiscriminatie en transparantie van een algoritme-toepassing. Tijdens de interviews is geconstateerd dat er wel aandacht is besteed aan deze andere aspecten, maar deze konden niet verder worden onderzocht vanwege het gebrek aan auditeerbaarheid. • Het is onvoldoende mogelijk om de doeltreffendheid (ook wel: effectiviteit) van het AI-algoritme vanuit een technisch oogpunt te onderzoeken.

De oorzaak is dat de resultaten niet robuust zijn met betrekking tot de aanwezigheid van de willekeurige elementen in het algoritme. Dit was ook de oorzaak van het bovengenoemde probleem ten aanzien van reproduceerbaarheid van het algoritme. Uit de evaluatie blijkt dat de met behulp van het AI-algoritme vastgestelde risicoscores, inclusief de berekende volgorde van cliënten op basis van dergelijke risicoscores, niet betrouwbaar zijn. Hierdoor kan Nissewaard de uitkomsten van het algoritme niet met een gepast niveau van zekerheid interpreteren. Hoofdconclusie van het onderzoek Ondanks dat Nissewaard en Totta Data Lab duidelijk aandacht hebben besteed aan verschillende aspecten van verantwoord gebruik, is de hoofdconclusie van de technisch-inhoudelijke evaluatie dat het AI-algoritme in de huidige vorm van onvoldoende niveau is om verantwoord te kunnen inzetten. Deze hoofdconclusie wijst uitsluitend op de huidige vorm van dit specifieke AIalgoritme. TNO velt nadrukkelijk geen oordeel over juridische aspecten of op principiële bezwaren tegen de inbedding van een AI-algoritme in het huidige informatiegestuurde handhavingsproces dat door de Gemeente Nissewaard wordt gehanteerd.

Aanbevelingen voor de Gemeente Nissewaard TNO adviseert de Gemeente Nissewaard om op verschillende vlakken significante verbeteringen door te voeren in het AI-algoritme van Totta Data Lab, alvorens inzet van dit algoritme heroverwogen kan worden door de Gemeente Nissewaard. De concrete aanbevelingen zijn als volgt: • Op methodologisch vlak dienen verbeteringen plaats te vinden, in het bijzonder op de volgende gebieden: o het beter omgaan met de willekeurigheid in het model, inclusief het kwantificeren van de onzekerheden hiervan in de resultaten; o het verbeteren van de experimentele opzet om de nauwkeurigheid van het algoritme te meten. • Op code-technisch vlak dienen de testmethodiek, de softwareconfiguratie en de documentatie verbeterd te worden. • Op procesmatig vlak dienen de adequaatheid van het AI-algoritme als risicovoorspeller en daarvan afgeleid de doeltreffendheid van het AI-

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

5 / 44

algoritme te worden vastgesteld en structureel te worden gemonitord. Hierbij kan er gebruik worden gemaakt van een ingelaste observatieperiode. In die periode kan de adequaatheid van de werking van een verbeterd AI-algoritme verder worden onderzocht. De Gemeente Nissewaard wordt aangeraden om niet eerder dan aan het eind van deze periode de inzet van het AI-algoritme, als onderdeel van het informatiegestuurde handhavingsproces, te heroverwegen.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

6 / 44

Inhoudsopgave Samenvatting ........................................................................................................... 3 1 1.1 1.2 1.3 1.4

Inleiding .................................................................................................................... 7 Risicogestuurd handhaven ondersteund door AI in Nissewaard .............................. 7 Randvoorwaarden voor AI-toepassing in risicogestuurd handhaven ........................ 8 Projectafbakening ...................................................................................................... 9 Leeswijzer ................................................................................................................ 10

2 2.1 2.2 2.3

Risicogestuurde handhaving ............................................................................... 11 Traditioneel risicogestuurde handhaving binnen Nissewaard ................................. 11 Huidige werkwijze met AI ........................................................................................ 12 Aandachtspunten bij het gebruik van AI-algoritmen ................................................ 13

3 3.1 3.2 3.3

Aanpak van de technisch-inhoudelijk evaluatie ................................................. 15 Combineren van richtlijnen en opstellen van vragenlijst ......................................... 15 Interviews ................................................................................................................. 16 Technische analyse van data, code en uitkomsten................................................. 17

4 4.1 4.2

Resultaten van de technisch-inhoudelijke evaluatie ......................................... 19 Resultaten van het combineren van richtlijnen ........................................................ 19 Resultaten vanuit de interviews en technische analyse .......................................... 20

5 5.1 5.2 5.3

Conclusies en aanbevelingen .............................................................................. 27 Hoofdbevindingen .................................................................................................... 27 Hoofdconclusie ........................................................................................................ 28 Aanbevelingen ......................................................................................................... 28

6

Referenties ............................................................................................................. 30

Bijlage 1: Vragenlijst voor interviews t.a.v. de richtlijnen voor betrouwbare AI ............. 32 Bijlage 2: Resultaten van de interviews per richtlijn .......................................................... 42

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

1

7 / 44

Inleiding In dit rapport presenteren we de uitkomsten van de technische evaluatie van het AIalgoritme dat de Gemeente Nissewaard (hierna: Nissewaard) gebruikt voor de opsporing van misbruik en oneigenlijk gebruik van bijstandsuitkeringen. Hierbij staat AI voor Artificial Intelligence, oftewel kunstmatige intelligentie. In dit hoofdstuk beschrijven we achtereenvolgens de setting van risicogestuurd handhaven in Nissewaard (Sectie 1.1), de randvoorwaarden voor de toepassing van AI in de opsporing van misbruik en oneigenlijk gebruik (Sectie 1.2), de projectafbakening (Sectie 1.3) en de leeswijzer (Sectie 1.4).

1.1 Risicogestuurd handhaven ondersteund door AI in Nissewaard Gemeenten in Nederland zijn uitvoerders van de Participatiewet. Zij ondersteunen bij arbeidsinschakeling en verstrekken bijstand. Gemeenten zijn daarmee verantwoordelijk voor de beoordeling of burgers recht hebben op een uitkering. Onderdeel van deze taak is ook het toezien op de rechtmatigheid van een verstrekte uitkering. Gemeenten hebben vergaande rechten om informatie op te vragen bij instanties. Burgers hebben een informatieplicht om relevante wijzigingen in hun situatie door te geven en op informatieverzoeken te reageren. Nalatigheid of oneigenlijk gebruik kan leiden tot stopzetting van de uitkering en het opleggen van een terugvordering en/of boete. Hierbij dient opgemerkt te worden dat er niet in alle gevallen van oneigenlijk gebruik sprake is van fraude, maar dat soms ook onbedoeld sprake kan zijn van onrechtmatig gebruik wat bij niet tijdig signaleren tot grote individuele problemen kan leiden op de langere termijn. Hierbij is het ook waardevol voor bijstandsgerechtigden die onbedoeld te veel inkomsten van de gemeente ontvangen om daar tijdig achter te komen. Dit voorkomt een hogere terugvordering. De toekenning en hoogte van een uitkering zijn sterk afhankelijk van de situatie van de bijstandsgerechtigde. Een wijziging daarin kan leiden tot een aanpassing of intrekking, b.v.

bij de geboorte van een kind of inkomsten uit arbeid. Als een burger verzuimt dergelijke aanpassingen door te geven, kan er mogelijk sprake zijn van misbruik of oneigenlijk gebruik. Om te voorkomen dat de ontvangers van bijstandsuitkeringen veelvuldig moeten worden gecontroleerd – wat kostbaar is en ook een administratieve last vormt voor de uitkeringsgerechtigden – heeft Nissewaard gekozen voor risicogestuurde handhaving (ook wel informatiegestuurde handhaving genoemd). Risicogestuurde handhaving is een vorm van handhaving waarin het zwaartepunt van de capaciteit wordt ingezet op die plekken waar de risico’s, op oneigenlijk gebruik, het grootst zijn. Risicogestuurd werken vindt ook bij verschillende andere in Nederland plaats, b.v. bij GGD’s, politie en inspecties, zie ook [15]. Naast risicogestuurde handhaving hanteert Nissewaard ook themacontroles (zie ook Sectie 2.1). De risicogestuurde handhaving binnen Nissewaard kent de volgende drie stappen die door ambtenaren wordt uitgevoerd. • In de eerste stap worden dossiers van cliënten verzameld met een themacontrole of een verhoogde risico-indicatie, bijvoorbeeld door middel van een melding of een automatische risico-inschatting door een algoritme. • In de tweede stap worden deze dossiers door sociaal rechercheurs nader beoordeeld op onderzoekwaardigheid.

• In de derde stap worden de onderzoekwaardige dossiers ingepland op basis van de beschikbare onderzoekscapaciteit (zie Sectie 2.1 voor meer detail).

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

8 / 44

Bij Nissewaard gebeurt het verzamelen van de dossiers (stap 1) niet alleen op basis van meldingen of themacontroles, maar ook met het AI-algoritme dat is ontwikkeld door Totta Data Lab B.V. (hierna: TDL). Met een AI-algoritme wordt bedoeld een rekenmodel oftewel een geautomatiseerde analyse van gegevens, waarbij AI-technologie wordt ingezet. Het doel van het AI-algoritme is om op basis van een aantal data-elementen te leren bij welke bijstandsontvangers er een verhoogd risico op misbruik of oneigenlijk gebruik van bijstand bestaat. Het AI-algoritme probeert daartoe patronen in een aantal data-elementen van bijstandsontvangers te vinden die wijzen op een verhoogd risico op misbruik of oneigenlijk gebruik van bijstand. Het algoritme bepaalt op basis van deze patronen een score voor elke cliënt die mogelijk correspondeert met onrechtmatig gedrag. Deze scores worden vervolgens gebruikt om de cliënten te ordenen. De hoogst scorende cliënten worden meegenomen in de selectie van de door ambtenaren nader te beoordelen gevallen (stap 2). In de technische documentatie van TDL [1] is uitgelegd welke data gebruikt wordt en hoe dit model tot stand is gekomen. Het AI-algoritme wordt verder niet gebruikt voor het sturen van de wijze waarop de controles worden verricht (stap 2 en 3).

1.2 Randvoorwaarden voor AI-toepassing in risicogestuurd handhaven Het gebruik van AI-algoritmen, in het bijzonder in bestuursrechtelijke context, ligt recentelijk onder een vergrootglas, zie onder meer het ongevraagd advies van de Raad van State [6], en recente gerechtelijke uitspraken in relatie tot b.v. SyRI [8] en de e-Screener [14]. Zowel in de wetenschap als in andere delen van de maatschappij wordt momenteel een debat gevoerd over het gebruik van dergelijke algoritmen. Veelgenoemde punten van kritiek in die discussie hebben betrekking op niet-proportioneel datagebruik en het door de inzet van algoritmen opgewekte gevoel dat burgers bij voorbaat verdacht zijn (zie ook Sectie 2.3 en [16]). Ook Nissewaard heeft deze ‘maatschappelijke druk’ ervaren. Onder andere NRC, AD, Binnenlands Bestuur en NOS hebben sinds 2018 gepubliceerd over gebruik van het AI-algoritme door Nissewaard [3, 4, 11, 19]. In deze artikelen zijn door partijen zoals FNV en Platform Bescherming Burgerrechten vraagtekens gezet bij het voldoende controleerbaar en inzichtelijk zijn van het algoritme. Ook wordt geclaimd dat verschillende databronnen oneigenlijk gebruikt zouden zijn en zou het AIalgoritme een te grote inbreuk maken op de privacy van burgers (zie ook [3, 4, 5]). Tenslotte worden er parallellen getrokken tussen het gebruik van AI-algoritmen door Nissewaard en de toeslagenaffaire [12].

In het publieke debat rond AI-ondersteund toezicht zijn verschillende invalshoeken te onderscheiden: a) ethische discussies (b.v. individueel belang versus maatschappelijk belang); b) juridische vragen: zijn de methoden legitiem; c) technische/methodologische vragen: in hoeverre is de methode reproduceerbaar en uitlegbaar.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

9 / 44

De ethische, juridische en technische discussie over verantwoorde toepassing van AI wordt al enkele jaren gevoerd en heeft geleid tot een aantal richtlijnen op nationaal en Europees niveau, zoals de richtlijnen van het Ministerie van Justitie en Veiligheid (hierna: MinJenV) en die van de high-level expert group on AI van de Europese Commissie (hierna: EC), zie [7, 9, 18]. 2 Nissewaard vindt het belangrijk dat het gebruik van het algoritme op correcte wijze plaatsvindt en wil de eigen werkwijze ook kritisch bekijken. Het in kaart brengen van mogelijke risico’s ten aanzien van het (gebruik van het) algoritme is hierbij van belang. Dit is ook mede aangewakkerd door een maatschappelijke discussie over het gebruik van dit soort algoritmen. Daarom heeft de Gemeente Nissewaard aan TNO als onafhankelijke onderzoeksinstelling gevraagd om een technischinhoudelijke evaluatie van het AI-algoritme uit te voeren. In deze evaluatie wordt in kaart gebracht welke technische aspecten een risico vormen voor verantwoord gebruik van het bovengenoemde AI-algoritme als onderdeel van risicogestuurd handhaven. De scope van het onderzoek richt zich op de evaluatie, waarbij een technisch oordeel over (de toepassing van) het gehanteerde algoritme wordt gegeven. TNO zal verder geen juridisch oordeel uitspreken over de rechtmatige inzet van het AI-algoritme.

Dit onderzoek wordt in dit rapport de “Nissewaard-casus” genoemd. 1.3 Projectafbakening Het doel van de Nissewaard-casus is om een technisch-inhoudelijke evaluatie uit te voeren op (de code-implementatie van) het AI-algoritme van TDL langs thans bestaande richtlijnen rondom betrouwbare algoritmen. Merk overigens op dat deze richtlijnen recent opgesteld zijn, namelijk in 20192019, terwijl het algoritme al voor die tijd door TDL is ontwikkeld en door Nissewaard in gebruik is genomen is. Ten behoeve van deze evaluatie zijn interviews met verschillende betrokkenen gehouden en is het AI-algoritme en de wijze waarop het ontwikkeld, getest en ingezet is aan een technische analyse onderworpen. Bij deze technische analyse is er specifiek stilgestaan bij de volgende twee evaluatieaspecten: •

•

2

Auditeerbaarheid: De ontwikkeling en het gebruik van de AI-toepassing heeft zorgvuldige onderbouwing van de daarbij gehanteerde uitgangspunten en gemaakte ontwerpkeuzen nodig en vergt gedetailleerde documentatie. Het dient mogelijk te zijn om te controleren of het algoritme voldoet aan inhoudelijke en procedurele eisen. Dit is essentieel voor transparantie en het kunnen afleggen van verantwoording over het toepassen van het algoritme. Doeltreffendheid en inbedding: Het gebruik van een algoritme dient met enige zekerheid bij te dragen aan de doeltreffendheid van het proces waarin het is ingebed (ook wel: effectief). In geval van Nissewaard betreft deze doeltreffendheid dat van de door het algoritme aangeduide risicovolle cliënten, na menselijke controle, daadwerkelijk kan worden vastgesteld dat sprake is van oneigenlijk gebruik of misbruik. Doeltreffendheid kan worden gemeten door de nauwkeurigheid van het algoritme in de testprocedure van de code, aangevuld door validatie van het proces waarin algoritme is ingebed. Voor deze validatie zijn derhalve de resultaten van menselijke controle op de geïndiceerde risicovolle dossiers nodig.

Verder is recentelijk een voorstel verschenen voor nieuwe EU-wetgeving t.a.v. AI, zie [17]. Het algoritme dat door Nissewaard wordt ingezet in het informatiegestuurd toezicht moet waarschijnlijk worden aangemerkt als ‘High-Risk AI’ volgens punt 5 in Annex III (p.4) van [17]. Het verdient daarom aanbeveling te toetsen of aan alle eisen die aan dergelijke AI-toepassingen worden gesteld wordt voldaan. Dit valt buiten de scope van de technisch-inhoudelijke evaluatie zoals in dit rapport beschreven.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

10 / 44

De evaluatieaspecten auditeerbaarheid en doeltreffendheid zijn een voorwaarde om andere relevante ethische aspecten, zoals bias en transparantie, van een algoritme-toepassing te evalueren. In de Nissewaard-casus is ook als input meegenomen de rechterlijke uitspraak t.a.v. Systeem Risico Indicatie oftewel SyRI (zie [8]) en het rapport t.a.v. de toeslagenaffaire (zie [12]), die aansluiten op de hierboven beschreven projectafbakening. Merk op dat verder in de Nissewaardcasus geen juridisch oordeel wordt geveld over noch deze input noch de connectie met de Nissewaard-casus. Al voor aanvang van het onderzoek de Nissewaard-casus is door juridische experts van Nissewaard en Stimulansz een aantal ethische, juridische, transparantie- en privacy-gerelateerde randvoorwaarden opgesteld. Bij het formuleren van deze randvoorwaarden is onder meer gekeken naar de van toepassing zijnde socialezekerheidswetgeving en de AVG. Deze randvoorwaarden vormden het kader waarbinnen het AI-algoritme is ontwikkeld en wordt toegepast. Voor het onderzoek heeft TNO zich voornamelijk gericht op eisen zoals geformuleerd in recent gepubliceerde richtlijnen, te weten die van de EC en die van het MinJenV (inclusief de herziene versie verschenen in maart 2021), zie ook [7, 9, 18].

Deze geformuleerde randvoorwaarden betreffen de volgende twee punten: • TNO voert de evaluatie uit aan de hand van materiaal dat door Nissewaard en TDL beschikbaar is gesteld aan TNO. Dit materiaal betreft vereiste data, code, documentatie, testen e.d. die nodig zijn voor de technische evaluatie en voorafgaand aan de casus met TNO is gedeeld. Dit materiaal met gegevens staat vast voor de rest van de casus; de technische evaluatie is gebaseerd op deze gegevens, waarbij is aangenomen dat deze gegeven juist zijn. • TNO voert de evaluatie uit waarbij gefocust wordt op risico’s die voortvloeien uit de gehanteerde AI-technologie. De legitimiteit van het gebruik van de data als input voor het AI-algoritme voor het doel waartoe Nissewaard dit gebruikt valt buiten de scope van dit onderzoek. TNO kijkt in haar onderzoeksprogramma onder andere naar innovaties gerelateerd aan betrouwbare AI voor publieke instanties. De Nissewaard-casus sluit hier goed bij aan. 1.4

Leeswijzer

Hoofdstuk 2 beschrijft de context waarbinnen de huidige AI-toepassing wordt ontwikkeld en ingezet. In hoofdstuk 3 beschrijven we de opzet van de technischinhoudelijke evaluatie van het gebruikte AI-algoritme. Hoofdstuk 4 bevat de resultaten van deze evaluatie. In hoofdstuk 5 presenteren we de conclusies en aanbevelingen van de Nissewaard-casus.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

2

11 / 44

Risicogestuurde handhaving In dit hoofdstuk schetsen we de context van de wijze waarop traditioneel het toezicht bij Nissewaard was ingericht, beschrijven we het AI-algoritme dat momenteel gebruikt wordt door Nissewaard en geven we een overzicht van aandachtspunten bij de ontwikkeling en inzet van dit soort algoritmen. De aanpak en de resultaten van de technisch-inhoudelijke evaluatie zijn te vinden in Hoofdstuk 3 en 4, respectievelijk. 2.1

Traditioneel risicogestuurde handhaving binnen Nissewaard

Voordat informatiegestuurd toezicht werd ingevoerd binnen Nissewaard, vond handhaving op twee verschillende manieren plaats [13]: 1. Controle op basis van signalen, ook wel meldingen genoemd. Deze signalen zijn tips over mogelijke misbruik of oneigenlijk gebruik, vanuit bijvoorbeeld inwoners, het OM, het UWV en de SVB. Ook in het huidige proces van handhaving maakt het acteren op basis van deze signalen het merendeel (80-90%) van het werk voor sociaal rechercheurs uit. 2. Periodieke controles. In het traditioneel handhaven van de bijstandswetten werden alle burgers elk jaar of elke paar jaren verzocht documenten in te vullen en zich te melden bij het gemeentehuis voor een controle. Bij risicogestuurde handhaving is daar een manier aan toegevoegd: 3. Thema-controles. In thema-controles wordt er gekeken naar een bepaald thema, zoals gedeeltelijke inkomsten. In dit voorbeeld worden mogelijke gedeeltelijke zwarte inkomsten uit werkzaamheden die niet zijn gemeld in de bijstand onderzocht.

Figuur 1: De aanpak van risicogestuurd toezicht van Nissewaard voordat het AI-algoritme is ingezet. De vermelde percentages zijn schattingen.

Sociaal rechercheurs en klantmanagers, beide ambtenaren met een toezicht- en handhavingstaak, spelen een cruciale rol bij het tijdig constateren en tegengaan van misbruik en oneigenlijk gebruik van de bijstand, zie Figuur 1. De pijlen aan de linkerkant van het figuur geven aan dat sociaal rechercheurs vooral ingezet zijn op passieve signalen en thema-controles en klantmanagers vooral op de jaarlijkse hercontrole. De pijlen tussen de ambtenaren in het figuur geven aan dat deze ambtenaren gezamenlijk verantwoordelijk zijn voor het signaleren en optreden

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

12 / 44

tegen misbruik en oneigenlijk gebruik en elkaar daarbij waar mogelijk ondersteunen. In de huidige werkwijze heeft risicogericht werken de plaats van deze periodieke controles overgenomen. Hierin wordt een AI-algoritme gebruikt waarmee risicoindicaties worden bepaald, waarna de meest risicovolle dossiers nader worden onderzocht. In de huidige opzet van het risicogestuurde toezicht worden dus, naast de cliënten die gecontroleerd worden op basis van signalen of omdat zij in de thema-controles vallen, alleen cliënten waarvoor een verhoogd risico is vastgesteld nader onderzocht. De voor veel uitkeringsgerechtigden belastende periodieke controles zijn hiermee komen te vervallen. Deze methodiek is samengevat in Figuur 2, zie de volgende sectie voor meer details.

Figuur 2: De huidige aanpak van risicogestuurd toezicht van Nissewaard inclusief de toepassing van het AI-algoritme. De vermelde percentages zijn schattingen.

2.2

Huidige werkwijze met AI

In de huidige werkwijze wordt een AI-algoritme ingezet, waarmee gepoogd wordt patronen in de gegevens van ontvangers van bijstand te ontdekken die duiden op een verhoogd risico op misbruik of oneigenlijk gebruik van bijstand. Op basis van deze patronen kent het model voor elke cliënt een risicoscore tussen 0 (laag risico) en 1 (hoog risico) toe. Aan de hand van deze score worden de cliënten gerangschikt van hoog naar laag risico, waarbij de meeste risicovolle cliënten mogelijk onderzocht worden door ambtenaren. Zowel het ontwikkelen van het AIalgoritme als het toepassen daarvan op een periodiek door Nissewaard geleverd databestand gebeurt door TDL. Vervolgens deelt TDL de gevonden ranking met Nissewaard, waarna Nissewaard de cliënten met de hoogste risicoscores meeneemt in de verzameling nader te onderzoeken cliënten. Data De databronnen waarop het AI-algoritme getraind wordt zijn een selectie uit de data die Nissewaard ten behoeve van haar toezicht en handhavingsprocessen regulier verzamelt. De selectie van deze databronnen is, bij aanvang van de ontwikkeling van het AI-algoritme, in overleg tussen Nissewaard en TDL bepaald. Meer informatie over de data en de selectiekeuzes is te vinden in de technische documentatie van TDL [1] en de infographic van Nissewaard [13].

TNO heeft voor haar evaluatie-onderzoek gepseudonimiseerde data ontvangen van Q4 2020, met specifieke datum 22 december 2020. Deze data betrof dezelfde selectie van data die TDL van Nissewaard heeft ontvangen om het AI-algoritme mee te draaien.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

13 / 44

AI-algoritme Het AI-algoritme heeft als doel om van de huidige populatie van bijstandsontvangers het risico op misbruik en oneigenlijk gebruik van bijstand vast te stellen en vervolgens de cliënten op basis van deze risico’s te rangschikken. TDL gebruikt daarvoor een zogenaamd “rule-fit-random-forest-ensemble” AI-algoritme [16]. Gedetailleerde informatie hierover is te vinden in de technische documentatie [1]. Voor de technisch-inhoudelijke evaluatie kon TNO over de programmeercode beschikken waarin het AI-model door TDL is geïmplementeerd. Het door TDL ontwikkelde algoritme werkt volgens een ‘supervised learning’ methode, waarbij voor de training van deze methode een dataset wordt gebruikt met bijstandsontvangers waar eerder misbruik of oneigenlijk gebruik is vastgesteld (ook wel genoemd: ‘de positieven’) en gegevens van alle andere bijstandsontvangers (deze worden behandeld als ‘de overigen’). Na toepassing van het getrainde algoritme op data van alle bijstandsontvangers wordt een lijst met de bijstandsontvangers met de hoogste risicoscore na menselijke controle aan de sociaal rechercheurs overhandigd om de standaardprocedure uit te voeren (zie Sectie 1.1). Deze menselijke controle wordt uitgevoerd in samenwerking tussen TDL en Nissewaard. Daarbij wordt onder meer beoordeeld of een specifieke demografische groep (b.v.

vrouwen tegenover mannen) niet te vaak de hoogste score ontvangt en of de uitworp niet reeds eerder onderzochte bijstandontvangers bevat. De ordening heeft alleen invloed op welke bijstandsontvangers verder worden onderzocht. De specifieke risicoscore heeft geen invloed op de wijze waarop het nader onderzoek wordt uitgevoerd. De risicoscore bepaalt alleen de relatieve positie van een cliënt in de ordening. Het aantal cliënten dat nader zal worden onderzocht wordt bepaald door de beschikbare capaciteit van de sociaal rechercheurs. Maatstaven in gebruik voor het AI-algoritme De beoordeling van het AI-algoritme gebeurt door middel van: 1) een kwantitatieve maat voor nauwkeurigheid en 2) een menselijke controle op de suggesties van het algoritme. De kwantitatieve check bestaat uit het gebruik van een “training en test split”, waarbij de beschikbare data in tweeën wordt gedeeld. Door het AI-algoritme patronen te laten leren op het ene deel (traininggedeelte), kan men daarna op het andere deel (testgedeelte) testen of met de gevonden patronen met voldoende nauwkeurigheid gevallen kunnen worden geïdentificeerd waarvan eerder is vastgesteld dat sprake was van misbruik of oneigenlijk gebruik. In de Nissewaardcasus wordt de nauwkeurigheid vooral beoordeeld door te kijken hoeveel gevallen van misbruik of oneigenlijk gebruik in de top-10 en top-100 van het testgedeelte staan. 2.3

Aandachtspunten bij het gebruik van AI-algoritmen

Als input voor de technisch-inhoudelijke evaluatie is er een korte analyse gedaan van de zogenaamde ‘aandachtspunten’ die gelden bij het gebruik van een AIalgoritme in een proces als risicogerichte handhaving. Hierbij is er gekeken naar verschillende bronnen zoals nieuwsartikelen. Zoals aangegeven in Sectie 1.2, wordt er zowel in de wetenschap als in andere delen van de maatschappij een debat gevoerd over het gebruik van dergelijke algoritmen. We merken hierbij op dat deze aandachtspunten aan verandering onderhevig is, vanwege de actualiteit hiervan in de wetenschap en maatschappij. De meeste aandachtspunten zijn direct gerelateerd aan de uitlegbaarheid en doeltreffendheid alsmede de publieksvoorlichting. Aandachtspunten bevatten o.a. zorgen over het gebruik van persoonsgegevens, het trainen op eerder bekende gevallen, het aantal opgespoorde fraudeurs met de nieuwe methodiek, de begrijpelijkheid van het algoritme voor de burger en de ondoorzichtigheid en controleerbaarheid van opsporingssystemen zoals SyRI [8]. Hierbij wordt in de

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

14 / 44

media dus expliciet de link gemaakt met SyRI en de uitgebreide bespreking van dát systeem tijdens de rechtszaak over de legitimiteit van dat systeem [8, 21]. SyRI werd, tot het gebruik ervan werd aangevochten, door de overheid gebruikt voor de bestrijding van fraude op het terrein van uitkeringen, toeslagen en belastingen. De in die rechtszaak genoemde technische aantijgingen richtten zich op de kwaliteit en accuraatheid van het algoritme, disproportioneel datagebruik, strijdigheid met het beginsel van dataminimalisatie zoals benoemd in de AVG, gebrek aan informatie over het gebruik van risicoprofielen en een risicomodel, het onvoldoende inzichtelijk en controleerbaar zijn van SyRI en risico op uitsluiting en discriminatie. Een aantal van deze argumenten is ook te vinden in de door de media genoemde aandachtspunten voor Nissewaard. In vergelijking tussen SyRI en het AI-algoritme van TDL, gebruikt Nissewaard alleen de data die ten behoeve van het beoordelen van de rechtmatigheid van bijstandsuitkeringen noodzakelijk is en die reeds ten behoeve van dat proces wordt verzameld en verwerkt. Bovendien is de inzet van het algoritme in geval van Nissewaard beperkt tot het beoordelen van risico’s van misbruik en oneigenlijk gebruik van verstrekte bijstandsuitkeringen, en worden daarover geen automatische besluiten genomen.

Tenslotte is er technische documentatie aanwezig en heeft zowel Nissewaard als TDL daarin expliciet rekening gehouden met de uitlegbaarheid van de resultaten van het AI-algoritme. Ook uit de toeslagenaffaire zijn lessen te trekken [12]. De belangrijkste aandachtspunten die in de toeslagenaffaire worden genoemd zijn overigens organisatorisch van aard. Een probleem van het toeslagensysteem was dat mensen die door het daarbij gebruikte algoritme werden geoormerkt als potentiële fraudeur, daar ook niet meer vanaf kwamen, ook als dit aantoonbaar niet het geval was. Dit is in strijd met de AVG, waarin staat dat men het recht heeft om correcties aan te (laten) brengen als de gegevens onjuist zijn. Een technisch aandachtspunt in de toeslagenaffaire, en daarin schuilt enige overeenkomst met de Nissewaardcasus, is dat er gebruik gemaakt is van een risicoclassificatiemodel. Het algoritme dat voor het toeslagensysteem werd ingezet gebruikte daarvoor indicatoren, die vanuit het voorkomen van bias ongewenst zijn, zoals (dubbele) nationaliteit. De indicator “nationaliteit” wordt niet gebruikt in de dataset voor het trainen en toepassen van het AI-algoritme in de Nissewaard-casus. De indicatoren die hier wel zijn gebruikt staan vermeld in [1].

Door de tijdens het onderzoek naar voren komende problemen met betrekking tot de robuustheid van het algoritme (zie Hoofdstuk 4 voor meer details), heeft er geen verder technisch onderzoek plaatsgevonden in de Nissewaard-casus omtrent het risico op uitsluiting en discriminatie.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

3

15 / 44

Aanpak van de technisch-inhoudelijk evaluatie De technisch-inhoudelijke evaluatie is uitgevoerd door TNO-experts, met ondersteuning door de partijen Nissewaard en TDL. Om de kwaliteit van het onderzoek te kunnen waarborgen is het met het onderzoek belaste TNOprojectteam bijgestaan door een wetenschappelijke klankbordgroep (samengesteld uit experts van TNO en CBS op het gebied van betrouwbare AI) en een gemeentelijke klankbordgroep (met daarin VNG en vertegenwoordigers van enkele andere gemeenten naast Nissewaard). Ook is met het Ministerie van Justitie en Veiligheid (MinJenV) het toepassen van de door hen opgestelde richtlijnen t.a.v. betrouwbare algoritmen besproken. De aanpak van de technisch-inhoudelijke evaluatie bestaat uit drie stappen; zie Figuur 3 voor een schets van deze drie stappen. In het onderzoek is een vragenlijst ontwikkeld gebaseerd op de richtlijnen van het MinJenV en de EC (Sectie 3.1). Deze vragenlijst is gebruikt om de betrokken partijen TDL en Nissewaard te interviewen (Sectie 3.2). Vervolgens is een technische analyse van de data en code gedaan (Sectie 3.3) op basis van twee gekozen evaluatieaspecten “auditeerbaarheid” en “doeltreffendheid en inbedding”. Deze evaluatieaspecten zijn gekozen aan de hand van de interviewresultaten en advies van de bovengenoemde klankbordgroepen.

Figuur 3: Overzicht van de driedelige aanpak van de technisch-inhoudelijke evaluatie.

3.1

Combineren van richtlijnen en opstellen van vragenlijst

Het door TNO gehanteerde ethische kader is, zoals eerder aangegeven, gebaseerd op de recent gepubliceerde richtlijnen van de EC en van MinJenV (inclusief de herziene versie verschenen in maart 2021), zie ook [7, 9, 18]. Dit kader heeft TNO in samenspraak met Nissewaard vastgesteld. Deze richtlijnen geven handvatten voor de ontwikkeling en het gebruik van algoritmen door de overheid en ten behoeve van de publieksvoorlichting. Om de exacte scope van de technische aspecten van de evaluatie te bepalen zijn de richtlijnen vergeleken in de context van de Nissewaard-casus. De vergelijking is uitgevoerd op hoofdlijnen omtrent de doelgroep, focus en toepasbaarheid en op detailniveau aan de hand van de onderwerpen in de vragenlijsten van de richtlijnen. Vervolgens hebben we de keuze gemaakt in samenwerking met de belanghebbenden en de klankbordgroepen om ze deels te combineren tot het ethische kader, dat de basis vormt voor de vragenlijst voor de interviews en de verdere technische evaluatie. We komen hierop terug in Sectie 4.1.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

3.2

16 / 44

Interviews

Op basis van de opgestelde vragenlijst zijn interviews gehouden met vertegenwoordigers van zowel TDL als Nissewaard. In Sectie 4.2 gaan we verder in op de uitkomsten van de interviews Zoals hierboven genoemd is op basis van o.a. de interview-uitkomsten gekozen om de technische evaluatie te richten op de evaluatieaspecten “auditeerbaarheid” en “doeltreffendheid en inbedding”. Auditeerbaarheid betreft de mate waarin het mogelijk is om het algoritme te toetsen aan inhoudelijke en procedurele eisen. Dit aspect is relevant, omdat het een voorwaarde is om de andere evaluatieaspecten zoals uitlegbaarheid te kunnen beoordelen. Doeltreffendheid en inbedding betreffen de mate waarin het algoritme correct werkt en de wijze waarop het operationeel wordt ingezet. Deze aspecten zijn relevant om de bruikbaarheid van het algoritme te kunnen vaststellen. Pas als de bruikbaarheid van voldoende niveau is, zijn de overige evaluatieaspecten relevant om verder te onderzoeken. De evaluatieaspecten en de referentie naar de specifieke vragen of statements vanuit de vragenlijst zijn te vinden in Tabel 1. Meer toelichting over de evaluatieaspecten en de gehanteerde analyse-aanpak zijn beschreven in Sectie 3.3. Evaluatieaspect Auditeerbaarheid: Herhaalbaarheid

Specifieke vragen vanuit de Richtlijnen • Kan men de code van het model hergebruiken en precies nadoen hoe de eerste modelresultaten waren, mits de data uit die tijd kunnen en mogen worden gebruikt?

Auditeerbaarheid: Reproduceerbaarheid Auditeerbaarheid: Versiebeheer

•

Zijn de resultaten van het algoritme reproduceerbaar?

• •

Auditeerbaarheid: Technische documentatie

•

Is er gezorgd voor versiebeheer op de code? Zijn alle wijzigingen aan de code bijgehouden, waardoor het mogelijk is om terug te gaan naar de eerste versie van het model? Is de gebruikte data en de relevantie ervan gedocumenteerd? Tevens is hier van belang het documenteren/annoteren in de code wat een routine doet of moet doen om een goede code-review uit te kunnen laten voeren door b.v. een andere analist: o Zijn alle stappen in de analyse gecodeerd? o Is ervoor gezorgd dat er geen handmatige acties nodig zijn? Verandering grootte van en tijdsinvloed op data en de invloed op de uitkomsten. o Wordt het algoritme getest wanneer er sprake is van 1 of meerdere van de onderstaande punten? 1. Verandering van data 2. Afname van de data 3. Toename van de data 4. Verandering van de dataverdeling Wordt het algoritme getest op basis van testcases/scenario’s? Zijn alle scripts, waar mogelijk, afzonderlijk van elkaar getest? Zijn alle scripts in combinatie met elkaar getest? Is dit een standaard onderdeel van de modelontwikkeling? Kunnen de modules op correcte functionaliteit zowel afzonderlijk als in combinatie getest worden? Is in de technische documentatie beschreven welke methode(s) is/zijn gebruikt? Is de gehanteerde analysemethode uitgelegd?

•

Doeltreffendheid en inbedding: Robuustheid

•

Doeltreffendheid en inbedding: Testprocedures

• • • • •

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

• Doeltreffendheid en inbedding: Validatiemethoden

• • • •

Doeltreffendheid en inbedding: Parametrisering

• • •

17 / 44

Is de nauwkeurigheid van de analysemethode gemeten en beschreven? Is er een evaluatiecyclus in plaats gezet om risico’s en maatregelen te evalueren? Is samen bepaald met de materiedeskundigen hoe de voorspelkracht van het model beoordeeld gaat worden? Met welke metrieken en bijbehorende drempelwaarden? Wanneer is het model goed genoeg? Zijn false positives bijvoorbeeld minder erg dan false negatives, of is het beide even belangrijk? Hoe kunnen we dit kwantificeren? De nauwkeurigheid van de analysemethode is gemeten en beschreven. Is de wijze waarop parametrisering tot stand is gekomen beschreven? Is vastgelegd welke parameters gebruikt zijn? Is geanalyseerd en beschreven wat de gevolgen zijn van een andere parameterkeuze voor de resultaten?

Tabel 1: Evaluatieaspecten en verwijzing naar de specifieke vragen t.a.v. auditeerbaarheid en doeltreffendheid en inbedding, vanuit de richtlijnen van Ministerie van Justitie en Veiligheid [7, 18].

3.3

Technische analyse van data, code en uitkomsten

TDL en Nissewaard hebben voor dit onderzoek de data en code van het AIalgoritme gedeeld met TNO. In de technische analyse die TNO hiermee heeft uitgevoerd, zijn een aantal onderwerpen en specifieke vragen afgeleid uit de richtlijnen van MinJenV (zie Sectie 4.1) en deze zijn vervolgens beantwoord. De resultaten hiervan zijn te vinden in Sectie 4.2. Auditeerbaarheid: Auditeerbaarheid van een algoritme betreft de mate waarin het mogelijk is om te controleren of het algoritme aantoonbaar voldoet aan inhoudelijke en procedurele eisen. De werkwijze om auditeerbaarheid te onderzoeken is gebaseerd op data- en code-inspectie: • herhaalbaarheid: hierbij wordt onderzocht of bij het meermaals draaien van de code op dezelfde data, in dit geval door TDL, steeds dezelfde uitkomsten worden geproduceerd. • reproduceerbaarheid: hierbij wordt geverifieerd of de uitkomsten of suggesties van TDL kunnen worden gereproduceerd door een andere partij, in dit geval TNO. • versiebeheer: voor versiebeheer is een inkijk gegeven door TDL en zijn vervolgvragen geformuleerd aan de hand van de richtlijnen en TNOexpertise. • technische documentatie: Voor technische documentatie is zowel de documentatie in de code als de documentatie over de code geïnspecteerd en beoordeeld.

Doeltreffendheid en inbedding: Onder doeltreffendheid wordt verstaan de mate waarin door het algoritme aangeduide (niet-)risicovolle cliënten, overeenkomen met de daadwerkelijk geconstateerde risico’s waarvan na menselijke controle is vastgesteld dat oneigenlijk gebruik of misbruik (niet) heeft plaats gevonden. De focus van het onderzoek ten aanzien van doeltreffendheid van het algoritme in haar inbedding is gelegd op de robuustheid van de uitkomsten van het algoritme. Deze robuustheid is hoog als een algoritme dezelfde kwaliteit behoudt bij veranderingen in de invoerdata en niet afhankelijk is van de toevallig getrokken dataverzameling (sampling) waarop het algoritme wordt getraind. Bij het door TDL ontwikkelde algoritme wordt bij het trainen gebruik gemaakt van sampling van data. Beiden zijn bedoeld om het algoritme robuust te maken, maar introduceren mogelijk ook afhankelijkheid van de specifieke samenstelling van de voor training getrokken dataverzameling. Hierdoor kan ook de opgeleverde uitkomsten, in dit geval een

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

18 / 44

rangschikking van cliënten op basis van risicoscores, worden beïnvloed door de willekeurige trekkingen in het leeralgoritme. Andere onderzochte aspecten, die gerelateerd zijn aan de data en code kwaliteit, zijn de testprocedures, validatiemethoden en parametrisering: • Robuustheid: Het onderzoek naar robuustheid heeft als doel om aan te geven in welke mate de suggesties van het algoritme afhankelijk zijn van de willekeurige trekkingen door het algoritme. Meer specifiek is dit onderzocht door de analyse meerdere keren op dezelfde data uit te voeren en de suggesties van het algoritme te bestuderen die bepaald worden door de rangschikking van de risicoscores. Bij iedere herhaling krijgt elke cliënt van de dataset een ranking, waarbij de cliënt met de hoogste risicoscore een ranking van 1 krijgt en de cliënt met de één na hoogste risicoscore een ranking van 2, enzovoort. Een robuust algoritme geeft een cliënt over meerdere herhalingen een soortgelijke ranking: een cliënt krijgt bijvoorbeeld elke herhaling een ranking in de top-10 (b.v. eerst ranking van 3, dan van 4, daarna van 3, enz.). Een niet-robuuste algoritme geeft een cliënt sterk verschillende rankings (b.v. een cliënt krijgt eerst een ranking van 3, maar bij de volgende herhaling een ranking van 1201, en daarna een ranking van 272, enz.).

Om te onderzoeken of het algoritme robuust genoeg is om op basis van één uitvoering suggesties te doen voor vervolgonderzoek is gekeken naar drie aspecten: (1) hoe vaak komen de cliënten in de top-10 van de eerste analyse nogmaals in de top-10 van de 100 herhalingen, (2) de gemiddelde ranking per cliënt over 100 herhalingen en (3) de spreiding van de ranking per cliënt over 100 herhalingen. De nadruk is gelegd op de robuustheid van de top-10, omdat in de huidige inbedding Nissewaard voor de cliënten in deze top-10 een vervolgonderzoek kan/zal opstarten. • Testprocedures: Er heeft inspectie van de door TDL uitgevoerde testprocedures plaatsgevonden om inzicht te verkrijgen in hoe de doeltreffendheid in de code van het algoritme wordt gemeten. • Validatiemethoden: De door TDL en Nissewaard gebruikte validatiemethoden zijn onderzocht om inzicht te verkrijgen in hoe de doeltreffendheid van het algoritme in zijn inbedding wordt gemeten. • Parametrisering: Aan de hand van code-inspectie is de procedure om de parameters van het model te kiezen onderzocht.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

4

19 / 44

Resultaten van de technisch-inhoudelijke evaluatie In dit hoofdstuk presenteren we de resultaten van de technisch-inhoudelijke evaluatie. 4.1

Resultaten van het combineren van richtlijnen

De richtlijnen van MinJenV [7, 18] geven handvatten voor de ontwikkeling en het gebruik van algoritmen door de overheid en ten behoeve van de publieksvoorlichting. Deze richtlijnen zijn als kamerstuk openbaar gesteld. De richtlijnen bevatten de volgende onderwerpen: • Bewustzijn en inperking van risico’s; • Uitlegbaarheid; • Gegevensherkenning; • Auditeerbaarheid; • Verantwoording; • Validatie; • Toetsbaarheid; • Publieksvoorlichting. De richtlijnen van EC [9] geven een kader voor het bewerkstelligen van betrouwbare AI (oftewel: trustworthy AI). Deze richtlijnen zijn gebaseerd op vier ethische beginselen: (1) respect voor menselijke autonomie, (2) preventie van schade, (3) rechtvaardigheid en (4) verantwoording. Uit deze beginselen zijn zeven vereisten geformuleerd: • Menselijke controle en menselijk toezicht; • Technische robuustheid en veiligheid; • Privacy en data governance; • Transparantie; • Diversiteit, non-discriminatie en rechtvaardigheid; • Maatschappelijk en milieuwelzijn; • Verantwoording. In het formuleren van de vragenlijst is, in de vergelijking tussen beide richtlijnen, gekozen om uit te gaan van de richtlijnen van MinJenV, aangevuld met een aantal vragen uit de richtlijnen van EC.

De belangrijkste redenen voor de keuze van de richtlijnen van MinJenV zijn als volgt: (1) De richtlijnen MinJenV sluiten beter aan bij de gekozen focus van de Nissewaard-casus dan de EC-richtlijnen. Een aantal verschillende ECrichtlijnen vallen buiten de scope van de technische evaluatie van dit project. Denk hierbij aan richtlijnen met betrekking tot milieu-welzijn en security die direct onder de AVG vallen. (2) De richtlijnen van MinJenV richten zich direct op de doelgroep “overheid”, waar gemeenten zoals Nissewaard onder vallen. De richtlijnen van de EC zijn daarentegen eerder gericht op organisaties buiten de publieke sector. (3) De richtlijnen van MinJenV hebben vragen omtrent technische aspecten welke meer verfijnd zijn dan die van de EC-richtlijnen. Dit sluit aan bij ons doel van een technische evaluatie op het gebruik van het algoritme door Nissewaard. (4) Uit analyse van recentelijke rechtelijke uitspraken, waaronder de reeds genoemde uitspraak in zake SyRI, blijkt dat Nederlandse rechters eerder refereren aan de ethische uitgangspunten zoals verwoord in de richtlijnen van MinJenV dan aan de richtlijnen van de EC.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

20 / 44

De volledige vragenlijst is te vinden in Bijlage 1. Tabel 2 geeft een overzicht van de richtlijnen van MinJenV en EC en de link naar de gekozen technische evaluatieaspecten.

Tabel 2: De relatie tussen de evaluatieaspecten uit de technische analyse en onderdelen van de richtlijnen waarop de interviews zijn gebaseerd. In de onderste rij van de tabel is te zien dat een aantal richtlijnen geheel buiten de scope van de projectafbakening vallen. Verder benadrukken we dat de onderdelen van bepaalde richtlijnen zoals “uitlegbaarheid” zijn meegenomen, maar dat uitlegbaarheid niet volledig onder het onderzoeksgebied “auditeerbaarheid” valt.

4.2

Resultaten vanuit de interviews en technische analyse

De eerste inzichten per ethische richtlijn zijn verkregen via meerdere interviews met Nissewaard en TDL. De volledige vragenlijst te vinden in Bijlage 1. De samenvatting van de resultaten van de interviews voor de verschillende richtlijnen zijn te vinden in Bijlage 2. Aanvullend is de technische analyse gedaan. Deze sectie beschrijft de gecombineerde resultaten van de interviews en de technische analyse per gekozen evaluatieaspect. 4.2.1

Auditeerbaarheid

Interviews Uit de interviews met Nissewaard en TDL blijkt dat er op meerdere vlakken aan auditeerbaarheid is gewerkt. Zo is oorspronkelijk de samenwerking tussen Nissewaard en TDL gestart met een data-onderzoek (genaamd de ‘data deep dive’), waarbij onder meer gekeken werd naar keuzes omtrent de te gebruiken data en analysemethode. Ook is aandacht besteed aan documentatie, periodieke evaluatie en de uitlegbaarheid van het algoritme. Belangrijke interviewinzichten voor auditeerbaarheid zijn: Auditeerbaarheid – Herhaalbaarheid, Reproduceerbaarheid en Versiebeheer: • Het algoritme is gebaseerd op het “rule-fit” model dat beschreven is in [16]. De specifieke implementatie en gemaakte keuzes zijn niet openbaar beschikbaar gemaakt door TDL, maar deze zijn wel beschikbaar in zodanige vorm dat een derde partij deze kan evalueren. • Ook is aangegeven dat de uitkomsten van het algoritme reproduceerbaar zouden moeten zijn en versiebeheer geregeld is. Auditeerbaarheid – Technische documentatie:

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

•

•

21 / 44

Het gebruik en keuze van databronnen voor training en testen zijn gedocumenteerd. Zo is in de technische documentatie aangegeven welke variabelen na afwegingen zijn meegenomen. Deze specifieke afwegingen zijn overigens niet opgenomen in deze technische documentatie. Er is aangegeven en gedocumenteerd dat er in de ontwikkeling van het algoritme specifiek is gekozen voor een meer uitlegbaar en transparant algoritme, vergeleken met een algoritme dat mogelijk accurater maar minder uitlegbaar is.

Technische analyse Auditeerbaarheid – Herhaalbaarheid, Reproduceerbaarheid: Uit onze technische analyse blijkt dat het algoritme van TDL niet tot reproduceerbare noch herhaalbare resultaten leidt. • Context: het algoritme van TDL is niet deterministisch, dat wil zeggen dat er elementen van willekeurigheid (ook wel: randomness) in het algoritme zitten. Dit hoeft op zichzelf geen probleem te zijn en komt vaak voor bij bepaalde typen AI-algoritmen. Echter, voor reproduceerbaarheid van een algoritme is het van belang dat de willekeurige elementen opnieuw “op exact dezelfde manier willekeurig” kunnen worden uitgevoerd. Dan kan bijvoorbeeld de gebruiker van een algoritme-toepassing altijd exact herhalen hoe een bepaalde uitkomst is berekend en zich verantwoorden. • Bevinding: deze mogelijkheid om de willekeurigheid van een analyse te herhalen is niet uitgevoerd en niet opgeslagen door TDL.3 Om deze reden voldoet het algoritme van TDL niet aan de aspecten herhaalbaarheid (oftewel: reproduceren van uitkomsten met dezelfde data en code door dezelfde gebruiker) en reproduceerbaarheid (oftewel: reproduceren van uitkomsten met dezelfde data en code door een andere gebruiker).

• De code-review heeft zwakheden blootgelegd ten aanzien van de consistentie, de noodzaak tot handmatige handelingen en leesbaarheid: De configuratie is niet volledig beschreven aan het begin van het script, maar staat verspreid over de code. • Handmatige handelingen, diep in de code, zijn nodig om verschillende functionaliteiten van het script te kunnen uitvoeren. • De code is niet gemakkelijk leesbaar voor software-ontwikkelaars of datawetenschappers (oftewel: data scientists) die niet bij de totstandkoming waren betrokken. Hierbij speelt o.a. dat geen best coding practices zijn toegepast, zoals consistente en duidelijke naamgeving van dataelementen. Auditeerbaarheid – Versiebeheer: • Een inkijk in versiebeheer bij TDL heeft laten zien dat versiebeheer is geregeld door gebruik te maken van GitHub. Zo worden aanpassingen aan de code bijgehouden, inclusief datum en comments. • TDL heeft aangegeven dat zij databestanden, testresultaten, parameters en uitkomsten opslaat voor elke ‘data-oplevering’ aan Nissewaard. Auditeerbaarheid – Technische documentatie: Uit de code-review is gebleken dat de technische documentatie niet voldoende gedetailleerd is voor de behoeften van de softwarebeheerder/gebruiker en softwareontwikkelaars. • Dit is een belemmering om overzicht te krijgen van de code en zijn functionaliteiten. Bovendien vermindert dit de auditeerbaarheid van het algoritme.

Meer toelichting is te vinden in de aanbevelingen in Hoofdstuk 5.

3

Voor de technische lezer, een veelgebruikte manier om de willekeurigheid vast te leggen is door gebruik en opslaan van een “seed” voor de “random number generator”.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

4.2.2

22 / 44

Doeltreffendheid en Inbedding

Interviews Uit de interviews is gebleken dat in de aanpak van Nissewaard veel aandacht is besteed aan de inbedding van het algoritme en overleg met de verschillende belanghebbenden. Bijstandsontvangers zijn daarbij vertegenwoordigd door de Landelijke Cliëntenraad. Er lijkt tot nu toe echter minder aandacht besteed te zijn van het meten van de doeltreffendheid en de validiteit van het algoritme zelf. Belangrijke bevindingen die naar aanleiding van de interviews zijn geconstateerd met betrekking tot over de doeltreffendheid en inbedding zijn hieronder beknopt te vinden, zie Bijlage 2 voor meer toelichting. Inbedding: • Ter voorbereiding van de algoritmetoepassing heeft Nissewaard vooronderzoek gedaan bij o.a. andere gemeenten, de onafhankelijke functionaris gegevensbescherming van Nissewaard en Stimulansz (een stichting die als kennis- en adviespartner fungeert van gemeenten). In samenspraak met de verschillende belanghebbenden is daarna voor de huidige inbedding gekozen. • Er is veelvuldig gecommuniceerd met de gemeenteraad over de toepassing van het algoritme. Het model is in 2019 op congressen gepresenteerd aan andere gemeenten (zoals het jaarlijkse congres Overheid 360° [23]) en was onderwerp van onderzoek op het Transparency Lab, georganiseerd door ministerie BZK, zie [22].

Het model is verder door de Universiteit Utrecht aan een scan van De Ethische Data Assistent (DEDA) onderworpen [20]. • De gebruikers van de uitkomsten van het algoritme, de sociaal rechercheurs bij Nissewaard, zijn meegenomen in het proces van de ontwikkeling en evaluatie van het algoritme. Bovendien ontvangen zij jaarlijks een opfriscursus rondom het algoritme. • Het algoritme is een aanvullend instrument om misbruik en oneigenlijk gebruik van bijstand tegen te gaan. De uitkomsten van het AI-model worden alleen gebruikt als een suggestie, en de top-10 resultaten worden onderzocht door rechercheurs van Nissewaard. Suggesties van het algoritme maken 10-15% van het werk van de sociaal rechercheurs uit; het merendeel bestaat uit het nalopen van meldingen (van b.v. een buurman die verdacht gedrag opmerkt). De gehele ranking wordt overigens wel aan Nissewaard geleverd door TDL. Nissewaard geeft aan dat niet is gekozen voor tussenvormen van top-50 of top-100, wegens beperkte capaciteit van de sociaal rechercheurs. • Bij elke data-oplevering van Nissewaard aan TDL wordt door TDLonderzoek gedaan naar veranderingen in de aangeleverde data in termen van koppelbaarheid, variatie, vulling en bias (voor elke variabele). Afwijkingen worden besproken met de gemeente.

• Het AI-algoritme van TDL leert onderscheid te maken tussen cliënten waarvan is vastgesteld dat sprake was van bijstandsmisbruik of oneigenlijk gebruik en alle overige cliënten. Informatie over suggesties van het algoritme die na controle toch geen misbruik of oneigenlijk gebruik betreffen (zogeheten “valspositieven”) wordt niet meegenomen in het (her)trainen van het algoritme. Doeltreffendheid – Robuustheid: • TDL geeft aan dat voor robuustheid bij elke ontvangst van nieuwe data, het model en de uitkomsten worden gecontroleerd op beïnvloeding door enige veranderingen in de data. Waar nodig wordt het algoritme verbeterd, aanpassingen worden vastgelegd, en ook onverwachte resultaten worden door TDL vastgelegd en besproken in een evaluatiesessie met Nissewaard.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

23 / 44

Doeltreffendheid – Testprocedures: • De nauwkeurigheid van het algoritme wordt geanalyseerd door TDL door middel van een “training en test split” zoals omschreven in Sectie 2.2. In de code voor de test-procedure wordt er één splitsing gemaakt tussen training (75% van de data) en testing (25% van de data). • Op basis van een AI-model getraind op het training-gedeelte van de data worden voorspellingen gedaan voor het test-gedeelte van de data. De voorspellingen worden vooral getoetst aan de hoeveelheid suggesties in de top-10 en top-100 ook bewezen gevallen betreffen. Voor de meer technische lezer: het AI-model wordt verder geëvalueerd met o.a. een ROC curve, Importance curve en de Mean Squared Error [1]. Doeltreffendheid – Validatie: • De doeltreffendheid van het algoritme in het vigerende toezichtproces wordt vergeleken met de oorspronkelijke invulling van het handhavingsproces. Daarbij diende bijna iedereen die bijstand ontvangt bij een jaarlijkse controle verklaringen af te geven en werd iedere uitkeringsontvanger onderzocht. In de huidige opzet van het proces zijn deze jaarlijkse controles vervangen door risicogerichte handhaving. Dit brengt aanzienlijk minder lasten bij de bijstandsontvangers teweeg. De beschikbare controlecapaciteit wordt nu ingezet voor een diepgaandere controle op een aanzienlijk kleiner aantal cliënten.