Eindrapport TNO

• Door Nissewaard is aangegeven dat de doeltreffendheid van het algoritme in de inbedding van het handhavingsproces fluctueert en rond de 2 à 3 successen in de top-10 ligt. Tot dusver werd door Nissewaard de validiteit van het algoritme vooral afgezet tegen de vorige invulling van het handhavingsproces, waarbij ruim 2300 huishoudens een vervolgonderzoek kregen dat minder diepgaand was. Hierbij wordt bij het bepalen van de validiteit van het algoritme dus vooral gekeken naar de effecten als gevolg van de verandering om in plaats van iedere bijstandsontvanger een kleine selectie te onderzoeken. • Daarnaast is in het proces niet afgesproken wat de drempelwaarden van het algoritme moeten zijn en of bijvoorbeeld “vals positieven” (foute suggesties) minder erg zijn dan “valsnegatieven” (gemiste suggesties). • De analysemethode waarmee de nauwkeurigheid van het algoritme is vastgesteld is nader beschreven in de technische documentatie [1]. Doeltreffendheid – parametrisering: • In de parametrisering is na de keuze voor de trainingsgegevens een rule-fit AI-model getraind, waarbij de parameters (diepte van de boom, aantal bomen en de zogeheten lambda-parameter in het AI-model) zijn afgestemd. Dit is beschreven in de technische documentatie [1], zie ook [17].

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

24 / 44

Technische analyse Robuustheid: Uit de technische analyse blijkt dat de mate van robuustheid van het algoritme van TDL laag is. Omdat de resultaten van dit algoritme niet buiten de TDL-setting kunnen worden gereproduceerd, zijn de voor het meten van robuustheid noodzakelijke herhalingen uitgevoerd bij en door TDL4. Het gebrek aan robuustheid van het algoritme maakt dat de doeltreffendheid van het risicogestuurd handhaven niet kan worden bepaald op basis van eenmalige toepassing van het algoritme. Hieronder staan de resultaten van experimenten op basis van 100 herhaalde toepassingen van de training- en opleverprocedure.

Figuur 4: De robuustheid van de uitkomsten in de huidige inbedding is aangegeven aan de hand van de cliënten die in de eerste herhaling zouden worden gesuggereerd voor verder onderzoek. Van deze cliënten is aangeduid hoe vaak ze zouden worden gesuggereerd aan de hand van dezelfde data en code in de 100 herhalingen. Dit geeft aan hoe vaak de top-10 cliënten van de eerste herhaling ook voorkomen in de top-10 van de andere 99 herhalingen.

4 De specificaties om deze herhalingen te reproduceren zijn als volgt opgegeven door TDL.

•

Computervereisten: Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz (10 processors), 48 GB RAM en 64-bit Operating System.

•

Data-versie: “40129 Nissewaard Oplevering 2021”, dat is de data van 24 februari 2021.

•

Code-versie: 8 januari 2021.

•

Software-versie: R version 3.6.2, versies van R-packages zijn ook bekend.

•

Oplevering peildatum: 22-12-2020.

•

Seed: 12345.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

25 / 44

Figuur 5: De robuustheid van de uitkomsten is aangegeven aan de hand van de gemiddelde ranking en de verdeling van de rankings per client met de doorgetrokken zwarte lijn. De banden geven hier een standaarddeviatie aan boven en onder het gemiddelde van honderd herhalingen. Waar de ondergrens een waarde onder nul bevat, is hier gekozen om deze als nul te illustreren, gegeven dat een negatieve ranking hier niet mogelijk is. Met een stippellijn is een benchmark afgebeeld van een ideale nietwillekeurige ranking, die elke herhaling consistent dezelfde ranking geeft per client.

Interpretatie van de figuren: • Figuur 4 geeft een intuïtief beeld over de robuustheid van de top-10 suggesties in de context van de huidige inbedding van het algoritme. In deze huidige inbedding geeft TDL aan Nissewaard een ranking van cliënten gebaseerd op de eerste uitvoering van het algoritme op de data. Dit is ook weergeven in het staafdiagram in Figuur 4, waar de verticale y-as de top-10 cliënten aanduidt die op basis van de eerste ranking voor vervolgonderzoek worden gesuggereerd. De horizontale staven geven aan hoe vaak de cliënten in de eerste top-10 van alle 100 herhalingen bij de top-10 suggesties toebehoren. We zien dat de meeste cliënten in de eerste top-10 minder dan 10 keer in de top-10 voorkomen in de 100 herhalingen en dat niet één cliënt in alle 100 herhalingen in de top-10 zit. Voor risicogestuurd handhaven op basis van één uitvoering is robuustheid belangrijk. Hoge maximale robuustheid zou zich in Figuur 4 uiten met frequenties van de eerste top-10 dichtbij 100. • Figuur 5 geeft inzicht in de robuustheid van het algoritme zonder direct de huidige inbedding in acht te nemen, waar suggesties op basis van één uitvoering worden gegeven.

De y-as geeft de gemiddelde ranking over 100 herhalingen weer en de x-as geeft aan dat we dit gemiddelde laten zien van de top-10 cliënten met de laagste gemiddelde ranking over 100 herhalingen, oftewel: de top-10 cliënten die door het algoritme het vaakst voor vervolgonderzoek zouden zijn gesuggereerd vanwege hun risicoscore. De doorgetrokken lijn laat zien dat de cliënten met de twee laagst gemiddelde rankings een gemiddelde hebben van 32 en 41. De verticale zwarte lijnen in Figuur 5 geven per cliënt de spreiding van de ranking door middel van één standaarddeviatie boven en onder het gemiddelde. De standaarddeviaties per cliënt zijn hoog, waarvan de kleinste standaarddeviatie 41 rankings betreft. De stippellijn van (0,0) tot (10,10) is het resultaat van een algoritme dat altijd dezelfde resultaten oplevert. Dit is als benchmark toegevoegd om de robuustheid van het algoritme van TDL te vergelijken hiermee. De gemiddelde ranking van de top-10 die duidelijk boven een ranking van 10 liggen en de hoge standaarddeviaties geven aan

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

•

26 / 44

dat de rankings van de top-10 cliënten substantieel variëren tussen herhalingen. Bevinding: de 100 herhalingen van het algoritme hebben laten zien dat de top-10 van één oplevering niet robuust is. Zo laat Figuur 4 zien dat het veel voorkomt dat een suggestie in de top-10 in de ene herhaling niet voorkomt in de top-10 bij een andere herhaling. In de huidige inbedding wordt een cliënt die op basis van één analyse als risicovol geschat, vervolgens verder onderzocht door de sociaal rechercheur. Op dezelfde data met dezelfde code zou dezelfde cliënt in een herhaling niet als risicovol worden geschat. Ook buiten de huidige inbedding van één oplevering geeft het AI-algoritme geen stabiele suggestie voor vervolgonderzoek. Deze onzekerheid is niet verder onderzocht. TDL vangt deze willekeurigheid ook niet af bij het testen van de nauwkeurigheid van het algoritme. Samengevat zijn de door het AIalgoritme aangeduide risico’s voor een belangrijk deel willekeurig bepaald, wat ongewenst is ten aanzien van robuustheid.

Testprocedures en validatiemethoden: • De code laat zien dat er geen tests worden gedaan om de correcte functionaliteit te waarborgen, zowel bij het afzonderlijk runnen van de delen in de code als in combinatie. Het algoritme is wel getest aan de hand van de testdata, maar zoals aangegeven is dit niet herhaaldelijk op dezelfde data gebeurd voorafgaand aan een oplevering. • In de testprocedures van het algoritme wordt geen rekening gehouden met de verhouding tussen cliëntendossiers met en zonder bewezen misbruik of oneigenlijk gebruik tussen training- en testgedeeltes van de data. Met het feit dat enkel één training- en testsplit wordt gedaan kan een onbalans in de verdeling een substantiële invloed hebben op de gemeten nauwkeurigheid. • In de testprocedure van het algoritme wordt in de indeling van de trainingen testset geen rekening gehouden met de tijdsvolgorde in de toepassing van het algoritme. In de risicogestuurde handhaving van Nissewaard wordt informatie van bijstandsgerechtigden die over een langere periode in het verleden is verzameld gebruikt om het risico van huidige bijstandsontvangers te voorspellen. Bij het samenstellen van de train- en testset wordt de tijdsdimensie buiten beschouwing gelaten. Cliënten worden willekeurig toegedeeld aan de training- en testset.

Het kan dus gemakkelijk voorkomen dat verdeling van data over de training- en testset scheef is ten aanzien van de periode die door de data wordt beschreven. Parametrisering: • Inspectie in de code heeft laten zien dat in de testprocedure van de code verschillende parameters bekeken kunnen worden, inclusief interacties tussen verschillende parameters. Verschillende waarden voor de parameters worden door TDL handmatig ingevuld midden in het script in plaats van in een configuratiedocument of boven in het script en de resultaten worden manueel vergeleken door middel van prints van de resultaten. Hierdoor is het lastig om met verschillende tests te controleren welke parameters zijn gebruikt. Het afstemmen van de parameters gebeurt per datalevering, waarbij handmatig een aantal parameterkeuzes vergeleken worden. • Een uitgebreide analyse waarbij de invloed op de uitkomsten van een andere parameterkeuze wordt onderzocht is niet inbegrepen in de testprocedure van de code. Zo is niet bekend of een andere parameterkeuze andere suggesties oplevert en op grond waarvan de betreffende parameterinstelling gekozen is.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

5

27 / 44

Conclusies en aanbevelingen TNO heeft een technisch-inhoudelijke evaluatie uitgevoerd van het AI-algoritme dat door Gemeente Nissewaard wordt gebruikt voor het opsporen van misbruik en oneigenlijk gebruik van bijstandsuitkeringen. Dit algoritme is ontwikkeld en geïmplementeerd door Totta Data Lab. In de voorgaande hoofdstukken zijn de globale aanpak, de evaluatiewerkwijze en de evaluatieresultaten gepresenteerd. Hieronder staan de hoofdbevindingen, conclusie en aanbevelingen. 5.1

Hoofdbevindingen

De positieve bevindingen ten aanzien van (de inzet van) het AI-algoritme zijn als volgt: • In het huidige protocol van de Gemeente Nissewaard worden de risicoindicaties die door het AI-algoritme worden aangegeven gecombineerd met andere risico-indicaties, waarbij de door het AI-algoritme aangedragen te onderzoeken dossiers slecht 10-15% van de te onderzoeken populatie bedraagt. Deze risico-indicaties spelen een rol in de selectie van dossiers, maar hebben verder geen sturende invloed op het verder handmatig uitgevoerde toezicht- en handhavingsproces. De mens draagt en neemt vervolgens ook de verantwoordelijkheid voor mogelijke besluiten die uit het toezicht- en handhavingsproces voortvloeien. • Uit interviews is gebleken dat zowel de Gemeente Nissewaard als Totta Data Lab aandacht heeft besteed aan verschillende aspecten van verantwoord gebruik van AI-algoritmen, zoals datagebruik, nondiscriminatie, transparantie, verantwoording, uitlegbaarheid en publieksvoorlichting (beschreven in de richtlijnen). Naast de interviews zijn deze aspecten niet verder onderzocht in de technische analyse van de evaluatie. Op de volgende punten presteert het AI-algoritme onvoldoende: • De auditeerbaarheid van het AI-algoritme is gebrekkig. Dit betekent dat het algoritme in de huidige vorm niet voldoende toetsbaar is aan inhoudelijke en procedurele eisen.

De uitkomsten van het algoritme blijken namelijk noch herhaalbaar noch reproduceerbaar te zijn, omdat er onvoldoende rekening is gehouden met de willekeurigheid die inherent is aan het algoritme. Dit betekent dat bij meerdere runs van dezelfde code met dezelfde instellingen er (significant) andere resultaten uitkomen. Daarnaast is de kwaliteit van de programmeercode niet op peil. Bij het implementeren van het algoritme, maar ook bij het testen van de code, zijn de best practices vanuit software-ontwikkeling onvoldoende toegepast. Evenmin ontbreekt het aan aanvullende documentatie voor softwareontwikkelaars en technische gebruikers van de code. Aspecten zoals reproduceerbaarheid en kwaliteit van de code zijn een voorwaarde voor het kunnen auditeren van andere relevante ethische aspecten, zoals non-discriminatie en transparantie van een algoritme-toepassing. Tijdens de interviews is geconstateerd dat er wel aandacht is besteed aan deze andere aspecten, maar deze konden niet verder worden onderzocht vanwege het gebrek aan auditeerbaarheid. • Het is onvoldoende mogelijk om de doeltreffendheid (ook wel: effectiviteit) van het AI-algoritme vanuit een technisch oogpunt te onderzoeken. De oorzaak is dat de resultaten niet robuust zijn met betrekking tot de aanwezigheid van de willekeurige elementen in het algoritme.

Dit was ook de oorzaak van het bovengenoemde probleem ten aanzien van herhaalbaarheid en reproduceerbaarheid van het algoritme. Uit de

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

28 / 44

evaluatie blijkt dat de met behulp van het AI-algoritme vastgestelde risicoscores, inclusief de berekende volgorde van cliënten op basis van dergelijke risicoscores, niet betrouwbaar zijn. Hierdoor kan Nissewaard de uitkomsten van het algoritme niet met een gepast niveau van zekerheid interpreteren. 5.2

Hoofdconclusie

Ondanks dat Nissewaard en Totta Data Lab duidelijk aandacht hebben besteed aan verschillende aspecten van verantwoord gebruik, is de hoofdconclusie van de technisch-inhoudelijke evaluatie dat het AI-algoritme in de huidige vorm van onvoldoende niveau is om verantwoord te kunnen inzetten. Deze hoofdconclusie wijst uitsluitend op de huidige vorm van dit specifieke AIalgoritme. TNO velt nadrukkelijk geen oordeel over juridische aspecten of op principiële bezwaren tegen de inbedding van een AI-algoritme in het huidige informatiegestuurde handhavingsproces dat door de Gemeente Nissewaard wordt gehanteerd. In de hiernavolgende aanbevelingen stelt TNO een aantal stappen voor, die kunnen leiden tot verbetering van de inzet van het AI-algoritme. 5.3

Aanbevelingen

De aanbevelingen vanuit de technisch-inhoudelijke evaluatie richten zich voornamelijk op het verbeteren van (de inzet van) het AI-algoritme en de bijbehorende code. Aanbevelingen ten aanzien van de methodiek van het AI-algoritme • De situatie van cliënten kan in de loop der tijd veranderen, waardoor mogelijk nieuwe risico’s ontstaan voor misbruik of oneigenlijk gebruik van de bijstand. Op dit moment worden dergelijke statusveranderingen echter niet meegenomen. We raden aan om bij het opnieuw ontwikkelen van een risico-indicatie-algoritme deze statusveranderingen ook mee te nemen. Het is dan ook mogelijk dat het algoritme leert welke soort statusveranderingen en niet leert welke soort cliënten een risico vormen. • In de opzet van de train- en testset van het AI-algoritme raden we aan om: o in de training-test-split ook de tijdsvolgordelijkheid mee te nemen. In toepassing van het algoritme wordt data tot op het heden gebruikt om bewezen gevallen van misbruik en oneigenlijk gebruik in de toekomst (na vervolgonderzoek) te voorspellen. Deze tijdsvolgordelijkheid dient ook in acht te worden genomen in de testprocedure in de code waar de nauwkeurigheid wordt gemeten. o rekening te houden met de verhouding van bewezen en overige gevallen tussen de train- en testset.

Dit kan bijvoorbeeld proportioneel verdeeld worden wat in meer technisch jargon wordt aangeduid als ‘stratified sampling’ van training- en testset. • De onzekerheden ten aanzien van de predictieresultaten dienen gekwantificeerd te worden, bijvoorbeeld door de gemiddelde ranking en de variatie daarin te rapporteren in aanvulling op de resultaten zoals in dit rapport voorgesteld. • Criteria voor het vaststellen van tuning-parameters dienen te worden vastgelegd en de keuze dient te worden opgeslagen. Aanbevelingen ten aanzien van de code van het AI-algoritme • Verbeteren van de testmethodiek.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

•

•

29 / 44

o Het toevoegen van een automatische testbank is noodzakelijk om hiermee de werking van o.a. de functies en stukken codes te verifiëren, maar ook om de correctheid van de programmatuur te waarborgen bij updates van de code. Op dit moment lijken er geen of onvoldoende testen te zijn voor de losse functies/modules alsmede om de gehele code te valideren. o In ieder geval is het van belang ervoor te zorgen dat het algoritme uitgebreid is getest, voordat de code in de praktijk gebruikt wordt. Verbeteren van de software-configuratie. o Meer consistentie is noodzakelijk t.a.v. de configuratie van de code. Dit houdt in dat bijvoorbeeld alle paden die op meerdere plekken in de code gebruikt worden in een aparte configuratiefile dienen te worden bijgehouden. o Verder is het wenselijk om voor de parameters en data-attributen een heldere naamgeving te hanteren en de configuratieparameters in de handleiding voor de technisch gebruiker op te nemen. Verbeteren van de documentatie. o Aanvullende documentatie voor software-beheerder/gebruiker en een documentatie voor software-ontwikkelaar is vereist, naast de bestaande (publieke) technische documentatie die meer bedoeld is voor de eindgebruikers en burgers). o T.a.v.

de documentatie voor software-beheerder/gebruiker gaat het om de exacte beschrijving van het gebruikte model, data, aannames, functies, afhankelijkheden, variabelen en motivatie van de gemaakte keuzes. o T.a.v. de documentatie voor softwareontwikkelaar gaat het om de lijst van gebruikte tools en een beschrijving van de technische omgeving, hoe de code gecompileerd en gebruikt dient te worden (inclusief voorbeelden), hoe de code is en kan worden getest, en een proces/architectuuroverzicht van de code.

Overige aanbevelingen • Doen van pilots waarbij het gebruik van het AI-algoritme vergeleken wordt met de oorspronkelijke manier en andere alternatieve manieren van werken, voordat het AI-algoritme daadwerkelijk in productie wordt genomen. Dit geeft inzicht of het gebruik van het algoritme het minst ingrijpende of minst risicovolle alternatief is om het doel te bereiken (het gaat hierbij om subsidiariteit). • Zodra de bovenstaande aanbevelingen t.a.v. het AI-algoritme en de bijbehorende code zijn opgevolgd, kunnen de andere relevante technische onderzoeksgebieden t.a.v. de betrouwbare AI verder bekeken worden, zoals de exacte keuzes in het gebruik van de data, bias van het algoritme en resultaten en transparantie van het algoritme. • Blijven evalueren van het AI-algoritme in de toekomst, omdat de ontwikkeling rondom de AI-aspecten datagebruik, doeltreffendheid, transparantie en bias en de technische/ethische/juridische kaders eromheen zich blijven ontwikkelen in de tijd.

• Vaststellen wat de eisen en randvoorwaarden zijn waaraan moet worden voldaan, alvorens een nieuw AI-algoritme te ontwikkelen en te gebruiken: voor welke populatie en onder welke omstandigheden is het model van toepassing, hoe gaat de voorspelkracht beoordeeld worden (inclusief metrieken en drempelwaarden), wanneer is het model goed genoeg, wanneer is er sprake van ongewenste discriminatie (ook hier inclusief metrieken en drempelwaarden), en wanneer van gewenste bias. • De regelgeving en richtlijnen rond AI-toepassing zijn op nationaal en Europees niveau sterk in ontwikkeling. Het is raadzaam om deze ontwikkelingen te blijven volgen, om aan te sluiten bij de laatste inzichten en richtlijnen rond betrouwbare AI.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

6

30 / 44

Referenties [1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

Technische documentatie voorspelmodel bijstandsfraude, Totta data lab, 2019, link: https://nissewaard.notubiz.nl/document/8567516/1/Beantwoording_LOB% 2C_SyRi-uitspraak_voor_algoritme_Totta_Data_Lab%2C_bijlage. Factsheet: Missies voor de Toekomst, inclusief missie overzicht, Nederlandse Topsectoren, 14-11-2019, link: https://www.topsectoren.nl/missiesvoordetoekomst/documenten/publicatie s/2019-publicaties/september-2019/23-09-19/factsheet-missies-voor-detoekomst. FNV op ramkoers met Nissewaard over fraude-opsporing: rechtszaak dreigt, AD, 2020, link: https://www.ad.nl/voorne-putten/fnv-op-ramkoersmet-nissewaard-over-fraude-opsporing-rechtszaak-dreigt~a4bd9b0c/. ‘Rookgordijn’ rondom fraudesysteem Nissewaard, Binnenlands bestuur, 2020, link: https://www.binnenlandsbestuur.nl/sociaal/nieuws/rookgordijn-rondomfraudesysteem-nissewaard.13026523.lynkx. Nissewaard belooft burger transparantie over ‘fraudescore’, FNV, 2020, link: https://www.fnv.nl/nieuwsbericht/sectornieuws/uitkeringsgerechtigden/202 0/06/fnv-sceptisch-nissewaard-belooft-burger-transparan. Raad van State, “Ongevraagd advies over de effecten van de digitalisering voor de rechtsstatelijke verhoudingen,” Kamerstukken II 2017/18, 26643, nr. 557, 2018, link: https://www.raadvanstate.nl/@112661/w04-18-0230/.

Bijlage bij “Kamerbrief over waarborgen tegen risico’s van data-analyses door de overheid”, Rijksoverheid, 8-10-2019, link: https://www.rijksoverheid.nl/documenten/kamerstukken/2019/10/08/tkwaarborgen-tegen-risico-s-van-data-analyses-door-de-overheid. SyRI-wetgeving in strijd met het Europees Verdrag voor de Rechten voor de Mens, de Rechtspraak, 5-2-2020, link: https://www.rechtspraak.nl/Organisatie-encontact/Organisatie/Rechtbanken/Rechtbank-DenHaag/Nieuws/Paginas/SyRI-wetgeving-in-strijd-met-het-EuropeesVerdrag-voor-de-Rechten-voor-de-Mens.aspx. Ethics guidelines for trustworthy AI, Report, European Commission, 8-42019, link: https://ec.europa.eu/digital-single-market/en/news/ethicsguidelines-trustworthy-ai. Fraude opsporen of gevaar van discriminatie? Gemeenten gebruiken ‘slimme’ algoritmes, NOS.nl, 2021, link: https://nos.nl/artikel/2366864fraude-opsporen-of-gevaar-van-discriminatie-gemeenten-gebruikenslimme-algoritmes.html. Algoritmes zoeken naar bijstandfraudeurs, welke rol speelt etnisch profileren?, NOS.nl, 2021, link: https://nos.nl/artikel/2366962-algoritmeszoeken-naar-bijstand-fraudeurs-welke-rol-speelt-etnisch-profileren.html.

Ongekend onrecht: verslag – parlementaire ondervragingscommissie kinderopvang toeslag, kamerbrief, 2020, link: https://www.tweedekamer.nl/sites/default/files/atoms/files/20201217_eind verslag_parlementaire_ondervragingscommissie_kinderopvangtoeslag.pd f. Infographic: Hoe controleren we de uitvoering van de bijstand, gemeente Nissewaard, link: https://www.nissewaard.nl/werk-en-inkomen/werk-eninkomen_to/infographic-hoe-controleren-we-de-uitvoering-van-debijstand.htm.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

[14]

[15]

[16] [17]

[18]

[19]

[20] [21]

[22]

[23]

31 / 44

Uitspraak van de Rechtbank Den Haag in het kort geding t.a.v. eScreener op 11-02-2020, link: https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBDHA:202 0:1013. Toezicht en handhaving: vangrail van de samenleving! | Whitepaper, VNG Naleving, 20-12-2018, link: https://vng.nl/kennisbank-naleving/toezicht-enhandhaving-vangrail-van-de-samenleving-whitepaper. Friedman, J. H., & Popescu, B. E. (2008). Predictive learning via rule ensembles. Annals of Applied Statistics, 2(3), 916-954. Proposal for a Regulation laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), European Commission, April 2021, link: https://ec.europa.eu/newsroom/dae/items/709090. Richtlijnen voor het toepassen van algoritmen door overheden en publieksvoorlichting over data-analyses, Ministerie van Justitie en Veiligheid, 1 maart 2021, link: https://led.pleio.nl/files/view/9a19ccc165d7-44e7-a86c-c38a2d073eb9/richtlijnen-algoritmen.pdf. Hoe controleert de gemeente of jij fraudeert?, NRC.nl, 2018, link:https://www.nrc.nl/nieuws/2018/04/06/hoe-controleert-de-gemeenteof-jij-fraudeert-a1598455. De Ethische Data Assistent (DEDA) van Universiteit Utrecht, link: https://dataschool.nl/deda/. Uitspraak van de Rechtbank Den Haag in de bodemzaak t.a.v. de SyRIwetgeving op 05-02-2020, link: https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBDHA:202 0:865.

De bestuurlijke regie over experimentele data en algoritmen, Digitale Overheid, 22 april 2020, link: https://www.digitaleoverheid.nl/lednieuws/de-bestuurlijke-regie-over-experimentele-data-en-algoritmen/. Overheid 360°, het jaarlijkse congres over informatiemanagement voor de overheid, link: https://www.overheid360.nl/.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

32 / 44

Bijlage 1: Vragenlijst voor interviews t.a.v. de richtlijnen voor betrouwbare AI In deze bijlage wordt de vragenlijst gepresenteerd die TNO heeft gebruikt voor de Nissewaard-casus. De richtlijnen en teksten van de EC [5] en MinJenV [6, 18] zijn letterlijk overgenomen en gecombineerd en extra vragen zijn toegevoegd. Zoals bediscussieerd in Hoofdstuk 3, is het uitgangspunt van de vragenlijst hierbij de originele richtlijnen van MinJenV [6, 18]. Hieronder wordt in elke sectie een thema van de vragenlijst behandeld, met corresponderende vragen inclusief toelichting en inzichten. Bewustzijn en inperking van risico’s Bewustzijn en het treffen van maatregelen om de risico’s op fouten en ongewenste bias van de toepassing van algoritmen te beperken zodanig dat dit overeenstemming is met de wet. •

Test-cases/scenario’s − Wordt het algoritme getest op basis van test-cases/scenario’s? − Vindt dit periodiek plaats? − Ook wanneer de software verandert?

•

Verandering grootte van en tijdsinvloed op data en de invloed op de uitkomsten. − Wordt het algoritme getest wanneer er sprake is van één of meerdere van de onderstaande punten? 1. Verandering van data 2. Afname van de data 3. Toename van de data 4. Verandering van de dataverdeling − Is er een procedure als het algoritme niet voldoet aan het doel van dit algoritme of als er biases in de uitkomsten zijn ontstaan?

•

Zorg, binnen de grenzen van de wetgeving1 voor het opbouwen van controlemechanismes die specifiek toetsen of er geen sprake is van discriminatie of stigmatisering. − Wordt er binnen de grenzen van de wetgeving getest of er sprake is van discriminatie of stigmatisering door het algoritme? o Uitvoeringswet AVG laat controle met behulp van bijzondere persoonsgegevens, zoals gegevens over iemands ras, vooralsnog niet toe.

•

Aanvulling vanuit EC [5]: Oneerlijke bias − Hebt u gezorgd voor een strategie of een reeks procedures om te voorkomen dat er onrechtvaardige vertekening wordt gecreëerd of versterkt in het AIsysteem, met betrekking tot zowel het gebruik van inputgegevens als het ontwerp van het algoritme? − Hebt u de mogelijke beperkingen die voortkomen uit de samenstelling van de gebruikte gegevenssets, onderzocht en erkend? − Hebt u processen ingesteld voor het testen en monitoren van potentiële vertekening gedurende de ontwikkelings-, installatie- en gebruiksfase van het systeem?

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

33 / 44

− Hebt u onderzocht of er variabiliteit kan bestaan in de beslissingen die onder gelijke omstandigheden mogelijk zijn? o Zo ja, hebt u nagedacht over de mogelijke oorzaken daarvan? o In geval van variabiliteit: hebt u een meet- of controlemechanisme vastgesteld voor de potentiële gevolgen van die variabiliteit voor de grondrechten? •

Aanvulling EC [5]: Algoritme-evaluatie ook direct of indirect aan de hand van een concept van rechtvaardigheid. − Is er naast het doel van een algoritme om zo effectief mogelijk of zo accuraat mogelijk te zijn ook bewust het concept van “rechtvaardigheid” nagestreefd? − Heeft u gezorgd voor een geschikte werkdefinitie van "rechtvaardigheid" die u toepast bij het ontwerpen van AI-systemen? − Wordt uw definitie veel gebruikt? Hebt u andere definities overwogen voordat u deze koos? − Hebt u gezorgd voor een kwantitatieve analyse of maatstaf om de toegepaste definitie van rechtvaardigheid te meten en te testen? − Hebt u mechanismen ingesteld om de rechtvaardigheid in uw AI-systemen te waarborgen? Hebt u andere mogelijke mechanismen overwogen?

•

Aanvulling EC [5]: Participatie van belanghebbenden: − Hebt u nagedacht over een mechanisme om de participatie van verschillende belanghebbenden onderdeel te maken van de ontwikkeling en het gebruik van het AI-systeem? − Hebt u de invoering van het AI-systeem in uw organisatie voorbereid door de getroffen werknemers en hun vertegenwoordigers vooraf in kennis te stellen en bij het proces te betrekken?

•

Datakwaliteit en beperkingen. Doel en data noodzakelijk voor doel. Bias en fouten in data. − Beschrijf het doel van de analyse. − Onderzoek of de data(bron) van voldoende kwaliteit & kwantiteit is 2: 1. Is de data relevant voor het doel? 2. Is de data-aggregatie op een niveau voldoende informatief voor het doel. 3. Wordt de data over tijd consistent bijgehouden? 4. Wordt de data op dezelfde manier geregistreerd? 5. Is er voldoende variatie binnen de data? 6. Is de data voldoende gevuld? 7. Zijn de databronnen te koppelen (indien er wordt gewerkt met meerdere tabellen)? 8. Zijn eventuele mutaties te herleiden? (timestamp e.g.) 9. Is er een databasewijziging geweest? 10. Is de manier van dataregistratie gewijzigd? − Onderzoek de beperkingen: 1. Zijn er rechten gevestigd op de databron? 2. Zijn er rechten gevestigd op het gebruik van het algoritme? 3. Zijn er rechten gevestigd op het gebruik van de analysemethode? 4. Welke biases zijn er te vinden in de data? 5. Welke fouten zijn er te vinden in de data? 6. Hoe wordt er omgegaan met de biases in de data? 7. Hoe wordt er omgegaan met eventuele fouten in de data?

•

Bewuste keuze voor data-analyse-technieken. − Welke technieken zijn getest? − Is er een traditionele techniek getest? − Waarom is er gekozen om deze specifieke technieken te testen?

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

34 / 44

− Waarom is er voor een bepaalde techniek of een combinatie van technieken gekozen? − Indien er uiteindelijk voor een kunstmatige-intelligentie-techniek is gekozen, licht toe waarom. − Is er gewerkt met vooraf bedachte hypothesen? (voorbedachte regels) •

Standaardmethodiek van werken. − Welke standaardmethodiek wordt gebruikt? Beschrijf alle stappen van de modelontwikkeling. Bijvoorbeeld: o De data o Brondata en typen data o Biases & correctie o Data-kwaliteit & kwantiteit o Omgang met gevoelige gegevens − Data verwerken o Belangrijke definities o Datapreparatie en opschoning o Brontabellen werkbaar maken o Samenstelling en opbouw van modeltests o Basisdataframe o Variabelencreatie o Datafouten corrigeren − De modelontwikkeling o Aanpak modelkeuze o Uitleg over toegepaste modellen en technieken − Resultaten o De modelbeoordeling o Hoe werkt de modelbeoordeling − Gebruik van het algoritme in de praktijk

•

DPIA: hanteer gelet op de aard van gegevensverwerking juridische en beleidsmatige toetsingskaders en zorg bij verwerking van persoonsgegevens voor de uitvoering van een DPIA om risico’s voor de gegevensbeschermingsrechten van betrokkenen zoveel mogelijk te beperken. − Is er een DPIA uitgevoerd?

•

Causaliteit. − Is het nodig om een causaal algoritme te ontwikkelen om het doel te bereiken? − Zo ja/zo nee, waarom?

•

Hanteer na implementatie en inrichting van het algoritme een evaluatiecyclus of feedbackloop, zodat wanneer ontwerpers en architecten op afstand komen te staan risico’s op tijd worden vastgesteld en adequaat geadresseerd. − Is er een evaluatiecyclus in plaats gezet om risico’s en maatregelen te evalueren?

•

Aanvulling vanuit EC [5]: Inperking van risico autonomie en overmatig vertrouwen. − Is er een risico dat het AI-systeem de menselijke autonomie aantast door het beslissingsproces van de eindgebruiker op een onbedoelde manier te beïnvloeden?

•

Hebt u voorzorgsmaatregelen genomen om overmatig vertrouwen in of op het AI-systeem bij werkprocessen te voorkomen? − Aanvulling EC:

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

35 / 44

− Is er afgewogen of door het uitvoeren van het algoritme de data of aannames waarop het algoritme is gebaseerd, ongeschikt kunnen worden? Kan dit tot negatieve gevolgen hebben? − Zijn er procedures ingesteld om ervoor te zorgen dat het niveau van nauwkeurigheid van het algoritme dat kan worden verwacht bij de betrokkenen ambtenaren duidelijk is gecommuniceerd? •

Aanvulling vanuit [18]: − Is inzichtelijk gemaakt wat het gewicht is van de voorspellende variabelen op de uitkomsten van het model? (oftewel de “feature importance”) − Is inzichtelijk gemaakt hoe de relatie tussen iedere voorspellende variabele en modeluitkomst eruitziet? Is de relatie bijvoorbeeld lineair of non-lineair, en wel of niet monotoon? − Is onderzocht of bepaalde voorspellende variabelen zoals buurt of wijk proxy’s zijn voor (bijzondere) persoonsgegevens en leiden tot ongewenste discriminatie? − Zijn bepaalde deelpopulaties (minderheden) oververtegenwoordigd in de data, wat zou kunnen leiden tot bias in het voorspellend model? − Is de data voldoende gevuld en de gebruikte dataset juist, tijdig en volledig?

•

Aanvulling vanuit [18]: − Zijn er expliciete (kwantitatieve) eisen gemaakt ten aanzien van toepasbaarheid, voorspelkracht, uitlegbaarheid, ongewenste discriminatie, etc., waardoor de oplossingsruimte verder verkleind is? − Is aangegeven voor welke populatie en onder welke omstandigheden het model van toepassing moet zijn? − Is samen bepaald met de materiedeskundigen hoe de voorspelkracht van het model beoordeeld gaat worden? Met welke metrieken en bijbehorende drempelwaarden? Wanneer is het model goed genoeg? Zijn false positives bijvoorbeeld minder erg dan false negatives, of is het beide even belangrijk? Hoe kunnen we dit kwantificeren? − Wanneer is er sprake van ongewenste discriminatie? Welke metrieken en drempelwaarden worden gebruikt om dit meetbaar en objectiveerbaar te maken? − Wanneer is er sprake van ongewenste bias? Is er ook geprobeerd dit te kwantificeren?

Uitlegbaarheid Uitleg over de uitkomsten en hoe deze tot stand zijn gekomen zijn cruciaal. Uitleg is nodig over het doel, procedures, toegepaste model en algoritme, doorslaggevende variabelen voor de uitkomst en de data. Documenteer al deze aspecten. De inzet van het algoritme moet proportioneel zijn tot het doel. Collegiale uitlegbaarheid, uitlegbaarheid naar derden en technische transparantie. Met als specifieke maatregelen: •

Organiseer de code in modules welke separaat en gecombineerd kunnen worden geëvalueerd. − Is er een ‘Main’ script waarin alle codes worden aangeroepen? Per gegevensbron is er bijvoorbeeld een code waarin de data is geprepareerd. − Is de code in modules georganiseerd? − Kan elke module separaat en gecombineerd worden geëvalueerd?

•

Test deze modules op correcte functionaliteit zowel afzonderlijk als in combinatie.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

36 / 44

− Zijn alle scripts, waar mogelijk, afzonderlijk van elkaar getest? Zijn alle scripts in combinatie met elkaar getest? Is dit een standaardonderdeel van de modelontwikkeling? − Kunnen de modules op correcte functionaliteit zowel afzonderlijk als in combinatie getest worden? •

Leg de gehanteerde analysemethode uit en meet de nauwkeurigheid. − Is in de technische documentatie beschreven welke methode(s) is/zijn gebruikt? − Is de gehanteerde analysemethode uitgelegd? − Is de nauwkeurigheid van de analysemethode gemeten en beschreven?

•

Leg de inputgegevens (brondata/datasets) vast die gebruikt worden en gebruik daarbij enkel relevante data. Documenteer. − Is in de technische documentatie vastgelegd welke databronnen zijn gebruikt? − Zijn de inputgegevens (brondata/datasets) die gebruikt worden vastgelegd? − Zijn de gebruikte data relevant? − Zijn de gebruikte data en de relevantie ervan gedocumenteerd?

•

Beschrijf de kwaliteit van de gebruikte databron(nen) en of deze kwaliteit voldoende is voor het doel waarvoor deze wordt ingezet. − Is in een ‘data deep dive’ de kwaliteit van de databronnen grondig onderzocht en toegelicht? Is ook in de technische documentatie beschreven hoe de datakwaliteit wordt onderzocht? Worden alleen databronnen met voldoende kwaliteit meegenomen in het model? − Is de kwaliteit van de gebruikte databron(nen) onderzocht? − Is de kwaliteit van de gebruikte databron(nen) beschreven?

•

Leg de aannames/keuzes die gehanteerd zijn vast. Denk aan keuzes zoals dat bepaalde data niet is meegenomen in de analyse, omdat de kwaliteit daarvan onvoldoende is of omdat een dataset onvoldoende gegevens bevat om een statistische analyse op uit te voeren. − Zijn alle keuzes beschreven in de technische documentatie? − Zijn alle keuzes gedocumenteerd?

•

Collegiale uitlegbaarheid: zorg ervoor dat teams volledig toegang/inzicht hebben in elkaars documentatie, beslissingen en code. Wanneer beslissingen over features, specificaties, ontwerp, bouw en tests verdeeld zijn over meerdere teams kunnen er in de overdracht ongemerkt en onbedoeld interpretatieverschillen ontstaan. Transparantie en uitlegbaarheid komen dan in gevaar. − Hoe is collegiale uitlegbaarheid gewaarborgd?

Gegevensherkenning Wijze van parametrisering, keuze voor trainingsgegevens en verkenning van de potentiële discriminerende factoren. Vastlegging van keuzes voor reproduceerbaarheid. Sensitivity analysis van keuzes van parametrisering, inzet trainingsdata. • Is de wijze waarop parametrisering tot stand is gekomen beschreven? • Is de wijze waarop de keuze voor trainingsgegevens tot stand is gekomen beschreven? • Zijn potentiële discriminerende factoren verkend en gedocumenteerd? • Is vastgelegd welke trainingsgegevens gebruikt zijn? • Is vastgelegd welke parameters gebruikt zijn?

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

• • •

37 / 44

Is geanalyseerd en beschreven wat de gevolgen zijn van een andere parameterkeuze voor de resultaten? Is geanalyseerd en beschreven wat de gevolgen zijn van een andere trainingsdataset voor de resultaten? Is al het bovenstaande beschreven in de technische documentatie?

•

Is er onderscheid gemaakt tussen de gegevens de volgende drie soorten gegevens? − De gegevens die worden gebruikt om een model te trainen of te ontwikkelen. − De gegevens die als onderdeel van het proces worden verzameld/ingevoerd. − De gegevens die worden opgevraagd uit andere processen of anderen bronnen.

•

Aanvulling vanuit [18]: − Hoe wordt er omgegaan met bias in de data? − Hoe wordt er omgegaan met fouten in de data? − Hoe wordt er omgegaan met outliers in de data? − Hoe wordt er omgegaan met missende waarden?

Auditeerbaarheid Focus op proces en vastlegging van proces voor verificatie. Dit betekent een gedegen R&D-proces plus documentatie waarin het gebruik van algoritmen in productie navolgbaar is. Met als specifieke aandachtspunten en maatregelen: • Werk niet met confidentiële algoritmen, maar met open algoritmen, die toegankelijk zijn voor controllers en toezichthouders en bij voorkeur ook voor experts en burgers. Dat impliceert het volgende: − Het algoritme dient niet-confidentieel te zijn; o Is het algoritme niet-confidentieel? o Wordt het algoritme niet gepubliceerd, maar mag het wel ge-audit worden? − Het algoritme dient gedocumenteerd te zijn; o Is bij de code beschreven wat er gebeurt? o Is een technische documentatie beschikbaar waarin de modelontwikkeling is beschreven? − Gebruik zoveel mogelijk algoritmen en analysemethoden die wetenschappelijk gevalideerd zijn; o Zijn er uitsluitend algoritmen gebruikt die wetenschappelijk gevalideerd zijn? o Zijn de algoritmen/analysemethoden (zoveel mogelijk) wetenschappelijk gevalideerd? − Gebruik indien mogelijk algoritmen die reeds open source zijn of stel deze als open source beschikbaar.

o Is het algoritme open source (indien mogelijk)? o Zijn er alleen open source technieken gebruikt (zoals Random Forest)? o Is het algoritme gepubliceerd? Er kunnen redenen zijn om van de bovenstaande richtlijnen op basis van een juiste onderbouwing af te wijken. •

Onderbouwing van keuzes. − Is in de technische documentatie beschreven waarom het uiteindelijke algoritme gekozen is en welke data gebruikt is? − Is de keuze voor de gebruikte algoritmen onderbouwd?

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

38 / 44

− Is de keuze voor de gebruikte data onderbouwd? •

Noteer waarnemingen, zoals afwijkingen in de gegevens of onverwachte/onverklaarbare resultaten. − Is na elke oplevering beschreven of er veranderingen zijn in de gegevens en of er afwijkende resultaten zijn? − Zijn waarnemingen zoals afwijkingen in gegevens of onverwachte/ onverklaarbare resultaten genoteerd?

•

Gebruik eenvoudige methoden boven complexe methoden daar waar mogelijk. Dit komt ten goede aan de uitlegbaarheid, auditeerbaarheid en beperking van risico’s. − Heeft er een vergelijking plaatsgevonden tussen simpelere en complexere algoritmen? − Wat voor tussenvormen hebben jullie bedacht tussen oude en nieuwe situatie? − Is voor de meest simpele methode gekozen die toch het doel van het algoritme bereikt? − Is de keuze voor kunstmatige-intelligentie-technieken gekozen, omdat dit tot veel betere resultaten leidt dan een simpele methode? − Behaalt het algoritme zonder de complexe methode niet het doel waarvoor het ontwikkeld is?

•

Vergelijking complexere en simpelere methoden op specifieke input. − Is validatie onderdeel van de modelontwikkeling waarin een aantal verschillende methoden zijn gebruikt en geverifieerd? − Zijn de uitkomsten van het algoritme logisch, gegeven de data-input? (voor mensen logisch) o Hoe is dit geëvalueerd?

•

Lever een gedetailleerde omschrijving van het algoritme en de werking ervan, samen met een controleerbare validatie dat de code overeenkomt met de specificatie. − Is in de technische documentatie is de werking van het algoritme gedetailleerd beschreven?

•

Zorg voor reproduceerbaarheid. − Kan men de code van het model hergebruiken en precies nadoen hoe de eerste modelresultaten waren, mits de data uit die tijd kunnen en mogen worden gebruikt? − Zijn alle wijzigingen aan de code bijgehouden, waardoor het mogelijk is om terug te gaan naar de eerste versie van het model? − Zijn de resultaten van het algoritme reproduceerbaar?

•

Zorg dat er bij algoritmen die in besluitvorming uitmonden dan wel anderszins een aanmerkelijke impact op burgers, bedrijven of samenleving, een vorm van betekenisvolle menselijke tussenkomst is georganiseerd.3 − Hoe is menselijke tussenkomst georganiseerd?

•

Aanvulling vanuit EC: Menselijk toezicht. − Hebt u nagedacht over de gepaste mate van menselijke controle voor dit specifieke AI-systeem en deze specifieke gebruikssituatie? − Kunt u, indien van toepassing, de mate van menselijke controle of betrokkenheid beschrijven? Wie is de "human in control" en wat zijn de momenten of hulpmiddelen voor menselijke interventie? − Hebt u mechanismen en maatregelen ingesteld om dergelijke potentiële menselijke controle of menselijk toezicht te waarborgen of om te zorgen

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

39 / 44

dat beslissingen onder de algehele verantwoordelijkheid van mensen worden genomen? − Hebt u maatregelen genomen om controle mogelijk te maken en problemen in verband met het beheren van AI-autonomie te verhelpen? − Indien het AI-systeem of de gebruikssituatie zelflerend of autonoom is: hebt u specifiekere controle- en toezichtsmechanismen ingesteld? − Wat voor detectie- en responsmechanismen hebt u ingesteld om te controleren of er iets mis kan gaan? •

Aanvulling vanuit [18]: − Is er een baseline-model ontwikkeld dat intrinsiek uitlegbaar is? Denk hierbij aan lineaire regressie, logistische regressie en decision tree modellen. − Is er een vergelijking uitgevoerd tussen complexere modellen en het baseline model? − Zijn er specifieke methodes gebruikt om de uitlegbaarheid van complexe modellen te vergroten?

•

Aanvulling vanuit [18]: Tevens is hier van belang het documenteren/annoteren in de code wat een routine doet of moet doen om een goede code-review uit te kunnen laten voeren door b.v. een andere analist. − Zijn alle stappen in de analyse gecodeerd? Is ervoor gezorgd dat er geen handmatige acties nodig zijn? − Is er gezorgd voor versiebeheer op de code? − Is geanonimiseerde trainingsdata bewaard?

Verantwoording Overheden zijn verantwoordelijk voor de ontwikkeling en inzet van hun algoritmen en dienen daarover dan ook verantwoording af te leggen. •

Wanneer meerdere organisaties betrokken zijn bij de ontwikkeling van algoritmische systemen, wordt geregeld dat één organisatie het voortouw en regie heeft bij de ontwikkeling van het systeem en als zodanig primair voor de toepassing van de richtlijnen en de uitvoering van andere relevante instrumenten, zoals DPIA.4 − Zijn er meerdere organisaties betrokken bij ontwikkeling? En zo ja, wie heeft het voortouw m.b.t. verantwoordelijkheid en uitvoering van b.v. de DPIA?

•

Bij complexe algoritmische systemen dient binnen de eigen organisatie de regie en bijbehorende verantwoordelijkheid voor het ontwerp- en ontwikkelproces duidelijk te worden belegd en worden geborgd dat ook na implementatie van het systeem, de regie en verantwoordelijkheid helder belegd is. − Hoe is de verantwoordelijkheid van ontwerp en ontwikkelproces belegd? − Zijn ook de regie en verantwoordelijkheid helder belegd na implementatie van het systeem?

•

Afwijking van richtlijn van verantwoording. De verantwoording gebeurt volgens het principe van comply or explain. Dit wil zeggen dat als uitgangspunt geldt dat organisaties de richtlijn moet volgen, of nadrukkelijk uitleggen waarom zij ervan afwijken. Dit geldt in eerste instantie voor algoritmen die nieuw worden ontwikkeld, maar ook voor algoritmen die reeds werkzaam zijn. (Gelet daarop wordt de toepassing van de richtlijnen bij voorkeur verankerd in het kader van een P&C-cyclus, waarbij jaarlijks door organisaties wordt gerapporteerd over situaties waarin besloten is om af te wijken van de richtlijnen.) − Wordt er afgeweken van hoe verantwoording is aangegeven in de richtlijn?

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

40 / 44

o Zo ja: (Comply or) explain? o Zo ja: Wordt er jaarlijks gerapporteerd hoe er wordt afgeweken van de richtlijn? •

Zorg dat de voor verantwoording noodzakelijke informatie (zoals documentatie, broncode of data) beheerd wordt conform de eisen die de Archiefwet stelt. − Wordt voor de verantwoording noodzakelijke informatie (documentatie, broncode of data) conform de eisen van het Archiefwet beheerd?

Validatie Nadruk op gedocumenteerde validatie van het model in het perspectief van het beoogde doel. • Gebruikt de overheidsinstantie-strikte methoden om het model te valideren? • Documenteert de overheidsinstantie de (validatie)methode en de resultaten? • Test en beoordeelt de overheid routinematig of het model het beoogde doel bereikt en geen bijkomende schade oplevert? • Indien mogelijk, publiceert de overheidsinstantie deze testresultaten? Aanvulling vanuit [18]: • Worden de modellen met een grote potentiële impact gevalideerd door een onafhankelijke partij? • Wordt het model continu gemonitord? • Uitgangspunt is dat de overheidsinstantie over deze testresultaten publiceert. Wordt dit gedaan? Toetsbaarheid Toetsbaarheid betreft de inrichting van methode van data-analyse, de gehanteerde algoritmen, datasets en de feitelijke verwerkingen, zodat deze daadwerkelijk kunnen worden getoetst. Dit richt zich primair op toetsing door de toezichthouder en de rechter. • De bestuursrechter stelt op grond van het bestuursrecht eisen aan de inzichtelijkheid, controleerbaarheid en toegankelijkheid in geval van geautomatiseerde besluitvorming door bestuursorganen. Voor het toetsingskader voor de beoordeling van geautomatiseerde besluitvormingsprocessen m.b.v.

algoritmen, zie de uitspraak van de Afdeling bestuursrecht van de Raad van State van 17 mei 2017 en voornoemd ongevraagd advies van de Raad van State van 31 augustus 2018. • Er zijn op het moment door MinJenV geen concrete punten noch vragen gemeld bij deze richtlijn. Om deze reden zijn er in de technisch-inhoudelijke evaluatie geen directe vragen gesteld met betrekking tot toetsbaarheid. Publieksvoorlichting Het betreft hier de algemene informatie voor het publiek en niet de individuele voorlichting, waarin bijvoorbeeld informatie over de persoonsgegevens worden verwerkt. In plaats van interviewvragen is de richtlijn besproken aan de hand van voorwaarden aan publieksvoorlichting en onderwerpen waarover een overheidsdienst publiek dient te informeren. Voorwaarden van publieksvoorlichting: • Beknopt en transparant (efficiënt en bondig, gelaagde informatie). • Begrijpelijk (gemiddelde vertegenwoordiger van beoogd publiek). • Gemakkelijk toegankelijk (met weinig moeite).

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

41 / 44

Als een overheidsdienst data-analyses verricht, dient deze dienst op haar website het publiek te informeren over: • dat zij data-analyses uitvoert; • waarom zij data-analyses uitvoert (wat het doel ervan is en wat met de resultaten daarvan wordt gedaan); • waarom het gebruik van data-analyses proportioneel is, en er geen betere alternatieven waren om het doel te bereiken; • wat de eventuele consequenties van de analyse voor betrokken burgers zijn, en hoe rekening is gehouden met eventuele impacts ervan op grondrechten; • eventuele toepassing van machine learning en de uitleg daarvan; • wat de wettelijke grondslag voor het uitvoeren van deze analyses is, • welke databronnen van welke organisaties daarvoor worden gebruikt, en wat de kwaliteit daarvan is; • welke persoon binnen de overheidsorganisatie verantwoordelijk voor de analyse is; • wat de rol van eventuele derden bij deze analyses is; • met welke organisaties (publiek of privaat), indien dit aan de orde is, brondata en/of resultaten van de analyses worden gedeeld; • welke kwaliteitsborging er plaatsvindt (welke risico’s worden onderkend en welke maatregelen daartegen worden genomen en op welke wijze toetsing plaatsvindt); • hoe er tussen analyse en een eventueel besluit menselijke tussenkomst plaatsvindt, • welke toetsingskaders er zijn.

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

42 / 44

Bijlage 2: Resultaten van de interviews per richtlijn Deze bijlage bevat de resultaten van de interviews die TNO heeft gehouden met vertegenwoordigers van zowel gemeente Nissewaard als Totta Data Lab. Hierbij zijn qua structuur de richtlijnen van MinJenV als basis genomen, die ook de basis zijn van de vragenlijst zoals te vinden in Bijlage 1. Voor de definities van de richtlijnen refereren wij naar de richtlijnen van MinJenV [7, 18]. Voor toetsbaarheid zijn geen vragen aanwezig, dus deze is niet meegenomen in de interviews. Bewustzijn en inperking van risico’s Vanuit Nissewaard is in kaart gebracht wat de risico’s zijn van het gebruik van het AI-algoritme. Er zijn ook maatregelen door Nissewaard getroffen om fouten en ongewenste bias te voorkomen. Eén van de overwegingen is welke variabelen wel en welke niet meegenomen dienen te worden in het gebruikte AI-algoritme. Zo hebben de variabelen leeftijd en geslacht wel een toegevoegde waarde, terwijl deze variabelen bij b.v. een sollicitatie zouden kunnen zorgen voor bias. Hierbij laat Nissewaard bewustzijn van risico’s zien, doordat leeftijd en geslacht enkel zijn meegenomen nadat duidelijk werd dat deze toegevoegde waarde hadden voor de nauwkeurigheid van het algoritme.

Eén van de risicobeperkingen is dat bij de implementatie van het algoritme verschillende partijen zijn meegenomen, zoals vooronderzoek bij andere gemeenten waar al een algoritme wordt gebruikt, het gebruiken van de landelijke klankbordgroep (die ook verbonden zijn met een transparency lab), een gemeentelijke klankbordgroep en een gemeentelijke advies/cliëntenraad. Daarnaast zijn de Functionaris Gegevensbescherming en Juridische Zaken, sociale rechercheurs en teamleiders meegenomen in het proces. Ook in de evaluatie van Nissewaard worden de risico’s en maatregelen geëvalueerd, bijvoorbeeld door de kwaliteit van de variabelen te controleren en een jaarlijkse opfriscursus over het AI-algoritme voor de rechercheurs. Een genoemd risico in deze evaluatie van Nissewaard is dat het kan voorkomen dat mogelijke fraudes als negatief gelabeld worden als er onvoldoende bewijs gevonden is. De gemeente kan niet veel anders. Dit heeft echter wel impact op het systeem, aangezien daarop verder getraind wordt en hiermee de (nauwkeurigheid van de) evaluatie lastig maakt. Een belangrijk aspect is dat de risico’s verminderd zijn doordat het algoritme momenteel maar 10-15% van het werk uitmaakt voor de rechercheurs, en doordat het merendeel van het werk vanuit passieve signalen zoals meldingen van bijvoorbeeld een buurman komt.

Het algoritme is dus een aanvullend instrument om signalen van misbruik en oneigenlijk gebruik te genereren. Het vervangt hier de zogenaamde algemene hercontroles, waarin jaarlijks de rechtmatigheid van bijna iedere uitkering aan onderzoek werd onderworpen. Vanuit TDL zijn ook de risico’s en maatregelen overwogen, waarbij er inhoudelijk ook nadrukkelijk wordt onderzocht wat de biases en fouten zijn. Bij de start van elk onderzoek wordt een ‘data deep dive’ gedaan, waarin er wordt geanalyseerd of de kwaliteit en kwantiteit van de data voldoende zijn om een model erop te trainen. Hiertoe wordt op macro- en microniveau onderzoek gedaan naar verandering in de aanlevering van de data, koppelbaarheid, variatie, vulling, en bias (voor elke variabele). Afwijkingen worden besproken met Nissewaard. Verder wordt er na het trainen van een nieuw model bij elke oplevering onderzocht of het model op eenzelfde manier heeft geleerd middels een inspectie van de regels en de top-10 of top-100. Ook bij de ontwikkeling van het model is er rekening gehouden met de risico’s van het algoritme. Er zijn verschillende algoritmen onderzocht, en is gekozen voor een ensemble (combinatie) om zo de kracht van deze algoritmen te bundelen, en zo het risico op fouten te verminderen. Er wordt in het proces rekening gehouden met transparantie, wat de keuze voor dit ensemble van algoritmen ook heeft beïnvloed.

Doordat het model ook gevoed wordt door meldingen en door menselijke validatie, is het minder vatbaar om in een

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

43 / 44

ongewenste lus te komen, waarin het leert van zichzelf en daardoor mogelijke biases kan versterken. Uitlegbaarheid Er is veel gedocumenteerd t.a.v. het gebruikte AI-algoritme, de gemaakte keuzes tussen (bijvoorbeeld) analysetechnieken en alle 40 gebruikte variabelen. In de technische documentatie zijn de databronnen, relevante inputdata, analyse van de methode en performance (nauwkeurigheid) beschreven. De uitleg van de ‘data deep dive’, de onderbouwing van de relevantie van de gekozen variabelen en de precieze beslisregels voor het algoritme zijn hierin niet, of niet volledig, beschreven; dit is ook niet wettelijk verplicht. Voor de collegiale uitlegbaarheid is vanuit TDL de communicatie met Nissewaard middels presentaties met handhavers geregeld. Tijdens deze presentaties worden verscheidene soorten data die gebruikt worden besproken en ook waarom het belangrijk is om deze goed te registeren. Intern wordt de uitlegbaarheid gedaan via GitHub en de technische documentatie. In de evaluatiesessies wordt besproken welke veranderingen zijn doorgevoerd. Gegevensherkenning Zowel de keuze voor de trainingsgegevens als de parametrisering is door TDL overwogen. De keuze voor de trainingsgegevens wordt in overleg tussen Nissewaard en TDL bepaald aan de hand van de data deep dive.

Hierbij worden potentiële discriminerende factoren gesignaleerd zoals de variabele “bijzonder situaties” (b.v. “heeft geen woonhuis”). Deze worden alleen meegenomen als er voldoende voorbeelden hiervan zijn in de data. Ook kunnen alle categorische variabelen discriminerend zijn, maar daartoe wordt door TDL een bias-analyse in de data deep dive gedaan. In de keuze van de parameters is er rekening gehouden met de trade-off tussen performance (nauwkeurigheid) en begrijpelijkheid. Dit wordt per gemeente opnieuw bekeken. Na de keuze voor de trainingsgegevens wordt er een model getraind, waarbij de parameters bestaan uit de diepte van de boom, aantal bomen en de zogeheten lambda -parameter in het rule-fit model [16]. In de modelevaluatie wordt er een cross-validatie gedaan als controlemechanisme of het model robuust is. Auditeerbaarheid Het gebruik van databronnen voor training en testen zijn gedocumenteerd. Het algoritme is gebaseerd op het "rule-fit" model welke openbaar beschikbaar is. De specifieke implementatie en gemaakte keuzen zijn niet openbaar beschikbaar, maar zijn wel auditeerbaar. Er is specifiek gekozen voor een uitlegbaar en transparant algoritme, dat tevens reproduceerbaar is. Dit is ook beschreven in de technische documentatie. Per oplevering wordt het model gecontroleerd, en waar nodig wordt het algoritme verbeterd.

De verandering wordt vastgelegd, en ook onverwachte resultaten worden vastgelegd en besproken in een evaluatiesessie. Het algoritme wordt alleen gebruikt als een suggestie, en de top-10 resultaten worden onderzocht door rechercheurs van Nissewaard. De gehele ranking wordt wel aan Nissewaard geleverd. Er is niet gekozen voor tussenvormen van aanvullend onderzoek van de top-50 of top-100 wegens beperkte capaciteit. Verantwoording In de gemeente zijn de volgende functies betrokken bij het proces: privacy officer, chief information security officer (ciso), functionaris gegevensbeschermer, manager (ambtelijk verantwoordelijk), wethouder, ketenregisseur, applicatiebeheerder, beleidsadviseur, sociaal rechercheur, en in de beginfase Stimulansz (dit is de juridische invalshoek op sociaal domein). De hoofd- / eindverantwoordelijke is de wethouder. Er is een DPIA opgesteld door Nissewaard (en publiekelijk opengesteld)

TNO VERTROUWELIJK | TNO-rapport | TNO 2021 R10732 | 1.0.0

44 / 44

en de archiefwet wordt nageleefd. Er is tevens een DEDA (De Ethische Data Assistent) afgelegd via de Utrecht Data School. Validatie Het einddoel van het systeem van Nissewaard is om de nalevingsbereidheid zo hoog mogelijk te krijgen, dus niet om zoveel mogelijk mensen te pakken op misbruik en oneigenlijk gebruik van de bijstand. In dit proces is het belangrijk dat de inwoners en de rechercheurs zo min mogelijk belast worden. Er wordt niet alleen gekeken naar passieve signalen (meldingen), maar ook de actieve signalen (themacontroles en het algoritme). Hoe goed het einddoel wordt behaald is lastig te meten, maar kan door proxy’s zoals gemiddeld opgespoord fraudebedrag wel indirect worden geschat. De resultaten worden gedocumenteerd en er zijn periodieke checks (opleveringen). Daarnaast zijn de besproken vragen en antwoorden van de raad openbaar. Publieksvoorlichting Nissewaard heeft veel moeite gestopt in publieksvoorlichting. Er is gesproken met het merendeel van de grote kranten, er zijn vragen uit de raad beantwoord en alle vragen van geïnteresseerden zijn beantwoord. Daarnaast zijn er verschillende documenten openbaar beschikbaar gemaakt, variërend van een infographic tot DPIA tot technische documentatie.