Memo stopzetten algoritme volgens bevindingen TNO rapport

Memo aan

van

De leden van de gemeenteraad

Het college van burgemeester en wethouders

datum

pagina

23 juni 2021

1 van 3

Stopzetten gebruik algoritme volgens bevindingen TNO-rapport De gemeente Nissewaard zet een door Totta Data Lab ontwikkeld algoritme in voor een risicoindicatie van mogelijke rechtmatigheidsonderzoeken van bijstandsuitkeringen. Onderzoek naar de rechtmatige verstrekking van bijstand maakt deel uit van de gemeentelijke taak om te controleren of gemeenschapsgeld terecht komt bij de inwoners die daar recht op hebben. Het specifieke doel van dit algoritme is om algemene periodieke hercontroles te vervangen, waarbij de risico-indicatie alleen als ondersteuning voor mogelijk rechtmatigheidsonderzoek is ingezet. De reden om vanaf 2018 het algoritme in te zetten is het verbeteren van de dienstverlening. Door het inzetten van het algoritme, worden onze bijstandscliënten zo min mogelijk met rechtmatigheidsonderzoeken belast. Daarnaast worden die rechtmatigheidsonderzoeken zo effectief mogelijk ingericht. De Gemeente Nissewaard heeft TNO gevraagd om in kaart te brengen of er een mogelijk risico is bij het gebruik van het algoritme. Het onderzoek hiernaar is in juni 2021 door TNO afgerond met de oplevering van een rapport aan de Gemeente Nissewaard. Met dit onafhankelijk en grondige onderzoek willen we meer transparantie bieden over het algoritme en twijfels over de rechtmatigheid van het gebruik van het algoritme wegnemen.

Hoofdconclusie Voor het gebruik van algoritmen zijn richtlijnen door de Europese Commissie en de Rijksoverheid opgesteld. TNO onderzocht onder andere of het algoritme aan die richtlijnen voldoet. De hoofdconclusie van TNO in het eindrapport is dat Nissewaard en Totta Data Lab duidelijk aandacht hebben besteed aan verschillende aspecten van verantwoord gebruik, maar dat het algoritme in de huidige vorm van onvoldoende niveau is om verantwoord te kunnen inzetten. Een verdere toelichting van de hoofdconclusie wordt in het eindrapport gegeven. Een aantal bevindingen uit het rapport zijn hieronder genoemd. Bevindingen onderzoek De positieve bevindingen ten aanzien van het algoritme zijn dat de risico-indicaties die door het algoritme worden aangegeven, gecombineerd worden met andere risico-indicaties, waarna menselijke controle en toezicht plaatsvinden. De mens draagt bovendien altijd de verantwoordelijkheid en neemt altijd de uiteindelijke besluiten. Verder is geconstateerd dat er

Postadres Postbus 25, 3200 AA Spijkenisse Bezoekadres Raadhuislaan 106, 3201 EL Spijkenisse Telefoon 14 0181 E-mail gemeente@nissewaard.nl www nissewaard.nl

datum

pagina

betreft

23 juni 2021

2 van 3

TNO-rapport

duidelijk aandacht besteed is door de gemeente en Totta Data Lab aan verschillende aspecten van verantwoord gebruik van algoritmes, zoals datagebruik, non-discriminatie, transparantie, verantwoording, uitlegbaarheid en publieksvoorlichting. Op twee punten presteert het algoritme echter onvoldoende. De auditeerbaarheid van het huidige algoritme is niet voldoende. Dit betekent dat het niet goed mogelijk is om te controleren of het algoritme voldoet aan inhoudelijke en procedurele eisen. Ook de mogelijkheid om de doeltreffendheid van het algoritme vanuit een technisch oogpunt te onderzoeken is niet voldoende. De oorzaak voor beide punten is dat de resultaten niet robuust genoeg zijn. De uitkomsten van het algoritme blijken namelijk niet herhaalbaar en reproduceerbaar te zijn. Dit betekent dat bij meerdere runs van dezelfde code met dezelfde instellingen er (significant) andere resultaten uitkomen. Bij herhaald gebruik van dezelfde dataset krijgt niet elk dossier dezelfde risico-indicatie. Deze constatering is van belang, omdat wij deze indicaties gebruiken voor het kiezen van te onderzoeken dossiers. De bovengenoemde bevindingen zijn in het rapport van TNO meer in detail uitgewerkt.

Uitkomst rechtmatigheidsonderzoeken De rechtmatigheidsonderzoeken die op basis van risico-indicaties zijn opgepakt verlopen hetzelfde als wanneer de gemeente andere signalen ontvangt, zoals fraudemeldingen van inwoners en instanties. Alle onderzoeken worden altijd door mensen uitgevoerd, dat wil zeggen door daarvoor opgeleide medewerkers. Vraagtekens bij de risico-indicaties van het algoritme leiden daarom niet tot vraagtekens bij de uitkomst van rechtmatigheidsonderzoeken. Door de risico-indicaties zijn geen uitkeringen beëindigd of aangepast. Het algoritme vervangt een bestaand proces, de vroegere algemene periodieke hercontrole. Een algemene periodieke hercontrole houdt in dat periodiek alle cliënten gevraagd wordt gegevens aan te leveren, onder andere bankafschriften van de laatste drie maanden. Het algoritme zorgt ervoor dat veruit de meeste dossiers niet meer periodiek hoeven te worden gecontroleerd op rechtmatige ontvangst van bijstand. Het gebruik van het algoritme wordt procesmatig beschreven in een infographic: https://www.nissewaard.nl/werk-en-inkomen/werk-en-inkomen_to/infographic-hoe-controlerenwe-de-uitvoering-van-de-bijstand.htm, dat samenvat hoe werkbestanden door de gemeente worden klaargezet en via een beveiligde omgeving worden gestuurd naar Totta Data Lab, waar de werkbestanden worden geanalyseerd.

Het laat zien hoe die analyse naar de gemeente retour wordt gezonden en hoe de gemeente vervolgens bepaalt welke dossiers in aanmerking komen voor een administratief vooronderzoek. De gemeente voert daarna eventueel diepergaand onderzoek uit naar de rechtmatigheid van bijstand. Maar een zeer klein deel (ongeveer twee procent) blijft incidenteel in aanmerking komen voor rechtmatigheidsonderzoek. Het is immers de wettelijke plicht van de gemeente om de Participatiewet te handhaven. De Participatiewet heeft voor onderzoek naar rechtmatige verstrekking van bijstandskuitkeringen geen aanleiding nodig en kent geen verdachten zoals in het strafrecht.

datum

pagina

betreft

23 juni 2021

3 van 3

TNO-rapport

Pauzeknop wordt stopknop Gedurende het TNO-onderzoek is besloten om op de pauzeknop te drukken en geen gebruik meer maken van het algoritme totdat de gemeente een definitieve validatie heeft ontvangen. Nu het eindrapport is ontvangen is besloten om te stoppen met het gebruik van het huidige algoritme van Totta Data Lab. Totta Data Lab is van de beslissing op de hoogte gebracht, net als onze partners in de klankbordgroep, de gemeenten Deventer, Amersfoort, de VNG en de Landelijke Cliëntenraad. Na de zomer zal het college een voorstel aan de raad doen over de wijze waarop bijstandsfraude adequaat kan worden opgespoord. Dit zal ingaan op de wijze hoe het college invulling kan geven aan haar plicht de rechtmatigheid van uitkeringen te onderzoeken. Bijlagen  TNO-rapport, Technische evaluatie van het AI-algoritme dat de Gemeente Nissewaard inzet voor de opsporing van misbruik en oneigenlijk gebruik van bijstandsuitkeringen