brief pilot digitalisering fraudepreventie.pdf

Raadsinformatiebrief

Aan:

Portefeuillehouder(s): Behandeld door

De leden van de gemeenteraad van Amsterdam 08 maart 2023 Sociale Zaken Rutger Groot Wassink Directie Inkomen (wpi.strategie@amsterdam.nl)

Onderwerp

Brief pilot digitalisering fraudepreventie.

Datum Portefeuille(s)

Geachte leden van de gemeenteraad, Met deze brief informeert het college u over het volgende. De afgelopen jaren heeft het college onderzoek gedaan naar de mogelijkheden om op een objectievere en effectievere manier te bepalen welke bijstandsaanvragen nader onderzocht dienen te worden door een Medewerker Fraudepreventie en Controle W&I. Op basis van een zo objectief mogelijke weging van data wil het college het aandeel onderzoeken van Amsterdammers die een bijstandsuitkering aanvragen waarbij geen onrechtmatigheid wordt geconstateerd terugbrengen en zo verder invulling geven aan werken op basis van vertrouwen. Het college is op basis van de resultaten van het onderzoek van mening dat de mogelijkheden die digitalisering het college daarvoor biedt, hierbij kunnen helpen. Met deze brief informeert het college uw raad over de stand van zaken van dit onderzoek en een pilot die het college in 2023 zal uitvoeren om deze nieuwe werkwijze verder te onderzoeken. Als college zijn we terughoudend met het toepassen van digitaliseringsinstrumenten in processen die direct van invloed zijn op de levens van onze inwoners. Daarom is de overweging om een pilot te doen met digitalisering om onrechtmatige bijstandsverlening te voorkomen zorgvuldig tot stand gekomen. In de brief neem ik u mee in deze overwegingen.

Op basis van de uitkomsten van de pilot zal het college besluiten of, en zo ja, deze werkwijze plaats kan krijgen binnen de vaste dienstverlening aan Amsterdammers. Het Amsterdams Akkoord In het Amsterdamse Akkoord is vastgelegd dat in Amsterdam het bijstandsbeleid sociaal blijft. Amsterdam blijft zich inzetten voor een Participatiewet waarin vertrouwen in mensen en het versterken van de bestaanszekerheid centraal staan. Het college doet dat niet alleen door hier bij het Rijk aandacht voor te blijven vragen maar ook door te kijken naar wat beter kan in de eigen dienstverlening rondom de bijstandsverlening. Ook staat in het Amsterdams Akkoord dat het de toepassing van de technologie en de ontwikkeling daarvan op een goede en verantwoordelijke manier wil benutten. Niet alleen kan de dienstverlening ermee worden verbeterd; innovatie in de digitale wereld kan ook kansen bieden

Gemeente Amsterdam, raadsinformatiebrief

Datum 14 februari 2023 Pagina 2 van 6

voor waarden als gelijkheid en emancipatie. Daarvoor geldt dat het niet zo kan zijn dat digitalisering leidt tot ongelijkheid of segregatie. Bijstandsverlening Veruit de meeste Amsterdammers willen zich aan de regels houden. Het college vindt het daarom onwenselijk hen bij de toegang tot de Participatiewet, op grond waarvan de bijstandsuitkering wordt betaald, onnodig te confronteren met een uitgebreide gegevensuitvraag of controleonderzoeken. Tegelijkertijd schrijven Participatiewet en lokale regels, zoals de “Verordening maatregelen, handhaving en verrekenen bestuurlijke boete inkomensvoorzieningen” het college voor, zorg te dragen voor een rechtmatige bijstandsverlening. In de gevallen waarin er gegronde redenen zijn om aan die rechtmatigheid te twijfelen, horen daar verdiepende controle-onderzoeken bij. Het besluit om tot een dergelijk onderzoek naar de rechtmatigheid van een bijstandsaanvraag over te gaan, moet zo objectief mogelijk worden genomen. Door datagestuurd te werken is de kans op bijvoorbeeld bias1 geminimaliseerd. Versterkte inzet op preventie Preventie is binnen de aanpak van het college een belangrijke pijler. De Participatiewet is complex en daardoor foutgevoelig. Om te voldoen aan de inlichtingenplicht van de Participatiewet wordt van bijstandsgerechtigden een kennisniveau gevraagd dat vaak niet realistisch is. Dit leidt tot onbedoelde onrechtmatigheid.

Tegelijk is het college zich ervan bewust dat er een kleine groep is die wel bewust misbruik maakt van de bijstandsuitkering. Het college wil dat blijven tegengaan omdat misbruik het draagvlak voor sociale voorzieningen ondermijnt en misbruik stigmatiserend werkt voor de grote meerderheid die zich wel aan de regels wil houden. Op basis van de Participatiewet moeten onrechte verstrekte uitkeringen worden teruggevorderd ongeacht of zij het gevolg zijn van bewuste fraude of bijvoorbeeld een verkeerd ingevuld aanvraagformulier. Daardoor ontstaat een bijstandsschuld die het college op basis van de Participatiewet moet invorderen. Ook dit wil het college, naast het uitvoeren van controleonderzoeken die achteraf onnodig waren, tot een minimum beperken. Het college is van mening dat een objectieve digitale weging kan helpen het aantal onderzoeken die achteraf onnodig waren terug te dringen, en tegelijkertijd het aantal onrechtmatig verstrekte uitkeringen kan minimaliseren – ongeacht of deze het gevolg zijn van bewuste fraude of onbedoelde fouten in de aanvraag. Zo kan de controledruk voor Amsterdammers verder worden verlaagd en worden bijstandsschulden voorkomen. Nieuwe werkwijze en opbrengst In het nieuwe proces wordt er bij een nieuwe binnenkomende aanvraag eerst een label wel / niet onderzoekwaardig gegenereerd. Dit wordt gedaan door een model bestaande uit vijftien 1

Met ‘bias’ wordt bedoeld: de onbedoelde vooroordelen die in een model kunnen ontstaan en die kunnen leiden tot ongewenste discriminatie.

Een routebeschrijving vindt u op amsterdam.nl

Gemeente Amsterdam, raadsinformatiebrief

Datum 14 februari 2023 Pagina 3 van 6

kenmerken, op basis van historische data. Wanneer een aanvraag volgens het model onderzoekwaardig is, wordt deze aanvraag door een medewerker bekeken. Wanneer zowel het model als de medewerker de aanvraag als onderzoekwaardig beschouwt, gaat de aanvraag door naar Handhaving. Wanneer het model of de medewerker de aanvraag als niet onderzoekswaardig beschouwen gaat de aanvraag door naar de Inkomensconsulent. Ongeacht de uitkomst van het model wordt de aanvraag dus altijd door een basis bekeken. Deze nieuwe werkwijze heeft een aantal voordelen:  Gelijkwaardigheid Hoewel alle medewerkers dezelfde werkinstructie volgen, zijn er interpretatieverschillen als twee personen dezelfde situatie beoordelen. Modellen kunnen vooringenomen zijn, maar personen ook. Uit een uitgevoerde vooringenomenheid (bias) analyse is gebleken dat op vrijwel alle ongewenste gevoelige attributen (zoals leeftijd, geboorteland en nationaliteit) het ontwikkelde model verschillende groepen gelijkwaardiger behandelt dan in het huidige proces.  Proportionaliteit Omdat het model beter kan inschatten welke aanvragen door handhaving bekeken dienen te worden, worden relatief minder aanvragen ten onrechte onderzocht door een Medewerker Fraudepreventie en Controle W&I. Dit leidt tot een meer proportionele inzet van Handhaving.

Ook kunnen meer onrechtmatige uitkeringen voorkomen worden, hetgeen leidt tot een meer preventieve in plaats van repressieve aanpak.  Effectiviteit Het model kan beter inschatten welke aanvragen door handhaving bekeken dienen te worden dan de Inkomensconsulent. Bij eenzelfde aantal onderzochte aanvragen (4% van het totaal) stuurt de Inkomensconsulent zo’n 46% van de totale aanvragen terecht door naar Handhaving. Dit percentage willen we verhogen. Werking model Het model wordt enkel ingezet in het aanvraagproces, en kan niet worden gebruikt om de onderzoekwaardigheid van reeds toegekende uitkeringen te bepalen. Het kan en zal dus enkel preventief worden ingezet, niet repressief. Het model maakt een voorselectie van nieuwe binnenkomende aanvragen levensonderhoud, en bepaalt of deze door een Medewerker Fraudepreventie en Controle W&I onderzocht dienen te worden, of dat ze direct door de Inkomensconsulent op kunnen worden gepakt. Er is geen sprake van geautomatiseerde besluitvorming, alle aanvragen worden door meerdere medewerkers bekeken alvorens een uitkering wordt toegekend of afgewezen. Het model bepaalt de onderzoekwaardigheid van een aanvraag, dus of het nodig is dat een aanvraag door een handhaver wordt bekeken. Dit kan wijzen op fraude, maar het is ook mogelijk dat er fouten zijn gemaakt in de aanvraag vanwege de complexiteit van de Participatiewet.

Het gaat hier dus uitdrukkelijk niet om een fraudedetectiemodel.

Een routebeschrijving vindt u op amsterdam.nl

Gemeente Amsterdam, raadsinformatiebrief

Datum 14 februari 2023 Pagina 4 van 6

Het model maakt geen gebruik van gevoelige persoonsgegevens als migratieachtergrond, gender, leeftijd. Het gebruikt een set van vijftien kenmerken die zijn vastgesteld in overleg met privacy officers, juridische medewerkers en uitvoerders. Lessen uit de recente geschiedenis modellen in de sociale zekerheid Het college is goed op de hoogte van het huidige maatschappelijke debat rondom het gebruik van modellen. Er is immers de afgelopen jaren veel gebeurd rondom de inzet van AI bij de beoordeling van het recht op een bijstandsuitkering. Zo is SyRi, een systeem van het ministerie van Sociale Zaken en Werkgelegenheid, onder meer door de Mensenrechtencommissie van de Verenigde staten beoordeeld als discriminatoir. Het gebruik van dit systeem is inmiddels door de Rechtbank van Den Haag verboden. Amsterdam heeft dit systeem nooit gebruikt. Ook het Toeslagenschandaal heeft aangetoond dat het onzorgvuldig gebruik van een model bij het detecteren van mogelijke onrechtmatigheden bij het gebruik van sociale voorzieningen, enorme risico’s met zich meeneemt voor de rechtsbescherming en bestaanszekerheid van burgers. Bij de ontwikkeling van dit model zijn de lessen uit de toeslagenaffaire en SyRi meegenomen. Zo wordt het model enkel preventief ingezet, waar de modellen van de Belastingdienst en SyRi repressief werden ingezet.

Ook is hier bewust niet gekozen voor een fraudedetectie model, maar voor ondersteuning in de voorselectie op onderzoekwaardigheid. Ook is er geen sprake van geautomatiseerde besluitvorming zoals bij de Belastingdienst, maar wordt elke aanvraag ongeacht de uitkomst van het model door meerdere medewerkers bekeken voordat een besluit wordt gevormd. Ook wordt in tegenstelling tot bij de Belastingdienst geen gebruik gemaakt van gevoelige persoonsgegevens, en is het model vooraf getoetst op mogelijke vooringenomenheid (bias). Daarnaast zal het model niet zoals bij SyRi selectief in enkele wijken worden ingezet, maar op alle aanvragen worden ingezet. Waarborging bij de ontwikkeling Tijdens het ontwikkelen van het model zijn onder andere de volgende analyses uitgevoerd:  Data Protection Impact Assessment  Impact Assessment Mensenrechten en Algoritmes om de impact op de mensenrechten te wegen  Uitvoerige bias analyse en een kritische beoordeling van de variabelen die worden gebruikt  Kunstmatige Intelligentie Impact assessment Daarnaast heeft het college tijdens de ontwikkeling van het model de Participatieraad, de Commissie Persoonsgegevens Amsterdam en Deloitte geconsulteerd met als doel zoveel mogelijk input te verzamelen en de ontwikkeling binnen de kaders van ethiek en rechtmatigheid te houden.

De hieruit volgende adviezen en ambtelijke reacties zijn meegestuurd als bijlage van deze brief.  Participatieraad Eind 2021 heeft het college de Amsterdamse Participatieraad actief benaderd om de leden van die raad te informeren over het onderzoek dat het college doet naar de mogelijkheden van een model. De Participatieraad heeft daarop het advies uitgebracht

Een routebeschrijving vindt u op amsterdam.nl

Gemeente Amsterdam, raadsinformatiebrief





Datum 14 februari 2023 Pagina 5 van 6

niet verder te gaan met de ontwikkeling van het model en hier geen pilot mee te doen. De Participatieraad stelde zich op het standpunt dat “de dienst WPI de Participatieraad op geen enkele manier heeft overtuigd van de meerwaarde van het gebruik van AI. De raad is van mening dat een dergelijk experiment de fundamentele grondrechten van burgers aantast en dient te worden gestaakt”. Het college heeft de Participatieraad als reactie op het advies aangegeven de zorgen van de Participatieraad te begrijpen maar erin te geloven dat dat een dergelijk instrument integer en transparant kan worden ontwikkeld en gebruikt, waarbij ongewenste discriminatoire factoren kunnen worden uitgesloten. Het college vindt het jammer dat de Participatieraad sindsdien geen gehoor meer heeft gegeven aan de uitnodiging om mee te praten over de verdere ontwikkeling van het model en het gebruik daarvan. Het college hecht veel waarde aan de Participatieraad en roept de leden daarvan op weer deel te nemen in het verdere vervolg van het traject. Commissie Persoonsgegevens Amsterdam De CPA is om advies gevraagd over het ontwikkelde Amsterdamse model. Dit heeft geleid tot een positief advies. De CPA concludeert dat de voorbereiding van de inzet van het model zeer zorgvuldig geweest. Ook geeft de CPA een aantal aanbevelingen van technische, juridische en ethische aard.

Het college neemt deze aanbevelingen ruimhartig over. Van de zestien aanbevelingen heeft het college er elf reeds geïmplementeerd, met een twaalfde nog in proces welke ook voor de start van de pilot geïmplementeerd zal worden. Daarnaast wordt een viertal aanbevelingen meegenomen in de evaluatie van de pilot en eventuele doorontwikkeling voor de start van de implementatie. Op welke manier de adviezen van de CPA worden verwerkt is opgenomen in de bijlage. Verificatieonderzoek onafhankelijke derde partij (Deloitte) Om zich ervan te vergewissen dat het model daadwerkelijk aan alle eisen voldoet die eraan worden gesteld, heeft het college ook een onafhankelijke partij de opdracht gegeven een verificatieonderzoek te doen naar de ontwikkeling van het model. Uit drie partijen is die opdracht gegund aan Deloitte. Dit onafhankelijke verificatieonderzoek heeft in het derde kwartaal van 2022 plaatsgevonden en heeft geleid tot een positief oordeel van Deloitte. Deloitte heeft voor dit onderzoek gekeken naar acht dimensies. Voor de dimensies Dataverzameling, voorbewerking en kwaliteit; Eerlijkheid en bias in model en data; Output van het model; en Omgang met persoonsgegevens (AVG) ziet Deloitte, voor de start van de pilot geen aandachtspunten.

Voor de dimensies Doelstelling van de pilot; Governance en proces; Input van het model; en Theorie van het model ziet Deloitte nog wel een aantal aandachtspunten voor de start van de pilot. De door Deloitte voorgestelde wijzigingen zijn inmiddels door het college geïmplementeerd. Op welke manier de adviezen van Deloitte zijn verwerkt is opgenomen in de bijlage.

Wij zijn ervan overtuigd dat alle eisen die het college, maar ook bijvoorbeeld de Autoriteit Persoonsgegevens en het Rijk, stelt aan de toepassing van digitalisering gewaarborgd zijn in dit door de gemeente Amsterdam zelf ontwikkelde model. Een pilot in de praktijk is tot slot noodzakelijk om te kunnen onderzoeken of het gebruik van het model ook daadwerkelijk bijdraagt aan het verlagen van controleonderzoeken waarbij geen onrechtmatigheid is aangetroffen.

Een routebeschrijving vindt u op amsterdam.nl

Gemeente Amsterdam, raadsinformatiebrief

Datum 14 februari 2023 Pagina 6 van 6

Op basis van wat nationale en internationale autoriteiten hedendaags op het gebied van het gebruik van modellen hebben geformuleerd als vereisten voor een eerlijk model, heeft het college in mei van dit jaar ‘The fairness handbook’2 gepubliceerd. In het handboek wordt onder meer beschreven wat in de context van modellen ‘eerlijkheid’ en ‘bias’3 inhouden, hoe deze bij het ontwikkelen van een model respectievelijk kunnen worden versterkt en voorkomen en wat de risico’s van het gebruik van een model kunnen zijn. Dit handboek is tijdens de ontwikkeling van het model ontstaan. Planning pilot Het college is voornemens om de pilot te starten op 1 maart 2023. De pilot zal een looptijd hebben van drie maanden.  Start van de pilot: april 2023  Einde pilot: juli 2023  Eindevaluatie: juli 2023 Het college zal, nadat uw raad deze brief heeft ontvangen, enkele externe partijen benaderen om tijdens de pilot mee te kijken bij de uitvoering. Ook zullen wij deze partijen vragen deel te nemen aan de evaluatie en ons hierop input te geven. Het college zal de raad in het derde kwartaal van 2023 informeren over de uitkomsten van de pilot en de conclusies die het college daaraan verbindt. Ik hoop u hiermee voldoende te hebben geïnformeerd. Met vriendelijke groet, Namens het college van burgemeester en wethouders van de gemeente Amsterdam,

Rutger Groot Wassink Wethouder Sociale Zaken

2

https://amsterdamintelligence.com/resources/the-fairness-handbook

Een routebeschrijving vindt u op amsterdam.nl