[23bb005666] Bijlage 1 behorende bij 23bb005665 over Rapportage Autoriteit Persoonsgegevens Algoritme Heronderzoek

Rapportage Rapportage Autoriteit Persoonsgegevens Algoritme Heronderzoek

Van:

D. Meijer en M. Camfferman

Datum:

5 september 2023

Cluster:

Werk en Inkomen

Inhoudsopgave 1 1.1 1.2 1.3

Rapportage Algoritme Heronderzoek Uitleg algoritme Heronderzoek Toetsing op de AVG Ethische werking algoritme

3 3 4 6

2

Beantwoording vragen

8

3

Afsluitend

16

Datum 5 september 2023

Pagina 2 van 17

1

Rapportage Algoritme Heronderzoek

1.1

Uitleg algoritme Heronderzoek De gemeente Rotterdam begrijpt de zorg die er is over het gebruik van algoritmen. De toepassing van hoogwaardige technologie op een gevoelig onderwerp als sociale zekerheid, vraagt om voorzichtigheid en zorgvuldigheid. Daarbij is het denken over, en de wet- en regelgeving rondom de toepassing van algoritmen, nog volop in beweging. Uitvoering Participatiewet Bij de uitvoering van de publieke taak (de uitvoering van de Participatiewet) bieden wij een helpende hand waar die nodig is en moeten wij de rechtmatige verstrekking van overheidsgeleden waarborgen. Wij zijn ons bewust dat wij met een kwetsbare populatie werken en daar gaan wij zo zorgvuldig mogelijk en binnen de context van de wet mee om. Op grond van art. 53a lid 1 van de Participatiewet kan de gemeente bepalen hoe de rechtmatige verstrekking van bijstand wordt onderzocht en gewaarborgd. Het heronderzoek Het uitvoeren van heronderzoeken is een belangrijk hulpmiddel om die rechtmatigheid te kunnen waarborgen. Gelet op het grote aantal Rotterdamse burgers dat recht heeft op bijstand, is het echter onmogelijk om de gehele uitkeringspopulatie periodiek uit te nodigen voor een dergelijk onderzoek. De gemeente heeft daarom gezocht naar mogelijkheden om de onderzoekscapaciteit zo efficiënt en effectief mogelijk in te zetten.

Daarbij heeft het algoritme in de periode van 2018 tot en met 2021 een rol gespeeld. In deze periode gebruikte de gemeente Rotterdam meerdere selectiemethoden. Naast een selectie op basis van de output van het algoritme gaat het bijvoorbeeld om willekeurig geselecteerde bijstandsgerechtigden of een selectie op basis van een vastgesteld thema. Met deze andere selectiemethoden konden we ook de effectiviteit en de zorgvuldigheid van het algoritme beoordelen. Doel heronderzoek Het primaire doel van het heronderzoek is om te bepalen of een uitkeringssituatie nog rechtmatig is. Van belang is te vermelden dat een onrechtmatigheid niet hetzelfde is als fraude. Een onrechtmatigheid is een onjuistheid in de uitkeringssituatie. Dit komt niet per sé door opzet, het kan ook om een foutje gaan. Een heronderzoek helpt ons om een onrechtmatigheid sneller op te sporen en grotere problemen (zoals een omvangrijke terugvordering) te voorkomen. Secundair kan eventueel fraude worden vastgesteld, maar daar wordt een heronderzoek niet voor ingezet. Hierbij wordt opgemerkt dat de Participatiewet een complexe wet is. Een onrechtmatigheid als gevolg van een fout, vergissing of onduidelijkheid kan dus altijd en vrij gemakkelijk ontstaan. Wij hebben ook te maken met een kwetsbare doelgroep die de regeling en voorwaarden soms moeilijk kan doorgronden.

In de afgelopen jaren wordt tijdens het heronderzoek steeds vaker (multi)problematiek besproken. Mogelijke schulden kunnen bijvoorbeeld tijdens een heronderzoek gesignaleerd en besproken worden. Selectie op basis van het algoritme Door met voorrang bijstandsgerechtigden uit te nodigen waarbij de kans op onrechtmatigheid het grootst werd geacht, kon de beschikbare capaciteit voor het verrichten van heronderzoeken efficiënt worden ingezet. Door mensen proactief uit te

Datum 5 september 2023

Pagina 3 van 17

nodigen konden wij onrechtmatigheden signaleren en het verder oplopen van terugvorderingen voorkomen. Voor alle duidelijkheid: het algoritme is gebruikt bij de selectie voor heronderzoeken en niet bij het uitvoeren van fraudeonderzoeken. Een fraudeonderzoek is een ander type onderzoek waar altijd een duidelijk signaal van mogelijke fraude aan ten grondslag ligt. Uitleg risico-algoritme Het algoritme zoals dat tot en met 2021 is gebruikt, geeft per individuele bijstandsgerechtigde een inschatting van de kans op een onrechtmatigheid. Deze kans werd uitgedrukt in een risico-inschattingsgetal (0-100%). De bijstandsgerechtigden met het hoogste risico-inschattingsgetal werden in beginsel uitgenodigd voor een heronderzoek. Elk heronderzoek werd ongeacht de selectiemethode met dezelfde standaard werkwijze uitgevoerd. Dus het heronderzoek bij een bijstandsgerechtigde die werd uitgenodigd op basis van het algoritme, verliep niet anders dan bij een bijstandsgerechtigde die bijvoorbeeld aselect werd uitgenodigd. Het inhoudelijke onderzoek werd (en wordt ook nu) altijd door een medewerker verricht, besluiten over de (on)rechtmatigheid zijn in alle gevallen genomen op basis van de in het kader van het heronderzoek verkregen inlichtingen en bewijsstukken. Hier speelde het algoritme geen rol in. Zeker ook belangrijk om te vermelden, de rechtspositie van de Rotterdammer was altijd geborgd.

Het bezwaar en beroepsproces was en is voor iedereen toegankelijk en functioneert goed. De onderstaande tabel geeft het aantal bezwaren weer en daarbij het aantal (deels)gegrond. Dit gaat over bezwaren die ingediend zijn voor een heronderzoek ongeacht de selectiemethode. Zoals eerder aangegeven werden heronderzoeken volgens een standaard werkwijze uitgevoerd, waarbij er geen verschil zat in welke selectiemethode gebruikt werd. Uit deze aantallen kan door het aantal gegronde bezwaren opgemerkt worden dat het een onafhankelijk werkend orgaan is. Heronderzoek Oordeel Aantal bezwaren Waarvan, (deels) gegrond

2018 2019 2020 2021 Aantal Aantal Aantal Aantal 586 1.201 1.100 535 95 229 333 220

In het document ‘Uitleg risico-inschattingsmodel’ is de werking van het algoritme opgenomen. Dit document is met de gemeenteraad gedeeld ter voorbereiding van de technische sessie over dit algoritme die op 1 september 2021 heeft plaatsgevonden.

1.2

Toetsing op de AVG In uw brief vraagt u om in deze rapportage in kaart te brengen hoe het gebruik van het algoritme zich verhoudt tot de vereisten van de AVG en of onze burgers door gebruikmaking van dit algoritme financiële of immateriële schade hebben geleden. Wij zullen in dit onderdeel hierover een beschrijving geven. De grondslag voor het uitvoeren van een risicoanalyse middels een algoritme ten behoeve van het selecteren van bijstandsgerechtigden voor een heronderzoek bevindt zich in artikel

Datum 5 september 2023

Pagina 4 van 17

53a van de Participatiewet. In dit artikel is het de taak van het college van burgemeester en wethouders om een onderzoek in te stellen naar de juistheid en volledigheid van de verstrekte gegevens en zo nodig naar andere gegevens die noodzakelijk zijn voor de verlening dan wel voortzetting van bijstand. De algemene onderzoeksbevoegdheid kan spontaan worden uitgeoefend. Om dit te doen is geen redengevend feit, signaal, grond of vermoeden vereist. Het algoritme maakte uitsluitend gebruik van gegevens die vanuit het primaire proces van Werk en Inkomen werden verzameld voor de uitvoering van de Participatiewet. De ontwikkeling van het algoritme is in 2016 begonnen. Dit was in gezamenlijkheid met de IT-leverancier Accenture. Destijds is er ook een PIA geschreven, dit werd toegevoegd aan het projectverslag (bijlage: Project_verslag analytics uitkeringsfraude1 (Big Data)_Optimized). Hoewel deze PIA aantoont dat privacy ook in 2016 een onderdeel was van onze aanpak, zouden we dit document met de huidige maatstaven als zwak beschouwen. Hierbij willen wij wel benadrukken dat het bewustzijn van degelijke privacyborging op algoritmen en daarmee ook de kennis, ervaring en instrumenten om dat te bewerkstelligen in de loop der jaren –ook na 2018 - is gegroeid.

In 2021 is gestart met een nieuwe gegevensbeschermingseffectbeoordeling op het toenmalige algoritme door een nieuwe DPIA op te stellen. Deze DPIA was nog niet afgerond toen het toenmalige algoritme on-hold werd gezet. Voor het nieuwe algoritme, waar we daarna aan zijn gaan bouwen, werd in een vroeg stadium een DPIA geschreven, maar omdat dit model niet afgerond is, is deze DPIA ook niet afgerond. Er waren bijvoorbeeld nog geen variabelen gekozen. Deze DPIA was in een vergevorderd stadium. Hier is in de afgelopen 1,5 jaar veel inzet op gepleegd omdat het nieuwe algoritme aan alle privacy en ethische normen moest voldoen om gebruikt te kunnen worden bij de uitvoering van heronderzoeken. In februari 2021 is een rapport geschreven door de interne Concern Auditdienst (bijlage: 20210204 - Auditdienst - Advies Analytics uitkeringsonrechtmatigheid). De Concern Auditdienst is gevraagd om advies te geven over ethische regels zoals vooringenomenheid en transparantie met betrekking tot het algoritme van heronderzoeken. Een van de voornaamste conclusies uit dit document is dat het niet duidelijk is hoe de exacte technische werking van het toen draaiende algoritme uitgelegd kon worden aan de inwoners. Ook wordt gesteld dat de documentatie over de werking van het algoritme verbeterd en minder technisch moest worden, zodat het algoritme ook uitlegbaar zou zijn.

De onafhankelijke Rekenkamer Rotterdam heeft in april 2021 het rapport Gekleurde Technologie gepubliceerd (bijlage: R.P.20.06-gekleurde-technologie). In dit rapport is, net als bij de Concern Auditdienst, vooral de ethische werking van het algoritme beschouwd. Wel staat er in hoofdstuk 4.5.1 dat: “de gemeente vooral veel aandacht heeft besteed aan dataveiligheid”. Kort op het verschijnen van het rapport van de Rekenkamer Rotterdam heeft de functionaris gegevensbescherming in een advies naar de verantwoordelijke proceseigenaar gemeld dat er nog noodzakelijke stappen gezet moesten worden zodat de privacyborging van het algoritme volgens de AVG op orde zou komen (bijlage: advies FG DPIA Analytics uitkeringsonrechtmatigheidMMRTV_Optimized). In augustus van 2021 is de raad geïnformeerd over welke maatregelen genomen zijn naar aanleiding van de adviezen van de Concern Auditdienst en de Rekenkamer Rotterdam. In de raadsbrief (bijlage: Opvolgen aanbevelingen risico-inschattingsmodel 20210825 1

In het spraakgebruik lopen de termen fraude en heronderzoek wel eens door elkaar. Zowel qua aanleiding (wel of geen vermoeden van fraude) als qua werkwijze zijn heronderzoeken en fraudeonderzoeken twee verschillende zaken. Datum 5 september 2023

Pagina 5 van 17

21bb10645 RIM) is deze reactie beschreven. In deze brief zijn ook de gebruikte variabelen opgenomen. Het algoritme is toen on-hold gezet, omdat het vrijgemaakt moest worden van mogelijk vooringenomen proxy’s. Een van de voorgestelde maatregelen was om de technische uitlegbaarheid, die ook in de AVG een belangrijk beginsel is, te verbeteren. In het begin van 2021 werd gestart met het verbeteren van de borging van de privacy omdat de DPIA werd geschreven. Toen het oude algoritme vervolgens on-hold werd gezet en de ontwikkeling van het nieuwe algoritme werd gestart, werd een nieuwe DPIA geschreven voor het nieuwe algoritme. Het document ‘21.0231201_DPIA Algoritme heronderzoeken_V 1.4(gelakt)’ is een laatste versie van deze DPIA. Dit is nog een concept. Omdat het nieuwe algoritme niet uit-ontwikkeld is, kon de DPIA ook niet afgerond worden. Beide onderzoeksrapporten van de Concern Auditdienst en de Rekenkamer Rotterdam melden dat dataveiligheid een belangrijk streven was. In het rapport van de Concern Auditdienst wordt op pagina 3 de algoritmeketen beschreven, waarmee inzicht wordt gegeven in de verwerking van de persoonsgegevens door het algoritme. Hoewel de privacyborging destijds formeel niet aan alle eisen voldeed, willen wij benadrukken dat er in de praktijk met alle te verwachten zorgvuldigheid is omgegaan met persoonsgegevens.

Voor het nieuwe algoritme was een goede ethische en privacyborging een absolute must.

1.3

Ethische werking algoritme De gemeente Rotterdam is zich terdege bewust van de ethische aspecten die bij het gebruik van het algoritme een rol spelen. Onderzoeken zoals het rapport ‘Gekleurde technologie’ van de Rekenkamer Rotterdam en het rapport van de Concern Auditdienst waren het begin van een intensief intern retrospectief. In ‘Gekleurde technologie’ staat: “Ondanks dat de variabelen die tot directe onwettige discriminatie zouden kunnen leiden – zoals nationaliteit van een uitkeringsontvanger – worden weggelaten uit het algoritme, zou het algoritme nog steeds variabelen kunnen bevatten die resulteren in impliciete vooringenomenheid van het algoritme.” Terugkijkend beseffen wij ons dat we geen perfect algoritme hadden, dat volledig vrij was van mogelijk vooringenomen proxy’s en voldoende transparant was. Na het rapport van de Concern Auditdienst, het rapport van de Rekenkamer Rotterdam en de bespreking in de Rotterdamse gemeenteraad volgde een intern evaluatietraject dat ertoe heeft geleid dat het toenmalige algoritme on-hold werd gezet om er zeker van te zijn dat er geen algoritme wordt gebruikt dat mogelijk vooringenomen is. Daarnaast zijn de volgende acties ondernomen: o

o o

Het besluit is genomen om een aantal features aan te merken als mogelijk vooringenomen proxy’s die niet meer mogen worden gebruikt in volgende versies van het algoritme (zie bijlage 2 bij de brief aan de gemeenteraad van 25 augustus 2021 ‘Opvolgen aanbevelingen risico-inschattingsmodel’). Het versterken van concernbrede governance rondom hoog-risico algoritmen waaronder dit betreffende algoritme. Het treffen van voorbereidingen om een nieuw algoritme te ontwikkelen dat geen mogelijk vooringenomen features bevat, transparant, uitlegbaar en doelmatig is.

Datum 5 september 2023

Pagina 6 van 17

Ontwikkeling nieuw algoritme Begin 2022 is gestart met de ontwikkeling van het nieuwe algoritme. Dat nieuwe algoritme zou moeten voldoen aan de daaraan te stellen (aangescherpte) eisen van transparantie en het voorkomen van mogelijke vooringenomenheid. In dit ontwikkelingstraject is er veel aandacht geweest voor ethiek, zo zijn er De Ethische Data Assistent (DEDA) en Impact Assessment Mensenrechten en Algoritmes (IAMA) sessies geweest waarin de mogelijke ethische gevolgen van het nieuwe algoritme besproken zijn. Voorlopig pauzeren doorontwikkeling Inmiddels is besloten de ontwikkeling van dit nieuwe algoritme voorlopig stil te zetten. Zie daarvoor in de bijlage de brief: ‘[23bb004551] Afdoeningsvoorstel toezegging pauzeren ontwikkeling risico-inschattingsmodel (21bb11878)’ van 27 juni 2023. Met de gemeenteraad zijn kaders afgesproken waaraan het algoritme moet voldoen, namelijk een transparant, niet potentieel vooringenomen en doelmatig algoritme. Het is echter op dit moment niet mogelijk gebleken om aan deze eisen te voldoen. Om het algoritme vrij te krijgen van alle mogelijke vooringenomen proxy ’s is een correlatiecheck nodig. Een correlatiecheck maakt het verband inzichtelijk tussen variabelen die als input voor het algoritme worden gebruikt en discriminatoire variabelen, zoals geslacht en nationaliteit.

Wanneer een variabele significant correleert met een discriminatoire variabele, zou deze niet meegenomen worden in de ontwikkeling van het algoritme. Vanuit het uitvoeren van de Participatiewet beschikt het onderdeel Werk en Inkomen van de gemeente Rotterdam niet over alle informatie die nodig is voor het uitvoeren van de correlatiecheck. Gegevens die vereist zijn om samenhang met de verboden discriminatiegrond ras/afkomst te onderzoeken, zijn namelijk niet beschikbaar. Dergelijke gegevens zijn wel beschikbaar in de Basis Registratie Personen (BRP). De Wet BRP biedt echter geen grondslag voor het gebruik van deze gegevens met de correlatiecheck als doel. Zonder de correlatiecheck was het niet mogelijk om een algoritme te ontwikkelen waarin we voldoende vertrouwen dat dit zoveel mogelijk vrij was van potentiele vooringenomenheid. Het voorkomen van vooringenomenheid en discriminatie wegen wij zwaar. Daarnaast hebben wij geconcludeerd dat de ontwikkeling van het algoritme in het algemeen veel tijd en middelen kost. Deze inzet van tijd en middelen weegt op dit moment niet op tegen de mogelijke baten. Gelet op deze combinatie van juridische complexiteit en bedrijfsmatige inefficiëntie is besloten om de ontwikkeling te pauzeren. De ontwikkelingen in landelijke en Europese wet- en regelgeving op dit vlak volgen we nauwgezet.

Wanneer er nieuwe mogelijkheden ontstaan om een algoritme te ontwikkelen dat transparant en uitlegbaar is, en waarin de kans op vooringenomenheid kan worden voorkomen, kan dit aanleiding zijn om de ontwikkeling van een nieuw algoritme alsnog ter hand te nemen. Op dit moment is er dus echter (sinds augustus 2021) geen algoritme meer in gebruik bij de selectie van bijstandsgerechtigden voor een heronderzoek en wordt er sinds juni 2023 ook niet meer gewerkt aan een nieuw algoritme.

Datum 5 september 2023

Pagina 7 van 17

2

Beantwoording vragen Wij willen u nog graag expliciet antwoord geven op de door u gestelde vragen. Vraag 1: Is de gemeente Rotterdam na de uitspraak van 5 februari 2020 van Rechtbank Den Haag gestopt met het gebruik van het algoritme, en zo ja, op welk moment is het gebruik ervan gestaakt? En zo nee, waarom niet? Antwoord: Nee, wij zijn naar aanleiding van de uitspraak van 5 februari 2020 niet gestopt met het gebruik van het algoritme voor heronderzoeken. Het algoritme was tot augustus 2021 operationeel. De uitspraak van 5 februari 2020 is specifiek gericht op het model SyRI. Het door ons eerder gebruikte algoritme voor de selectie van bijstandsgerechtigden voor een heronderzoek is een fundamenteel ander model. De uitspraak van 5 februari 2020 is naar onze mening daarom niet direct relevant voor vraagstukken over het Rotterdamse algoritme voor heronderzoeken. SyRI en het algoritme voor heronderzoeken zijn twee verschillende verwerkingen en werden ingezet door verschillende overheidsorganisaties waardoor de gehele governance/aansturing anders was. Wij zien daarnaast de volgende belangrijkste verschillen tussen SyRI en de wijze waarop het algoritme voor heronderzoeken werd ingezet: o SyRI is ingezet als een model om fraude te signaleren. Het Rotterdamse algoritme voor heronderzoeken is niet ingezet om fraude te signaleren.

Het is ingezet om bijstandsgerechtigde te selecteren voor een heronderzoek. In het heronderzoek wordt de rechtmatigheid van een bijstandsuitkering vastgesteld. Een gevonden onrechtmatigheid staat niet gelijk aan fraude. Zoals eerder aangegeven kan het ook gaan om fouten/vergissingen. o Bij SyRI werden gegevens uit veel verschillende bronnen van verschillende overheidsorganen gebruikt en met elkaar verbonden of gecombineerd. Overheidsorganisaties wisselden deze gegevens met elkaar uit. Het risico was dat overheidsorganisaties door SyRI over informatie konden beschikken waarover zij vanuit hun kerntaak geen toegang toe hadden. Dit leverde het risico op dat overheidsorganisaties een inbreuk op een privéleven kon maken, dat ze zonder deze informatie niet konden doen. Dit is zo ook in de door u aangehaalde uitspraak verwoord. In het algoritme voor de selectie van heronderzoeken werd alleen informatie gebruikt die in het kader van de wettelijke taak (het verlenen van bijstand) door het college van de gemeente Rotterdam is verzameld. o Bij SyRI werden burgers niet geïnformeerd over het gebruik ervan. Burgers met een risicomelding werden daarnaast (ook na afronding van het onderzoek) geregistreerd in een registratiesysteem. De gemeente Rotterdam heeft desgevraagd wel inzicht verschaft in het gebruik van het algoritme voor heronderzoeken.

Dit algoritme is inmiddels ook opgenomen in het algoritmeregister. Na uitvoering van het

Datum 5 september 2023

Pagina 8 van 17

o

o

heronderzoek resteert geen verdere registratie waaruit blijkt dat er sprake was van een relatief hoog risico-inschattingsgetal. Bij SyRI werd vooraf de focus gelegd op bepaalde probleemwijken. Het algoritme van de gemeente Rotterdam werd toegepast op bijstandsgerechtigden in de gehele stad. In het geval van SyRI verschafte de rijksoverheid geen inzicht in het model en de gebruikte indicatoren. De gemeente Rotterdam heeft in augustus 2021 inzicht verschaft in de gebruikte indicatoren en hun relatieve belangrijkheid. In 2022 heeft de gemeente ook vergaande transparantie getoond over de werking van het algoritme naar het onderzoekscollectief Lighthouse Reports.

Mede door het rapport ‘Gekleurde technologie’ van de Rekenkamer Rotterdam werd duidelijk dat we als gemeente beter moeten kijken naar de ethische aspecten van een dergelijk algoritme en de aanwezigheid van proxy’s in het model. Daarnaast is er meer aandacht gekomen voor de vereiste governance rondom een degelijk algoritme. Vraag 2: Wat was voor uw gemeente het beoogde doel van het algoritme? Wat heeft het gebruik voor de gemeente Rotterdam opgeleverd gelet op het vooraf vastgestelde doel? Graag ontvangen wij een evaluatie. Antwoord: Het algoritme is bedoeld om het selecteren van bijstandsgerechtigden voor een heronderzoek effectief en efficiënt te faciliteren. Achtergrondgedachte bij het gebruik van het algoritme was dat we de bijstandsgerechtigden voorrang wilden geven waarbij de kans op onrechtmatigheid het grootst is. Hierbij vinden wij het van belang nogmaals te benadrukken dat een onrechtmatigheid niet gelijk staat aan fraude. Fraudeonderzoeken voeren wij uit in een ander deel van de organisatie, en worden verricht door daarvoor getrainde teams. Een fraudeonderzoek wordt gedaan naar aanleiding van een concrete melding van mogelijke fraude. In dat proces wordt geen gebruik gemaakt van een algoritme. Uit ervaringscijfers over de afgelopen jaren, blijkt dat het werken met het algoritme in de voorgaande jaren succesvol is geweest.

Het algoritme slaagde erin om meer gevallen waarin feitelijk sprake was van een onrechtmatigheid, te selecteren. Hierdoor hielp het algoritme ook om grotere problemen (zoals het oplopen van het eventuele terugvorderingsbedrag) voor de burger te voorkomen en hun uitkeringen rechtmatig te maken of te houden. In de beantwoording van eerdere raadsvragen over de effectiviteit van het algoritme, zijn de volgende gegevens opgenomen:

Datum 5 september 2023

Pagina 9 van 17

Jaar: 2018

Afgeronde onderzoeken

Uitkering beëindigd

Terugvordering

Aanpassing uitkering

18,0%

100

21,0%

6

Risicoinschattingsmodel Thema’s

477

86

2.013

264

13,1%

395

19,6%

22

1,1%

Samenwerking e.d.** Aselect

305 2.961

116 190

38,0% 6,4%

54 515

17,7% 17,4%

1 35

0,3% 1,2%

Totaal

5.756

656

11,4%

1.064

18,5%

64

1,1%

1,3%

** Bij ‘samenwerking e.d.’ is er sprake van een concreet signaal waaruit blijkt dat er mogelijk iets aan de hand is met de rechtmatigheid van de verstrekte uitkering. De resultaten van heronderzoeken n.a.v. samenwerking zijn dus niet goed vergelijkbaar met de resultaten van heronderzoeken o.b.v. de output van het algoritme.

Jaar: 2019

Afgeronde onderzoeken

Uitkering beëindigd

Terugvordering

Aanpassing uitkering

Risicoinschattingsmodel

1.428

188

13,2%

381

26,7%

18

1,3%

Thema’s Samenwerking e.d.**

2.946 824

210 251

7,1% 30,5%

612 199

20,8% 24,2%

36 14

1,2% 1,7%

Aselect Totaal

1.169 6.367

64 713

5,5% 11,2%

278 1.470

23,8% 23,1%

20 88

1,7% 1,4%

Jaar: 2020 Risicoinschattingsmodel Thema’s

Afgeronde onderzoeken 1.207

Uitkering beëindigd 102 8,5%

Terugvordering 431

35,7%

Aanpassing uitkering 317 26,3%

1.850

67

3,6%

418

22,6%

384]

20,8%

Samenwerking e.d.**

265

73

27,5%

101

38,1%

45

17.0%

Aselect Totaal

24* 3.346

1 243

4,2% 7,3%

13 963

54,2% 28,8%

8 754

33,3% 22,5%

*het aantal van 24 is te laag en daarom niet representatief om conclusies aan te verbinden. Dit lage aantal kwam omdat we in 2020 minder heronderzoeken konden verrichten ivm de coronacrisis. Het maximale aantal heronderzoeken was al bereikt met de uitvoering van de heronderzoeken die op basis van de andere selectiemethoden waren geselecteerd.

Over 2021 is het beeld als volgt: Jaar: 2021

Afgeronde onderzoeken

Uitkering beëindigd

Terugvordering

Aanpassing uitkering

Risicoinschattingsmodel Thema’s

253

12

4,7%

105

41,5%

94

37,2%

3.839

77

2,0%

359

9,4%

293

7,6%

Samenwerking e.d.** Aselect

18 241

11 4

61,1% 1,7%

9 8

50,0% 3,3%

1 6

5,6% 2,5%

Totaal

4.351

104

2,39%

481

11,1%

394

9,1%

Hieruit is af te leiden dat het verrichten van heronderzoeken op basis van het algoritme in 2018 tot en met 2021 vaker heeft geleid tot het vinden van onrechtmatigheden dan onderzoeken op basis van vooraf vastgestelde thema’s of op aselecte basis.

Datum 5 september 2023

Pagina 10 van 17

Door het onderzoek van de Rekenkamer Rotterdam in 2021 is de gemeente zich meer bewust geworden van proxy’s die mogelijk tot (onbedoelde) vooringenomenheid kunnen leiden. Naar aanleiding van dit rapport is gestopt met de inzet van het algoritme. Vervolgens was het streven om een nieuw algoritme te ontwikkelen waarin vooringenomenheid wordt voorkomen. De gemeenteraad is op 27 juni jl. geïnformeerd dat de ontwikkeling van het nieuwe algoritme tot nader order is gepauzeerd. De inspanningen en technieken die nodig zijn om een model te ontwikkelen dat geen vooringenomen proxy’s bevat wegen op dit moment niet op tegen de mogelijke baten. Vraag 3: Hoe heeft de besluitvorming plaatsgevonden over de voortzetting van het gebruik van het algoritme of een variant daarvan na de uitspraak van 5 februari 2020 van Rechtbank Den Haag waarin werd geoordeeld dat gebruikmaking van een dergelijk systeem in strijd is met de AVG? Antwoord: De aangehaalde uitspraak heeft niet geleid tot nieuwe besluitvorming met betrekking tot de inzet van het algoritme. Zoals ook in het antwoord op vraag 1 is toegelicht zijn er volgens ons cruciale verschillen tussen SyRI en het algoritme dat is gebruikt voor de selectie van heronderzoeken. Verder verbiedt de SyRI-uitspraak niet het gebruik van elke vorm van algoritmen.

Omdat SyRI en het algoritme voor heronderzoeken fundamenteel verschillen in techniek en toepassing, hebben wij niet de relatie gelegd tussen ons algoritme en de SyRI-uitspraak. Wij hebben daarom geen actie ondernomen naar aanleiding van deze zaak. Zoals eerder ook beschreven is in 2021 wel besloten om de toepassing van het algoritme stop te zetten nadat de Rekenkamer Rotterdam en de interne auditdienst geconcludeerd hadden dat potentiële vooringenomenheid niet voorkomen kon worden in het toenmalige model. Het algoritme bleek wel een effectief middel om bijstandsgerechtigden te selecteren voor een heronderzoek. Daarom is er wel gewerkt aan een nieuw algoritme, waarin wij vooringenomenheid wilden voorkomen. Het is met een redelijke inzet van middelen echter niet mogelijk gebleken om een dergelijk model te ontwikkelen dat voldoet aan alle daaraan te stellen eisen. Daarom is de ontwikkeling gepauzeerd. Vraag 4: Heeft uw gemeente na de datum van 5 februari 2020 een (nieuwe) gegevensbeschermingseffectbeoordeling uitgevoerd na voorzetting van het algoritme? Antwoord: Nee, een dergelijke beoordeling heeft niet plaatsgevonden met als reden dat wij geen verband zagen tussen de door u aangehaalde uitspraak en het algoritme voor het selecteren van bijstandsgerechtigden voor heronderzoeken. Tijdens de start van het algoritme is een PIA geschreven.

Deze PIA beschouwen we nu volgens huidige maatstaven als onvolledig. Daarom is – door onder meer op advies van de toenmalige Functionaris Gegevensbescherming (FG) - begin 2021 een DPIA-traject opgestart om de toen bestaande verwerking van het destijds draaiende algoritme te toetsen

Datum 5 september 2023

Pagina 11 van 17

op de AVG. Deze DPIA is uiteindelijk niet afgerond omdat dat algoritme on-hold is gezet. Voor het nieuwe algoritme waar vanaf begin 2022 aan werd gewerkt is ook een DPIA-traject gestart en dat is niet afgerond omdat de ontwikkeling van een nieuw algoritme recent is gepauzeerd. De FG heeft wel een advies hierop gegeven (bijlage: advies FG DPIA Analytics uitkeringsonrechtmatigheidMMRTV_Optimized). Tot die tijd is er inzet gepleegd om de concept-DPIA te optimaliseren. Daarnaast is er veel gedaan om het nieuwe algoritme te voorzien van privacy en ethische waarborgen. Zo zijn er IAMA en DEDA-sessies georganiseerd. Vraag 5: Is uw functionaris gegevensbescherming (FG) (vooraf) betrokken geweest bij een besluit tot verder gebruik van het algoritme de uitspraak van 5 februari 2020 van Rechtbank Den Haag? Is uw FG om advies gevraagd over voortzetting van het gebruik, en zo ja, hoe heeft dat advies geluid? Antwoord: Nee, op dit punt is niet direct na bedoelde uitspraak een advies gevraagd aan de FG of aan een andere privacy deskundige van onze organisatie. De reden hiervoor is dat wij geen verband zagen in de door u aangehaalde uitspraak en het algoritme voor het selecteren van bijstandsgerechtigden voor heronderzoeken.

In aanvulling op het antwoord bij vraag 4, in 2021 heeft de Functionaris Gegevensbescherming aan de verantwoordelijke proceseigenaar kenbaar gemaakt dat de borging van de privacy van het toenmalige algoritme niet voldoende was. Destijds was het rapport van de Rekenkamer Rotterdam al verschenen waarin werd vermeld dat het DPIAproces meer gestandaardiseerd moest worden. Dit betekende overigens niet dat er onzorgvuldig met gegevens werd omgegaan. In het rapport van onze interne Concern Auditdienst ‘Advies Analytics uitkeringsonrechtmatigheid’, is bij het onderdeel algoritmeketen aangegeven hoe dit proces eruitzag. Vraag 6: Hebben burgers van uw gemeente financiële en/of immateriële schade geleden door uw gebruikmaking van het algoritme, en in welke mate is dat het geval en volgens welke methodiek heeft u dat vastgesteld? Antwoord: Bijstandsgerechtigden zijn niet benadeeld door het algoritme. Het is een gemeentelijke taak om een heronderzoek uit te voeren en op deze manier vroegtijdig een onrechtmatigheid te vinden en daarmee te voorkomen dat er hogere terugvorderingen ontstaan. Een heronderzoek wordt verricht door een inkomensconsulent van de gemeente Rotterdam. In een heronderzoek wordt de rechtmatigheid van de uitkering vastgesteld. Dit wordt vastgesteld op basis van feiten (inlichtingen en bewijsstukken) die in het kader van het heronderzoek worden vergaard.

Het heronderzoek werd steeds op dezelfde wijze uitgevoerd, ongeacht op welke wijze de bijstandsgerechtigde was geselecteerd voor een heronderzoek. Het algoritme speelde geen rol bij het besluit over de (on)rechtmatigheid van een verstrekte uitkering. Bijstandsgerechtigden die op basis van de output van het algoritme zijn uitgenodigd

Datum 5 september 2023

Pagina 12 van 17

hebben daarom geen financiële of immateriële schade ondervonden door inzet van het algoritme. Zij zijn niet in een ongunstiger positie beland dan bijstandsgerechtigden die met andere methoden geselecteerd werden voor een heronderzoek. Vraag 7: Op welke wijze en binnen welke termijn gaat uw gemeente de betreffende burgers informeren over het gebruik van het algoritme en in geval van schade compenseren? Antwoord: Gelet op het antwoord op vraag 6, zijn wij van mening dat er geen sprake is van door burgers geleden schade als gevolg van het gebruik van het algoritme. Vraag 8: Welke lessen voor de toekomst heeft de gemeente Rotterdam getrokken uit het gebruik van het algoritme? De AP verzoekt u daarbij in te gaan op het recente rapport van de Rekenkamer Rotterdam'*. Antwoord: Wij zijn de Rekenkamer Rotterdam erkentelijk voor het rapport Gekleurde technologie’. Dit rapport, maar ook andere rapporten, debatten met de raad en signalen uit de samenleving hebben ertoe geleid dat wij nieuwe inzichten hebben gekregen in de risico’s van de werking van het algoritme. Hieronder staan we eerst stil bij de lessen die wij hebben getrokken uit deze casus en de (inmiddels stopgezette) ontwikkeling van een nieuw algoritme. Daarna staan wij stil bij de algemene lessen die wij hieruit getrokken hebben en de stappen die wij hebben gezet in de verbetering van de governance voor algoritmen.

Specifieke lessen algoritme heronderzoeken: De conclusies uit het rekenkamerrapport zijn bij de stappen om een nieuw model te ontwikkelen ter harte genomen. o In augustus 2021 zijn direct 102 features aangemerkt als (mogelijke) proxy, zodat deze features niet meer zullen worden gebruikt in nieuwe versies van het model (zie bijlage 2 bij de brief aan de gemeenteraad van 25 augustus 2021, pagina 21 e.v.); o Het nieuwe model zou aan de privacy-eisen voldoen, dat zou geborgd worden met een nieuwe DPIA. Inmiddels is het DPIA-proces meer gestandaardiseerd in de organisatie. o Bij de ontwikkeling van het nieuwe model is extra aandacht besteed aan de governance en ethische aspecten (IAMA-sessies); o Er is gezorgd voor meer transparantie door opname van het algoritme in het algoritmeregister; o Als een van de belangrijkste kernwaarden is geformuleerd dat in het nieuwe algoritme vooringenomenheid moet zijn uitgesloten. Ook in het coalitieakkoord ‘Eén stad’ is opgenomen: "De gemeente past geen algoritmen toe die direct of indirect beslissingen baseren op gegevens die terug te voeren zijn naar afkomst." Algemene lessen: Een deel van de conclusies uit het rapport Gekleurde technologie van de Rekenkamer Rotterdam gaan over de algemene, concernbrede aandacht die nodig is voor ethiek en algoritmen. Hieronder gaan we in op lessen die we als gemeente geleerd hebben.

Datum 5 september 2023

Pagina 13 van 17

Naar aanleiding van het Rekenkamer rapport heeft de gemeente Rotterdam eind 2021/begin 2022 een algoritmegovernance ingericht (bijlage: Bijlage Governance hoog risico algoritmen gemeente Rotterdam). Met de implementatie van deze governance wordt invulling gegeven aan de door de Rekenkamer Rotterdam destijds geconstateerde tekortkomingen voor wat betreft de belegging van verantwoordelijkheden bij het algoritmegebruik van de gemeente. Deze governance is primair gericht op het beheersen van hoog-risico algoritmetoepassingen en is recent geëvalueerd door de gemeente (bijlage: EvaluatieRapport_Algoritmegovernance). Daarnaast is de Rekenkamer Rotterdam momenteel met een vervolgonderzoek bezig naar deze algoritmegovernance. Het resultaat van dit onderzoek wordt ook meegenomen in de doorontwikkeling van de algoritmegovernance (voorzien uiterlijk vierde kwartaal 2023). De nieuwe, te ontwikkelingen governance zal naast hoog-risico algoritmetoepassingen ook meer oog hebben voor laag-risico toepassingen. Hieronder worden de kernelementen van de algoritmegovernance uiteengezet. Hierbij wordt ook een doorkijkje gegeven naar de (verwachte) doorontwikkeling van de algoritmegovernance. Verantwoord algoritmegebruik is namelijk een ontwikkelend vakgebied en daarom vinden wij het nodig om continu te blijven reflecteren op ons handelen.

Van belang is om te onderstrepen dat de algoritmegovernance is vormgegeven als aanvullende governance. Dit is aanvullend op bijvoorbeeld de privacygovernance en de datagovernance. De algoritmegovernance belegt de rollen, taken en verantwoordelijkheden rondom algoritmetoepassingen. In deze governance wordt onderscheid gemaakt tussen het ‘algoritme’ en de ‘algoritmetoepassing’. De governance richt zich op algoritmetoepassingen. In de opzet van de algoritmegovernance werd het algoritme gedefinieerd als: ‘Een algoritme is software die data-analyse, statistiek of logica kan uitvoeren. Dit kan variëren van een simpele regels tot niet-lineaire modellen die doen denken aan neurale netwerken’. Algoritmetoepassingen werden gedefinieerd als bestaande uit vier onderdelen: gegevens, algoritme, resultaat en impact. Binnen de algoritmegovernance zijn er nieuwe rollen ingericht: de Algoritmeadviesraad en die van algoritme-expert. De Algoritmeadviesraad (AAR, voorheen Algorithm Advisory Board, AAB) is een extern adviesorgaan wat de gemeente gevraagd en ongevraagd van advies kan voorzien voor wat betreft verantwoord algoritmegebruik. Zij bestaat sinds 7 juni 2022. De AAR komt ca 4-5 keer per jaar bij elkaar en bestaat uit 5 externe leden uit verschillende wetenschappelijke disciplines. Adviezen van de AAR kunnen casus-gebonden en/of organisatiebreed toepasselijk zijn.

Om de organisatie te ondersteunen is de functie algoritme-expert gecreëerd. De algoritmeexpert (AE) inventariseert en registreert algoritmetoepassingen in de organisatie, is verantwoordelijk voor het beheren van het algoritmeregister en adviseert rondom ethisch en verantwoord algoritmegebruik. Daarnaast faciliteert deze de Algorithm Risk Assessment (ARA). De ARA vormt de kern de algoritmegovernance. De ARA classificeert risico’s voor algoritmetoepassingen als hoog-risico of laag risico algoritme. Het niet afgeronde algoritme voor heronderzoeken was als een hoog risico algoritme gekwalificeerd. Dit houdt in dat er

Datum 5 september 2023

Pagina 14 van 17

verscherpte maatregelen nodig zijn zoals bijvoorbeeld uitgebreide beschrijvingen van het algoritme en het uitvoeren van IAMA-sessies. In het rapport Gekleurde technologie benoemt de Rekenkamer Rotterdam het risico van onvoldoende bewustzijn van ethische risico’s bij algoritmegebruik in de organisatie. Om deze reden (en ondersteund door adviezen van de AAR) wordt er momenteel gewerkt aan het verhogen van bewustzijn binnen de gehele organisatie over de ethische risico’s van het werken met algoritmetoepassingen door middel van communicatie, kennissessies en het ontwikkelen van trainingen. Naast deze interne bewustwordingsslag, test Rotterdam ook de begrijpelijkheid en vindbaarheid van haar uitleg over algoritmegebruik. Hiervoor worden momenteel gebruikerstesten uitgevoerd met Rotterdammers. Tot slot neemt Rotterdam als landelijke koploper haar verantwoordelijkheid in het delen van de geleerde lessen en de ervaringen met de algoritmegovernance. Op deze manier zorgen we ervoor dat de lessen niet alleen binnen Rotterdam beklijven maar ook bij andere organisaties onder de aandacht gebracht worden.

Vraag 9: De AP verzoekt u gemotiveerd aan te geven waarom u het inzetten van dit algoritme noodzakelijk acht, waarom het gebruik ervan proportioneel zou zijn en of er andere middelen ingezet kunnen worden om hetzelfde doel te bereiken? Antwoord: Zoals eerder aangegeven is het algoritme in 2021 on-hold gezet en wordt het algoritme ook nu niet meer ingezet. Voor het doel van het vorige algoritme en de vraag waarom wij de inzet van het algoritme noodzakelijk hebben geacht, verwijzen wij u naar het antwoord op vraag 2. Het effect van het algoritme hadden we niet in dezelfde mate kunnen realiseren op een andere wijze. Uit ervaringscijfers blijkt dat bijvoorbeeld het aselect uitnodigen van bijstandsgerechtigden, een stuk minder effectief is voor het uitvoeren onze taak van rechtmatige bijstandsverstrekking dan het selecteren op basis van het algoritme. Het was en is onze overtuiging, dat een algoritme hiervoor een goed middel is. Zoals eerder uiteengezet erkennen we dat er bij de verdere ontwikkeling van algoritmen, wel meer aandacht moet zijn voor ethische aspecten, de uitlegbaarheid van het algoritme en het bestaan van proxy’s.

Dat is ook de reden dat na het uitkomen van het rapport van de Rekenkamer Rotterdam, in de tweede helft van 2021 is besloten te stoppen met de inzet van het oude model en dat er vervolgens veel tijd en energie is gestoken in onderzoek naar de mogelijkheden om een algoritme te ontwikkelen waarin alle vormen van (mogelijke) vooringenomenheid worden voorkomen. We wilden een algoritme voor heronderzoeken ontwikkelen dat aan alle eisen voldoet, maar dat is niet gelukt.

Datum 5 september 2023

Pagina 15 van 17

Vraag 10 Kunt u aangeven hoe de nieuwe versie van dit algoritme dat wordt ontwikkeld binnen uw gemeente zich verhoudt tot het programma DGW? Wordt deze nieuwe versie door de gemeente Rotterdam ontwikkeld of maakt de gemeente daarbij gebruik van een externe partij? En wordt dit algoritme exclusief voor of door de gemeente Rotterdam ontwikkeld of ook voor andere partners in bijvoorbeeld voormeld consortium? Antwoord: Het programma Datagedreven Werken (DGW) creëert een fundament voor dataprojecten zodat die aan verschillende randvoorwaarden voldoen. Dit betekent dat binnen dit programma bijvoorbeeld het Privacyframework (bijlage: 2Privacyframework datagedreven werken DAP'R) en de algoritme-governance zijn ontwikkeld. Verder had het programma een adviserende rol bij de ontwikkeling van het algoritme. Bijvoorbeeld bij het faciliteren van Impact Assessment Mensenrechten en Algoritmen (IAMA)-sessies. De (inmiddels gestaakte) ontwikkeling van het nieuwe algoritme, lag volledig in eigen hand. Er werd daarbij dus geen gebruik gemaakt van een externe partij. De ontwikkeling van dit algoritme vond exclusief plaats voor gebruik binnen de gemeente Rotterdam, en werd dus niet ontwikkeld voor andere partners of het door u vermelde consortium.

3

Afsluitend Wij zien in uw vragen, maar ook in de vele vragen die wij hebben ontvangen van andere partijen dat het algoritme voor heronderzoeken direct wordt gekoppeld aan het opsporen van fraude. Dat roept extra emoties op en dat is jammer omdat dit niet terecht is. Heronderzoeken en fraudeonderzoeken zijn echt twee verschillende grootheden, zoals uit onze antwoorden blijkt. Zeker ook omdat wij zien dat een heronderzoek ook een positief effect kan hebben voor de Rotterdammer. We hebben de afgelopen jaren te maken gehad met een steeds groeiend bewustzijn op privacy door de komst van de AVG. Als gemeente zijn wij ook steeds beter geworden in het inschatten en toepassen van de privacyregels. Toen wij ons eerste algoritme voor heronderzoeken ontwikkelden, bevonden we ons qua privacy en ethiek op enigszins onontgonnen terrein. Met de geleerde lessen hebben wij getracht een algoritme voor heronderzoeken te ontwikkelen dat aan alle eisen van deze tijd zou voldoen. Zoals toegelicht is dat niet gelukt. Wij hebben geen spijt van het starten van de ontwikkeling van het nieuwe algoritme. Dit traject heeft ons namelijk in staat gesteld om het hele proces van het komen tot een niet vooringenomen algoritme te doorlopen en daarmee aan te lopen tegen de beperkingen die uiteindelijk hebben geleid tot het besluit om deze ontwikkeling te staken.

Daarnaast hebben onze data scientists via dit traject gebruik kunnen maken van geavanceerde technieken en ontwikkelingen op hun vakgebied. Ook dat is waardevol naar de toekomst toe. We hebben het algoritme kunnen ontwikkelen in een vakgebied waar nog weinig voorbeelden zijn van dergelijke algoritmen en hebben daar relevante ervaringen opgedaan en lessen geleerd die wij waar gewenst met anderen willen delen.

Datum 5 september 2023

Pagina 16 van 17

Wij zijn naar buiten toe altijd open geweest over het algoritme dat we hebben gebruikt en het algoritme dat we aan het ontwikkelen waren. Wij zijn daarom van harte bereid om naar aanleiding van onze antwoorden op uw vragen in gesprek te gaan om deze ervaringen te delen en waar gewenst extra toelichting te geven.

Datum 5 september 2023

Pagina 17 van 17