Gemeente Amsterdam - Deloitte rapportage algoritme analyse - BEVEILIGD - (24 nov 2022).pdf

Deloitte Risk Advisory B.V. Gustav Mahlerlaan 2970 1081 LA Amsterdam Postbus 58110 1040 HC Amsterdam Nederland Tel: 088 288 2888 Fax: 088 288 9711 www.deloitte.nl Van:

Datum:

Hilary Richters, Sjoerd Kampen

24 november 2022

Naar:

Onze referentie:

Gemeente Amsterdam T.a.v. mevrouw S. Dekkers

KD/im/22-1966

Onderwerp:

Rapportage Analyse Algoritme bij de aanvraag levensonderhoud Geachte mevrouw Dekkers, De dienst Werk, Participatie en Inkomen binnen het cluster Sociaal Domein van de gemeente Amsterdam is voornemens een pilot te starten met een algoritme dat de afdeling Handhaving ondersteunt bij het inschatten of een aanvraag voor een uitkering levensonderhoud onderzoekswaardig is. Het algoritme voorziet elke nieuwe aanvraag van een onderzoekswaardigheidscategorie. Deze categorie helpt medewerkers binnen de afdeling Handhaving om te bepalen of een aanvraag nader moet worden onderzocht voordat de uitkering levensonderhoud wordt verstrekt. Het algoritme maakt gebruik van machine learning technologie en data, waaronder persoonsgegevens, om een advies te geven aan de medewerkers van de afdeling Handhaving. Naast het reeds ingewonnen advies van de Functionaris Gegevensbescherming, de Commissie Persoonsgegevens Amsterdam en de Participatieraad Amsterdam, heeft de dienst Werk, Participatie en Inkomen aan Deloitte Risk Advisory B.V. gevraagd een onafhankelijke analyse uit te voeren op de door u beschikbaar gestelde modeldocumentatie. Dit rapport presenteert de resultaten van de werkzaamheden die Deloitte Risk Advisory B.V. heeft uitgevoerd op het algoritme zoals beschreven in de getekende overeenkomst met kenmerk 22-1356-KD-dd.

We willen u en uw team graag bedanken voor de prettige samenwerking tijdens deze opdracht. Mocht u naar aanleiding van dit rapport vragen of opmerkingen hebben, schroom niet om contact op te nemen met Hilary Richters (hrichters@deloitte.nl) of Sjoerd Kampen (skampen@deloitte.nl). Met vriendelijke groet, Deloitte Risk Advisory B.V. Koen Dessens Partner

Deloitte Risk Advisory B.V. is registered with the Trade Register of the Chamber of Commerce and Industry in Rotterdam number 50340158. Deloitte Risk Advisory B.V. is a Netherlands affiliate of Deloitte NSE LLP, a member firm of Deloitte Touche Tohmatsu Li mited.

Gemeente Amsterdam Rapportage Analyse Algoritme bij de aanvraag uitkering Levensonderhoud 24 november 2022 (dit verslag heeft 93 pagina’s en 4 appendices)

2/93

Rapportage Analyse Algoritme bij de aanvraag uitkering Levensonderhoud Algoritme informatie Cluster Dienst Organisatieonderdeel Afdeling Ontwikkelteam

: Sociaal Domein : Werk, Participatie en Inkomen : Inkomen : Handhaving : Advanced Analytics

Algoritme analyse informatie Auteur(s) : Hilary Richters, Sjoerd Kampen (Deloitte Risk Advisory B.V.) Datum : 24 november 2022 Status Rapportage : Finaal Referentie : KD/im/22-1966

3/93

1. Inhoudsopgave 1. Inhoudsopgave

4

2. Managementsamenvatting

7

2.1. Opzet van de Analyse 2.2. Indeling van algemene observatie en aandachtspunten

7 8

2.3. Uitkomst van de Analyse

9

2.4. Leeswijzer

11

3. Introductie en achtergrond 3.1. Introductie van het Algoritme

12

3.2. Beschikbaar gestelde documentatie

17

3.3. Betrokkenen Algoritme 3.4. Werkplan

17 21

4. Analyse 4.1. Doelstelling 4.1.1. Algemene observatie 4.1.2. Afronding van de Pilot 4.1.3. Afweging met betrekking tot proportionaliteit

22 22 22 23 25

4.2. Impact en betrokkenheid

25

4.2.1. Algemene observatie 4.2.2. Betrokkenheid van interne belanghebbenden 4.2.3. Betrokkenheid van bestaande raden en commissies 4.3. Governance en proces

26 27 28 29

4.3.1. Algemene observatie 4.3.2. Uitwerken van een exitstrategie 4.3.3. Invulling van het Concept Beheerplan 4.3.4. Monitoren van interpretatie onderzoekswaardigheidscategorie 4.3.5. Actualiseren van Algoritmedocumentatie 4.3.6. Technische keuzes en overwegingen 4.4. Data verzameling, voorbewerking en kwaliteit

29 30 30 31 32 32 33

4.4.1. Algemene observatie 4.4.2. Representativiteit van Dataset ten gevolge van COVID-19 4.4.3. Representativiteit ten gevolge van beschikbaarheid van Labels 4.4.4. Representativiteit ten gevolge van keuze van Labels 4.5. Eerlijkheid en bias in model en data

33 34 35 36 37

4.5.1. Algemene observatie 4.6. Algoritme input 4.6.1. Algemene observatie 4.6.2. Keuze voor Features

4/93

12

37 38 38 39

4.7. Algoritme theorie 4.7.1. Algemene observatie 4.7.2. Uitlegbaarheid van het Algoritme 4.7.3. Onderbouwing van aannames 4.7.4. Kwaliteit van Labels 4.7.5. Invloed van feedback loops op het Algoritme 4.7.6. Drempelwaarde onderzoekswaardigheidsscore 4.8. Algoritme output

40 40 41 42 42 43 44 44

4.8.1. Algemene observatie 4.8.2. Performance testen

44 45

4.9. Omgang met persoonsgegevens

45

4.9.1. Algemene observatie

46

5. Toelichting Algoritmeontwikkelaar

47

6. Disclaimers

50

7. Appendix 1: Analyse

52

7.1. Doelstelling

52

7.1.1. Afronding van de Pilot 7.1.2. Afweging met betrekking tot proportionaliteit 7.2. Impact en betrokkenheid 7.2.1. Betrokkenheid van interne belanghebbenden 7.2.2. Betrokkenheid van bestaande raden en commissies

55 55 56

7.3. Governance en proces

58

7.3.1. Uitwerken van een exitstrategie 7.3.2. Invulling van het Concept Beheerplan 7.3.3. Monitoren van interpretatie onderzoekswaardigheidscategorie 7.3.4. Actualiseren van Algoritmedocumentatie 7.3.5. Technische keuzes en overwegingen 7.4. Data verzameling, voorbewerking en kwaliteit

58 59 61 61 62 63

7.4.1. Representativiteit van Dataset ten gevolge van COVID-19 7.4.2. Representativiteit ten gevolge van beschikbaarheid van Labels 7.4.3. Representativiteit ten gevolge van keuze van Labels

63 64 65

7.5. Eerlijkheid en bias in model en data

66

7.6. Algoritme input

66

7.6.1. Keuze voor Features 7.7. Algoritme theorie

66 68

7.7.1. Uitlegbaarheid van het Algoritme 7.7.2. Onderbouwing van aannames 7.7.3. Kwaliteit van Labels 7.7.4. Invloed van feedback loops op het Algoritme 7.7.5. Drempelwaarde onderzoekswaardigheidsscore 7.8. Algoritme output

5/93

52 54

68 69 70 71 72 73

7.8.1. Performance testen 7.9. Omgang met persoonsgegevens

73 74

8. Appendix 2: Overzicht Analyse

75

9. Appendix 3: Overzicht Algoritmedocumentatie

78

10. Appendix 4: Overzicht van de aandachtspunten

83

11. Referenties en interviews

92

6/93

2. Managementsamenvatting Inleiding De dienst Werk, Participatie en Inkomen binnen het cluster Sociaal Domein van de gemeente Amsterdam (“WPI”) is voornemens een pilot te starten (“Pilot”) met een algoritme (“Algoritme”) dat de afdeling Handhaving (“Handhaving”) ondersteunt bij het inschatten of een aanvraag voor een uitkering levensonderhoud (“Uitkering”) onderzoekswaardig is. Dit algoritme wordt ontwikkeld door ontwikkelaars uit het Advanced Analytics team (“Algoritmeontwikkelaars”) binnen WPI. Het Algoritme voorziet elke nieuwe aanvraag voor een Uitkering (“Aanvraag”) van een onderzoekswaardigheidsscore. Deze score wordt aan de hand van een drempelwaarde omgezet in een onderzoekswaardigheidscategorie. Deze categorie (wel of niet onderzoekswaardig) helpt medewerkers binnen Handhaving om te bepalen of een Aanvraag nader moet worden onderzocht voordat de Uitkering wordt verstrekt. De Medewerker Vooronderzoek (“Medewerker Vooronderzoek”) en Handhavingsspecialist (“Handhavingsspecialist”) zijn daarbij de medewerkers die de uitkomsten van het Algoritme zullen gebruiken. In de periode van 15 augustus tot en met 23 september 2022 heeft Deloitte Risk Advisory B.V. (“Deloitte”) een analyse uitgevoerd op de door de Algoritmeontwikkelaar beschikbaar gestelde documentatie voor het Algoritme dat zij binnen Handhaving willen inzetten.

Dit rapport beschrijft zowel de door Deloitte uitgevoerde analyse activiteiten (“Analyse”) als aandachtspunten die voortvloeien uit de Analyse voorafgaand aan de Pilot. 2.1. Opzet van de Analyse Deloitte heeft het Algoritme geanalyseerd ten aanzien van het kader van de Algemene Rekenkamer [14], de Impact Assessment Mensenrechten en Algoritmes (“IAMA”) [4] en de Kunstmatige Intelligentie Impact Assessment (“KIIA”) [2]. Deze kaders zijn vertaald naar de volgende negen door Deloitte opgestelde dimensies (“Dimensies”): 1. Doelstelling 2. Impact en betrokkenheid 3. Governance en proces 4. Data verzameling, voorbewerking en kwaliteit 5. Eerlijkheid en bias in model en data 6. Algoritme input 7. Algoritme theorie 8. Algoritme output 9. Omgang met persoonsgegevens

7/93

Ethiek is geïntegreerd in deze verschillende Dimensies, in lijn met het Toetsingskader van de Algemene Rekenkamer [14]. De dimensies ‘Security en back-ups’ en ‘Implementatie, change controls en audit logs (ITGC)’, zoals beschreven in Appendix 2 van dit rapport, zijn op verzoek van WPI niet in scope van deze Analyse. Een omschrijving van de impact en activiteiten per Dimensie wordt weergegeven in Appendix 2. Deze omschrijving is ook opgenomen in het door Deloitte opgestelde werkplan, waar WPI op 15 augustus 2022 per mail akkoord op heeft gegeven bij de start van de Analyse (zie ook sectie 3.4). 2.2. Indeling van algemene observatie en aandachtspunten De Analyse die is uitgevoerd door Deloitte heeft geleid tot algemene observaties en aandachtspunten met bijbehorende aanbevelingen. De algemene observaties beschrijven hoe de Algoritmeontwikkelaar invulling gegeven heeft aan de verschillende Dimensies. De aandachtspunten hebben betrekking op 2 fases: •

‘Aandachtspunt, af te handelen voor start Pilot’: dit betreft punten die verbetert dienen te worden om te borgen dat WPI en Amsterdam een onderbouwd en volledig besluit kunnen maken over de uitkomst van de Pilot in de tussentijdse evaluatie, eindevaluatie en besluitvorming rondom implementatie (zie hoofdstuk 9 in het Pilotplan [1]).

•

‘Aandachtspunt, af te handelen voor start implementatie’: dit betreft aandachtspunten die niet noodzakelijk zijn voor het starten van de Pilot, maar die wel opgelost dienen te worden voordat wordt overgegaan op implementatie van het Algoritme. De implementatie van het Algoritme start wanneer WPI na afloop van de Pilot besluit verder te gaan met het Algoritme (“Implementatie”).

Daarnaast is voor elk aandachtspunt aangegeven in welk van de volgende drie categorieën dit aandachtspunt valt: •

‘Documentatie’: het aandachtspunt heeft betrekking op een toevoeging op de documentatie, dat bijdraagt aan het begrip rondom het Algoritme en de gemaakte afspraken over het Algoritme.

•

‘Governance’: het aandachtspunt heeft betrekking op de governance rondom het algoritme. Het kan bijvoorbeeld gaan om een verbetering aan het proces.

•

‘Data en model’: het aandachtspunt heeft betrekking op de data of het Algoritme, en beïnvloedt daarmee mogelijk de uitkomst van het Algoritme.

8/93

2.3. Uitkomst van de Analyse Deloitte heeft geanalyseerd hoe de Algoritmeontwikkelaar invulling gegeven heeft aan de Dimensies genoemd in sectie 2.1, welke onder andere de perspectieven van de Algemene Rekenkamer [14], de IAMA [4] en de KIIA [2] beslaan. Deze kaders helpen om de ontwikkeling, implementatie en gebruik van algoritmes op een verantwoorde en ethische manier te doen. Deloitte observeert dat de Algoritmeontwikkelaar aan al deze Dimensies een uitgebreide invulling heeft gegeven (zoals beschreven in de algemene observaties in hoofdstuk 4), daarnaast heeft Deloitte een aantal aandachtspunten geïdentificeerd waarmee het Algoritme en het gebruik daarvan nog verder verbeterd kan worden. Om op een verantwoorde wijze met de Pilot te kunnen starten is de aanbeveling van Deloitte om onderstaande aandachtspunten af te handelen in de fase ‘Aandachtspunt, af te handelen voor start Pilot’, alvorens gestart wordt met de Pilot (zie Tabel 1). Verdere prioritering kan door WPI aangebracht worden door gebruik te maken van de indeling van de verbeteringen naar een van de drie categorieën. •

Betreffende de documentatie beveelt Deloitte aan om: - de afronding van de Pilot te verduidelijken door (i) meetbare kwantitatieve succescriteria aan de Pilotdoelen toe te voegen en (ii) duidelijke criteria ten aanzien van de benodigde verzamelde data, waardoor vooraf duidelijk is onder welke voorwaarden afgeweken kan worden van de vooraf gestelde duur van de Pilot; - een expliciete afweging toe te voegen voor de toepassing van het Algoritme, waarin wordt meegenomen dat, hoewel door toepassing van het Algoritme de kans dat een Aanvrager onnodig wordt belast met een onderzoek zal afnemen, er in absolute aantallen een toename zal zijn van het aantal individuele Aanvragen dat door Handhaving zal worden onderzocht; - de rollen, taken, verantwoordelijkheden en bevoegdheden van interne belanghebbenden in de context van het Algoritme en bijbehorende procesverandering toe te spitsen op de ontwikkeling en toepassing van het Algoritme; - de opzet van de documentatie te vereenvoudigen door informatie uit verschillende documenten te bundelen (waar mogelijk), evenals een begeleidend schrijven toe te voegen, waarin duidelijk wordt welke informatie per document te vinden is; - meer details toe te voegen over de gemaakte technische keuzes en onderliggende overwegingen die hebben geleid tot het Algoritme; - een lijst met aannames en beperkingen van het Algoritme toe te voegen, inclusief

onderbouwing van de aannames en verduidelijking over de aannames die zullen worden gemonitord; en - een bevestiging van Algoritmegebruikers op te vragen dat gemodelleerde verbanden niet onlogisch of onwenselijk zijn, en dit toe te voegen aan de documentatie, en daarnaast de stabiliteit van de gemodelleerde verbanden te monitoren, zowel op basis van de Pilotuitkomsten als periodiek daarna.

9/93

•

Betreffende de governance van het Algoritme beveelt Deloitte aan om: - zorg te dragen dat interne belanghebbenden aan de voorkant van het proces voldoende betrokken worden bij de wijze waarop het Algoritme gebruikt zal worden; en - te blijven proberen de Participatieraad te betrekken, en daarin hun rol als klankbord te benadrukken.

•

Betreffende de data en het model beveelt Deloitte aan om: - het gebruik van de twee Features gerelateerd aan inkomen en vermogen aan te laten sluiten op de onderbouwing die wordt gegeven, en dus enkel de verbanden mee te nemen die ook door de beleidsregels worden beschreven, of, wanneer de Algoritmeontwikkelaar hier een meerwaarde in ziet, een additionele onderbouwing op te nemen voor het veronderstelde verband tussen deze Features en de onderzoekswaardigheidsscore.

Tabel 1: Indeling van de geïdentificeerde aandachtspunten door Deloitte

Aandachtspunt, af te handelen voor start Pilot

Aandachtspunt, af te handelen voor start Implementatie

Documentatie

8

2

Governance

2

3

Data en model

1

5

Totaal

11

10

In Appendix 4 wordt een overzicht weergegeven van alle aandachtspunten en aanbevelingen, ten aanzien van de negen Dimensies. Beperking van de Analyse Deloitte heeft tijdens het uitvoeren van de Analyse geen toegang gehad tot de data die gebruikt wordt in het Algoritme en code van het Algoritme zelf, omdat dit buiten de reikwijdte van de Analyse valt. Hierdoor heeft Deloitte voor onderstaande activiteiten de aandachtspunten enkel kunnen vaststellen aan de hand van de aangeleverde documentatie: • •

Analyseren of de gebruikte data representatief is voor de toepassing; en of daarbij aandacht besteed is aan de representativiteit van de data voor kwetsbare groepen. Analyseren of de stabiliteit van het Algoritme, afgezet tegen de overfitting en generalisatienormen, is gedocumenteerd.

10/93

•

• •

Analyseren of de algoritmeontwikkeling is vastgelegd in software en/of code, en of dat in lijn is met de documentatie over hoe de vastlegging van kwaliteit van de code en software is geborgd. Analyseren of de Algoritme optimalisatie aansluit op de doelstelling van het Algoritme, en of de maatregelen voor deze optimalisatie beschreven zijn. Analyseren van de reproduceerbaarheid van het Algoritme.

2.4. Leeswijzer Hoofdstuk 3 bevat een introductie van het Algoritme, een overzicht van de beschikbaar gestelde documentatie, een overzicht van de betrokkenen bij het Algoritme en een korte toelichting over Deloitte’s opgestelde werkplan. Hoofdstuk 5 bevat een toelichting van WPI op het door Deloitte opgestelde rapport. Hoofdstuk 4 omschrijft de door Deloitte uitgevoerde Analyse, waarbij de negen Dimensies in een aparte sectie wordt behandeld. Deloitte beschrijft per sectie het volgende: • • •

Een beschrijving van de activiteiten die door Deloitte zijn uitgevoerd als onderdeel van de Dimensie. Een beschrijving van de algemene observatie als resultaat van de activiteiten uitgevoerd als onderdeel van de Dimensie. Per aandachtspunt een tabel waarin het aandachtspunt en de bijbehorende aanbeveling van Deloitte wordt samengevat1.

In Appendix 1 worden de aandachtspunten in meer detail besproken om aan de lezer voldoende context te geven en toe te lichten waarom Deloitte een aandachtspunt identificeert. In Appendix 2 wordt een overzicht van de uitvoerde Analyse per dimensie weergegeven. In Appendix 3 wordt een overzicht van de door WPI beschikbaar gestelde Algoritmedocumentatie weergeven, waarbij Deloitte een beschrijving aan ieder ontvangen document heeft toegekend en de auteur van het document gespecificeerd.

1 WPI heeft na afloop van de Analyse van Deloitte additionele informatie aangeleverd in het document Overzicht Verwerkte Aanpassingen [19]. Deloitte beschrijft, indien van toepassing, onder eerdergenoemde tabel hoe die informatie zich verhoudt tot het aandachtspunt. Merk op dat Deloitte hierbij enkel aangeeft of het aandachtspunt volledig kan worden gesloten. Aandachtspunten die niet volledig kunnen worden gesloten op basis van de additionele informatie zijn niet aangepast.

11/93

3. Introductie en achtergrond WPI is voornemens een Pilot te starten met een ondersteunend Algoritme dat Handhaving ondersteunt bij het inschatten of een Aanvraag onderzoekswaardig is. Het Algoritme maakt gebruik van machine learning technologie en data, waaronder persoonsgegevens, om elke Aanvraag te voorzien van een onderzoekswaardigheidsscore. Deze score wordt aan de hand van een drempelwaarde omgezet in een onderzoekswaardigheidscategorie (zie sectie 4.7.6 van dit rapport). Deze categorie geeft aan of de Aanvraag zou moeten worden onderzocht door Handhaving, en daarmee ‘onderzoekswaardig’ is, of dat de Aanvraag kan worden afgehandeld zonder uitgebreid onderzoek, en daarmee ‘niet onderzoekswaardig’ is. Naast het advies van de Functionaris Gegevensbescherming, de Commissie Persoonsgegevens Amsterdam (“CPA”) en de Participatieraad Amsterdam (“Participatieraad”), heeft WPI Deloitte gevraagd om een onafhankelijke analyse op de door WPI beschikbaar gestelde documentatie voor het Algoritme uit te voeren. Deze Analyse is uitgevoerd in de periode van 15 augustus tot en met 23 september 2022. Dit rapport presenteert de resultaten van de werkzaamheden die Deloitte heeft uitgevoerd op het Algoritme zoals beschreven in de getekende overeenkomst met kenmerk 22-1356KD-dd. Deloitte rapporteert daarbij enkel op geconstateerde aandachtspunten waar Deloitte aanbevelingen bij benoemt. 3.1.

Introductie van het Algoritme In deze sectie beschrijft Deloitte hoe het Algoritme wordt ingezet tijdens de Pilot, gebaseerd op de door WPI beschikbaar gestelde documentatie. Proces bij toepassing van het Algoritme tijdens de Pilot De onderzoekswaardigheid van een Aanvraag wordt handmatig geverifieerd door een Medewerker Vooronderzoek. Bij deze verificatie krijgt de Medewerker Vooronderzoek te zien of een Aanvraag door het Algoritme als onderzoekswaardig wordt aangemerkt. Indien een Aanvraag door het Algoritme als onderzoekswaardig wordt aangemerkt, dan krijgt de Medewerker Vooronderzoek de drie variabelen te zien die de grootste bijdrage leveren aan de onderzoekswaardigheidsscore. De Medewerker Vooronderzoek stelt vervolgens vast of de Aanvraag alsnog zonder tussenkomst van een Handhavingsspecialist kan worden afgehandeld op basis van een aantal beslisregels (zoals een inkomensgrens) en door te controleren of er sprake is van een duidelijke oorzaak van mogelijke onrechtmatigheid op basis van de drie belangrijkste variabelen (zie Werkinstructie [23]). Indien de Medewerker Vooronderzoek de Aanvraag niet onderzoekswaardig vindt, dan wordt de Aanvraag alsnog doorgestuurd naar een inkomensconsulent (“Inkomensconsulent”) die de Aanvraag verder zal afhandelen.

12/93

Een Aanvraag kan worden afgehandeld door een Inkomensconsulent door middel van een screening (“IC Screening”). De Inkomensconsulent kan Aanvragen goedkeuren en verwerken, of afwijzen indien er geen recht is op een Uitkering. Indien de Inkomensconsulent niet met zekerheid de rechtmatigheid van de Aanvraag kan vaststellen, dan kan de Inkomensconsulent de Aanvraag alsnog doorsturen naar Handhaving. Een door de Medewerker Vooronderzoek of Inkomensconsulent als onderzoekswaardig aangewezen Aanvraag wordt door een Handhavingsspecialist van Handhaving onderzocht. De Handhavingsspecialist kan bijvoorbeeld additionele informatie opvragen bij de Aanvrager, de Aanvrager uitnodigen voor een gesprek, of een huisbezoek bij de Aanvrager verrichten. Op basis van zijn of haar onderzoek stelt de Handhavingsspecialist een advies op over het wel of niet toekennen van de Uitkering en over de hoogte van de eventuele Uitkering. Algoritme Het Algoritme maakt gebruik van een explainable boosting machine techniek (“EBM techniek”), waar op basis van 15 karakteristieken van de Aanvrager (“Features”)2, een onderzoekswaardigheidsscore wordt vastgesteld voor iedere Aanvraag. Deze karakteristieken, of variabelen, omvatten gegevens van de Aanvrager, bijvoorbeeld gerelateerd aan vermogen of inkomen (zie Overzicht Verwerkte Data en Features [6] voor alle Features). 3

Dataset (“Dataset”) De historische Aanvragen tussen 1 januari 2015 en 2 november 2020 zijn gesplitst in twee groepen. 85% van de historische Aanvragen zijn gebruikt voor het trainen van het Algoritme (“Trainingset”), wat wil zeggen dat hiermee de verbanden tussen de Features en de onderzoekswaardigheidsscore zijn bepaald. De resterende 15% van de historische Aanvragen (“Testset”) zijn gebruikt om te bepalen hoe goed het Algoritme werkt. Dat wil zeggen dat het Algoritme voor deze Aanvragen berekent of ze onderzoekswaardig zouden zijn geweest op basis van de Features en dit wordt vervolgens vergeleken met of de Aanvragen in het verleden ook daadwerkelijk onderzoekswaardig waren op basis van het toen geldende proces. Voor het vaststellen van de onderzoekswaardigheid van de historische Aanvragen (“Labels”) is enkel gekeken naar Aanvragen die door Handhaving zijn onderzocht en niet naar de Aanvragen die door Inkomensconsulenten zijn afgehandeld zonder tussenkomst van Handhaving. In de technische documentatie wordt toegelicht dat de Algoritmeontwikkelaar heeft besloten het Label voor IC Screenings uit te sluiten, omdat “[de Algoritmeontwikkelaar] niet genoeg vertrouwen had in de betrouwbaarheid van het Label” (zie ook sectie 4.7.4 van dit rapport).

2 Een EBM techniek is een machine learning techniek om op basis van historische data voorspellingen te kunnen doen. Bij deze machine learning techniek kunnen de verbanden tussen invoer en uitvoer gevisualiseerd worden waardoor deze machine learning techniek als uitlegbaar worden beschouwd. 3 Deloitte heeft tijdens het uitvoeren van de Analyse geen toegang gehad tot de data die gebruikt wordt in het Algoritme (zie sectie 3.4 van dit rapport). 13/93

Voor de Aanvragen die door Handhaving zijn bekeken worden zowel de Aanvragen die zijn afgewezen, als de Aanvragen die zijn toegekend na wijzigingen, aangemerkt door Algoritmeontwikkelaars als onderzoekswaardig. Overige Aanvragen die door Handhaving zijn onderzocht worden als niet onderzoekswaardig aangemerkt. De beschikbaarheid van de Labels is gevisualiseerd in Afbeelding 1. Een overzicht van de betekenis van mogelijke uitkomsten van de Labels is weergegeven in Tabel 2. Tabel 2: Overzicht betekenis van mogelijke uitkomst van de Labels

Label: onderzoekswaardig

Label: niet onderzoekswaardig

(Afwijzing of wijziging door Handhavingsspecialist)

(Ongewijzigde toewijzing door Handhavingsspecialist)

Algoritme: onderzoekswaardig

True Positives

False Positives

Algoritme: niet onderzoekswaardig

False Negatives

True Negatives

Afbeelding 1: Beschikbaarheid van Labels voor historische Aanvragen in de Dataset

De Algoritmeontwikkelaar geeft aan dat de Trainingset en Testset samen bestaan uit ongeveer 3.400 Aanvragen, waarvan grofweg 55% (ca.1.870 Aanvragen) een positief Label (dus onderzoekswaardig) heeft (zie Technische Documentatie [7]).

14/93

Bias analyse De Algoritmeontwikkelaar heeft de kans dat een Aanvraag ten onrechte door het Algoritme wordt bestempeld als onderzoekswaardig4 vergeleken voor Aanvragers uit gevoelige groepen met de overige Aanvragers ("Bias Analyse”), zie ook [17]. Zie Tabel 3 voor een overzicht van de gevoelige groepen die in de Bias Analyse zijn geanalyseerd. Een verschil in de kans om ten onrechte bestempeld te worden als onderzoekswaardig staat niet direct gelijk aan een bias. Aangezien er geen algemeen geaccepteerde manier is om te bepalen bij welk percentage er sprake is van een bias, heeft de Algoritmeontwikkelaar daarom de resultaten van hun Bias Analyse intern besproken om vast te stellen of er sprake is van een bias. Op basis van de Bias Analyse heeft de Algoritmeontwikkelaar in een oudere versie van het Algoritme een bias vastgesteld naar de niet-westerse nationaliteit. Om deze bias te mitigeren heeft de Algoritmeontwikkelaar de Trainingset door middel van herweging van Aanvragen aangepast. Het Algoritme is daarna opnieuw getraind op deze herwogen Trainingset, waarna de Algoritmeontwikkelaar de Bias Analyse opnieuw heeft uitgevoerd. De Algoritmeontwikkelaar heeft aan de hand van de gehanteerde biastechniek vastgesteld dat er niet langer sprake is van een bias naar de niet-Westerse nationaliteit. Tabel 3: Overzicht gevoelige groepen die in de Bias Analyse zijn geanalyseerd

Kenmerk

Gevoelige groep

Vergeleken met

Leeftijd

30+ 40+ 50+

304050-

Geslacht

Vrouw

Man

Geboorteland

Niet-Nederland Niet-Westers land

Nederland Westers land

Nationaliteit

Niet-Nederlands Niet-Westers

Nederlands Westers

Pre-Pilot De Trainingset is enkel gebaseerd op Aanvragen die in het huidige proces als onderzoekswaardig zijn aangemerkt. Om die reden is een één-op-één vergelijking tussen de performance van het Algoritme en huidige proces niet mogelijk.

4 Het gaat hier dus om historische Aanvragen die een niet onderzoekswaardig Label hebben, maar die door het Algoritme wel als onderzoekswaardig worden aangemerkt. 15/93

Om een beeld te krijgen van de performance van het Algoritme voor Aanvragen die in het verleden niet als onderzoekswaardig zijn aangemerkt heeft de Algoritmeontwikkelaar de Pre-Pilot uitgevoerd [20]. Hierbij is gekeken naar de periode 26 april 2021 tot en met 28 maart 2022. Het Algoritme is gebruikt om een onderzoekswaardigheidsscore vast te stellen voor de Aanvragen in deze periode. De beschikbaarheid van de Labels in de Pre-Pilot is weergegeven in Afbeelding 2 (het verschil in beschikbaarheid van de Labels, ten opzichte van Afbeelding 1, is groen gemarkeerd). In de Dataset ontbraken de True Positives en False Positives Labels voor Aanvragen die door het Algoritme zijn aangemerkt als onderzoekswaardig, maar die in het verleden niet door een Handhavingsspecialist zijn onderzocht. Voor de Pre-Pilot zijn deze Labels wel aanwezig, omdat alle Aanvragen die door het Algoritme zijn aangemerkt als onderzoekswaardig alsnog zijn onderzocht door een Handhavingsspecialist als dit in het verleden nog niet gedaan was5. Daarmee geeft de precisie van het Algoritme6 (“Hit-rate”), die wordt berekend door het aantal True Positives te delen door het aantal True Positives + False Positives, op basis van de Pre-Pilot een betere representatie van de verwachte performance van het Algoritme, dan de Hit-rate op basis van Testset.

Het is wel belangrijk op te merken dat de Labels die zijn vastgesteld op basis van de Pre-Pilot niet volledig representatief is door beperkingen van de Pre-Pilot. Een voorbeeld van een beperking is dat Handhavingsspecialisten tijdens de Pre-Pilot bij de onderzoeken geen klantcontact hebben gehad, waardoor het uitgevoerde onderzocht minder vergaand is dan het normale onderzocht door een Handhavingsspecialist.

Afbeelding 2: Beschikbaarheid van Labels in Pre-Pilot

De Algoritmeontwikkelaar geeft aan dat de resultaten van de Pre-Pilot over het algemeen positief zijn, omdat de Hit-rate op basis van het Algoritme hoger is dan in het huidige proces.

5 Bij dit onderzoek in de Pre-Pilot heeft geen klantcontact plaatsgevonden en er is geen rechtsgevolg aan het onderzoek gekoppeld, ook niet als de Handhaver iets onderzoekswaardig vond. 6 De precisie of Hit-rate wordt berekend als het percentage Aanvragen dat door Handhaving is onderzocht, waarbij de Aanvraag als gevolg van het onderzoek is afgewezen of gewijzigd. 16/93

3.2. Beschikbaar gestelde documentatie WPI heeft 33 documenten beschikbaar gesteld aan Deloitte voor deze Analyse (“Algoritmedocumentatie”). Deloitte heeft een overzicht van deze Algoritmedocumentatie opgesteld in Appendix 3, inclusief een beknopte beschrijving per document. Aanvullend op deze Algoritmedocumentatie heeft WPI via Q&A [12] antwoorden gedeeld op vragen van Deloitte [12]. De Algoritmedocumentatie is verder verrijkt met informatie verkregen uit interviews met: • • • •

Een Medewerker Vooronderzoek [24], als (toekomstig) gebruiker van het Algoritme Een Handhavingsspecialist [25], als (toekomstig) gebruiker van het Algoritme De Epic Owner [26] De CPA [27]

Een omschrijving van deze rollen is te vinden in sectie 3.3 van dit rapport. De Participatieraad heeft aangegeven af te zien van dit interview, wat verder wordt toegelicht in sectie 4.2.3 van dit rapport. Verder heeft Deloitte na afloop van de Analyse het document Overzicht Verwerkte Aanpassingen [19] ontvangen waarin de Algoritmeontwikkelaar gericht aangeeft welke aanpassingen zijn doorgevoerd in een nieuwere versie van de Algoritmedocumentatie op basis van vragen uit de Q&A [12]. Hoe de informatie uit het document Overzicht Verwerkte Aanpassingen is meegenomen in dit rapport staat beschreven in sectie 2.4. 3.3. Betrokkenen Algoritme Deloitte heeft onderstaande lijst opgesteld met betrokkenen waarnaar Deloitte verwijst in dit rapport (zie Tabel 4). Deze beschrijvingen zijn op 21 september 2022 per mail afgestemd met WPI. Tabel 4: Overzicht van betrokkenen bij het Algoritme

Rol

Beschrijving

Aanvrager

De Aanvrager is de persoon die de Aanvraag indient bij WPI. De data van de Aanvrager wordt gebruikt door het Algoritme om de onderzoekswaardigheid van de Aanvraag te bepalen.

Algoritmegebruiker

De Algoritmegebruiker is een medewerker binnen WPI die het Algoritme zal gebruiken: •

17/93

Medewerker Vooronderzoek: op basis van de uitvoer van het model besluit de Medewerker Vooronderzoek of een Aanvraag wel of niet nader onderzocht moet worden door de Handhavingsspecialist.

•

Algoritmeontwikkelaar

Handhavingsspecialist: voert een aanvullend onderzoek uit op Aanvragen die onderzoekswaardig zijn, bijvoorbeeld door additionele informatie op te vragen of een huisbezoek bij de Aanvrager te verrichten.

De ontwikkelaars van het Algoritme behoren tot het Advanced Analytics team binnen de Opgave Amsterdammers Financieel Gezond. Zij maken keuzes over de architectuur van het Algoritme; belangrijke ontwerpbeslissingen worden samen met de overige betrokkenen genomen. Het Advanced Analytics team faciliteert dit gesprek over ontwerpbeslissingen, adviseert en voert het uit. De verantwoordelijkheden en bevoegdheden van het team Advanced Analytics worden uitgewerkt in Bijlage 1 van de KIIA [2]. De Algoritmeontwikkelaar heeft het wekelijks contact met Deloitte gehad voor deze Analyse, bijvoorbeeld voor het delen van de Q&A [12] antwoorden.

College van Burgemeester en Wethouders (“College”)

In opdracht van de gemeenteraad draagt het College van Burgemeester en Wethouders zorg voor een rechtmatige uitvoering van de Participatiewet door onder meer de inzet van preventie en controle. Hoe dit gebeurt is een bevoegdheid van het College van Burgemeester en Wethouders. Het College van Burgemeester en Wethouders is op grond van art. 53a Participatiewet bevoegd een onderzoek in te stellen naar de rechtmatigheid van de inwoners van zijn gemeente verstrekte bijstand, zoals omschreven in sectie 1.4 van de Data Protection Impact Assessment [3].

Commissie Persoonsgegevens Amsterdam (“CPA”)

De CPA is een onafhankelijke commissie ingesteld door het gemeentebestuur. De CPA adviseert WPI over het gebruik van persoonsgegevens en houdt toezicht op het naleven van de privacyregels binnen dit Algoritme. In de CPA hebben elf personen van buiten de gemeentelijke organisatie zitting, op persoonlijke titel. Burgers kunnen hier niet terecht met individuele klachten7.

7 De informatie is verkregen van de website https://www.amsterdam.nl/bestuur-

organisatie/organisatie/overige/adviesraden/commissie-persoonsgegevens-amsterdam/ op 19 september 2022. 18/93

Bijeenkomsten hebben plaatsgevonden op 12 december 2019, 9 december 2021, 19 april 2022, 2 juni 2022 en 25 augustus 2022. Directeur Inkomen

De Directeur Inkomen is ambtelijk eindverantwoordelijk en eigenaar van het Algoritme. De verantwoordelijkheden en bevoegdheden van de Directeur Inkomen binnen het Cluster Sociaal Domein worden uitgewerkt in Bijlage 1 van de KIIA [2].

Epic Owner

Hoofdverantwoordelijk voor het coördineren en monitoren van een brok werk dat langer duurt dan één kwartaal om op te leveren binnen de totstandkoming van dit Algoritme. De verantwoordelijkheden en bevoegdheden van de Epic Owner worden uitgewerkt in Bijlage 1 van de KIIA [2].

Functionaris Gegevensbescherming

Binnen de gemeente Amsterdam is de Functionaris Gegevensbescherming aangesteld die zich speciaal richt op de bescherming van persoonsgegevens.

Handhaving

De afdeling Handhaving ontvangt een signaal dat erop wijst dat er mogelijk geen of gewijzigd recht op de Uitkering bestaat en dat het uitzoeken hiervan een aanvullend onderzoek vereist. Handhaving zal met het Algoritme werken (zie Algoritmegebruikers) en valt onder de afdeling Inkomen, dat onderdeel is van WPI.

Inkomensconsulent

De Inkomensconsulent werkt niet direct met het Algoritme. De Inkomensconsulent handelt Aanvragen af die worden doorgestuurd vanuit de Medewerker Vooronderzoek indien deze een Aanvraag niet onderzoekswaardig beoordeeld, maar behoud daarbij de mogelijkheid om een Aanvraag alsnog door te sturen naar de Handhavingsspecialist indien deze als onderzoekswaardig wordt gezien. De Inkomensconsulent handelt ook de Aanvragen af die niet door het Algoritme als onderzoekswaardig worden beschouwd.

Loket Persoonsgegevens Amsterdam

19/93

Bij het Loket Persoonsgegevens Amsterdam kunnen Aanvragers terecht met verzoeken over de verwerking van hun persoonsgegevens.

Wanneer Aanvragers vragen hebben over hoe persoonsgegevens worden verwerkt met betrekking tot het Algoritme kunnen ze een verzoek indienen bij Loket Persoonsgegevens, zoals omschreven in de Data Protection Impact Assessment [3]. Participatieraad Amsterdam (“Participatieraad”)

De Participatieraad is het officiële inspraak- en overlegorgaan van de klanten van de Participatiewet en werknemers van de sociale werkvoorziening. De raad bestaat uit vijftien personen. Acht daarvan zijn vertegenwoordiger van maatschappelijke organisaties, zoals vakbonden en belangenverenigingen voor gehandicapten, daklozen en zwerfjongeren. Zeven personen hebben zitting op persoonlijke titel. Zij hebben zelf een Uitkering of een andere dienst/product binnen het Sociaal Domein, zoals schuldhulp, en gelden als ervaringsdeskundige8. Op 21 september 2021, 28 september 2021 en 10 november 2021 heeft WPI de Participatieraad geïnformeerd over dit Algoritme en gevraagd om advies (zie sectie 4.2.3).

Werkgroep

De Werkgroep bestaat uit een vaste groep Medewerkers Vooronderzoek, Handhavingsspecialisten en Inkomensconsulenten waar informatie is opgehaald over de werkprocessen en wensen met betrekking tot het Algoritme.

Werk, Participatie en Inkomen (“WPI”)

De dienst WPI is de dienst binnen de gemeente Amsterdam waar het Algoritme zal worden ingezet om het proces van het verwerken van Aanvragen te ondersteunen; specifiek bij de afdeling Handhaving. De afdeling valt onder het cluster Sociaal Domein. WPI is de opdrachtgever van de Analyse.

Wethouder Sociale Zaken (“Wethouder”)

De Wethouder Sociale Zaken, waaronder Sociaal Domein valt, is bestuurlijk en politiek eindverantwoordelijk voor de betrouwbaarheid van het Algoritme, dat wordt toegepast door WPI. De verantwoordelijkheden en bevoegdheden van de Wethouder Sociale Zaken binnen het cluster Sociaal Domein worden uitgewerkt in Bijlage 1 van de KIIA [2].

8 De informatie is verkregen van de website https://participatieraadamsterdam.nl/wat-is-de-participatieraad/ op 19 september 2022. 20/93

3.4. Werkplan De activiteiten die Deloitte heeft uitgevoerd als onderdeel van de Analyse zijn tijdens de start van de Analyse opgesteld door Deloitte in samenwerking met WPI en vastgelegd in het werkplan. WPI heeft per mail bevestigd op 15 augustus 2022 akkoord te zijn met het opgestelde werkplan. Een overzicht van de Analyse wordt beschreven in Appendix 2. Deloitte heeft tijdens het uitvoeren van de Analyse geen toegang gehad tot de data die gebruikt wordt in het Algoritme en code van het Algoritme zelf, omdat dit buiten de reikwijdte van de Analyse valt. Hierdoor heeft Deloitte voor onderstaande activiteiten de aandachtspunten enkel kunnen vaststellen aan de hand van de aangeleverde documentatie: • • •

• •

Analyseren of de gebruikte data representatief is voor de toepassing; en of daarbij aandacht besteed is aan de representativiteit van de data voor kwetsbare groepen. Analyseren of de stabiliteit van het Algoritme, afgezet tegen de overfitting en generalisatienormen, is gedocumenteerd. Analyseren of de algoritmeontwikkeling is vastgelegd in software en/of code, en of dat in lijn is met de Algoritmedocumentatie over hoe de vastlegging van kwaliteit van de code en software is geborgd. Analyseren of de Algoritme optimalisatie aansluit op de doelstelling van het Algoritme, en of de maatregelen voor deze optimalisatie beschreven zijn. Analyseren van de reproduceerbaarheid van het Algoritme.

21/93

4. Analyse De paragrafen in deze sectie beschrijven voor elk van de volgende negen Dimensies de algemene observaties en eventuele aandachtspunten voortkomend uit de Analyse die uitgevoerd is per dimensie. De beschrijving van elke Analyse is te vinden in Appendix 2: 4.1 Doelstelling 4.2 Impact en betrokkenheid 4.3 Governance en proces 4.4 Data verzameling, voorbewerking en kwaliteit 4.5 Eerlijkheid en bias in model en data 4.6 Algoritme input 4.7 Algoritme theorie 4.8 Algoritme output 4.9 Omgang met persoonsgegevens

4.1. Doelstelling Voor deze Dimensie is de volgende analyse uitgevoerd: •

Analyseren van het projectplan van WPI, de vastlegging van uitgangspunten en de afweging met betrekking tot proportionaliteit, het proces van het vastleggen van criteria voor de afweging tussen verschillende belangen, doelstellingen en (publieke) waarden, het proces van vastgelegde kwaliteits- en prestatiedoelstellingen en een onderbouwing van het gerechtvaardigd belang, naast de wettelijke grondslag, bij de inzet van persoonsgegevens. 4.1.1. Algemene observatie

In het Pilotplan [1] worden de Pilotdoelen geformuleerd aan de hand van de bredere doelstellingen van het cluster Sociaal Domein zoals beschreven in het document Doelstellingen en Succescriteria [18]. Deloitte heeft uit interviews met de Medewerker Vooronderzoek [24], Handhavingsspecialist [25] en CPA [27] begrepen dat zij al in een vroeg stadium zijn betrokken bij het Algoritme en input hebben geleverd bij het opstellen van de Pilotdoelen (zie ook sectie 4.2.1 van dit rapport). Voor elk Pilotdoel wordt in het Pilotplan [1] aangegeven wat er gemeten zal worden en wat de succescriteria zijn. Daarnaast wordt gesteld dat er een minimum aantal Aanvragen nodig zal zijn tijdens de Pilot om te bepalen of de succescriteria behaald zijn.

22/93

Verder wordt in het Pilotplan [1] toegelicht dat er een tussentijdse evaluatie en eind evaluatie zal plaatsvinden, en dat de beslissing over de implementatie van de Pilot (‘Go’, ‘No Go’, ‘Doorontwikkeling’) in overleg met de Wethouder en Directeur Inkomen zal worden genomen aan de hand van de eind evaluatie van de Pilot. Ook worden op hoofdlijnen de tijdslijnen voor de Pilot geschetst. Tot slot worden in het Pilotplan mogelijke risico’s geïdentificeerd en wordt aangegeven hoe deze mogelijke risico’s zullen worden gemitigeerd. Een voorbeeld van zo’n risico is dat de Algoritmeontwikkelaar aangeeft dat het eindpunt van de Pilot mogelijk onduidelijk is, doordat de neiging kan ontstaan de Pilot steeds te verlengen, waardoor de beslissing over de implementatie van de Pilot wordt uitgesteld. Om dit risico te mitigeren geeft de Algoritmeontwikkelaar in het Pilotplan [1] aan de reikwijdte van de Pilot vooraf helder vast te leggen en de tijdslijnen tijdens de Pilot te zullen bewaken. In aanvulling op deze algemene observatie heeft Deloitte drie aandachtspunten geïdentificeerd, die betrekking hebben op: • •

Afronding van de Pilot Afweging met betrekking tot proportionaliteit

Deze aandachtspunten zijn in de subsecties hierna samengevat en worden in Appendix 1 in meer detail toegelicht. 4.1.2. Afronding van de Pilot Met betrekking tot de afronding van de Pilot heeft Deloitte de volgende aandachtspunten geïdentificeerd: Nr.

Categorie

Fase

Aandachtspunt

Aanbeveling

1

Documentatie

Aandachtspunt, af te handelen voor start Pilot

Niet alle Pilotdoelen zijn uitgewerkt in meetbare succescriteria voor de Pilot. Het is niet duidelijk (i) wanneer een Pilotdoel behaald wordt, en (ii) hoe deze verschillende resultaten gecombineerd worden tot één uitkomst van de Pilot, wanneer één of meer van de vier

Verrijk de Algoritmedocumentatie met meetbare kwantitatieve succescriteria per Pilotdoel. Geef daarbij aan hoe de succescriteria gezamenlijk zullen worden gebruikt voor het bepalen van de uitkomst van de Pilot, en wat de

23/93

2

Documentatie

Aandachtspunt, af te handelen voor start Pilot

Pilotdoelen niet behaald worden.

consequenties zijn als één of meerdere succescriteria niet worden behaald.

Er zijn geen duidelijke criteria en randvoorwaarden vastgelegd voor het eind van de Pilot en een eventuele verlenging van de Pilotfase.

Verrijk de Algoritmedocumentatie met duidelijke criteria ten aanzien van de benodigde verzamelde data, waardoor vooraf duidelijk is onder welke voorwaarden kan worden afgeweken van de vooraf gestelde duur van de Pilot.

Aanvulling op basis van Overzicht Verwerkte Aanpassingen Als reactie op het eerste aandachtspunt heeft de Algoritmeontwikkelaar een document aangeleverd waarin de succescriteria behorend bij de productdoelen ‘Effectiviteit’ en ‘Proportioneel, onbevooroordeeld en gelijk’ zijn aangevuld met een confidence level van 85%. De Algoritmeontwikkelaar geeft aan dat dit confidence level is gekozen als trade-off tussen enerzijds een betrouwbaar resultaat en anderzijds een niet te lange looptijd van de Pilot. Verder is gespecificeerd hoe de verschillende succescriteria gecombineerd worden tot één uitkomst van de Pilot. De succescriteria ‘Transparant en uitlegbaar’ en ‘Efficiënt inzetten capaciteit’ zijn ongewijzigd. Als reactie op het eerste aandachtspunt heeft de Algoritmeontwikkelaar aan het Pilotplan

[1] toegevoegd dat als besloten wordt tot verlenging van de Pilot om het confidence level van de resultaten te vergroten, de eindevaluatie zoals gepland zal doorgaan, en niet zal worden uitgesteld. Additioneel zal een evaluatie plaatsvinden aan het eind van de verlenging, waarin enkel de succescriteria nogmaals worden geëvalueerd waarvoor onvoldoende data was verzameld. Verder heeft de Algoritmeontwikkelaar de Algoritmedocumentatie gedeeltelijk uitgewerkt door voorbeelden te geven bij de verschillende uitkomsten van de Pilot. Een No Go is bijvoorbeeld wanneer de problemen rondom de performance niet kunnen worden opgelost, of als bias in het model wordt aangetroffen dat de Algoritmeontwikkelaar niet kan corrigeren.

24/93

4.1.3. Afweging met betrekking tot proportionaliteit Met betrekking tot de afwegingen omtrent proportionaliteit heeft Deloitte het volgende aandachtspunt geïdentificeerd: Nr.

Categorie

Fase

Aandachtspunt

3

Documentatie Aandachtspunt, Er is beperkte af te handelen documentatie beschikbaar voor start Pilot waarin een expliciete afweging wordt gemaakt of het Algoritme en het omliggende proces geschikt en proportioneel zijn voor het doel, afgezet tegen mogelijke alternatieven.

Aanbeveling Verrijk de Algoritmedocumentatie met een expliciete afweging voor de toepassing van het Algoritme, waarin wordt meegenomen dat, hoewel door toepassing van het Algoritme de kans dat een Aanvrager onnodig wordt belast met een onderzoek zal afnemen, er in absolute aantallen een toename zal zijn van het aantal individuele Aanvragen dat door Handhaving zal worden onderzocht.

4.2. Impact en betrokkenheid Voor deze dimensie is de volgende Analyse uitgevoerd: •

Analyseren van de betrokkenheid van belanghebbenden en het gezamenlijke doel van het Algoritme, getroffen maatregelen om transparantie en uitleg over het Algoritme te geven aan belanghebbenden, in kaart gebrachte disproportionele gevolgen voor bepaalde groepen, en de ingestelde mechanismen om externe feedback van belanghebbenden te verwerken.

25/93

4.2.1. Algemene observatie De Algoritmeontwikkelaar heeft verschillende belanghebbenden al in een vroeg stadium van de ontwikkeling van het Algoritme betrokken. Dit is bevestigd in de interviews met de Medewerker Vooronderzoek [24], Handhavingsspecialist [25] en het CPA [27]. In sectie 7.3 van de KIIA [2] staat vermeld dat de Algoritmeontwikkelaar: “gedurende het gehele proces werkgroepsessies [heeft] georganiseerd met Medewerkers Vooronderzoek, Handhavingsspecialisten en Inkomensconsulenten. Tijdens deze sessies is informatie opgehaald over de werkprocessen en over de wensen van de medewerkers m.b.t. het Algoritme.” Voorbeelden van geleverde inbreng kwamen naar voren in het interview [25] met de Handhavingsspecialist, die onderdeel was van deze werkgroep. Bijvoorbeeld door te kijken waar de Medewerker Vooronderzoek en Handhavingsspecialist tegenaan lopen in het huidige Aanvraagproces, en of de expliciete beslisregels waar de Medewerker Vooronderzoek in het huidige Aanvraagproces mee werkt ook in het Algoritme terug zouden moeten komen. Deze Handhavingsspecialist gaf aan dat de inbreng van de werkgroep zorgvuldig is meegenomen bij de inrichting van de processen en de ontwikkeling van het Algoritme.

Daarnaast wordt in sectie 7.3 van de KIIA [2] vermeld dat de Algoritmeontwikkelaar: “tweewekelijkse reviewsessies [heeft] georganiseerd met een bredere groep stakeholders binnen [WPI], waarin een update werd gegeven van de stand van zaken. [Ook werd] belangrijke / ethische besluitvorming samen gedaan.” Deze groep bestond uit uitvoerend medewerkers (Handhavingsspecialisten, Medewerkers Vooronderzoek en Inkomensconsulenten), de Epic Owner en de Algoritmeontwikkelaars. Afhankelijk van het thema van de review sloten andere stakeholders aan bij deze sessies, zoals privacy officers, beleidsmedewerkers of juristen, en werd feedback opgehaald op specifieke onderwerpen en keuzes. Uit het interview met de CPA [27] heeft Deloitte begrepen dat de Algoritmeontwikkelaar ook door de CPA is uitgedaagd over deze ethische besluitvorming. Zo heeft de CPA in deze bijeenkomsten gevraagd in hoeverre het Algoritme zich verhoudt tot de Tada-waarden9. Verder gaf de CPA aan dat de Algoritmeontwikkelaar zijn best heeft gedaan om er zoveel mogelijk aan te doen om CPA van informatie te voorzien en hun feedback op te volgen, en dat zij de openheid en de wijze waarop zij betrokken worden als positief ervaren.

Tot slot observeert Deloitte dat de Algoritmeontwikkelaar de rollen en verantwoordelijkheden met betrekking tot het Algoritme van de verschillende belanghebbenden op hoofdlijnen heeft beschreven in de KIIA [2] en Data Protection Impact Assessment (“DPIA”) [3].

9 De informatie is verkregen van de website https://www.amsterdam.nl/innovatie/digitaliseringtechnologie/data/tada-waarden/ op 6 oktober 2022. 26/93

In aanvulling op deze algemene observatie heeft Deloitte twee aandachtspunten geïdentificeerd, die betrekking hebben op: • •

Betrokkenheid van interne belanghebbenden Betrokkenheid van bestaande raden en commissies

Deze aandachtspunten zijn in de subsecties hierna samengevat en worden in Appendix 1 in meer detail toegelicht.

4.2.2. Betrokkenheid van interne belanghebbenden Met betrekking tot de betrokkenheid van interne belanghebbenden heeft Deloitte de volgende aandachtspunten geïdentificeerd: Nr.

Categorie

4

Documentatie Aandachtspunt, De rollen, taken, Spits de rollen, taken, af te handelen verantwoordelijkheden en verantwoordelijkheden en voor start Pilot bevoegdheden van de bevoegdheden in de interne belanghebbenden Algoritmedocumentatie worden te algemeen toe op de ontwikkeling en beschreven in de de toepassing van het Algoritmedocumentatie, Algoritme. waardoor de exacte invulling in de context van het Algoritme en bijbehorende procesverandering onduidelijk is.

5

Governance

27/93

Fase

Aandachtspunt

Aandachtspunt, Deloitte heeft via af te handelen interviews begrepen dat voor start Pilot de Epic Owner het als uitdaging ervaart voor de Algoritmeontwikkelaars om de interne belanghebbenden op de hoogte te brengen, en houden, van de technische ontwikkelingen van het Algoritme.

Aanbeveling

Draag zorg dat interne belanghebbenden informatie en training krijgen die is afgestemd op hun rol, kennisniveau en ervaring, zodat ze over de juiste handvatten beschikken om inbreng te kunnen leveren op de besluitvorming rond het Algoritme en/of te begrijpen wat de impact is van het Algoritme. Een voorbeeldmaatregel is door aan de voorkant van

het proces te bepalen welke training voor welke interne belanghebbenden noodzakelijk is om, vanuit hun eigen expertise en verantwoordelijkheid, op de hoogte te blijven van de ontwikkelingen van het Algoritme.

4.2.3. Betrokkenheid van bestaande raden en commissies Met betrekking tot de betrokkenheid van bestaande raden en commissies heeft Deloitte het volgende aandachtspunt geïdentificeerd: Nr. Categorie 6

28/93

Fase

Aandachtspunt

Governance Aandachtspunt, Deloitte observeert dat de af te handelen Participatieraad niet voor start Pilot fungeert als klankbord voor de verdere ontwikkelingen van het Algoritme, door niet in gesprek te willen gaan over de wijzigingen die de Algoritmeontwikkelaar wil doorvoeren om de bezwaren van de Participatieraad weg te nemen. Hierdoor ontstaat het risico dat, buiten de inbreng van de CPA, onvoldoende feedback vanuit een maatschappelijk standpunt wordt meegenomen in de verdere ontwikkeling van het Algoritme.

Aanbeveling Deloitte adviseert te blijven proberen de Participatieraad te betrekken, en daarin hun rol als klankbord te benadrukken. Specifiek kijkend naar de concept reactie op het negatieve advies van de Participatieraad adviseert Deloitte transparant te blijven en indien nodig gebruik te maken van een bemiddelaar om de Participatieraad te kunnen blijven betrekken bij de ontwikkeling van het Algoritme.

4.3. Governance en proces Voor deze dimensie is de volgende Analyse uitgevoerd: •

Analyseren van Algoritmedocumentatie van WPI, het monitoringsplan, de verantwoordingsprocessen en rollen, de kwalitatieve en kwantitatieve deskundigheid en kennis binnen de organisatie, de borging van menselijke betrokkenheid, en de vastgelegde rol en invloed van het Algoritme in de werkprocessen.

4.3.1. Algemene observatie In de Algoritmedocumentatie worden de verschillende processen voor het gebruik en beheer van het Algoritme uitgewerkt. Voor de Algoritmegebruikers heeft de Algoritmeontwikkelaar onder andere trainingen en werkinstructies [23] ingericht, zodat zij de Pilot en hun eigen rol daarin begrijpen. Daarnaast heeft de Algoritmeontwikkelaar andere interne communicatiemiddelen ingericht (zie het Communicatieplan [22]), waaronder: • • •

De weekstart voor Handhavingsspecialisten en Medewerkers Vooronderzoek, waarin aandacht wordt gegeven aan de impact dat het Algoritme op het werk heeft; Een inloopvragenuur, waarin Inkomensconsulenten en klantbegeleiders hun vragen en zorgen kunnen bespreken; en Het Intranet, waar alle WPI collega’s informatie kunnen terugvinden over de Pilot en het Algoritme.

Een deel van de Algoritmegebruikers is daarnaast betrokken geweest in de Werkgroep (zie sectie 3.3). Voor het beheer heeft de Algoritmeontwikkelaar een Concept Beheerplan ingericht voor zowel de Pilot [21] als voor de periode daarna [5]. Ook is nagedacht over processen die ingaan op specifieke risico’s met betrekking tot de Pilot, zoals een exitstrategie (zie IAMA [4]). In aanvulling op deze algemene observatie heeft Deloitte vijf aandachtspunten geïdentificeerd, die betrekking hebben op: • • • • •

Uitwerken van een exitstrategie Invulling van het Concept Beheerplan Monitoren van de interpretatie van de onderzoekswaardigheidscategorie Actualiseren van de Algoritmedocumentatie Technische keuzes en overwegingen

Deze aandachtspunten zijn in de subsecties hierna samengevat en worden in Appendix 1 in meer detail toegelicht.

29/93

4.3.2. Uitwerken van een exitstrategie Met betrekking tot het uitwerken van een exitstrategie heeft Deloitte het volgende aandachtspunt geïdentificeerd: Nr. Categorie 7

Fase

Aandachtspunt

Governance Aandachtspunt, De exitstrategie beschrijft af te handelen onvoldoende wat er moet voor start gebeuren om terug te Implementatie keren naar het oude proces, wat risico tot discontinuïteit van het aanvraagproces met zich meebrengt.

Aanbeveling Werk de exitstrategie verder uit om de continuïteit van het aanvraagproces te verzekeren, waaronder (i) wie in dat geval verantwoordelijk is voor de uitrol van de exitstrategie, (ii) tijdslijnen tussen het besluit tot een exit en inwerkingtreding van de exitregeling, (iii) voor zover mogelijk vooraf bepaalde condities die aanleiding kunnen geven tot een exit, (iv) waar daarbij het onderscheid ligt tussen tijdelijk of definitief terug gaan naar het oude proces, en (v) de manier en frequentie waarop de exitstrategie zal worden getest.

4.3.3. Invulling van het Concept Beheerplan Met betrekking tot de invulling van het Concept Beheerplan [5] heeft Deloitte het volgende aandachtspunt geïdentificeerd:

30/93

Nr.

Categorie

Fase

Aandachtspunt

Aanbeveling

8

Governance

Aandachtspunt, af te handelen voor start Implementatie

Deloitte observeert dat in het Concept Beheerplan [5] wordt beschreven wát er tijdens de monitoring activiteiten moet worden gemonitord, maar niet hoe dit zal worden gedaan.

De aanbeveling van Deloitte is om, bij het finaliseren van het Concept Beheerplan [5], details op te nemen over hoe de Algoritmeontwikkelaar invulling zal geven aan de monitoringactiviteiten.

4.3.4. Monitoren van interpretatie onderzoekswaardigheidscategorie Met betrekking tot het monitoren van de interpretatie van de onderzoekswaardigheidscategorie heeft Deloitte het volgende aandachtspunt geïdentificeerd: Nr.

Categorie

9

Governance Aandachtspunt, Er zijn geen processen af te handelen ingericht om te monitoren voor start of Medewerkers Implementatie Vooronderzoek in het nieuwe proces op dezelfde wijze omgaan met de interpretatie van de onderzoekswaardigheidsca tegorie. Hierdoor ontstaat het risico dat Aanvragers afhankelijk van de Medewerker Vooronderzoek meer kans hebben op een verdiepend onderzoek. Dit risico op ongelijke behandeling geldt overigens ook in het huidige proces.

31/93

Fase

Aandachtspunt

Aanbeveling Verrijk de Algoritmedocumentatie met maatregelen om aan de hand van statistische testen te monitoren of er in verhouding evenveel dossiers worden opgeschaald naar Handhaving vanuit de verschillende Medewerkers Vooronderzoek, en waar nodig bij te sturen. Deloitte heeft via de Q&A [12] begrepen dat de Algoritmeontwikkelaar dit zal opnemen in het meetplan.

4.3.5. Actualiseren van Algoritmedocumentatie Met betrekking tot het actualiseren van de Algoritmedocumentatie heeft Deloitte het volgende aandachtspunt geïdentificeerd: Nr. Categorie

Fase

Aandachtspunt

10 Documentatie Aandachtspunt, De beschikbaar gestelde af te handelen Algoritmedocumentatie voor start Pilot bevat onvoldoende structuur en een aantal verouderde werkdocumenten die bijgewerkt dient te worden. Hierdoor is het lastig om informatie terug te vinden.

Aanbeveling Vereenvoudig de opzet van de Algoritmedocumentatie door informatie uit verschillende documenten te bundelen waar mogelijk. Voeg een begeleidend schrijven toe, waarin duidelijk wordt welke informatie per document te vinden is.

4.3.6. Technische keuzes en overwegingen Met betrekking tot de technische keuzes en overwegingen omtrent het Algoritme heeft Deloitte het volgende aandachtspunt geïdentificeerd: Nr. Categorie Fase 11 Documentatie

32/93

Aandachtspunt Aandachtspunt, In de Technische af te handelen Documentatie en Bias voor start Pilot Analyse worden de gemaakte keuzes beschreven die hebben geleid tot het Algoritme, maar details over de onderliggende overwegingen ontbreekt op een aantal punten.

Aanbeveling Verrijk de Technische Documentatie en Bias Analyse met meer details over de gemaakte keuzes en overwegingen die hebben geleid tot het Algoritme.

4.4. Data verzameling, voorbewerking en kwaliteit Voor deze dimensie is de volgende Analyse uitgevoerd: •

Analyseren van de onderbouwing van keuzes rondom gebruikte databronnen, herkomst, gebruik, beschikbaarheid en data eigenaarschap, data representativiteit 10, data stabiliteit, de voorbewerking van data en de waarborging van onafhankelijkheid van de verschillende datasets.

Deloitte heeft tijdens het uitvoeren van de Analyse geen toegang gehad tot de data en code van het Algoritme (zie sectie 3.4).

4.4.1. Algemene observatie In sectie 3.1 wordt op hoofdlijnen toegelicht hoe de Dataset, waarop het Algoritme getraind en getest is, is opgebouwd. De data in de Dataset is afkomstig uit drie databronnen, namelijk Socrates, Sherlock en RAAK (zie de Technische Documentatie [7]). De Algoritmeontwikkelaar heeft een aantal voorbewerkingsstappen uitgevoerd op deze Dataset. •

• •

•

•

Op basis van een datakwaliteitsanalyse heeft de Algoritmeontwikkelaar een aantal correcties uitgevoerd op de Dataset, zoals het uitsluiten van specifieke datakolommen en het filteren van foutieve invoer die op een later moment gecorrigeerd is. Voor data die een momentopname beschrijft wordt maximaal één jaar terug gekeken. Voor het omgaan met missende waardes is per feature, afhankelijk van de betekenis van de feature, gekeken wat de meest logische keuze is. In sommige gevallen is gekozen de missende waarde met nul te vullen, bijvoorbeeld in gevallen waar een missende waarde betekent dat een indicator onwaar zou moeten zijn. In andere gevallen is voor een gemiddelde of mediaan gekozen, bijvoorbeeld wanneer het inkomen van de Aanvrager onbekend is. Voor het omgaan met mogelijke outliers in de data heeft de Algoritmeontwikkelaar geconcludeerd dat de geobserveerde extreme waardes niet onmogelijk zijn en om die reden zijn ze behouden. Categorische variabelen zijn vertaald naar een waarde door middel van een neuraal netwerk met één embedding laag. Merk op dat momenteel in de geselecteerde 15 Features van het Algoritme geen categorische variabelen zitten.

De voorbewerking van de data om tot een Label te komen is eerder besproken in sectie 3.1.

10 Een representativiteitsanalyse betreft altijd een vergelijking van twee datasets, waarbij wordt bepaald of deze twee datasets voldoende op elkaar lijken. Deloitte heeft de representativiteit onderzocht door zowel te kijken naar events die de representativiteit kunnen beïnvloeden (zoals COVID-19), als representativiteit door verschillen tussen de Dataset en de te verwachten sample van toekomstige Aanvragen waarop het Algoritme zal worden toegepast. 33/93

Verder zijn de volgende historische Aanvragen gefilterd uit de Dataset: •

•

• •

Historische Aanvragen van producten die buiten de scope van het Algoritme vallen. Dit betreft bijvoorbeeld de historische Aanvragen van bijzondere doelgroepen (zoals daklozen), omdat Aanvragen voor deze groepen niet binnen de reikwijdte van het Algoritme zullen vallen. Historische Aanvragen die zijn afgehandeld door een Inkomensconsulent zonder tussenkomst van een Handhavingsspecialist, omdat de Algoritmeontwikkelaar niet genoeg vertrouwen had in de betrouwbaarheid van het Label (zie ook sectie 4.4.4). Een deel van de historische Aanvragen uit de COVID-19 periode (zie ook sectie 4.4.2). Een deel van de historische Aanvragen waarvoor geen Label kon worden vastgesteld, zoals de Aanvragen met hersteltermijnen die na het aanleveren van opgevraagde informatie niet opnieuw naar Handhaving zijn opgeschaald (zie ook sectie 4.4.3).