Gemeente Amsterdam - Deloitte rapportage algoritme analyse - BEVEILIGD - (24 nov 2022).pdf

In aanvulling op deze algemene observatie heeft Deloitte drie aandachtspunten geïdentificeerd, die betrekking hebben op: • • •

Representativiteit van de Dataset ten gevolge van COVID-19 Representativiteit ten gevolge van de beschikbaarheid van Labels Representativiteit ten gevolge van de keuze van Labels

Deze aandachtspunten zijn in de subsecties hierna samengevat en worden in Appendix 1 in meer detail toegelicht.

4.4.2. Representativiteit van Dataset ten gevolge van COVID-19 Met betrekking tot de representativiteit van de Dataset ten gevolge van COVID-19 heeft Deloitte het volgende aandachtspunt geïdentificeerd:

34/93

Nr. Categorie Fase

Aandachtspunt

12 Data en Model

Het is onduidelijk wat de Verkrijg inzicht in de precieze impact van COVID- mogelijke verschillen in de 19 op de waardes en Aanvragen pre- en postverdeling van de Features COVID-19 om te verifiëren op basis van de Dataset is of de Dataset representatief geweest en in hoeverre de is voor de periode postperiode pre-COVID-19 COVID-19. Alternatief kan representatief is voor de gekozen worden om op periode post-COVID-19, basis van de Pilot opnieuw doordat details van de te analyseren of de uitgevoerde analyse niet performance van het zijn gedocumenteerd en er Algoritme in lijn is met de geen statistische testen zijn verwachting van gedocumenteerd. Algoritmegebruikers en Algoritmeontwikkelaars, en zo ja, dan kan gekozen worden het verdere risico op beperkte representativiteit te accepteren.

Aandachtspunt, af te handelen voor start Implementatie

Aanbeveling

4.4.3. Representativiteit ten gevolge van beschikbaarheid van Labels Met betrekking tot de representativiteit ten gevolge van de beschikbaarheid van Labels heeft Deloitte het volgende aandachtspunt geïdentificeerd: Nr. Categorie Fase 13 Data en Model

35/93

Aandachtspunt

Aanbeveling

Aandachtspunt, De Algoritmeontwikkelaar Vergelijk de Dataset voor en af te handelen heeft zo’n 36% van de na verwijdering van de voor start Aanvragen verwijderd uit de Aanvragen waarbij geen Implementatie Trainingset en Testset, betrouwbaar Label kon omdat geen Label kon worden vastgesteld en worden vastgesteld. De onderzoek de invloed van de Algoritmeontwikkelaar geeft representativiteit van de aan dat het merendeel van Dataset na verwijdering op deze verwijderde Aanvragen de uitvoer van het hersteltermijnen betreft. Algoritme. Verrijk de Het is echter onduidelijk wat Algoritmedocumentatie met

de impact van het verwijderen van deze Aanvragen is op de representativiteit van de Dataset.

deze analyse. Alternatief kan gekozen worden om op basis van de Pilot te analyseren of de performance van het Algoritme in lijn is met de verwachting van Algoritmegebruikers en Algoritmeontwikkelaars, en zo ja, dan kan gekozen worden het verdere risico op beperkte representativiteit te accepteren.

4.4.4. Representativiteit ten gevolge van keuze van Labels Met betrekking tot de representativiteit ten gevolge van de keuze van Labels heeft Deloitte het volgende aandachtspunt geïdentificeerd: Nr.

Categorie Fase

14

Data en Model

36/93

Aandachtspunt

Aanbeveling

Aandachtspunt, Deloitte observeert dat de Voer een af te handelen precieze impact op de representativiteitsanalyse voor start representativiteit, als uit op de Dataset en voer Implementatie gevolg van dat het een analyse uit om de Algoritme enkel is getraind verschillen tussen de op Aanvragen die in het Dataset die wél is verleden door Handhaving onderzocht door zijn onderzocht, onduidelijk Handhaving en de Dataset is. Er is een risico dat het die niet is onderzocht door Algoritme niet goed Handhaving in kaart te overweg kan met bepaalde brengen. Alternatief kan Aanvragen die hierdoor niet gekozen worden om op in de Dataset zijn basis van de Pilot te opgenomen. analyseren of de performance van het Algoritme in lijn is met de verwachting van Algoritmegebruikers en Algoritmeontwikkelaars, en zo ja, dan kan gekozen worden het verdere risico op beperkte

representativiteit te accepteren.

4.5. Eerlijkheid en bias in model en data Voor deze dimensie is de volgende Analyse uitgevoerd: •

Analyseren van de mitigatiestrategieën en andere maatregelen tegen bias, en van de onderbouwing van gebruikte eerlijkheidsstatistieken en hun drempelwaarden.

4.5.1. Algemene observatie De Algoritmeontwikkelaar heeft een Bias Analyse uitgevoerd (zie ook [17] en sectie 3.1 van dit rapport). In de Bias Analyse zijn gevoelige groepen vastgesteld op basis van de kenmerken leeftijd, geslacht, geboorteland en nationaliteit. Voor het kiezen van een eerlijkheidsstatistiek voor de Bias Analyse heeft de Algoritmeontwikkelaar gebruik gemaakt van de Fairness Tree van Aequitas11. De gekozen eerlijkheidsstatistiek voor dit Algoritme is de False Positives / Group Size Parity. Deze metriek is te interpreteren als de kans dat een willekeurige Aanvrager ten onrechte wordt onderzocht. Deze eerlijkheidsstatistiek wordt uitgerekend voor zowel de gevoelige groep als voor de overige Aanvragers, en vervolgens worden de waardes van de twee eerlijkheidsstatistieken van elkaar afgetrokken. Het resultaat geeft weer hoeveel groter (of kleiner) de kans is dat een Aanvrager uit een gevoelige groep onterecht wordt onderzocht. Op basis van deze Bias Analyse was er in een eerdere versie van het Algoritme een bias vastgesteld naar de niet-westerse nationaliteit12. Om deze bias te mitigeren heeft de Algoritmeontwikkelaar de Trainingset door middel van herweging van Aanvragen aangepast. Het Algoritme is daarna opnieuw getraind op deze herwogen Trainingset, waarna de Algoritmeontwikkelaar de Bias Analyse opnieuw heeft uitgevoerd.

De Algoritmeontwikkelaar heeft op basis daarvan vastgesteld dat er niet langer sprake is van een bias naar de nietwesterse nationaliteit. Naast het aandachtspunt bij sectie 4.3.6 heeft Deloitte geen aandachtspunten op basis van deze analyse.

11 De informatie is verkregen van de website https://arxiv.org/pdf/1811.05577.pdf op 6 oktober 2022.

12 In de Bias Analyse werd geen bias vastgelegd voor de leeftijd (<40 jaar vs 40+ jaar), het geslacht (man vs vrouw), geboorteland (Nederlands vs niet-Nederlands), geboorteland (Westers vs niet-Westers) en nationaliteit (Nederlands vs niet-Nederlands). 37/93

4.6. Algoritme input Voor deze dimensie is de volgende Analyse uitgevoerd: •

Analyseren van het input selectieproces en 15 gekozen input features, de keuzes rondom het borgen van uitlegbaarheid van het Algoritme.

4.6.1. Algemene observatie De Algoritmeontwikkelaar heeft in de Technische Documentatie [7] beschreven hoe de Features zijn geselecteerd. In het Overzicht Verwerkte Data en Features [6] heeft de Algoritmeontwikkelaar een analyse beschreven die de Algoritmeontwikkelaar heeft uitgevoerd op de 15 Features die meegenomen worden als invoer voor het Algoritme. In deze analyse wordt per Feature onder andere een onderbouwing gegeven voor het gebruik van de Feature in het Algoritme. Daarnaast wordt voor de Features die niet als invoer voor het Algoritme worden meegegeven toegelicht wat hiervoor de reden is. Verder heeft de Algoritmeontwikkelaar de Features besproken met interne en externe belanghebbenden, waaronder de gebruikers van het Algoritme (“Algoritmegebruikers”)13, de Participatieraad en de CPA. Op basis van deze gesprekken heeft de Algoritmeontwikkelaar de Feature keuze aangescherpt. Een voorbeeld hiervan is dat de Feature ‘geboortejaar’ na advies van de Participatieraad [10] niet langer wordt meegenomen. In aanvulling op deze algemene observatie heeft Deloitte één aandachtspunt geïdentificeerd, dat betrekking heeft op: •

Keuze voor Features

Dit aandachtspunt is in de subsectie hierna samengevat en wordt in Appendix 1 in meer detail toegelicht.

13 De directe Algoritmegebruikers zijn de Medewerkers Vooronderzoek en Handhavingsspecialisten. 38/93

4.6.2. Keuze voor Features Met betrekking tot de keuze voor Features heeft Deloitte het volgende aandachtspunt geïdentificeerd: Nr.

Categorie Fase

15

Data en Model

39/93

Aandachtspunt

Aanbeveling

Aandachtspunt, Als onderbouwing in de De aanbeveling van af te handelen Algoritmedocumentatie Deloitte is om het gebruik voor start Pilot voor het gebruik van de van de twee Features twee Features gerelateerd gerelateerd aan inkomen aan inkomen en vermogen en vermogen aan te laten wordt gezegd dat deze sluiten op de onderbouwing Features in het huidige die wordt gegeven, en dus proces ook als beleidsregel enkel de verbanden mee te worden meegenomen. De nemen die ook door de beleidsregel rechtvaardigt beleidsregels worden echter niet dat twee beschreven, of, wanneer de Aanvragers die beiden een Algoritmeontwikkelaar hier vermogen of inkomen een meerwaarde in ziet, onder de beleidsgrens een additionele hebben, een andere onderbouwing op te nemen onderzoekswaardigheidssco voor het veronderstelde re wordt toegekend op verband tussen deze basis van de exacte hoogte Features en de van hun vermogen of onderzoekswaardigheidsinkomen. Door het score. opnemen van deze Features in het Algoritme ontstaat het risico dat bepaalde inkomens- of vermogensgroepen een verhoogde kans hebben onderzocht te worden, wat niet aansluit op de huidige onderbouwing.

4.7. Algoritme theorie Voor deze dimensie is de volgende Analyse uitgevoerd: •

Analyseren van de theorie en onderbouwing van de keuze voor hyperparameters, de onderbouwing van de keuze voor het EBM algoritme, de overeenkomst tussen algoritme optimalisatie en de doelstelling, een onderbouwing van de juistheid en volledigheid van de aannames, en het algoritme training proces en de reproduceerbaarheid op basis van de technische algoritmedocumentatie van WPI.

4.7.1. Algemene observatie De Algoritmeontwikkelaar heeft in de Technische Documentatie [7] beschreven dat gebruik wordt gemaakt van een EBM techniek, zonder interacties tussen Features, om zo de uitlegbaarheid van het Algoritme te vergroten. De hyperparameters zijn geoptimaliseerd door middel van een grid search14. Naast EBM zijn twee alternatieve algoritmes overwogen. Allereerst is een Gradient Boosting algoritme overwogen, echter omdat deze minder goed bleek te presteren dan verwacht is deze afgevallen. Ten tweede is een Random Forest overwogen die de Algoritmeontwikkelaar classificeert als minder uitlegbaar, maar een iets hogere performance. De uitlegbaarheid van de EBM techniek is uiteindelijk doorslaggevend geweest in de definitieve keuze voor het Algoritme. Daarnaast heeft de Algoritmeontwikkelaar ervoor gekozen om de uitkomst van het Algoritme aan de Medewerker Vooronderzoek te laten zien. Een voorbeeld van de uitkomst is te vinden in de werkinstructie [23]: •

Optie 1: De Aanvraag is onderzoekswaardig. Door op ‘Meer informatie’ te klikken, ziet de Medewerker Vooronderzoek wat de drie belangrijkste Features zijn waardoor het Algoritme deze Aanvraag als onderzoekswaardig bestempeld. Deze staan op volgorde van relevantie. Een (+) betekent dat de Feature de Aanvraag meer onderzoekswaardig maakt; een (-) betekent dat de Feature de Aanvraag minder onderzoekswaardig maakt. In dit geval moeten de Aanvragen die door de Inkomensconsulent kunnen worden afgewezen eruit gefilterd worden, alvorens de overige Aanvragen worden doorgezet naar Handhaving; en

•

Optie 2: De Aanvraag is niet onderzoekswaardig. Door op ‘Meer informatie’ te klikken, ziet de Medewerker Vooronderzoek een toelichting dat de Aanvraag door het Algoritme als niet onderzoekswaardig wordt aangemerkt en verder kan worden opgepakt door de Inkomensconsulent.

14 Dit is een optimalisatietechniek om de waarden van hyperparameters te berekenen. 40/93

De werking van het Algoritme wordt verder beschreven in sectie 3.1 van dit rapport. In aanvulling op deze algemene observatie heeft Deloitte vijf aandachtspunten geïdentificeerd, die betrekking hebben op: • • • • •

Uitlegbaarheid van het Algoritme Onderbouwing van aannames Kwaliteit van Labels Invloed van feedback loops op het Algoritme Drempelwaarde onderzoekswaardigheidsscore

Deze aandachtspunten zijn in de subsecties hierna samengevat en worden in Appendix 1 in meer detail toegelicht.

4.7.2. Uitlegbaarheid van het Algoritme Met betrekking tot de uitlegbaarheid van het Algoritme heeft Deloitte het volgende aandachtspunt geïdentificeerd: Nr.

Categorie15

Fase

Aandachtspunt

16

Documentatie Aandachtspunt, De manier waarop de af te handelen verschillende Features voor start Pilot bijdragen aan de onderzoekswaardigheidss core kan eenvoudig inzichtelijk gemaakt worden door de keuze voor een EBM techniek. Echter, de verbanden en de bevestiging dat de verbanden in lijn zijn met verwachtingen van experts, zijn niet gedocumenteerd.

Aanbeveling Verrijk de Algoritmedocumentatie met details over hoe de gemodelleerde verbanden zijn besproken met belanghebbenden en een bevestiging van belanghebbenden, zoals de Algoritmegebruikers, dat de gemodelleerde verbanden niet onlogisch of onwenselijk zijn. Verder beveelt Deloitte aan om de stabiliteit van de gemodelleerde verbanden voor elke Feature over tijd te monitoren, zowel op basis van de Pilotuitkomsten als

15 Merk op dat het tweede deel van de aanbeveling met betrekking tot monitoring ook in de fase ‘Aandachtspunt, af te handelen voor start Implementatie’ kan worden opgepakt en strikt genomen onder Governance valt. 41/93

periodiek daarna. Hiermee wordt voorkomen dat wijzigingen in gemodelleerde verbanden onopgemerkt blijven.

4.7.3. Onderbouwing van aannames Met betrekking tot de onderbouwing van aannames heeft Deloitte het volgende aandachtspunt geïdentificeerd: Nr.

Categorie

Fase

Aandachtspunt

Aanbeveling

17

Documentatie Aandachtspunt, Aannames en Verrijk de af te handelen beperkingen van het Algoritmedocumentatie voor start Pilot Algoritme worden met een lijst met onvoldoende beschreven aannames en beperkingen en onderbouwd, en er van het Algoritme, en met wordt niet beschreven duidelijke onderbouwing welke aannames periodiek en (waar mogelijk) gemonitord worden en statistieken waarop een hoe dit gebeurt. Hierdoor aanname is gebaseerd. ontstaat het risico dat betrokkenen niet Verrijk de voldoende bewust zijn Algoritmedocumentatie van de aannames en met een verduidelijking beperkingen waar het van de aannames die Algoritme op steunt. zullen worden gemonitord en hoe dat gebeurt.

4.7.4. Kwaliteit van Labels Met betrekking tot de constructie van Labels heeft Deloitte het volgende aandachtspunt geïdentificeerd: Nr.

Categorie Fase

18

Data en Model

42/93

Aandachtspunt

Aandachtspunt, Er is gekozen voor het af te handelen modelleren van voor start onderzoekswaardigheid. Implementatie Door de keuze voor een

Aanbeveling Leg de onderzoekswaardigheid van Aanvragen vast zodat deze informatie gebruikt kan

subjectief Label zoals onderzoekswaardigheid dat niet meetbaar is ontstaat het risico op beperkte betrouwbaarheid van de Labels.

worden voor monitoring doeleinden of verbetering van de Labels. Een mogelijke aanpak hiervoor is om in het werkproces terugkoppeling van de Handhavingsspecialist en Inkomensconsulent te vragen, waarin ze aangeven of een Aanvraag ook afgehandeld had kunnen worden zonder tussenkomst van de Handhavingsspecialist.

4.7.5. Invloed van feedback loops op het Algoritme Met betrekking tot de invloed van feedback loops op het Algoritme heeft Deloitte het volgende aandachtspunt geïdentificeerd: Nr. Categorie Fase 19 Data en Model

Aandachtspunt

Aandachtspunt, Er is een risico dat er met af te handelen name Aanvragen bij voor start Handhaving terecht zullen Implementatie komen die door het Algoritme als onderzoekswaardig zijn aangemerkt. Nieuwe Labels die aan de Dataset worden toegevoegd zijn daardoor met name afkomstig van het Algoritme. Hierdoor ontstaat het risico op een positieve feedback loop. Daarnaast ontstaat het risico dat bij hertrainen ook nieuwe vormen van onrechtmatigheid Aanvragen mogelijk niet gedetecteerd worden door het Algoritme.

43/93

Aanbeveling Borg dat het risico op de positieve feedback wordt geminimaliseerd.

4.7.6. Drempelwaarde onderzoekswaardigheidsscore Met betrekking tot de drempelwaarde voor de onderzoekswaardigheidsscore heeft Deloitte het volgende aandachtspunt geïdentificeerd: Nr.

Categorie

Fase

Aandachtspunt

20

Documentatie Aandachtspunt, Het is onduidelijk of de af te handelen drempelwaarde een vaste voor start waarde is of dat deze Implementatie dynamisch aangepast zal gaan worden om de capaciteit van Handhavingsspecialisten optimaal te benutten. In het Concept Beheerplan [5] wordt aangegeven dat tweemaal per jaar zal worden bekeken of de drempelwaarde nog passend is, er wordt echter niet aangegeven wat wordt bedoeld met passend.

Aanbeveling Specificeer in de Algoritmedocumentatie hoe de drempelwaarde voor het vaststellen van de onderzoekswaardigheidss core wordt vastgesteld en óf, en zo ja onder welke condities, deze bijgesteld kan worden.

4.8. Algoritme output Voor deze dimensie is de volgende Analyse uitgevoerd: •

Analyseren van de controles over de aansluiting tussen input en output, de keuzes voor prestatiestatistieken, de documentatie rondom stabiliteit van het Algoritme, maatregelen tegen overfitting van het Algoritme, en de uitlegbaarheid van de ruwe output in de uitvoering van het beleid van WPI.

4.8.1. Algemene observatie De output van het Algoritme is een onderzoekswaardigheidsscore, die door middel van een drempelwaarde wordt omgezet in een onderzoekswaardigheidscategorie. De Algoritmeontwikkelaar geeft in de Technische Documentatie [7] aan dat de performance van het Algoritme met name gemeten zal worden aan de hand van de precisie (Hit-rate).

44/93

In aanvulling op deze algemene observatie heeft Deloitte één aandachtspunten geïdentificeerd, dat betrekking heeft op: •

Performance testen

Dit aandachtspunt is in de subsectie hierna samengevat en wordt in Appendix 1 in meer detail toegelicht.

4.8.2. Performance testen Met betrekking tot de performance testen heeft Deloitte het volgende aandachtspunt geïdentificeerd: Nr.

Categorie

Fase

Aandachtspunt

21

Documentatie Aandachtspunt, De af te handelen Algoritmedocumentatie voor start geeft een beperkte Implementatie toelichting over de performance van het Algoritme.

Aanbeveling Verrijk de Algoritmedocumentatie met meer details over (i) de stabiliteitstesten die zijn uitgevoerd, (ii) de stappen die zijn uitgevoerd om het risico op overfitting tegen te gaan, (iii) de stabiliteit en performance testen die zullen worden gemonitord, en (iv) hoe de performance van de Aanvragen die niet naar Handhaving zijn doorgestuurd zal worden gemonitord.

4.9. Omgang met persoonsgegevens Voor deze dimensie is de volgende Analyse uitgevoerd: •

Analyseren van de ethische aspecten van data privacy ten aanzien van de uitgevoerde KIIA [2] en DPIA [3].

45/93

4.9.1. Algemene observatie De Algoritmeontwikkelaar heeft voor het gebruik van persoonsgegevens advies ingewonnen bij de Functionaris Gegevensbescherming, het CPA en de Participatieraad (zie DPIA [3]). Hun input heeft meegewogen in de selectie van Features voor het Algoritme (zie ook sectie 4.2.3). In het Overzicht Data en Verwerkte Features [6] laat de Algoritmeontwikkelaar de keuze van Features aansluiten op bepalingen in de Participatiewet of in de beleidsstukken. Uit de DPIA [3] en Q&A [12] blijkt dat de Algoritmeontwikkelaar invulling heeft gegeven aan de rechten van de Aanvrager, zoals het recht op bezwaar tegen het gebruik van persoonsgegevens, recht op inzage en recht op rectificatie, door aan te sluiten op de huidige processen binnen de gemeente Amsterdam. Hiervoor kunnen Aanvragers terecht bij hun contactpersoon bij WPI en bij het Loket Persoonsgegevens van de gemeente Amsterdam. Ook is de Algoritmeontwikkelaar voornemens om het Algoritme te publiceren in het algoritmeregister van de gemeente Amsterdam. Naast het aandachtspunt bij sectie 7.6.1, met betrekking tot de aansluiting van de ethische onderbouwing van de Features op het gebruik van de Features, heeft Deloitte geen aandachtspunten op basis van deze Analyse.

46/93

5. Toelichting Algoritmeontwikkelaar Op 31 oktober 2022 heeft Deloitte de rapportage “Analyse Algoritme bij de aanvraag levensonderhoud” aangeboden. Met onderstaande tekst reageert WPI op het rapport en de aanbevelingen. Deloitte heeft deze tekst ontvangen op 15 november 2022 en ongewijzigd en integraal hieronder weergegeven. Zoals beschreven in hoofdstuk 3 heeft de Gemeente Amsterdam een proces ondersteunend algoritme ontwikkeld, en is zij voornemens hier een pilot mee te starten. Het gebruik van algoritmes door de overheid is de laatste jaren niet onomstreden. Daarom vinden we het extra belangrijk dat het algoritme op zorgvuldige wijze is ontwikkeld en naar behoren en ethisch verantwoord kan worden ingezet. Ook willen we dat eventuele negatieve effecten en risico´s vooraf voldoende in kaart zijn gebracht en verholpen. Deze doelstellingen zijn vanaf het begin van het ontwikkelproces meegenomen. In het kader hiervan hebben de ontwikkelaars reeds advies van de Functionaris Gegevensbescherming, Commissie Persoonsgegevens Amsterdam (CPA) en de Participatieraad ingewonnen. Waar mogelijk hebben we samengewerkt met externe instellingen zoals het Civic AI lab en Utrecht School of Data.

Om ons er van te vergewissen dat het algoritme en de ontwikkeling daarvan aan alle eisen voldoet hebben wij van een onafhankelijke derde partij gevraagd een additioneel verificatieonderzoek hier naar te doen en ons op basis van hun bevindingen te adviseren. De keus is hierbij op Deloitte gevallen omdat zij het algoritme en de pilot vanuit een breder perspectief bekijken, en dit toetsen aan de hand van diverse frameworks (door middel van kaders zoals van de Algemene Rekenkamer, maar ook vanuit een breder ethisch perspectief). Het door Deloitte uitgebrachte advies gaat over of we de pilot op een verantwoorde manier kunnen starten, eventueel met aanvullende maatregelen of aanpassingen. Deloitte concludeert dat aan alle onderzochte dimensies een uitgebreide invulling is gegeven en de Gemeente na implementatie van een aantal aandachtspunten op een verantwoorde wijze met de pilot kan starten. Wij zien het als een bevestiging dat wij een juiste weg zijn ingeslagen met de ontwikkeling van het algoritme. We herkennen de door Deloitte geïdentificeerde aandachtspunten en pakken deze actief op alvorens de pilot met het algoritme te starten. Een aantal van de door Deloitte genoemde aandachtspunten waren bewust nog niet geïmplementeerd in verband met de geplande fasering van het project.

Een voorbeeld hiervan is aandachtspunt acht met betrekking tot het finaliseren van de details in het beheerplan. Andere door Deloitte geïdentificeerde aandachtspunten zijn een welkome aanscherping op ons denken, zoals aandachtspunt negen over het

47/93

monitoren van de procesuitkomsten per medewerker ter bevordering van de gelijke behandeling in het proces. Tijdens de implementatie van de aanbevelingen zullen wij allereerst de focus leggen op de aandachtspunten die Deloitte adviseert voor de pilot op te pakken. De lessen uit de pilot en de aanbevelingen van Deloitte die passen bij implementatie zullen wij toepassen alvorens we het algoritme voor langere tijd in onze processen zullen opnemen en op brede wijze zullen uitrollen. De Gemeente is voornemens alle door Deloitte geïdentificeerde aandachtspunten op te pakken binnen de daarvoor geadviseerde termijn. Bij een aantal van de aandachtspunten geeft de Gemeente hieronder graag een korte toelichting. 6. “Governance - af te handelen voor start Pilot Deloitte adviseert te blijven proberen de Participatieraad te betrekken, en daarin hun rol als klankbord te benadrukken. Specifiek kijkend naar de concept reactie op het negatieve advies van de Participatieraad adviseert Deloitte transparant te blijven en indien nodig gebruik te maken van een bemiddelaar om de Participatieraad te kunnen blijven betrekken bij de ontwikkeling van het Algoritme.” De Gemeente deelt het perspectief van Deloitte. Op dit moment heeft de Gemeente geen plannen om hiervoor een bemiddelaar te betrekken. Wel zullen de adviezen van het CPA en Deloitte met de Participatieraad gedeeld worden.

Daarnaast zal de Gemeente de Participatieraad blijven uitnodigen ons te helpen en te adviseren, en hopen we dat zij verder met ons in gesprek willen. 18. “Data en Model - af te handelen voor start Implementatie Leg de onderzoekswaardigheid van Aanvragen vast zodat deze informatie gebruikt kan worden voor monitoring doeleinden of verbetering van de Labels. Een mogelijke aanpak hiervoor is om in het werkproces terugkoppeling van de Handhavingsspecialist en Inkomensconsulent te vragen, waarin ze aangeven of een Aanvraag ook afgehandeld had kunnen worden zonder tussenkomst van de Handhavingsspecialist.” De handhavingsspecialist heeft al de mogelijkheid om een terugkoppeling te geven wanneer een aanvraag die naar hem/haar is doorgezet niet onderzoekswaardigheid is. Wij zullen in de workshop en werkinstructie deze mogelijkheid nogmaals duidelijk beschrijven en benadrukken. De inkomensconsulent beschikt in het nieuwe proces al over de mogelijkheid de aanvraag handmatig door te zetten naar handhaving voor onderzoek indien nodig, waardoor deze aanvraag alsnog als onderzoekswaardig gelabeld

48/93

wordt. Deze beide elementen zullen worden meegenomen in de evaluatie, en voor het toekomstige hertrainen van het algoritme. 19. “Data en Model - af te handelen voor start Implementatie Borg dat het risico op de positieve feedback wordt geminimaliseerd.” Dit risico wordt grotendeels afgevangen doordat inkomensconsulenten een aanvraag altijd handmatig naar handhaving kunnen sturen, ook wanneer de aanvraag door het algoritme als niet onderzoekswaardig wordt gecategoriseerd. Dit gebeurt ook al in het huidige proces. Op basis van data uit de pre-pilot wordt verwacht dat ongeveer 20% van de totaal door handhaving onderzochte aanvragen vanuit een inkomensconsulent komt in plaats van via het algoritme. Dit zal duidelijker beschreven worden in de documentatie. Daarnaast wordt deze aanname gemonitord tijdens de pilot, waarbij aanvullende maatregelen worden genomen indien noodzakelijk.

49/93

6. Disclaimers De Analyse is niet uitgevoerd in het kader van een assurance-opdracht zoals gedefinieerd in het International Framework for Assurance Engagements van de International Federation of Accountants (“IFAC”). Het is de verantwoordelijkheid van WPI om te beoordelen of de resultaten van de Analyse in het perspectief van het geheel van de hen ter beschikking staande informatie en hun risicoperceptie aan de door hen te stellen eisen voldoen. Uitsluitend WPI is verantwoordelijk voor onder meer: (a) het nemen van alle managementbeslissingen, het uitoefenen van alle managementfuncties en het dragen van alle managementverantwoordelijkheden, (b) het evalueren van de toereikendheid en de resultaten van de Analyse, (c) het accepteren van de verantwoordelijkheid voor het gebruik van de resultaten van de Analyse, (d) het inrichten en onderhouden van een intern beheersingssysteem, inclusief het toezicht op de lopende activiteiten, en (e) uitsluitend WPI is verantwoordelijk voor het bepalen van de algehele geschiktheid van het algoritme. Deloitte wil benadrukken dat de opgeleverde deliverables (zoals het rapport met daarin de aandachtspunten en aanbevelingen) slechts bedoeld zijn voor intern gebruik door WPI ten behoeve van het omschreven doel in de opdrachtbrief met referentie 22-1356-KD-dd.

Zonder uitdrukkelijke en voorafgaande schriftelijke toestemming van Deloitte is het niet toegestaan deliverables, dan wel delen daaruit, te gebruiken voor andere doeleinden dan overeengekomen, aan derden te verspreiden of openbaar te maken, aan deliverables te refereren of uit deliverables te citeren. Op dit rapport zijn de Algemene Voorwaarden Dienstverlening Deloitte Nederland, januari 2020, van toepassing waarvan u bijgaand een exemplaar aantreft. Deloitte heeft tijdens het uitvoeren van de Analyse geen toegang gehad tot de data die gebruikt wordt in het Algoritme en code van het Algoritme zelf, omdat dit buiten de reikwijdte van de Analyse valt. Hierdoor heeft Deloitte voor onderstaande activiteiten de aandachtspunten enkel kunnen vaststellen aan de hand van de aangeleverde documentatie: • • •

• •

Analyseren of de gebruikte data representatief is voor de toepassing; en of daarbij aandacht besteed is aan de representativiteit van de data voor kwetsbare groepen. Analyseren of de stabiliteit van het Algoritme, afgezet tegen de overfitting en generalisatienormen, is gedocumenteerd. Analyseren of de algoritmeontwikkeling is vastgelegd in software en/of code, en of dat in lijn is met de Algoritmedocumentatie over hoe de vastlegging van kwaliteit van de code en software is geborgd. Analyseren of de Algoritme optimalisatie aansluit op de doelstelling van het Algoritme, en of de maatregelen voor deze optimalisatie beschreven zijn. Analyseren van de reproduceerbaarheid van het Algoritme.

50/93

Deloitte heeft een interview met de CPA gehouden om haar rol in de ontwikkeling van het Algoritme te bespreken. De CPA heeft aangegeven inhoudelijk niet op hun advies over het Algoritme in te gaan, omdat het finale advies ten tijde van het interview nog niet gepubliceerd is. De CPA heeft wel toegelicht hoe zij haar rol ziet, hoe de samenwerking met de Algoritmeontwikkelaars verloopt en welke informatie tot nu toe door WPI met hen is gedeeld. In dit rapport is het advies van de CPA niet meegenomen bij de totstandkoming van de aandachtspunten. Sommige documenten in de Algoritmedocumentatie zijn conceptversies.

51/93

7. Appendix 1: Analyse De paragrafen in deze sectie beschrijven voor elk van de negen Dimensies de aandachtspunten die zijn geïdentificeerd door Deloitte, en zoals opgenomen in hoofdstuk 4, in meer detail. 7.1. Doelstelling De aandachtspunten die door Deloitte geïdentificeerd zijn voor deze Dimensie worden hieronder in meer detail besproken. 7.1.1. Afronding van de Pilot WPI is voornemens een Pilot te starten met een ondersteunend Algoritme dat de afdeling Handhaving ondersteunt bij het inschatten of een Aanvrager recht heeft op een Uitkering (zie hoofdstuk 0 van dit rapport). In het Pilotplan [1] staat beschreven dat de doelen van de Pilot worden afgeleid van zes productdoelen die zijn opgesteld door WPI. Vier van de productdoelen vallen binnen de reikwijdte van de Pilot en staan in het Pilotplan [1] geordend op mate van belang van de Pilot: 1. 2. 3. 4.

Effectiviteit Proportioneel, onbevooroordeeld en gelijk Transparant en uitlegbaar Efficiënt inzetten capaciteit

Deloitte observeert dat de product- en Pilotdoelen gedeeltelijk worden uitgewerkt in meetbare kwantitatieve succescriteria. Het is niet duidelijk (i) wanneer een Pilotdoel behaald wordt, en (ii) hoe deze verschillende resultaten gecombineerd worden tot één uitkomst van de Pilot, wanneer één of meer van de vier Pilotdoelen niet behaald worden. Ten eerste is voor het productdoel Effectiviteit als pilotdoel geformuleerd dat het Algoritme onderzoekswaardige zaken effectief kan aanwijzen, waar als succescriterium geldt dat de Hit-rate16 ‘significant’ is gestegen ten opzichte van de nulmetingen (i.e. de Hit-rate in het huidige proces zonder Algoritme). Voor het productdoel Proportioneel, onbevooroordeeld en gelijk geldt als succescriterium dat het aantal valspositieven ‘significant’ is gedaald ten opzichte van de nulmetingen. De Algoritmeontwikkelaar licht in het Pilotplan toe dat significant hierbij wordt gedefinieerd als een statistisch verschil tussen het aantal Aanvragen

16 De Hit-rate wordt berekend als het percentage Aanvragen dat door Handhaving is onderzocht, waarbij de Aanvraag als gevolg van het onderzoek is afgewezen of gewijzigd. 52/93

dat heeft geleid tot afwijzingen en wijzigingen en het aantal Aanvragen dat heeft geleid tot ongewijzigde toewijzingen tijdens de pilot en in de periode hiervoor. Uit de Q&A [12] blijkt dat er nog geen invulling is gegeven aan het significantieniveau. Ten tweede licht de Algoritmeontwikkelaar in de Q&A [12] toe dat zij niet direct overgaan op implementatie wanneer: (i) de succescriteria behorend bij de productdoelen ‘Effectiviteit’ en ‘Proportioneel, onbevooroordeeld en gelijk’ niet worden behaald, of (ii) niet kan worden uitgesloten dat gevoelige attributen zoals geslacht en nationaliteit geen rol spelen bij het labelen van Aanvragen als wel/niet onderzoekswaardig. Hierbij wordt geen volledige lijst aan gevoelige attributen opgenoemd. Door het ordenen van de Pilotdoelen op ‘mate van belang’ blijft het onduidelijk voor Deloitte of op basis van de uitkomst van de Pilot het Algoritme per direct als ongeschikt wordt bevonden als de overige Pilotdoelen niet worden behaald. Ten derde is het succescriterium behorend bij het productdoel ‘Transparant en uitlegbaar’ algemeen geformuleerd. Deloitte observeert dat daardoor onduidelijk is wanneer het productdoel wordt behaald (bijvoorbeeld in hoeverre een enkele ontevreden eindgebruiker invloed heeft op het succescriterium en daarmee de uitkomst van de Pilot).

Voor het productdoel ‘Efficiënt inzetten capaciteit’ zijn nog geen succescriteria opgenomen. Tot slot zijn de mogelijke uitkomsten van de Pilot niet volledig uitgewerkt, waardoor het onduidelijk is op basis van welke overeengekomen criteria de beslissing over de start van de implementatie van het Algoritme wordt gemaakt. Deze definities zijn te vinden in hoofdstuk 8 van het Pilotplan. Hierbij is het onder andere onduidelijk wanneer het Algoritme als ongeschikt voor implementatie (uitkomst ‘No Go’) of op dit moment ongeschikt voor implementatie (uitkomst ‘Doorontwikkeling’) wordt bevonden, evenals wanneer een doorontwikkeling wordt meegenomen in het beheerproces (uitkomst ‘Go’) of voorafgaand aan de implementatie noodzakelijk is (uitkomst ‘Doorontwikkeling’). De eerste aanbeveling van Deloitte is om de Algoritmedocumentatie verder te verrijken met meetbare kwantitatieve succescriteria per Pilotdoel. Deze meetbare kwantitatieve succescriteria dienen voorafgaand aan de Pilot opgesteld te worden. Geef daarbij aan (i) hoe de succescriteria gezamenlijk zullen worden gebruikt voor het bepalen van de uitkomst van de Pilot, (ii) wat de consequenties zijn als één of meerdere succescriteria niet worden behaald en (iii) welke randvoorwaarden aan de mogelijke uitkomsten van de Pilot gelden.

Verder observeert Deloitte dat er geen duidelijke criteria en randvoorwaarden zijn vastgelegd voor het eind van de Pilot, evenals onder welke condities een mogelijke verlenging van de Pilot kan plaatsvinden. De Algoritmeontwikkelaar geeft aan dat de besluitvorming rondom implementatie afhankelijk is van de sample size van onderzoekswaardige Aanvragen tijdens de Pilot. Bij een te kleine sample size kan er niet worden bepaald of er sprake is van een statistisch significant verschil, dat aansluit op de productdoelen ‘Effectiviteit’ en ‘Proportioneel, onbevooroordeeld en gelijk’. De

53/93

Algoritmeontwikkelaar geeft aan dat de Pilot in dat geval kan worden verlengd om meer informatie op te halen. De tweede aanbeveling van Deloitte is om de Algoritmedocumentatie te verrijken met duidelijke criteria ten aanzien van de sample size van onderzoekswaardige Aanvragen tijdens de Pilot, waardoor vooraf duidelijk is onder welke voorwaarden kan worden afgeweken van de vooraf gestelde duur van de Pilot.

7.1.2. Afweging met betrekking tot proportionaliteit In sectie 2.17 van de KIIA [2] onderbouwt de Algoritmeontwikkelaar waarom zij heeft gekozen het Algoritme in te zetten binnen het aanvraagproces in plaats van bij al uitgegeven Uitkeringen. De Algoritmeontwikkelaar stelt dat deze keuze aansluit op de bredere doelen binnen Handhaving, die de Algoritmeontwikkelaar heeft geformuleerd in hoofdstuk 1 van het Pilotplan [1]: (i) Handhaving wil voorkomen dat iemand onrechtmatig een Uitkering ontvangt en (ii) Handhaving kijkt naar de individuele situatie van de Aanvrager en houdt rekening met verwijtbaarheid, waarbij onderscheid wordt gemaakt tussen de bewuste fraudeur en de kwetsbare Aanvrager. De Algoritmeontwikkelaar wil zich richten op preventie en stelt daarbij dat voorkomen aan de voorkant een lichter middel is dan het handhaven in een bestaande situatie. Het voorkomen van een onrechtmatige verstrekking van de Uitkering sluit tevens aan op het doel van het College van Burgemeester en Wethouders (“College”) om schulden te voorkomen, klein te houden en op te lossen, zie Bijlage III van de DPIA [3].

Op basis van de verwachtingen van de Algoritmeontwikkelaar zoals beschreven in het Pilotplan [1] zal het aantal Aanvragen dat na onderzoek door Handhaving ongewijzigd blijft bij de toepassing van het Algoritme relatief afnemen (van 52% 17 in het huidige proces naar 43% op basis van het Algoritme). Echter, doordat de verwachting van de Algoritmeontwikkelaar is dat het percentage Aanvragen dat op basis van de uitkomsten van het Algoritme wordt doorgestuurd naar Handhaving (9%) hoger ligt dan in het huidige proces (4%), zoals beschreven in de Conceptreactie Op Advies Participatieraad [10], zal er in absolute aantallen wel een toename zijn van het aantal onterechte onderzoeken door Handhaving. Deloitte observeert dat er in de Algoritmedocumentatie niet wordt stilgestaan door de Algoritmeontwikkelaar bij deze toename van onderzochte Aanvragen in absolute getallen; en de bijbehorende impact van een onterecht onderzoek op de Aanvrager. In de Algoritmedocumentatie staat niet beschreven op welke wijze deze toename aansluit bij het uitgangspunt ‘uitgaan van vertrouwen’, welke keuze hierin is gemaakt en hoe deze keuze wordt onderbouwd. Deloitte heeft de percentages zoals genoemd in deze alinea niet kunnen verifiëren, omdat Deloitte geen beschikking heeft gehad over de data en het Algoritme (zie sectie 3.4).

17 Dit wordt berekend als één minus de Hit-rate. 54/93

De aanbeveling van Deloitte is om de Algoritmedocumentatie te verrijken met een expliciete afweging voor de toepassing van het Algoritme, waarin wordt meegenomen dat, hoewel door toepassing van het Algoritme de kans dat een Aanvrager onnodig wordt belast met een onderzoek zal afnemen, er in absolute aantallen wel een toename zal zijn van het aantal individuele Aanvragen dat door Handhaving zal worden onderzocht. 7.2. Impact en betrokkenheid De aandachtspunten die door Deloitte geïdentificeerd zijn voor deze Dimensie worden hieronder in meer detail besproken. 7.2.1. Betrokkenheid van interne belanghebbenden Er zijn meerdere interne belanghebbenden betrokken bij de ontwikkeling van het Algoritme en bijbehorende procesverandering, allen met hun eigen rollen, taken, verantwoordelijkheden en bevoegdheden (zie Bijlage VII van de DPIA [3]). De Algoritmeontwikkelaar stelt in sectie 15.4 van de KIIA [2] dat het van belang is om transparant naar de belanghebbenden te zijn door hen volledig te informeren over de materie; in het bijzonder de Wethouder Sociale Zaken (“Wethouder”) en het College. Deloitte observeert dat de rollen, taken, verantwoordelijkheden en bevoegdheden van de interne belanghebbenden niet duidelijk worden beschreven in de Algoritmedocumentatie.

De Algoritmedocumentatie geeft een te algemene omschrijving van de rollen toegespitst op dit Algoritme, waardoor het niet duidelijk is op welke momenten de Algoritmeontwikkelaar de interne belanghebbenden ter kennisgeving, ter consultering of ter besluitvorming beraadt. Voorbeelden van zaken die binnen het cluster Sociaal Domein niet verder worden omschreven zijn: • • •

Waarover en wanneer de verantwoordelijk Wethouder en het College door de Directeur Inkomen wordt geïnformeerd. Wie verantwoordelijk is voor de betrouwbaarheid van het Algoritme: de Wethouder of de Directeur Inkomen. Het Algoritme ter besluitvorming aan het College wordt voorgelegd. Deloitte heeft via de Q&A [12] begrepen dat hier nog geen keuze over is gemaakt.

Verder heeft Deloitte begrepen, via het afgenomen interview met de Epic Owner [22], dat de Epic Owner het als een uitdaging ervaart om deze interne belanghebbenden op de juiste manier op de hoogte te brengen en houden van de ontwikkelingen van het Algoritme. Dit in verband met de complexiteit van het Algoritme en de bijbehorende vraagstukken. Hierdoor ontstaat het risico dat (i) de gemaakte keuzes in de ontwerpprocessen niet aansluiten op de verwachting en voorkeuren van interne belanghebbenden en (ii) de Algoritmeontwikkelaars onvoldoende worden uitgedaagd in de gemaakte keuzes binnen het Algoritme.

55/93

De aanbeveling van Deloitte is om de rollen, taken, verantwoordelijkheden en bevoegdheden toegespitst op de ontwikkeling en de toepassing van het Algoritme te specificeren. Een voorbeeld is om de Algoritmedocumentatie te benoemen wanneer een politiek-bestuurlijke aansturing vanuit de verantwoordelijk Wethouder of het College noodzakelijk is, of wanneer er sprake is van een keuze waar zij niet over geïnformeerd dienen te worden. Verder beveelt Deloitte aan om deze (politieke) besluitvormers gedurende het ontwerpproces al te betrekken bij de wijze waarop het Algoritme gebruikt zal worden. Een voorbeeldmaatregel is door aan de voorkant van het proces te bepalen welke training voor welke interne belanghebbenden noodzakelijk is om voldoende kennis en kunde te hebben. Dit stelt hen in staat om, vanuit hun eigen expertise en verantwoordelijkheid, op de hoogte te blijven van de ontwikkelingen van het Algoritme. Verder heeft Deloitte begrepen dat de Algoritmeontwikkelaar punt ii, namelijk dat de Algoritmeontwikkelaars onvoldoende worden uitgedaagd in de gemaakte keuzes binnen het Algoritme, deels heeft ondervangen door gebruik te maken van externe advisering, via het uitvoeren van deze Analyse op de Algoritmedocumentatie. Analyses gebaseerd op de data en implementatie van het Algoritme vallen echter buiten scope van deze Analyse.

Een validatie van de data en implementatie van het Algoritme, aanvullend op deze Analyse, kan helpen om de technische juistheid van het Algoritme te verifiëren en te bepalen of de Algoritmedocumentatie aansluit op het Algoritme. Een voorbeeldmaatregel, naast gebruiken te maken van externe advisering en het vierogenprincipe dat de Algoritmeontwikkelaar binnen het eigen team al hanteert, is door andere technische experts binnen de gemeente Amsterdam te vragen de betreffende technische documentatie te reviewen. 7.2.2. Betrokkenheid van bestaande raden en commissies De Algoritmeontwikkelaar heeft de Participatieraad en de CPA betrokken tijdens de ontwikkeling van het Algoritme. In sectie 7.3 van de KIIA [2] wordt omschreven dat de CPA adviseert over het privacybeleid van de gemeente Amsterdam en de uitvoering daarvan. Daarnaast wordt omschreven dat de CPA adviseert bij complexe en/of politiek gevoelige kwesties rondom persoonsgegevens, zoals in dit geval het Algoritme. In de CPA hebben 11 leden van buiten de gemeentelijke organisatie zitting op persoonlijke titel. De Participatieraad is bevoegd om de gemeente Amsterdam gevraagd en ongevraagd te adviseren over onderwerpen die cliënten van WPI betreffen. De Participatieraad bestaat uit 15 leden, waarvan 8 als vertegenwoordigers van belangenorganisaties en 7 op persoonlijke titel.

De Participatieraad heeft op 10 maart 2022 een negatief advies [9] uitgebracht over het starten van de Pilot en het gebruiken van het Algoritme. Deloitte heeft via de Q&A [12] begrepen dat de Algoritmeontwikkelaar de bezwaren van de Participatieraad [9] op een aantal punten heeft meegenomen in hun verdere besluitvorming en aan de hand daarvan wijzigingen aan het voorgestelde proces en het Algoritme aan te brengen. Een voorbeeld hiervan is dat Features van het Algoritme zijn heroverwogen en dat bijvoorbeeld het geboortejaar van een Aanvrager niet langer als Feature wordt

56/93

meegenomen. Daarnaast heeft de Algoritmeontwikkelaar een Conceptreactie Op Advies Participatieraad [10] geschreven en geeft aan deze te willen delen met de Participatieraad na afronding van de door Deloitte uitgevoerde Analyse. In deze Conceptreactie Op Advies Participatieraad [10] wordt ingegaan op de bezwaren van de Participatieraad [9] en wordt toegelicht wat er met de feedback is gedaan. De Algoritmeontwikkelaar geeft aan ook meermaals geprobeerd te hebben om in contact te komen om ook mondeling toe te kunnen lichten welke wijzigingen zijn doorgevoerd om de bezwaren te proberen weg te nemen. Echter, de Participatieraad heeft aan de Algoritmeontwikkelaar aangegeven niet verder in gesprek te willen gaan en te blijven bij haar negatieve advies. Deloitte heeft gevraagd een interview met de Participatieraad in te plannen om te bespreken (i) hoe zij hun rol zien in dit gehele proces, (ii) of er voldoende uitleg is geweest om het Algoritme te begrijpen, (iii) of ze het idee hebben voldoende betrokken te zijn geweest, (iv) of ze het idee hebben dat de vervolgacties van de Algoritmeontwikkelaar hun bezwaren (deels) hebben weggenomen en (v) hoe ze tegenover de ontwikkeling van toekomstige, andere algoritmes binnen WPI staan.

De Participatieraad heeft echter aangegeven te menen dat hun standpunt met betrekking tot het Algoritme helder en duidelijk is en een interview voor de Participatieraad geen meerwaarde heeft. De Participatieraad benadrukt dat zij negatief staat tegenover het gebruik van kunstmatige intelligentie en dat ze daarom deze Pilot afwijst. Deloitte observeert dat de Participatieraad niet fungeert als klankbord voor de verdere ontwikkelingen van het Algoritme, door niet in gesprek te willen gaan over de wijzigingen die de Algoritmeontwikkelaar wil doorvoeren om de bezwaren van de Participatieraad [9] weg te nemen. Hierdoor ontstaat het risico dat, buiten de inbreng van de CPA, onvoldoende feedback vanuit een maatschappelijk standpunt wordt meegenomen in de verdere ontwikkeling van het Algoritme. De aanbeveling van Deloitte is dat de Algoritmeontwikkelaar blijft proberen de Participatieraad te betrekken, en daarin hun rol als klankbord te benadrukken. Specifiek kijkend naar de Conceptreactie Op Advies Participatieraad [10] op het negatieve advies van de Participatieraad adviseert Deloitte transparant te zijn door: •

• •

Een toelichting op te nemen met betrekking tot proportionaliteit, waarbij wordt toegelicht waarom inzet (en de Pilot) van het Algoritme de beste keuze is, afgezet tegen de nuloptie18. Een duidelijke toelichting te geven op de wijzigingen in de Features sinds de vorige keer dat het Algoritme is voorgelegd aan de Participatieraad. Een overzicht van het proces, de inzichten en de resultaten van de uitgevoerde prePilot19.

18 De nuloptie betreft het behouden van het huidige proces, zonder gebruik te maken van een Algoritme.

19 WPI heeft in 2022 een pre-Pilot uitgevoerd waarbij historische Algoritme die door het Algoritme worden aangemerkt als onderzoekswaardig, maar die destijds niet door een Handhavingsspecialist zijn onderzocht, alsnog

57/93

•

Een uitgebreide toelichting te geven op hoe gepoogd is de bezwaren van de Participatieraad weg te nemen.

Bovenstaande punten worden deels meegenomen in de geschreven Conceptreactie Op Advies Participatieraad [10]. Indien het de Algoritmeontwikkelaar niet lukt om het verdere gesprek met de Participatieraad voort te zetten, dan adviseert Deloitte een bemiddelaar hierin te laten bemiddelen om de Participatieraad te kunnen blijven betrekken bij de ontwikkeling van het Algoritme. Daarnaast is de aanbeveling van Deloitte open en transparant te blijven over dit negatieve advies naar de overige belanghebbenden door te verwijzen naar deze ontvangen reactie. Verder heeft de Algoritmeontwikkelaar vier keer vergaderd met de CPA over, onder andere, de keuze van Features, de architectuurnotitie, het concept Pilotplan en tijdslijnen (zie de Flaps [13] van de CPA). Deloitte heeft een interview met de CPA gehouden om haar rol in de ontwikkeling van het Algoritme te bespreken. De CPA heeft aangegeven inhoudelijk niet op hun advies over het Algoritme in te gaan, omdat het advies nog niet gepubliceerd is. De CPA heeft wel toegelicht hoe zij haar rol ziet, hoe de samenwerking met de Algoritmeontwikkelaars verloopt en welke informatie tot nu toe door de Algoritmeontwikkelaar met hen is gedeeld. Deloitte heeft, uit het interview met de CPA, begrepen dat zij de openheid en de wijze waarop zij betrokken worden als positief ervaren.

De Algoritmeontwikkelaar doet volgens de CPA haar best om hen van informatie te voorzien; zo heeft de Algoritmeontwikkelaar bijvoorbeeld het negatieve advies vanuit de Participatieraad [9] met de CPA besproken. De CPA geeft aan dat de Algoritmeontwikkelaar al in een vroeg stadium heeft gevraagd om input te leveren, maar dat de Algoritmeontwikkelaar mede daardoor wel heeft gevraagd de meetings met de CPA in besloten kring te behandelen. De CPA geeft aan dat het in een vroegtijdig stadium adviseren in sommige situaties wenselijk kan zijn, met name wanneer er nog geen eerdere formele standpunten bekend zijn.

7.3. Governance en proces De aandachtspunten die door Deloitte geïdentificeerd zijn voor deze Dimensie worden hieronder in meer detail besproken. 7.3.1. Uitwerken van een exitstrategie De Algoritmeontwikkelaar beschrijft in sectie 1.5 van de IAMA [4] dat er een exitstrategie beschikbaar is wanneer het Algoritme in de toekomst niet meer gewenst of relevant is. De

zijn onderzocht. WPI heeft de pre-Pilot gebruikt om inzicht te krijgen in de verwachte Hit-rate van het Algoritme en hoe de Hit-rate zich verhoudt tot de drempelwaarde van het Algoritme. 58/93

exitstrategie die de Algoritmeontwikkelaar beschrijft houdt in dat er altijd een mogelijkheid is om terug te gaan naar het huidige proces, zonder gebruik te maken van het Algoritme. De exitstrategie wordt ook genoemd in sectie 4.1 van de QuickScan [11], waar de Algoritmeontwikkelaar stelt dat het (tijdelijk) uitvallen van het Algoritme niet tot grote problemen zal leiden. Immers kan per ontvangen Aanvraag ook later, bijvoorbeeld een aantal dagen of een week later, alsnog handmatig de onderzoekswaardigheid worden bepaald. De exitstrategie is echter niet uitgewerkt in de Algoritmedocumentatie. Hoewel de exitstrategie niet van tevoren volledig uitgewerkt hoeft te worden, observeert Deloitte dat de Algoritmeontwikkelaar ook geen hoofdlijnen van de exitstrategie heeft opgenomen. In het Concept Beheerplan [5] wordt wel aangegeven dat de leden van de expertgroep advies uitbrengen over het (volledig) uit productie nemen van het Algoritme, waar het besluit van de Epic Owner uiteindelijk doorslaggevend in is. Een voorbeeld dat daarbij wordt gegeven is wanneer de performance van het Algoritme niet voldoende is, of als bias in het Algoritme wordt aangetroffen welke de Algoritmeontwikkelaar niet acceptabel vindt en niet kan mitigeren. Het blijft onduidelijk welke condities hier verder bij gelden, om terug te keren naar het oude proces, wat een risico tot discontinuïteit met zich meebrengt.

De aanbeveling van Deloitte is daarom om de Algoritmedocumentatie te verrijken met meer details over de exitstrategie, waaronder (i) wie in dat geval verantwoordelijk is voor de uitrol van de exitstrategie, (ii) tijdslijnen tussen het besluit tot een exit en inwerkingtreding van de exitregeling, (iii) voor zover mogelijk vooraf bepaalde condities die aanleiding kunnen geven tot een exit, (iv) waar daarbij het onderscheid ligt tussen tijdelijk of definitief terug gaan naar het oude proces, en (v) de manier en frequentie waarop de exitstrategie zal worden getest. 7.3.2. Invulling van het Concept Beheerplan Na de ontwikkel- en Pilotfase is de Algoritmeontwikkelaar voornemens de prestaties van het Algoritme te monitoren in lijn met het Concept Beheerplan [5]. In dit Concept Beheerplan [5] wordt onder andere het functioneel beheer van het Algoritme beschreven. Dit functioneel beheer bestaat uit (i) het jaarlijks monitoren van de intentie en aannames van het Algoritme, (ii) het jaarlijks monitoren van bias in het Algoritme, (iii) het tweemaal per jaar monitoren van effectiviteit, (iv) het jaarlijks monitoren van het gebruik van het Algoritme, (v) het tweemaal per jaar monitoren van drift en data kwaliteit en (vi) het jaarlijks monitoren van gevolgen van de inzet van het Algoritme.

Deloitte observeert dat sectie ‘functioneel beheer’ in het Concept Beheerplan [5] beschrijft wat er tijdens de monitoringactiviteiten wordt gemonitord, maar niet beschrijft hoe deze monitoring zal worden uitgevoerd. Wanneer de Algoritmeontwikkelaar niet concreet uitwerkt hoe de taken zullen worden uitgevoerd, ontstaat het risico dat onduidelijk is welke maatregelen nodig zijn voor een beheersbare uitvoering van de monitoring.

59/93

Daarnaast ontstaat het risico dat uitkomsten van verschillende monitoringmomenten onderling niet vergelijkbaar zijn wanneer de Algoritmeontwikkelaar niet vastlegt of consistente activiteiten zijn uitgevoerd voor de verschillende monitoringmomenten. Het is daarom onduidelijk of de monitoringactiviteiten op basis van het Concept Beheerplan [5] zullen waarborgen dat het Algoritme optimaal blijft presteren, bijvoorbeeld bij: •

Het monitoren van de effectiviteit van het Algoritme De Algoritmeontwikkelaar geeft in het Concept Beheerplan [5] aan door middel van alerts te willen monitoren of de precisie van het Algoritme onder die van het huidige proces zakt. Daarnaast zal tweemaal per jaar worden gemonitord of de precisie van het Algoritme zakt of juist stijgt, en of de drempelwaarde voor het vaststellen van de onderzoekswaardigheidscategorie nog passend is. Deloitte observeert dat, o een afname van de precisie van het Algoritme kan duiden op een verslechtering van de prestaties van het Algoritme, echter een afname in de precisie zou ook kunnen voorkomen in het huidige proces door een verandering van de sample waarop monitoring wordt uitgevoerd. Het zal hierdoor onduidelijk blijven of de afname in precisie veroorzaakt wordt door een verslechtering van de prestaties van het Algoritme; o onduidelijk is of er gebruik gemaakt zal worden van een statistische test bij het vaststellen of de precisie van het Algoritme afneemt of toeneemt; o onduidelijk is wat de eventuele vervolgstappen zijn bij het afnemen of toenemen van de precisie; en o onduidelijk is wat een passende drempelwaarde is waarmee het verschil tussen onderzoekswaardig en niet onderzoekswaardig wordt gedefinieerd.

Daarnaast is onduidelijk of, en zo ja hoe, de sample van niet onderzoekswaardige Aanvragen zal worden gemonitord, gegeven dat voor deze groep een Label ontbreekt. Zie hiervoor ook het aandachtspunt in sectie 4.7.4.

•

Het monitoren van bias in het Algoritme De Algoritmeontwikkelaar geeft aan jaarlijks te willen monitoren of het Algoritme betrouwbaar voor de gespecificeerde subgroepen in de data is; en of het aantal valspositieven in balans is tussen de gespecificeerde subgroepen. Deloitte observeert dat uit het Concept Beheerplan [5] niet blijkt hoe betrouwbaarheid zal worden gemeten en hoe bepaald wordt of het aantal valspositieven nog in balans is.

De aanbeveling van Deloitte is om, bij het finaliseren van het Concept Beheerplan [5], details op te nemen over hoe de Algoritmeontwikkelaar invulling zal geven aan de monitoringactiviteiten.

60/93

7.3.3. Monitoren van interpretatie onderzoekswaardigheidscategorie De Algoritmeontwikkelaar heeft verschillende middelen ontwikkeld om te borgen dat de directe Algoritmegebruikers kennis hebben om te werken met het Algoritme. Hierbij gaat het onder andere om een verplichte training en werkinstructies [23] dat voor de Medewerkers Vooronderzoek en Handhavingsspecialisten beschikbaar wordt gesteld, zodat zij de Pilot en hun eigen rol daarin kunnen lezen. Deze schriftelijke werkinstructies [23] hebben verdere standaardisatie als doel, zoals omschreven in sectie 6.15 de KIIA [2]. Hoewel de Algoritmeontwikkelaar via deze middelen aan de voorkant streeft naar een gelijke behandeling, observeert Deloitte dat er geen processen zijn ingericht om te monitoren of alle Algoritmegebruikers in het nieuwe proces op dezelfde wijze omgaan met de interpretatie van de onderzoekswaardigheidscategorie (bijvoorbeeld het doorsturen van Aanvragen naar Handhaving). Hierdoor zou het kunnen zijn dat de kans op een verdiepend onderzoek door Handhaving afhankelijk is van welke Medewerkers Vooronderzoek de Aanvraag beoordeelt. Dit risico op ongelijke behandeling geldt overigens ook in het huidige proces.

De aanbeveling van Deloitte is om de Algoritmedocumentatie te verrijken met maatregelen om aan de hand van statistische testen te monitoren of er in verhouding evenveel dossiers worden opgeschaald naar Handhaving door alle Medewerkers Vooronderzoek, en waar nodig bij te sturen (bijvoorbeeld door aanpassing van trainingen of werkinstructies [23]). Deloitte heeft via de Q&A [12] begrepen dat de Algoritmeontwikkelaars deze monitoring zullen overleggen met de Epic Owner. 7.3.4. Actualiseren van Algoritmedocumentatie Zoals omschreven in Appendix 3 van dit rapport heeft WPI 33 documenten beschikbaar gesteld aan Deloitte voor deze Analyse. Deloitte observeert dat structuur ontbreekt in de Algoritmedocumentatie doordat onduidelijk is wat de samenhang is tussen de 33 documenten. Daarnaast bevat een aantal documenten die Deloitte heeft ontvangen verouderde informatie. Ook wordt bepaalde informatie op inconsistente wijze beschreven in de verschillende documenten. Doordat de Algoritmedocumentatie soms verouderde en inconsistente informatie bevat, blijft het voor Deloitte onduidelijk welke informatie leidend is. Een voorbeeld hiervan is de vergelijkbare tabel met rollen en verantwoordelijkheden opgenomen in zowel de KIIA [2] als de DPIA [3]. De tabellen komen echter niet volledig overeen.

De DPIA [3] noemt bijvoorbeeld de rol van de Product Owner binnen Cluster Sociaal en de rol van Security Expert binnen het Advanced Analytics team, terwijl deze rollen (inclusief taken en verantwoordelijkheden) in de KIIA [2] niet worden genoemd. Daarnaast komt de omschrijving van de taken en verantwoordelijkheden ook niet altijd overeen in de DPIA [3] en de KIIA [2]. Een voorbeeld daarvan is de omschrijving van de Product Owner binnen het Advanced Analytics team,

61/93

waarbij in de KIIA [2] over een algemeen aanspreekpunt wordt gesproken en in de DPIA [3] over een aanspreekpunt voor de Product Owner opdrachtgevende directie. Verder observeert Deloitte dat bepaalde informatie, zoals rollen en verantwoordelijkheden, enkel beschreven worden in de bijlage van beoordelingsinstrumenten zoals de DPIA [3], KIIA [2] of IAMA [4] ("Beoordelingsinstrumenten”), zonder dat deze informatie op een andere plek in de Algoritmedocumentatie terugkomt. Deze Beoordelingsinstrumenten ondersteunen de Algoritmeontwikkelaar bij het beoordelen van het gebruik van het Algoritme; en laten zien wat de overwegingen en stappen zijn die de Algoritmeontwikkelaar heeft genomen om de risico’s te minimaliseren. Deze Beoordelingsinstrumenten bestaan uit een lijst met vragen en antwoorden. Door de huidige inrichting van de Algoritmedocumentatie bevatten deze Beoordelingsinstrumenten niet een structuur waarin informatie eenvoudig is terug te vinden. De aanbeveling van Deloitte is om de opzet van de Algoritmedocumentatie te vereenvoudigen door (i) een begeleidend schrijven toe te voegen, waarin duidelijk wordt welke informatie per document te vinden is, (ii) informatie uit verschillende documenten te bundelen waar mogelijk en (iii) informatie te blijven actualiseren, zodat het voor de lezer duidelijk blijft welke informatie leidend is.

Hiermee wordt de transparantie verhoogd zodat voor een ieder, ook op een later moment, duidelijk is wat is ontwikkeld, welke keuzes zijn gemaakt en wie daarbij welke rol vervult. De Algoritmeontwikkelaar kan daarbij bijvoorbeeld gebruik maken van een Algoritmedocumentatie template indien dit beschikbaar is binnen de organisatie. Mocht voor de Algoritmeontwikkelaar onduidelijk zijn wat de meest logische plek is om informatie samen te voegen, dan adviseert Deloitte daarbij te starten met een inventarisatie van de verschillende belanghebbenden en welke informatie deze nodig hebben, om van daaruit te bepalen hoe de Algoritmedocumentatie moet worden vormgegeven. 7.3.5. Technische keuzes en overwegingen In de Technische Documentatie [7] en Bias Analyse [17] worden beschreven welke keuzes gemaakt zijn tijdens de ontwikkeling van het Algoritme. Deloitte observeert dat de Technische Documentatie [7] en Bias Analyse [17] de gemaakte keuzes beschrijft die hebben geleid tot het Algoritme, maar dat details over onderliggende overwegingen ontbreken op de volgende punten: • Er is beschreven welke voorbewerkingsstappen zijn uitgevoerd op de data, maar het is onvoldoende beschreven hoeveel Aanvragen in de Dataset er beïnvloed zijn door deze voorbewerkingsstappen en wat het effect hiervan is op de kwaliteit van de Dataset en het Algoritme.