02 Bestuurlijk rapport Algoritmen DEF.pdf

24

ALGORITMEN - BESTUURLIJK RAPPORT

Figuur 2 - Ontwikkeling aantal algoritmen in Amsterdams algoritmeregister 35 30 25 20 15 10 5

apr-21 mei-21 jun-21 jul-21 aug-21 sep-21 okt-21 nov-21 dec-21 jan-22 feb-22 mrt-22 apr-22 mei-22 jun-22 jul-22 aug-22 sep-22 okt-22 nov-22 dec-22 jan-23 feb-23 mrt-23 apr-23 mei-23 jun-23 jul-23 aug-23 sep-23

0

Bron: Rekenkamer Amsterdam (stand 21 september 2023).

Voor de algoritmen die wel in het algoritmeregister staan, is de informatiewaarde per algoritme van wisselende kwaliteit, waardoor het register ook op dat punt niet volledig is. Het register beantwoordt niet de vraag of de inzet van een algoritme gerechtvaardigd is. Er is geen informatie over participatie van burgers en betrokken doelgroepen bij de ontwikkeling van een algoritme. Het register bevat daarnaast weinig broncodes van algoritmen en de onderliggende documentatie van een algoritme wordt tot op heden niet standaard openbaar gemaakt. Doordat er geen openbare informatie beschikbaar is over alle algoritmen in het algoritmeregister en het verwerkingsregister, voldoet Amsterdam niet aan de eisen die het zichzelf oplegt en de wettelijke transparantie-eisen voor de verwerking van persoonsgegevens. We hebben drie achterliggende oorzaken geïdentificeerd voor de onvolledigheid van het Amsterdamse algoritmeregister (zie onderstaand kader).

25

REKENKAMER AMSTERDAM

Drie oorzaken waarom het algoritmeregister onvolledig is Het college heeft geen goed zicht en daarmee geen goede grip heeft op alle Amsterdamse algoritmen (zie paragraaf 4.2). Het kost de ambtelijke organisatie veel tijd om algoritmen te registreren doordat interne en externe afstemming moet plaatsvinden. Naast tekstuele afstemming gaat het ook om discussies over de vraag of er wel sprake is van een algoritme. Vóór juni 2023 werden algoritmen alleen openbaar gepubliceerd in het register als de vereiste beschrijving compleet was. In het proces om een algoritme in het register op te nemen, ontdekte de ambtelijke organisatie soms dat er bijvoorbeeld nog geen privacyverklaring voor het algoritme bestond. Ook kwam het voor dat andere 'checks' nog moesten worden uitgevoerd, zoals het vaststellen dat er een wettelijke grondslag is voor de verwerking van persoonsgegevens. De ambtelijke organisatie koos er dan voor om eerst alle checks en achterliggende documentatie compleet te maken en dan pas het algoritme te publiceren in het register. Juni 2023 is deze aanpak aangepast en nu worden ook algoritmen gepubliceerd waarvan de beschrijving nog niet compleet is. Ook staan sinds augustus 2023 algoritmen in het register die in ontwikkeling zijn en vermeldingen als een algoritme niet langer in gebruik is. Dat is een positieve ontwikkeling.

4.4 Informatievoorziening aan de raad met name reactief Gevolg praktijk: de gemeenteraad kan hierdoor zijn kaderstellende en controlerende rol minder goed vervullen. De gemeenteraad (en de burger) hebben beperkt zicht op algoritmen omdat het college het eigen zicht op algoritmen niet op orde heeft (zie paragraaf 4.2). Het college beantwoordt raadsvragen over algoritmen. Maar het college informeert de raad niet structureel op vaste momenten over algoritmen. De raad is tot op heden slechts summier geïnformeerd over de collegedoelen en de realisatie daarvan. Uit het casusonderzoek blijkt dat de raad niet is geïnformeerd over de voortgang van het ontwikkelen van één algoritme en het wijzigen en stopzetten van een ander algoritme. Ook constateerden we dat de raad onhandig is geïnformeerd over algoritmen. In plaats van antwoord te geven op de raadsvraag of alle algoritmen van de directie Openbare Orde en Veiligheid (OOV) zijn opgenomen in het algoritmeregister, heeft de burgemeester de vraag beantwoord of de beschrijving van het Top400-algoritme in het algoritmeregister volledig was. Die vraag is op 7 februari 2023 bevestigend beantwoord. Het antwoord op de vraag of het algoritmeregister op dat moment volledig was, had met de kennis van nu ontkennend beantwoord moeten worden.

Vanaf september 2023 zullen twee andere algoritmen van de directie OOV worden toegevoegd aan het algoritmeregister en mogelijk gebruikt de directie OOV nog ruim dertig andere algoritmen.

26

ALGORITMEN - BESTUURLIJK RAPPORT

Analyse Onze hoofdconclusie luidt dat het Amsterdamse beheerskader in redelijke mate bijdraagt aan het verantwoord toepassen19 van algoritmen. In deze analyse schetsen we eerst de bredere context van de algoritmetransitie. Daarna zetten we drie oorzaken uiteen waarom het Amsterdamse beheerskader voor algoritmen nog niet volledig bijdraagt aan het verantwoord toepassen voor algoritmen. Amsterdam staat aan het begin van de algoritmetransitie De afgelopen jaren is de maatschappelijke aandacht voor algoritmen toegenomen. Wij verwachten dat ook de gemeente de toepassing van algoritmen vaker zal overwegen, net zoals andere organisaties dat zullen doen. Er zijn namelijk nog steeds personeelstekorten en algoritmen hebben de potentie om allerlei gemeentelijke processen te automatiseren en efficiënter te maken. Ze kunnen uniformere onderbouwing van besluiten faciliteren en de dienstverlening aan burgers vereenvoudigen en vriendelijker maken. Het toepassen van algoritmen heeft gevolgen voor de werkwijzen van de gemeente en voor de dienstverlening van de gemeente aan haar inwoners. Amsterdam staat daarmee net als andere organisaties aan het begin van een structurele verandering: de algoritmetransitie. Oorzaken die toepassing van het beheerskader in de weg staan Het beheerskader draagt nog niet volledig bij aan het verantwoord toepassen van algoritmen.

Hiervoor zien wij drie soorten verklaringen: weten (kennis), kunnen (vaardigheden en faciliteiten) en willen (attitude). Met het oog op weten hebben we geconstateerd dat er nog onvoldoende breed bewustzijn bestaat over wat een algoritme is. Ook is slechts bij een beperkte groep ambtenaren bekend dat er een Amsterdams beheerskader voor algoritmen is en dat dit beheerskader moet worden toegepast als er sprake is van een algoritme. Omdat het beheerskader recent is vastgesteld (januari 2022) is het niet verwonderlijk dat dit nog in ontwikkeling is. Het is onduidelijk wanneer iets een algoritme is, welke onderdelen wel en niet tot het beheerskader behoren en wat de status van de verschillende instrumenten is. Dit komt niet ten goede aan de bruikbaarheid van het kader. Ook lijkt het bewustzijn nog beperkt van het belang van zorgvuldig documenteren van beslissingen en afwegingen voor een effectieve en efficiënte bedrijfsvoering. Dit is mede van belang om te kunnen evalueren en leren, en voor het afleggen van verantwoording. Het is positief dat we gedurende het onderzoek het bewustzijn en de inhoudelijke invulling van het beheerskader hebben zien groeien. In lijn met het interne jaarprogramma voert de ambtelijke organisatie vanaf 2023

19 Met 'verantwoord toepassen' bedoelen we dat het college voldoende rekening houdt met risico's

op de gebieden van ethiek, sturing en verantwoording, model en data, privacy en IT-beheer, wanneer het college de inzet van een algoritme overweegt, een algoritme ontwikkelt of een algoritme al in de praktijk toepast.

27

REKENKAMER AMSTERDAM

diverse activiteiten uit die moeten bijdragen aan het vergroten van de bewustwording en kennisontwikkeling die nodig zijn voor verantwoord gebruik van algoritmen. Toch zijn er nog slagen mogelijk om het benodigde kennisniveau te bereiken en de groep ambtenaren die kennis heeft van het beheerskader en de toepassing uit te breiden. Als het gaat om kunnen toepassen van het beheerskader, dan werkt het op dit moment belemmerend dat het kader nog in ontwikkeling is (zie ook de oorzaak weten) en het huidige kader als onvoldoende praktisch wordt ervaren. Het kader maakt geen duidelijk onderscheid tussen wat moet en wat kan. Het kader is risicogericht, maar maakt alleen nog onderscheid tussen algoritmen met een hoog risico en andere algoritmen. Voor het toepassen van het beheerskader is op bepaalde onderdelen specialistische kennis en ervaring nodig, bijvoorbeeld als het gaat om privacybescherming, voldoende bescherming van mensenrechten en voorkomen van bias. Ook is specialistische kennis nodig om in een vroegtijdig stadium te kunnen vaststellen of het ontwikkelen van een algoritme haalbaar is. In die zin is de les die de ambtelijke organisatie heeft getrokken waardevol: werk vanaf het eerste begin samen in multidisciplinaire teams.

Een randvoorwaarde daarvoor is dat interne specialisten (op afroep) beschikbaar zijn, de ambtelijke organisatie deze weet te vinden en gebruikmaakt van hun diensten. We constateren dat de diensten van de Functionaris Gegevensbescherming (FG) weinig worden benut (terwijl dit bij het opstellen van een DPIA wel verplicht is). Maar als de FG wel om advies wordt gevraagd, blijkt er onvoldoende capaciteit bij het team van de FG om snel te reageren. Dit capaciteitstekort geldt ook voor privacy-officers. De Commissie Persoonsgegevens Amsterdam (CPA), die onder andere als taak heeft om Amsterdam te adviseren over algoritmen, ethische vraagstukken en privacy, wordt nog niet vaak door ontwikkelteams van algoritmen geraadpleegd. Als het gaat om het willen is het van belang dat ambtenaren de meerwaarde van het Amsterdamse beheerskader gaan inzien bij het ontwikkelen en toepassen van hun algoritme. Dat is niet alleen in het belang van de ambtelijke organisatie, maar ook in het belang van de burger. Een aantal ambtenaren vraagt zich af hoe het beheerskader zich verhoudt tot de andere procedures die zij al volgen.

Bovendien helpt het niet dat de woorden 'algoritme', 'bias' en 'profilering' soms een negatieve connotatie hebben, bijvoorbeeld vanwege negatieve publieke sentimenten rondom algoritmen als gevolg van de Toeslagenaffaire en het fraude-opsporingsinstrument Systeem Risico Indicatie (SyRI). Sommige ambtenaren willen hiermee liever niet geassocieerd worden. Tot slot is het beheerskader met zeven instrumenten omvangrijk. De gebruikte terminologie suggereert dat elk algoritme, ongeacht de risico's die eraan verbonden zijn, een uitgebreid traject moet doorlopen voordat het in gebruik kan worden genomen. Dit roept bij ambtenaren het beeld op van verregaande regeldruk die niet in verhouding staat tot het beoogde doel van het algoritme. Dit schrikt af en kan ertoe leiden dat ze afzien van het ontwikkelen van een algoritme, nog voordat is uitgezocht of het ontwikkelen van het algoritme haalbaar is.

28

ALGORITMEN - BESTUURLIJK RAPPORT

Aanbevelingen Voortbouwend op de conclusies en analyse doen wij vijf aanbevelingen aan het college van B en W. We verwachten dat het uitvoeren van deze aanbevelingen in combinatie met de lessen uit de praktijk (zoals verwoord in hoofdstuk 3 van het onderzoeksrapport) en de onderzoeksbevindingen van Tilburg University (bijlage 6 bij het rapport) bijdragen aan de realisatie van de collegedoelstellingen: beter grip krijgen op de algoritmen die de gemeente gebruikt (aanbevelingen 1 en 2), eerlijker maken van algoritmen (aanbevelingen 3 en 4) en transparanter maken van algoritmen voor haar inwoners (aanbeveling 5).

5 Grip vergroten op algoritmen 5.1 Aanbeveling 1: Blijf het beheerskader ontwikkelen met inachtneming van nieuwe kennis Het Amsterdamse beheerskader voor algoritmen is in ontwikkeling. Om de toegevoegde waarde van het beheerskader voor de praktijk te vergroten, is het raadzaam om één definitie van het centrale begrip ‘algoritme’ vast te stellen en het beheerskader praktischer toepasbaar te maken. Om te voorkomen dat de ontwikkeling van een algoritme in een vergevorderd stadium moet worden stopgezet, adviseren wij om een instrument te ontwikkelen waarmee vroegtijdig kan worden bepaald of een algoritme passend en haalbaar is. Tot slot is het belangrijk om het beheerskader periodiek te evalueren en waar nodig bij te stellen. Stel de defnitie van 'algoritme' vast Door de keuze voor één definitie voor de term 'algoritme' is het voor iedereen duidelijk op welke geautomatiseerde toepassingen het college de grip wil vergroten en over welke algoritmen het transparant wil zijn. Als het college kiest voor een globale definitie, zoals die van de Rijksoverheid, betekent dat ook dat meer geautomatiseerde toepassingen onder de reikwijdte van het beheerskader zullen vallen en dat het college daardoor transparanter is over algoritmen. Wij raden het college aan om de keuze voor een definitie snel te maken.

En niet te wachten op de inwerkingtreding van de Europese concept AI-verordening, omdat nog onbekend is wanneer dat zal zijn. Maak het beheerskader praktischer toepasbaar Het is van belang dat bij de verdere ontwikkeling van het beheerskader meer samenhang wordt aangebracht, dat duidelijk wordt welke instrumenten tot het beheerskader behoren en dat de kwaliteit van alle instrumenten op niveau wordt gebracht. Ook raden wij aan om in het beheerskader aandacht te besteden aan de risico’s die nu nog onderbelicht zijn. En

29

REKENKAMER AMSTERDAM

wij adviseren om de in januari 2022 aangekondigde activiteiten (zoals beschreven in paragraaf 1.5) af te ronden. Daarnaast adviseren wij om de indeling van risico-inschaling voor algoritmen uit te breiden. Nu is die indeling nog dichotoom: wel of geen hoog risico. Die inschaling bepaalt welke delen van het risicoanalysemodel moeten worden doorlopen, welke onderdelen van het beheerskader en welke aanvullende werkzaamheden moeten worden uitgevoerd. Een onjuiste inschaling van een algoritme kan leiden tot niet-passende werkzaamheden. Om de toepasbaarheid te vergroten, is het van belang dat uit het beheerskader duidelijk blijkt wat van de ambtelijke organisatie wordt verwacht. Dat vraagt om een nadere concretisering van verantwoordelijkheden en een heldere uiteenzetting welke onderdelen van het beheerskader verplicht zijn en welke als handreiking zijn bedoeld of naar eigen inzicht kunnen worden toegepast. Tot slot adviseren wij om het beheerskader samen met de ambtenaren die ermee in de praktijk werken verder te ontwikkelen, zodat het beheerskader aansluit op de praktijk en niet stapelt bovenop de al bestaande regels en procedures. Ook vinden wij het van belang om rekening te houden met een zorg die door de ambtelijke organisatie is uitgesproken: een toename van regels kan leiden tot belemmeringen voor innovatie.

Ambtenaren behouden graag de mogelijkheid voor vernieuwende initiatieven om dienstverlening aan burgers en bedrijven te verbeteren. Ontwikkel een instrument om de haalbaarheid van algoritmen te toetsen Het is niet wenselijk dat de ontwikkeling van een algoritme in een vergevorderd stadium moet worden stopgezet terwijl er al veel middelen zijn besteed. Om dat te voorkomen, is het noodzakelijk dat de ambtelijke organisatie vroegtijdig een inschatting kan maken of een algoritme passend en haalbaar is, en welke consequenties aan deze keuze verbonden zijn. Zo’n vroegtijdig afwegingsmoment vraagt om de betrokkenheid van verschillende perspectieven en disciplines, waaronder die van security, privacy, mensenrechten en bias. Bij dit afwegingsmoment moet ook beoordeeld worden of de verwachte (maatschappelijke) opbrengsten van het algoritme voldoende opwegen tegen de verwachte (maatschappelijke) kosten van het ontwikkelen en het verdere beheer van het algoritme. Overwogen kan worden om het Amsterdamse risico-analysemodel uit te breiden zodat daarmee ook de haalbaarheid van een algoritme kan worden beoordeeld. Het is dan wel noodzakelijk dat het model voor alle typen algoritmen wordt ingezet en niet alleen voor algoritmen met een hoog risico. Evalueer periodiek het beheerskader We raden aan om het beheerskader periodiek te evalueren en zo nodig bij te stellen.

Ten eerste om te leren van ervaringen uit de praktijk. Voorgeschreven verplichtingen kunnen

30

ALGORITMEN - BESTUURLIJK RAPPORT

in de praktijk namelijk onduidelijk of overbodig blijken, terwijl het kader juist op andere onderwerpen nog als te weinig richtinggevend wordt ervaren. Ten tweede is de context rondom algoritmen tijdens de algoritmetransitie aan verandering onderhevig. Wij verwachten dat er met regelmaat nieuwe (wetenschappelijke en bestuurlijke) inzichten zullen komen en dat Europese en nationale wetgeving zal wijzigen. Daarnaast is het niet ondenkbaar dat ook de maatschappelijke opinie over algoritmen verandert.

5.2 Aanbeveling 2: Bevorder toepassing van het beheerskader in de praktijk Het Amsterdamse beheerskader voor algoritmen wordt in de praktijk nog maar beperkt toegepast. Het is belangrijk belemmeringen weg te nemen die een verantwoorde toepassing van algoritmen in de weg staan. In het verlengde hiervan is het van belang om zicht te krijgen op de algoritmen die de ambtelijke organisatie ontwikkelt, inkoopt of al gebruikt. Ook is het goed om de aanwezige expertise meer te benutten dan momenteel het geval is. Daarnaast is van belang om periodiek vast te stellen of het algoritme doet wat het moet doen in een veranderende omgeving en te bekijken of het beoogde (maatschappelijke) doel met de toepassing van het algoritme wordt bereikt. Neem belemmeringen voor verantwoorde toepassing algoritme weg In de analyse benoemden we drie factoren die verantwoorde toepassing van algoritmen in de weg staan. Wij raden aan om die belemmeringen weg te nemen met de volgende acties: • •

• • • • • •

Vergroot het bewustzijn over algoritmen en het belang van documenten bij ambtenaren. Maak het beheerskader praktisch toepasbaar (zie aanbeveling 1) en eenvoudig vindbaar en vergroot de meerwaarde van het beheerskader voor de dagelijkse praktijk van de ambtelijke organisatie. Maak de scholing over algoritmen toegankelijk voor een bredere groep ambtenaren en bied op onderdelen verdiepend onderwijs aan. Werk in multidisciplinaire teams, waar dat zinvol is. Zorg voor voldoende interne ambtelijke ondersteuning en specialisten bij het ontwikkelen, beheren en beschrijven van algoritmen. Maak meer gebruik van de kennis van de functionaris gegevensbescherming (FG) en de Commissie Persoonsgegevens Amsterdam (CPA). Maak duidelijk in welke gevallen en momenten het college geïnformeerd moet worden of betrokken moet worden bij de besluitvorming. Onderzoek hoe de houding ten aanzien van algoritmen in positieve zin kan worden bijgesteld.

31

REKENKAMER AMSTERDAM

Verbeter het zicht op algoritmen Uit ons onderzoek blijkt dat de interne inventarisatie van algoritmen moeizaam verloopt. De verdere inventarisatie en publicatie van algoritmen vraagt om een grotere inspanning. Dit is noodzakelijk om grip te krijgen op de algoritmen die Amsterdam toepast. Maak meer gebruik van aanwezige expertise We constateren dat de ambtelijke organisatie vragen heeft over algoritmen en dat het kennisniveau over algoritmen verbeterd kan worden. Het ambtelijk algoritmeteam, (het team van) de Functionaris Gegevensbescherming en de Commissie Persoonsgegevens Amsterdam hebben kennis over privacy, algoritmen, data-ethiek en mensenrechten die verband houden met digitalisering. In het casusonderzoek hebben wij geconstateerd dat maar in beperkte mate gebruik is gemaakt van deze kennis. Evalueer algoritmen periodiek Het beheerskader schrijft nog geen periodieke evaluaties van algoritmen voor. Hoewel evaluaties het beeld kunnen oproepen van extra werk, zijn ze zeer zinvol en ook noodzakelijk, zeker in een snel veranderende omgeving. Algoritmen worden ontwikkeld met een bepaald maatschappelijk doel voor ogen. Denk bijvoorbeeld aan sneller toekennen van een vergoeding aan een burger zonder opnieuw te hoeven vragen naar informatie die de gemeente al heeft.

Maar ook sneller en rechtvaardiger kunnen handhaven bij verkeersovertredingen, voorkomen van gezondheidsklachten door preventief loden leidingen op te sporen of de waarde van woningen op een uniforme en efficiënte wijze bepalen. Zowel het doel als de werking van het algoritme kunnen na verloop van tijd wijzigen. Het is belangrijk om door evaluatie na te gaan of met het toepassen van het algoritme het maatschappelijk doel wel wordt bereikt. Daarnaast kan de context waarbinnen het algoritme wordt toegepast wijzigen. Zo kunnen de doelgroepen veranderen, kan wetgeving wijzigen of er zijn er wijzigingen in de onderliggende dataset of techniek. Dit kan gevolgen hebben voor de werking, de mate waarin bias optreedt en de risico-inschaling van het algoritme, waardoor er andere beheersmaatregelen moeten worden getroffen. Periodiek evalueren helpt om deze veranderingen in beeld te krijgen en tijdig passende maatregelen te kunnen nemen.

6 Eerlijker maken van algoritmen 6.1 Aanbeveling 3: Verbeter de omgang met bias De twee maatregelen die het college hanteert om bias uit te sluiten, zijn beperkt effectief. Het uitsluiten van bias is zeer complex. Wij raden het college daarom aan om na te denken over aanvullende maatregelen en om met de gemeenteraad in gesprek te gaan over bias. Om ambtenaren beter te ondersteunen bij het maken van bias-analyses bevelen wij aan om het beheerskader op dit punt te verduidelijken.

32

ALGORITMEN - BESTUURLIJK RAPPORT

Tot slot roepen wij het college op om besluiten over de rechtvaardigheid van algoritmen indien passend zelf te nemen, en dit niet altijd over te laten aan de ambtelijke organisatie. Overweeg aanvullende maatregelen om bias tegen te gaan We raden het college aan om te onderzoeken of bias op andere manieren kan worden voorkomen of verminderd. Voor dit onderzoek geven wij alvast twee mogelijke denkrichtingen. Leren van de wetenschap In de wetenschap is al lang aandacht voor vraagstukken over bias, omdat bias de betrouwbaarheid en validiteit van onderzoeksresultaten kan aantasten. Het college kan onderzoeken wat er van de wetenschappelijke aanpak te leren is om bias in de eigen algoritmen te beperken of voorkomen. In de wetenschap is het bijvoorbeeld gebruikelijk om aselecte steekproeven te nemen, zodat de selecties geen bias kunnen bevatten. Bij aselecte steekproeven heeft iedereen dezelfde kans op controle. Het is het onderzoeken waard om na te gaan of en hoe aselecte steekproeven een alternatief kunnen zijn voor risicogerichte algoritmen die gebruikt worden voor het detecteren of opsporen van overtredingen. Mogelijk vraagt het implementeren van aselecte steekproeven ook een omslag in het denken over handhaving, waarbij 'informatiegestuurd handhaven' jarenlang een belangrijke trend is geweest.

In bepaalde gevallen geen algoritmen gebruiken Het is de vraag of het zinvol, haalbaar en wenselijk is om een algoritme te ontwikkelen met een grote kans op bias en waarbij de mogelijkheden om bias uit te sluiten beperkt zijn. Wij plaatsen bij het idee om te stoppen met algoritmen twee kanttekeningen. Ten eerste denken we dat er niet altijd een doelmatig alternatief zal zijn voor het gebruik van een algoritme. Bijvoorbeeld voor het jaarlijks berekenen van WOZ-waardes of voor het scannen van nummerborden voor parkeercontroles. Ten tweede willen we benadrukken dat ook in menselijke besluitvorming bias kan optreden. En dat is net zo moeilijk, zo niet moeilijker, te constateren dan bij een algoritme. Ga het gesprek aan met de gemeenteraad over de ambitie om bias uit te sluiten Het college wil bias volledig uitsluiten. Wij concludeerden dat de mogelijkheden om bias volledig uit te sluiten in de praktijk beperkt zijn. We raden het college aan om met de gemeenteraad in gesprek te gaan over de mate van zekerheid die gewenst is bij het uitsluiten van bias bij algoritmen. Bias kan ook optreden als ambtenaren handelen of besluiten nemen zonder daarbij een algoritme te gebruiken. Wij adviseren daarom om ook hierover met elkaar in gesprek te gaan en indien gewenst maatregelen tegen bias in menselijk handelen te ontwikkelen.

Neem in het beheerskader meer handvatten op voor de omgang met bias Het beheerskader laat nog veel vragen over bias onbeantwoord. Uit het beheerskader zou op zijn minst moeten blijken op welk moment een bias-analyse moet worden uitgevoerd:

33

REKENKAMER AMSTERDAM

alleen vooraf bij een nieuw algoritme of ook periodiek als het algoritme wordt toegepast. Ook is meer duidelijkheid gewenst over de vraag welke standaard voor het onderzoeken en analyseren van bias moet worden toegepast. Daarnaast moet duidelijk zijn welke personen bij de uitvoering van de bias-analyse betrokken moeten zijn. Zorg dat u besluiten over de rechtvaardigheid van algoritmen ook zelf neemt De vraag of (de kans op) systematische afwijkingen voor bepaalde personen of groepen wel of niet gerechtvaardigd zijn, is juridisch en ethisch complex. De beantwoording daarvan verschilt per algoritme en vraagt om een heldere motivering. Omdat het soms een politieke beslissing betreft kun je dit niet alleen aan de ambtelijke organisatie overlaten. Ook het college zal over de rechtvaardigheid van individuele algoritmen moeten besluiten, zodat het zich daarover kan verantwoorden aan de raad en de inwoners van de gemeente Amsterdam.

6.2 Aanbeveling 4: Breng de privacybescherming van burgers bij algoritmen op orde Het college hecht veel waarde aan een zorgvuldige verwerking van persoonsgegevens. Tegelijkertijd zijn de privacyrechten van burgers bij algoritmen nog niet goed beschermd. Om de privacybescherming op orde te brengen, is het noodzakelijk de belemmeringen in kaart te brengen die de uitvoering van de privacywetgeving in de weg staan en deze weg te nemen. Het merendeel van de privacyrisico’s dat onderbelicht is in het Amsterdamse beheerskader voor algoritmen heeft betrekking op de communicatie van de gemeente naar burgers over het gebruik van hun persoonsgegevens. Het is van belang dat de gemeente waar mogelijk burgers voortaan persoonlijk informeert over het gebruik van hun gegevens door een algoritme. Breng belemmeringen bij uitvoering van privacywetgeving in kaart en neem ze weg Zeven jaar na ons rapport Privacy van burgers met een hulpvraag en vijf jaar na de inwerkingtreding van de Algemene Verordening Gegevensbescherming (AVG) is het nog altijd niet vanzelfsprekend dat de gemeente aan deze wettelijke privacyverplichtingen uitvoering geeft. Het beheerskader heeft aandacht voor privacyrisico’s en de te treffen beheersmaatregelen om die risico’s te verkleinen. Maar we constateren dat daaraan maar beperkt uitvoering is gegeven.

Het gevolg is dat de privacyrechten van burgers niet goed worden beschermd. In de analyse benoemen we enkele mogelijke oorzaken voor het niet uitvoeren van deze wettelijke verplichtingen. We kunnen ons voorstellen dat het belang van de privacy van de burger nu nog door een beperkte groep ambtenaren wordt ervaren. Onze analyse van de achterliggende problematiek is niet compleet. Voor het borgen van de privacy is verder zicht nodig op de redenen dat de ambtelijke organisatie niet handelt naar deze regels. In het onderzoek naar belemmeringen voor de ambtelijke organisatie in de uitvoering kunnen ook de factoren worden betrokken die hoogleraar Law and Society aan de

34

ALGORITMEN - BESTUURLIJK RAPPORT

Universiteit van Amsterdam Van Rooij heeft benoemd (2021). Hij benadrukt het belang dat organisaties wettelijke eisen vertalen in procedures, systemen en normen voor de organisatie en dat medewerkers daarmee ook bekend zijn. Als dat niet gebeurt, wordt handelen conform de regels lastig. Daarnaast stelt Van Rooij: hoe meer persoonlijke en sociale normen aansluiten op de regels, hoe groter de kans dat die regels worden opgevolgd.V Wij achten het van belang dat bij het in kaart brengen van belemmeringen van de uitvoering van privacywetgeving ten minste ook de ervaringen worden betrokken van de privacy officers, de functionaris gegevensbescherming (FG) en de Commissie Persoonsgegevens Amsterdam (CPA). Als de belemmeringen bekend zijn, is het zaak om ze te verminderen of helemaal weg te nemen. Informeer burgers persoonlijk over het gebruik van hun gegevens Niet alle algoritmen die in Amsterdam worden toepast, gebruiken gegevens die herleidbaar zijn naar een persoon (‘persoonsgegevens’). Voor dit type algoritmen volstaat informatieverstrekking via de gemeentelijke website, bijvoorbeeld in het algoritmeregister. Voorwaarde is wel dat deze informatie volledig en actueel is. Voor algoritmen die wel persoonsgegevens gebruiken, volstaat alleen informatie op een website niet. De gemeentelijke website is gericht op een algemene doelgroep.

De kans is groot dat informatievoorziening via die weg niet alle burgers bereikt die het aangaat. Niet alle mensen zullen zich ervan bewust zijn dat de gemeente informatie heeft gepubliceerd en dat die informatie voor hen relevant is. Deze vorm van informatievoorziening sluit ook niet aan bij het uitgangspunt van het college om burgers actief persoonlijk te informeren, zodat bij hen bekend is welke informatie de gemeente over ze heeft. Als de burger vraagt om een besluit van de gemeente en daar waar de gemeente uit eigen beweging een (sanctie)besluit neemt, is het altijd mogelijk om de burger persoonlijk te informeren dat het bij de besluitvorming een algoritme is gebruikt dat persoonsgegevens verwerkt. Dat kan eenvoudig door in het besluit specifiek te verwijzen naar het algoritmeregister en de privacyverklaring. Een voorwaarde is dan wel dat deze twee bronnen volledig en actueel zijn. Een aanvullende optie is om de burger in de toekomst te verwijzen naar Mijn Amsterdam. Op die persoonlijke pagina kunnen burgers zien welke gegevens de gemeente van hen heeft vastgelegd. De gemeente geeft aan dat op dit moment (september 2023) nog niet alle informatie beschikbaar is op deze pagina.

7 Transparant zijn over algoritmen 7.1 Aanbeveling 5: Wees opener en transparanter over het gebruik van algoritmen Het college wil transparanter zijn over algoritmen. Wij adviseren het college daarom om de raad op vaste momenten te informeren over algoritmen en over de

35

REKENKAMER AMSTERDAM

realisatie van het nog vast te stellen algoritmebeleid. Het is ook nodig om het Amsterdamse algoritmeregister in kwanitatieve en kwalitieve zin aan te vullen. Tot slot is het van belang dat burgers in besluiten die hen raken ruimhartig worden geïnformeerd over de rol van een algoritme in het besluitvormingsproces. Zo kunnen ze het besluit reconstrueren en een onderbouwde afweging maken of ze bezwaar willen maken tegen dat besluit. Informeer de raad op vaste momenten over het algoritmenbeleid en algoritmen De raad heeft veel belangstelling voor algoritmen. Het college informeert de raad veelal op verzoek. We verwachten dat structureel informeren van de raad op vaste momenten over het nog vast te stellen algoritmebeleid, de uitvoering en de doelrealisatie daarvan de gemeenteraad beter in positie brengt. Zo kan de raad meedenken over de te stellen kaders en zijn controlerende taak uitvoeren. Vul het algoritmeregister aan Het algoritmeregister moet vollediger worden gemaakt om de college-ambities over transparantie waar te maken. Volledigheid heeft betrekking op het aantal algoritmen dat in het algoritmeregister is geregistreerd. Het gaat ook over de informatie die over een algoritme in het register staat (zie ook hieronder bij de kwaliteit van het algoritmeregister).

Met een completer algoritmeregister krijgen burgers en raadsleden beter zicht op de algoritmen die in Amsterdam worden gebruikt. We verwachten dat dit de dialoog tussen de raad en het college en de dialoog tussen de burger en de gemeente zal stimuleren, en daarmee het verantwoord toepassen van algoritmen zal bevorderen. Verbeter de kwaliteit van het algoritmeregister De kwaliteit van de informatie over algoritmen in het algoritmeregister is wisselend. De informatiewaarde wordt vergroot door meer diepgang aan te brengen en structureel meer documenten openbaar te maken, waaronder broncodes en mensenrechtenimpactanalyses. Verder kan de informatiewaarde en transparantie toenemen door in te gaan op de rechtvaardiging van de inzet van het algoritme en op de vraag in hoeverre burgers betrokken zijn geweest bij de ontwikkeling van het algoritme. Ook is het van belang dat het algoritmeregister informatie verstrekt over de mate van zekerheid dat bias is uitgesloten en over de vraag of een algoritme systematisch onderscheid maakt op één, meerdere of combinaties van beschermde gronden (zie paragraaf 2.1). En als er onderscheid wordt gemaakt, waarom het college dat gerechtvaardigd vindt.

De transparantie van het algoritmeregister neemt toe als zo concreet mogelijk, dus zonder verhullend taalgebruik, wordt gecommuniceerd over de doelen, de werking en de risico's en kansen van het algoritme voor een individuele burger en voor de maatschappij. Door meer openbaar te maken en concreter te communiceren zal Amsterdam beter voldoen aan de wettelijk geldende transparantie-eisen en de eisen die het college zichzelf heeft opgelegd.

36

ALGORITMEN - BESTUURLIJK RAPPORT

Wees transparant over de rol van algoritmen in besluitvorming Algoritmen worden vaak gebruikt om ambtenaren van informatie te voorzien voor het nemen van besluiten die van invloed zijn op burgers. Het is belangrijk om al bij het oorspronkelijke besluit (‘primaire besluit’) duidelijk te zijn over de rol van het algoritme in de besluitvorming. Dat maakt het besluit reconstrueerbaar voor de belanghebbende(n). Wij adviseren het college om niet te wachten met het reconstrueerbaar maken van het besluit tot er bezwaar is aangetekend. Ook adviseren wij het college om ruimhartig te zijn met de informatie die het verstrekt.

37

REKENKAMER AMSTERDAM

Reactie college en nawoord rekenkamer 8 Bestuurlijke reactie Op 3 oktober 2023 hebben wij de concept-versie van het rapport aan het college van B en W aangeboden voor een bestuurlijke reactie. Daarbij hebben wij in het bijzonder verzocht om een reactie op onze conclusies en aanbevelingen. Op 17 oktober 2023 hebben wij de bestuurlijke reactie van het college ontvangen. De integrale tekst van de bestuurlijke reactie is hieronder te lezen. Deze kan worden gedownload in de digitale versie van het bestuurlijk rapport.

Geachte mevrouw Daalder, Op 3 oktober 2023 heeft u het college van B&W uw concept-bestuurlijk eindrapport over het gemeentelijke beheerskader voor algoritmen aangeboden voor bestuurlijk wederhoor. In het rapport Algoritmen staan uw bevindingen, conclusies en aanbevelingen. U verzoekt ons daarop te reageren. Onderstaand treft u onze bestuurlijke reactie aan. Het college spreekt zijn grote waardering uit voor de Rekenkamer Metropool Amsterdam (verder: Rekenkamer) omdat zij een onderwerp heeft onderzocht dat zowel hoog op de prioriteitenlijst staat van het college en de gemeenteraad als van de landelijke en Europese politiek. Wij hebben het rapport dan ook met belangstelling en herkenning tot ons genomen. Het onderzoek biedt een waardevol overzicht van de positieve punten en de verbeterpunten van het beheerskader en de werking ervan bij drie algoritmen. Het college waardeert dat het beheerskader zo nauwgezet is geanalyseerd. Uw reflecties bieden ons tastbare handvatten voor verdere verbetering en aanscherping van onze werkwijze. Algemeen Algoritmen zijn, zoals u beschrijft, niet meer weg te denken in de steeds verder digitaliserende wereld. Het is niet mogelijk om volledig af te zien van het gebruik van algoritmen. Dat is ook niet wenselijk, omdat daarbij voorbijgegaan wordt aan de positieve effecten die het gebruik ervan kan hebben.

Zoals de Rekenkamer terecht aangeeft kunnen algoritmen allerlei gemeentelijke processen automatiseren en efficiënter te maken, uniformere onderbouwing van besluiten faciliteren en de dienstverlening aan burgers vereenvoudigen en vriendelijker te maken. Zo kunnen we bijvoorbeeld veel effectiever controleren of parkeergeld is betaald door een scanauto in te zetten en via een algoritme geautomatiseerd controleren of het parkeergeld is betaald. Ook kunnen we tijdig ingrijpen bij dreigende problematische schulden of als het ergens te druk dreigt te worden in de openbare ruimte.

38

ALGORITMEN - BESTUURLIJK RAPPORT

Het college is zich daarbij ook terdege bewust van de risico’s die het gebruik van algoritmen met zich meebrengt, zoals bijvoorbeeld een vooringenomenheid van een algoritme (bias), maar vindt een verbod onwenselijk en onnodig. Om de risico's te beheersen hebben we een beheerskader opgesteld. De inzet van het college is om hiermee grip te krijgen op algoritmen en om ze verantwoord (eerlijker en transparanter) toe te passen. Het beheerskader is nog steeds in ontwikkeling en de gemeente Amsterdam vervult hiermee, zoals ook in het rapport staat, een pioniersrol aan het begin van de algoritmetransitie. Het college ziet het als een ondersteuning voor de ingeslagen weg dat de Rekenkamer oordeelt dat het (nog in ontwikkeling zijnde) beheerskader al voor 49 van de 61 relevante risico’s voldoende aandacht heeft voor het verantwoord toepassen van algoritmen. Maar het college onderschrijft eveneens de conclusie van de Rekenkamer dat er nog verbeteringen mogelijk en noodzakelijk zijn. Dit geldt ook voor de lessen die de Rekenkamer heeft getrokken uit de analyse van drie algoritmen die zijn onderzocht binnen de gemeentelijke organisatie. Ondanks de vele inspanningen en goede resultaten van de afgelopen jaren, beseft het college dat we er nog niet zijn en dat extra inspanningen nodig zijn. Daarbij zullen de punten waar u terecht aandacht voor vraagt worden meegenomen.

Aanbevelingen Naar aanleiding van de uitkomsten van uw onderzoek doet u in uw rapport vijf aanbevelingen. Het college geeft per aanbeveling aan hoe zij er opvolging aan geeft. Blijf het beheerskader ontwikkelen met inachtneming van nieuwe kennis Om de grip op algoritmen te vergroten adviseert de Rekenkamer om te komen tot één definitie van algoritme, het beheerskader praktischer toepasbaar te maken, het uit te breiden met een instrument om de haalbaarheid van algoritmen te toetsen en het beheerskader periodiek te evalueren. Het college neemt deze aanbeveling over. Het Amsterdamse beheerskader is zoals gezegd nog in ontwikkeling en zal geactualiseerd en verbeterd worden. Startpunt is de herziening van het werkproces van de eerste beoordeling van algoritmen tot aan de opname ervan in het register (governance), die naar verwachting in het laatste kwartaal van 2023 afgerond is. Gelijktijdig daaraan pakken we operationele verbeteringen op van de zeven instrumenten van het beheerskader, waaronder het vaststellen van een eenduidige definitie, risico-inschaling in lijn met de Europese AI-verordening en verduidelijking welke instrumenten wanneer ingezet dienen te worden. Eind 2023 wordt de planning van de overige te realiseren verbeteringen vastgesteld.

Bevorder de toepassing van het beheerskader in de praktijk Om de grip op algoritmen te vergroten adviseert de Rekenkamer om belemmeringen voor de verantwoorde toepassing van algoritmen weg te nemen, het zicht op algoritmen te

39

REKENKAMER AMSTERDAM

verbeteren, meer gebruik te maken van de binnen de gemeente aanwezige expertise en algoritmen periodiek te evalueren. Het college neemt deze aanbeveling over. Enkele verbeteringen worden momenteel al ontwikkeld en doorgevoerd. Zo is het beheerskader inmiddels integraal onderdeel van de hernieuwde werkwijze voor Quality Assurance. Quality Assurance is het vakgebied dat zorgt dat er beter wordt voldaan aan Europese, landelijke én Amsterdamse wet- en regelgeving rondom informatievoorziening. Hierdoor vergroten we het gebruik van het beheerskader en het zicht op algoritmen en waarborgen we dat de aanwezige expertise gebruikt wordt. Daarnaast werken we nu uit hoe we meer aandacht gaan geven aan bewustwording via doelgerichte workshops en ontwikkelen we een algemene e-learning (die naar verwachting in de eerste helft van 2024 beschikbaar is). Daarnaast werken we in de eerste helft van 2024 uit hoe we algoritmen periodiek gaan evalueren en hoe we het beheerskader praktisch toepasbaarder gaan maken. Op korte termijn zal geborgd worden dat het college nadrukkelijker betrokken gaat worden. Verbeter de omgang met bias Om algoritmen eerlijker te maken adviseert de Rekenkamer om aanvullende maatregelen om bias tegen te gaan te overwegen en meer handvatten op te nemen voor de omgang met bias in het beheerskader.

Ook roept de Rekenkamer het college op om besluiten over de rechtvaardigheid van algoritmen zelf te nemen en het gesprek aan te gaan met de raad over welke mate van zekerheid zou moeten worden en kunnen nagestreefd bij het uitsluiten van bias. Het college neemt deze aanbeveling over. Bias is een vertekening van de werkelijkheid waardoor bevooroordeling of benadeling optreedt. Dit moet zo veel mogelijk worden voorkomen. Bias komt zowel voor bij puur menselijk handelen als door een statistische fout, bijvoorbeeld door een algoritme. Daarbij kunnen algoritmen de bias zelfs verlagen, doordat ze – mits goed ingericht – objectiever kunnen zijn dan behandelaars. De Rekenkamer geeft in de ogen van het college terecht aan dat bias in menselijke besluitvorming net zo moeilijk, zo niet moeilijker te constateren is als bij een algoritme. Op korte termijn zal in het beheerskader duidelijker gemaakt worden wanneer welke biasanalyse uitgevoerd moet worden en door wie. Ook zal het beheerskader aangepast worden zodat hoog risico algoritmen ter goedkeuring aan het college worden aangeboden. In de eerste helft van 2024 komt het college met voorstellen en gaat het in gesprek met de gemeenteraad over de manier waarop we bij het gebruik van algoritmen bias maximaal kunnen uitsluiten en de afwegingen die daarbij ontstaan.

Breng de privacybescherming van burgers bij algoritmen op orde Om algoritmen eerlijker te maken adviseert de Rekenkamer om belemmeringen bij uitvoering van privacywetgeving in kaart te brengen en weg te nemen. Ook moeten burgers persoonlijk over het gebruik van hun gegevens geïnformeerd worden.

40

ALGORITMEN - BESTUURLIJK RAPPORT

Het college neemt deze aanbeveling eveneens over. Privacy is steeds meer onderdeel van alle processen van de gemeente sinds de komst van de AVG. Dit wordt nog completer gemaakt door daaraan de onderwerpen digitale rechten en ethiek toe te voegen. Momenteel is de ambtelijke organisatie bezig met het weghalen van diverse belemmeringen bij de uitvoering van privacywetgeving. Onder andere door het vernieuwen van werkwijzen, hulpmiddelen en sjablonen, door het verbeteren van de governance (taken en verantwoordelijkheden) en door verdere bewustwordingsactiviteiten (onder andere op het vlak van dataminimalisatie, privacyverklaringen en het verwerkingsregister). Daarnaast verbeteren we nu de monitoring van de vastgestelde privacy-maatregelen door de inrichting van de nieuwe applicatie voor risicomanagement. Het college is van mening dat we burgers, in het kader van transparantie, zo volledig en proactief mogelijk moeten informeren. Voor nieuwe algoritmen nemen we dit mee in de aanpassing van het beheerskader die we in de eerste helft van 2024 doorvoeren, zodat in het ontwerp zo goed mogelijk de persoonlijke informatievoorziening naar burgers wordt meegenomen. Voor bestaande algoritmen gaan we per algoritme beoordelen welke aanpassingen in processen en applicaties er mogelijk zijn om de burger ook persoonlijk te informeren (naast de algemene informatie die we al verstrekken).

Daarbij moeten we ook kijken naar beperkende factoren, zoals arbeidsintensiviteit, beschikbare middelen en technische mogelijkheden. Deze analyse kost tijd en is uiterlijk einde 2024 gereed. Wees opener en transparanter over het gebruik van algoritmen Om transparant te zijn over algoritmen adviseert de Rekenkamer om de raad op vaste momenten over het algoritmebeleid en algoritmen te informeren, het algoritmeregister aan te vullen en de kwaliteit ervan te verbeteren en om transparant te zijn over de rol van algoritmen in de besluitvorming. Het college neemt ook deze aanbeveling over. We blijven doorgaan met aanvullen en verbeteren van het algoritmeregister en de bewustwording hierover. Zo hebben we onlangs bij de afdoening van motie 157.23 zeven maatregelen aangekondigd om het algoritmeregister toegankelijker en bekender te maken. En als we een algoritme analyseren, dan nemen we daarin mee hoe we burgers op een persoonlijke wijze kunnen informeren als algoritmen een rol spelen bij een primair besluit. Daarnaast zal het college voorstellen doen hoe de raad te informeren over het algoritmebeleid en algoritmen. Tot slot Het college dankt de Rekenkamer voor het gedegen onderzoek en de aanbevelingen.

Het biedt handvatten voor zowel de stelselverantwoordelijke wethouder ICT en Digitale Stad als de vakwethouders die verantwoordelijk zijn voor de toepassing van algoritmen in de realisatie van hun beleidsterreinen. Deze handvatten zullen worden verwerkt in een plan van aanpak waarin de hierboven beschreven interventies zullen worden opgenomen. Dat plan van aanpak zal nog in 2023 gereedkomen.

41

REKENKAMER AMSTERDAM

Wij hopen u hiermee voldoende te hebben geïnformeerd.

Met vriendelijke groet, Het college van burgemeester en wethouders van de gemeente Amsterdam,

Femke Halsema burgemeester

Peter Teesink gemeentesecretaris

9 Nawoord rekenkamer De rekenkamer bedankt het college voor zijn inhoudelijke en constructieve reactie op dit rapport. In deze reactie onderschrijft het college onze conclusies en neemt het onze vijf aanbevelingen over. We zijn positief over de maatregelen die het college nu al neemt en de maatregelen die het heeft aangekondigd om meer grip te krijgen op algoritmen en om algoritmen eerlijker en transparanter te maken. Wij waarderen het bovendien dat het college heeft toegezegd om voor eind 2023, ruim eerder dan de standaardtermijn van zes maanden, een plan van aanpak op te stellen met daarin een planning van de te realiseren verbeteringen. Hoewel het niet expliciet is aangeven in de bestuurlijke reactie, gaan wij er vanuit dat het college dit plan van aanpak ook aan de gemeenteraad aanbiedt. We verwachten dat dit plan een concrete beschrijving en planning zal bevatten over hoe opvolging zal worden gegeven aan de verschillende onderdelen van onze aanbevelingen. Ten behoeve van de verdere uitwerking in het door het college aangekondigde plan zijn er drie punten die wij onder de aandacht willen brengen van de gemeenteraad en het college. Bij aanbeveling 3 (Verbeter de omgang met bias) adviseren wij het college om de besluiten over de rechtvaardigheid van algoritmen ook zelf te nemen.

In reactie op deze aanbeveling geeft het college aan het beheerskader zo aan te zullen passen dat hoog risico algoritmen ter goedkeuring aan het college worden aangeboden. Deze verplichting maakt nu al onderdeel uit van het beheerskader, maar wij constateren dat slechts één hoog risico algoritme ter besluitvorming is voorgelegd aan het college. Een aanvullende toelichting over waarom goedkeuring van het college nodig is, draagt mogelijk bij aan het betere naleving van deze verplichting. Uit de bestuurlijke reactie blijkt nog niet of alle bestaande hoog risico algoritmen met terugwerkende kracht ter besluitvorming aan het college zullen worden voorgelegd. Bovendien is nog niet duidelijk of het college zelf ook besluiten over de rechtvaardigheid van algoritmen zal nemen, en of het college dat ook gaat doen

42

ALGORITMEN - BESTUURLIJK RAPPORT

voor algoritmen die het op dit moment al toepast. Het lijkt ons zinvol dat het college hier een toelichting op geeft. In aanbeveling 3 adviseren wij het college ook om het gesprek aan te gaan met de gemeenteraad over de ambitie om bias uit te sluiten. Het college kondigt aan in de eerste helft van 2024 in gesprek te gaan met de gemeenteraad over de manier waarop het college bij het gebruik van algoritmen bias maximaal kan uitsluiten en de afwegingen die daarbij ontstaan. Omdat de mogelijkheden om bias volledig uit te sluiten beperkt zijn, raden we het college en de raad aan om ook met elkaar in gesprek te gaan over welke mate van zekerheid wenselijk en mogelijk is als het gaat over het uitsluiten van bias. Bij aanbeveling 4 adviseren wij het college om te onderzoeken waarom de ambtelijke organisatie privacyregels niet naleeft. Het college geeft aan dat de ambtelijke organisatie momenteel al bezig is met het weghalen van diverse reeds bekende belemmeringen bij de uitvoering van privacywetgeving. Dit stemt ons positief. Desondanks dringen we er op aan dat het college ook onderzoekt welke andere belemmeringen ambtenaren ervaren bij het naleven van privacyregels en wat daarvan de achterliggende oorzaken zijn, zodat ook die belemmeringen weggenomen kunnen worden.

43

REKENKAMER AMSTERDAM

Onderzoeksverantwoording Dit is het bestuurlijk rapport van het onderzoek van de rekenkamer naar Algoritmen. Het volledige rapport bestaat naast dit bestuurlijk rapport ook uit het onderzoeksrapport dat vanaf 20 oktober 2023 staat op de projectpagina.

10 Onderzoeksteam Rekenkamer Amsterdam Directeur

Annelies Daalder

Onderzoekers

Arjan Kok (projectleider) Tello Heldring Robin van de Maat Bram Faber Niki Trapman Caroline van Zon

11 Onderzoeksrapport, onderzoeksvragen en dankwoord Onderzoeksrapport Dit is het bestuurlijk rapport van het onderzoek naar Algoritmen. Het bestuurlijk rapport geeft een bondige samenvatting van de belangrijkste bevindingen van het onderzoek, de daaruit volgende conclusies, een analyse en aanbevelingen. Het onderzoeksrapport bevat een gedetailleerde omschrijving van de aanleiding van het onderzoek, de onderzoeksvragen, de aanpak en de beantwoording van de deelvragen op basis van onze onderzoeksbevindingen.

44

ALGORITMEN - BESTUURLIJK RAPPORT

Onderzoeksvraag en deelvragen De centrale onderzoeksvraag van dit onderzoek luidt:

In hoeverre is het Amsterdamse beheerskader voor algoritmen toereikend voor een verantwoorde toepassing van algoritmen en welke lessen kunnen getrokken worden over het toepassen van algoritmen in de Amsterdamse praktijk? De centrale onderzoeksvraag is beantwoord aan de hand van drie deelvragen. Deelvraag 1 is gebruikt voor het onderzoek naar het Amsterdamse beheerskader voor algoritmen. Deelvragen 2 en 3 zijn toegepast bij het casusonderzoek naar drie Amsterdamse algoritmen. Deelvraag 1: In hoeverre draagt het Amsterdamse beheerskader voor algoritmen bij aan de verantwoorde toepassing van algoritmen?20 Deelvraag 2: Hoe wordt het algoritme toegepast? Bij deze deelvraag hanteren we de volgende beschrijvende subdeelvragen:

• Wat is het beoogde doel van het algoritme en wordt ook vastgesteld dat het doel is • • • • • • •

bereikt? Bij welke ondersteunende of besluitvormende processen wordt het algoritme toegepast? Wat zijn kenmerken van de gebruikte data? Wat is de herkomst van de data? Wat voor soort algoritme betreft het? Hoe is de besluitvorming over de toepassing van dit algoritme tot stand gekomen? Zijn er alternatieven overwogen? Welke impact op burgers of bedrijven is voorzien?

Deelvraag 3: In welke mate zijn bij de toepassing van het algoritme de risico's op de gebieden van ethiek, sturing en verantwoording, model en data, privacy, en ITbeheer in kaart gebracht en zijn toereikende beheersmaatregelen geïmplementeerd?21

20 Wij hebben deze deelvraag anders geformuleerd ten opzichte van onze onderzoeksopzet. De

oorspronkelijke deelvraag in de onderzoeksopzet luidde: 'In hoeverre draagt het Amsterdamse beheerskader Programma Algoritme Lifecycle Aanpak bij aan de verantwoorde toepassing van algoritmen?' 21 Ten opzichte van de onderzoeksopzet is deze deelvraag gepreciseerd, door aan de deelvraag 'bij de toepassing van het algoritme' toe te voegen.

45

REKENKAMER AMSTERDAM

De oorspronkelijke onderzoeksopzet en het onderzoeksrapport zijn gepubliceerd op de projectpagina. Dankwoord We spreken onze dank uit aan alle personen die hebben meegewerkt aan dit onderzoek. Met dank aan de ambtenaren van de gemeente Amsterdam van de directie Digitale Strategie en Informatie, de directie Wonen, de directie Inkomen en het programma Varen voor het aanleveren van documenten, het beantwoorden van (aanvullende) vragen, de gevoerde gesprekken en het controleren van ons onderzoeksrapport op feitelijke onjuistheden. Speciale dank gaat uit naar de ruim vijfhonderd mensen, waaronder leden van ons burgerpanel, die hebben meegedaan aan de verkiezing van één te onderzoeken algoritme. Tot slot danken wij de auteurs van het rapport Een onafhankelijke beoordeling van het Amsterdamse beheerskader voor algoritmen voor de samenwerking.

46

ALGORITMEN - BESTUURLIJK RAPPORT

Eindnoten I Gerards, J. Gelijke behandeling en het EVRM, artikel 14 EVRM: van krachteloze waarborg naar ‘norm

met tanden‘?, NJCM-Bulletin, jrg. 29, nr. 2, 2004, p. 188. II Van der Sloot, B., Keymolen, E., Noorman, M., Weerts, H. J. P., Wagensveld, Y., & Visser, B. in samenwerking met het College van de Rechten van de Mens, Onderzoeksrapport Non-discriminatie by design, Rijksoverheid, online beschikbaar via: weblink, 2021, pp. 36-37. III Gemeente Amsterdam, Stedelijk kader verwerking van persoonsgegevens, 25 september 2018; Gemeente Amsterdam, Datastrategie gemeente Amsterdam, Amsterdamse zelfbeschikking over data 2021-2022, januari 2021. IV Zie ook Dalla Corte, L., & Van Brakel, R., Data protection impact assessment methods for the urban environment: A report for the Commissie Persoonsgegevens Amsterdam (CPA), Tilburg Institute for Law, Technology and Society (TILT), 23 augustus 2022. V Van Rooij, B. (2021). Do people know the law? Empirical evidence about legal knowledge and its implications for compliance. In B. van Rooij & D. D. Sokol (Eds.), Cambridge Handbook of Compliance. Cambridge, UK: Cambridge University Press. Zie ook ons rekenkameronderzoek Geheimhouding (oktober 2020).

47