02 Bestuurlijk rapport Algoritmen DEF
Tekst van het document
BESTUURLIJK RAPPORT
Algoritmen Hoe Amsterdam algoritmen beter kan toepassen 20 OKTOBER 2023
DEFINITIEF Dit bestuurlijk rapport is een document van de Rekenkamer Amsterdam en bevat de conclusies en aanbevelingen van het onderzoek Algoritmen. Het bestuurlijk rapport is een bondige samenvatting van de onderzoeksresultaten en bevat de conclusies en aanbevelingen. Het document vormt samen met het onderzoeksrapport de volledige rapportage van het onderzoek. Beide digitale documenten kunt u raadplegen op de projectpagina.
ALGORITMEN - BESTUURLIJK RAPPORT
Inhoudsopgave Samenvatting ..................................................................................................................... 3 Hoofdconclusie ................................................................................................................... 5 Deelconclusies.................................................................................................................... 7 1
Het beheerskader voor algoritmen is in ontwikkeling ............................................... 7
1.1 Amsterdam heeft aandacht voor algoritmen .................................................................................7 1.2 Het beheerskader heeft aandacht voor veel relevante risico's .....................................................8 1.3 Samenhang onduidelijk en kwaliteit instrumenten wisselend .......................................................9 1.4 Gebrek aan eenduidige definitie .................................................................................................10 1.5 Aangekondigde activiteiten beheerskader deels uitgevoerd ......................................................11 1.6 Risicogerichte methode EU beperkt uitgewerkt ...........................................................................11 1.7 Integrale afweging van haalbaarheid vooraf ontbreekt .............................................................12
2
Omgang met bias nog niet ver genoeg ontwikkeld .................................................. 13
2.1 College heeft ambitie om bias volledig uit te sluiten ..................................................................13 2.2 Collegemaatregelen om bias te voorkomen beperkt effectief ....................................................14 2.3 Het constateren van bias op alle beschermde gronden is zeer complex .....................................15 2.4 Het beheerskader laat veel vragen over bias onbeantwoord .....................................................16 2.5 De rechtvaardigheid van algoritmen wordt vooral ambtelijk afgewogen ...................................17
3
Privacy van burgers bij algoritmen nog onvoldoende beschermd ............................ 18
3.1 College wil de privacy van burgers beschermen .........................................................................18 3.2 Beheerskader heeft deels aandacht voor privacyrisico's ............................................................19 3.3 Burgers beperkt geïnformeerd over het gebruik van hun persoonsgegevens ............................20
4
De gewenste openbaarheid en transparantie worden in beperkte mate bereikt ..... 23
4.1 Amsterdam spreekt de intentie uit om open en transparant te zijn ............................................23 4.2 College heeft nog weinig zicht op algoritmen..............................................................................23 4.3 Het algoritmeregister is niet volledig .........................................................................................24 1
REKENKAMER AMSTERDAM
4.4 Informatievoorziening aan de raad met name reactief ...............................................................26
Analyse ............................................................................................................................ 27 Aanbevelingen ................................................................................................................. 29 5
Grip vergroten op algoritmen ................................................................................... 29
5.1 Aanbeveling 1: Blijf het beheerskader ontwikkelen met inachtneming van nieuwe kennis ........29 5.2 Aanbeveling 2: Bevorder toepassing van het beheerskader in de praktijk .................................31
6
Eerlijker maken van algoritmen ............................................................................... 32
6.1 Aanbeveling 3: Verbeter de omgang met bias .............................................................................32 6.2 Aanbeveling 4: Breng de privacybescherming van burgers bij algoritmen op orde.....................34
7
Transparant zijn over algoritmen ............................................................................. 35
7.1 Aanbeveling 5: Wees opener en transparanter over het gebruik van algoritmen .......................35
Reactie college en nawoord rekenkamer ......................................................................... 38 8
Bestuurlijke reactie .................................................................................................. 38
9
Nawoord rekenkamer............................................................................................... 42
Onderzoeksverantwoording ............................................................................................ 44 10 Onderzoeksteam ...................................................................................................... 44 11 Onderzoeksrapport, onderzoeksvragen en dankwoord ........................................... 44 Eindnoten ......................................................................................................................... 47
2
ALGORITMEN - BESTUURLIJK RAPPORT
Samenvatting Algoritmen zijn regels die een computer volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden. Amsterdam gebruikt veel algoritmen. Bijvoorbeeld om nummerborden te scannen voor parkeercontroles of om de WOZ-waarde van woningen te berekenen. De gemeente wil grip krijgen op algoritmen en algoritmen eerlijker en transparanter maken voor burgers. Om dit te realiseren zijn ambtenaren begin 2022 begonnen met het maken van een beheerskader – een soort handleiding – voor algoritmen. Wij hebben onderzocht of het beheerskader in orde is. En we zijn nagegaan welke lessen de gemeente kan leren uit de praktijk. We concluderen dat het beheerskader en de praktijk aandacht hebben voor veel risico’s die verantwoord toepassen van algoritmen in de weg kunnen zitten. We zien ook dat verbeteringen mogelijk en nodig zijn om meer grip te krijgen op algoritmen en om algoritmen eerlijker en transparanter te maken. Wat kan er beter aan het Amsterdamse beheerskader voor algoritmen? Het beheerskader en de praktijk hebben nog weinig aandacht voor: 1) de eerlijkheid van algoritmen; 2) de privacybescherming van burgers; en 3) de openheid over het ontwikkelen en toepassen van algoritmen. Ook concluderen wij dat de samenhang en de kwaliteit van de onderdelen van het beheerskader beter kan.
Bijvoorbeeld door te kiezen voor één definitie van het woord ‘algoritme’, zodat alle ambtenaren weten wanneer ze de handleiding voor algoritmen moeten gebruiken en weten hoe ze met risico’s moeten omgaan. Verder kan de gemeente het beheerskader concreter maken voor ambtenaren. Er is bijvoorbeeld een hulpmiddel nodig waarmee ambtenaren kunnen nagaan of het ontwikkelen van een algoritme wel haalbaar is, voordat er veel tijd en geld in wordt gestopt. Algoritmen eerlijker maken De gemeente wil niet dat algoritmen zonder goede reden onderscheid maken tussen burgers. De gemeente wil dus bias voorkomen. Maar de maatregelen om bias tegen te gaan, zijn weinig gebruikt. Zo heeft de gemeente nog maar bij één algoritme goed onderzocht of het algoritme eerlijk is. Daarnaast worden moeilijke beslissingen over de eerlijkheid van algoritmen nog niet genomen door het bestuur van de gemeente, terwijl dit politieke keuzes zijn. Privacy beschermen De gemeente wil de privacy van burgers goed beschermen als zij algoritmen gebruikt. Maar slaagt daar nog onvoldoende in. Verplichte wettelijke controles om de privacy te beschermen zijn onvoldoende uitgevoerd. Burgers zijn nog weinig persoonlijk geïnformeerd over wat de gemeente met hun gegevens doet. En de gemeente legt nog niet goed uit hoe algoritmen zijn gebruikt bij het nemen van besluiten over burgers.
3
REKENKAMER AMSTERDAM
Openbaarheid en transparantie over algoritmen De gemeente wil open en transparant zijn over het gebruik van algoritmen. Ze heeft daarom een website gemaakt waar alle gemeentelijke algoritmen in moeten staan: het algoritmeregister. Amsterdam was de eerste gemeente met zo’n register. Deze website is alleen nog niet volledig. Zo staan in september 2023 nog maar 29 algoritmen op de website, terwijl er mogelijk honderden algoritmen zijn. Dat komt doordat de gemeente zelf niet goed weet welke algoritmen ze allemaal gebruikt. Hierdoor krijgen raadsleden en burgers te weinig informatie. Onze adviezen De gemeente wil de grip op algoritmen vergroten. Daarom adviseren we om het beheerskader verder te ontwikkelen zodat de kwaliteit verbetert. Daarnaast geven we het advies om het beheerskader vaker in de praktijk te gebruiken en daarvan te leren. De gemeente wil algoritmen ook eerlijker maken. We geven daarom concrete adviezen om de omgang met bias en de privacybescherming van burgers te verbeteren. Ten slotte wil de gemeente transparant zijn over algoritmen. We adviseren daarom om de gemeenteraad op vaste momenten te informeren, het algoritmeregister aan te vullen en om burgers persoonlijker en ruimhartig te informeren over het gebruik van algoritmen bij besluiten die hen aangaan.
Hoe reageert de gemeente op ons rapport? De gemeente onderschrijft onze conclusies, neemt de vijf aanbevelingen over en zal voor 2024 een plan van aanpak opstellen om verder uitvoering te geven aan de aanbevelingen.
4
ALGORITMEN - BESTUURLIJK RAPPORT
Hoofdconclusie De centrale onderzoeksvraag luidt:
In hoeverre is het Amsterdamse beheerskader voor algoritmen toereikend voor een verantwoorde toepassing van algoritmen en welke lessen kunnen getrokken worden over het toepassen van algoritmen in de Amsterdamse praktijk? Met het Amsterdamse beheerskader voor algoritmen1 (januari 2022) heeft het college stappen gezet om meer grip te krijgen op algoritmen en om eerlijker en transparanter te zijn over algoritmen. Het beheerskader - dat nog in ontwikkeling is - draagt in theorie al in redelijke mate bij aan het verantwoord toepassen van algoritmen. Het beheerskader wordt echter nog weinig toegepast. Verbeteringen zijn mogelijk en noodzakelijk om de waarde van het beheerskader te vergroten, de collegedoelen te bereiken en algoritmen verantwoord toe te passen. Op verschillende vlakken behoeft het beheerskader verdere uitwerking. Dit geldt voor de samenhang en kwaliteit van de individuele onderdelen van het beheerskader, de risicogerichte aanpak en de vraag hoe in een vroegtijdig stadium kan worden bepaald of het ontwikkelen van een algoritme haalbaar is (we gaan hier in hoofdstuk 1 op in). Daarnaast heeft het beheerskader voor een aantal thema's relatief weinig aandacht.
Op drie thema's zien wij ook dat de uitvoering nog van onvoldoende niveau is, daarom besteden we in dit rapport extra aandacht aan deze thema's: de omgang met het complexe vraagstuk van bias (hoofdstuk 2), het beschermen van privacy van burgers (hoofdstuk 3) en de openbaarheid en transparantie met betrekking tot algoritmen (hoofdstuk 4). Naast het beheerskader hebben we ook drie algoritmen onderzocht om een beeld te krijgen van de toepassing van algoritmen in de praktijk. Dat heeft verschillende lessen2 opgeleverd. We noemen hier de belangrijkste. Zolang er geen eenduidige definitie van de term 'algoritme' wordt gehanteerd, zal er discussie blijven bestaan over de vraag of en wanneer het beheerskader van toepassing is. Ook blijkt het belangrijk om in een vroegtijdig stadium na te gaan of de ontwikkeling van algoritmen haalbaar is in termen van doeltreffendheid, doelmatigheid, rechtmatigheid en vanuit ethisch oogpunt. Zo kun je voorkomen dat de ontwikkeling van het algoritme strandt. Verder is onvoldoende duidelijk wanneer de betrokkenheid van het college verplicht en gewenst is. Het is van 1 In dit onderzoek typeren wij algoritmen als regels die een computer volgt bij het maken van
berekeningen om een probleem op te lossen of een vraag te beantwoorden. 2 In hoofdstuk 3 van het onderzoeksrapport noemen wij deze lessen 'rode draden'.
5
REKENKAMER AMSTERDAM
belang dat het college daadwerkelijk wordt betrokken bij besluitvorming. Dit is zeker relevant als het gaat om bias. Beslissingen over de wenselijkheid, rechtvaardigheid en de potentiële ernst van mogelijke systematische afwijkingen in of door de algoritmen zijn in de onderzochte casussen alleen op ambtelijk niveau genomen. Andere lessen zijn dat de privacy van burgers tot op heden te weinig wordt beschermd, dat beslissingen te weinig worden gedocumenteerd en dat de transparantie over algoritmen tekortschiet. De openbare algoritme- en verwerkingsregisters zijn niet volledig en burgers worden weinig geïnformeerd over het gebruik van hun gegevens. Ook worden burgers vooralsnog nauwelijks betrokken bij de ontwikkeling van algoritmen.
6
ALGORITMEN - BESTUURLIJK RAPPORT
Deelconclusies 1 Het beheerskader voor algoritmen is in ontwikkeling Samenvattend Amsterdam heeft een beheerskader voor algoritmen ontwikkeld om meer grip te krijgen op algoritmen en om algoritmen eerlijker en transparanter te maken. Het beheerskader maakt ambtenaren bewust van veel mogelijke risico's die gepaard gaan met het verantwoord toepassen van algoritmen. Het geeft hen over het algemeen een handelingsperspectief hoe ze daarmee om kunnen gaan. Maar de onduidelijke samenhang en wisselende kwaliteit van de onderdelen van het beheerskader (instrumenten) zorgen ervoor dat het huidige beheerskader te weinig praktisch toepasbaar is. Eén heldere definitie van het centrale begrip 'algoritme' ontbreekt. Daardoor ontstaat discussie of het Amsterdamse beheerskader voor algoritmen van toepassing is en of het algoritme in het algoritmeregister moet worden vermeld. De toepasbaarheid van het kader is ook beperkt doordat nog niet alle in het beheerskader aangekondigde activiteiten zijn uitgevoerd. Daardoor ontbreken handvatten die richting en houvast geven voor het afwegen, ontwikkelen en gebruiken van algoritmen. Algoritmen kunnen op dit moment maar op twee risiconiveau’s worden ingeschaald. Dat heeft mogelijk tot gevolg dat de ambtelijke organisatie werkzaamheden moeten uitvoeren die niet aansluiten bij het werkelijke risico van het algoritme.
Tot slot schrijft het huidige beheerskader niet voor dat de haalbaarheid van een algoritme vroegtijdig moet worden beoordeeld, met als mogelijk gevolg dat de ontwikkeling in een laat stadium wordt stopgezet.
1.1 Amsterdam heeft aandacht voor algoritmen Gevolg praktijk: het college zet in op maatregelen om meer grip te krijgen op algoritmen, en om deze eerlijker en transparanter te maken voor burgers. Algoritmen zijn regels die een computer volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden. De afgelopen jaren is de maatschappelijke aandacht voor algoritmen toegenomen. Op alle bestuurlijke niveaus is dit zichtbaar: bij de Europese en de nationale wetgever, de wetenschap, adviesorganen van de regering, nationale en decentrale toezichthouders en de media. Het Amsterdamse college van B en W en de gemeenteraad hebben al enige tijd aandacht voor algoritmen. Zo heeft Amsterdam als eerste gemeente in Nederland een algoritmeregister ingevoerd (mei 2021) en is Amsterdam zich al enige tijd aan het voorbereiden op de komst van de Europese AI-verordening. Daarnaast zoekt Amsterdam
7
REKENKAMER AMSTERDAM
internationale en nationale samenwerkingen op het gebied van digitalisering, digitale rechten en het algoritmeregister. Het college heeft in juli 2021 aangegeven meer grip te willen krijgen op de algoritmen die de gemeente gebruikt. Ook wil het college het gebruik van algoritmen eerlijker en transparanter maken voor burgers. De ambtelijke organisatie heeft daarom het Amsterdamse beheerskader voor algoritmen ontwikkeld. Het kader is in januari 2022 vastgesteld door het gemeentelijk managementteam (GMT). Het Amsterdamse beheerskader voor algoritmen bestaat uit zeven instrumenten: 1) het algoritmeregister; 2) het governancedocument en het levenscyclusmodel; 3) contractvoorwaarden voor inkoop van algoritmen; 4) een handreiking voor bezwaarbehandelaars; 5) een mensenrechtenimpactanalyse; 6) een bias-analysemodel; en 7) interne audits. Ook heeft de ambtelijke organisatie eind 2022 een jaarplan opgesteld waarin de activiteiten voor 2023 zijn uitgewerkt. Dit plan bevat veertien activiteiten om de bewustwording over algoritmen te vergroten en kennis en vaardigheden van ambtenaren en raadsleden (verder) te ontwikkelen. Hoewel Amsterdam goede stappen neemt om meer grip te krijgen op algoritmen en deze transparanter en eerlijker te maken, concluderen we in de rest van dit rapport dat er nog veel verbeteringen mogelijk zijn.
We willen benadrukken dat het Amsterdamse beheerskader voor algoritmen in ontwikkeling is en dat Amsterdam aan het begin staat van de algoritmetransitie. We vragen aan de lezer van dit rapport om de opvolgende conclusies in dit licht te lezen.
1.2 Het beheerskader heeft aandacht voor veel relevante risico's Gevolg praktijk: Het beheerskader maakt ambtenaren bewust van de mogelijke risico's die gepaard gaan met het verantwoord toepassen van algoritmen en geeft hen een handelingsperspectief hoe daarmee om te gaan. Risico's die nog niet zijn benoemd in het kader kunnen over het hoofd worden gezien bij de toepassing van algoritmen. Een voorwaarde voor het verantwoord toepassen van algoritmen is dat voldoende rekening wordt gehouden met risico's op de thema's van ethiek, sturing en verantwoording, model en data, privacy en IT-beheer. Dit geldt wanneer de inzet van een algoritme wordt overwogen en als een algoritme wordt ontwikkeld of in de praktijk wordt toegepast. Het is positief dat het Amsterdamse beheerskader al voldoende aandacht heeft voor 49 van de 61 relevante risico's die wij hebben onderzocht. 3Het onderstaande figuur toont per thema voor hoeveel relevante risico's er voldoende en beperkt aandacht is. In het
3 Figuur 1telt 62 risico’s, omdat wij één risico van het thema ‘Model en data’ hebben gesplitst in
twee subrisico’s.
8
ALGORITMEN - BESTUURLIJK RAPPORT
Onderzoeksrapport Algoritmen gaan we uitgebreid in op de toetsing van alle risico's per thema (in paragraaf 2.3 tot en met paragraaf 2.7 van het onderzoeksrapport).
Figuur 1 - Beoordeling beheerskader: aandacht voor risico's op vijf thema's
Uit het figuur blijkt dat er nog ruimte is voor verbetering. Samengevat heeft het beheerskader nog relatief weinig aandacht voor het documenteren van belangrijke keuzes in het algoritme (sturing & verantwoording4), voor risico's omtrent bias (model & data en ethiek), dataminimalisatie en transparantie (privacy). In hoofdstuk 2 tot en met 4 van dit bestuurlijk rapport gaan wij nader in op bias, privacy en transparantie.
1.3 Samenhang onduidelijk en kwaliteit instrumenten wisselend Gevolg praktijk: een onduidelijke samenhang en een wisselende kwaliteit van de instrumenten zorgen ervoor dat het beheerskader minder praktisch is in gebruik en minder bijdraagt aan verantwoord e toepassing van algoritmen. Samenhang tussen instrumenten huidig beheerskader onvoldoende duidelijk Het beheerskader bestaat uit zeven losse instrumenten. Het is niet goed toegelicht hoe deze instrumenten in samenhang gebruikt moeten (of kunnen) worden. Daarnaast is het onduidelijk wanneer het kader moet worden ingezet, in welke stappen het kader kan worden doorlopen en bij wie er om ondersteuning kan worden gevraagd. Ook is onduidelijk of er nog andere instrumenten tot het beheerskader behoren, waaronder het risico-analysemodel. Daarnaast is het niet duidelijk welke onderdelen van het
4 Naast documenteren zien we binnen het thema Sturing & Verantwoording dat het beheerskader
ook nog meer aandacht zou kunnen besteden aan 1) burgerbetrokkenheid; 2) duurzaamheid; en 3) doelmatigheid. We constateren dit op basis van onze toetsing van het beheerskader aan de Code Goed Digitaal Openbaar Bestuur (CODIO) en normen volgend uit de concept-AI-verordening.
9
REKENKAMER AMSTERDAM
beheerskader verplicht zijn, en welke onderdelen als handreiking bedoeld zijn of naar eigen inzicht kunnen worden toegepast. Kwaliteit van de instrumenten is wisselend Niet alle instrumenten (documenten) zijn definitief en afgerond. Zo staan delen die in de inhoudsopgave van het betreffende document genoemd worden, niet daadwerkelijk in het kader. Daarnaast bevatten de stukken op sommige plekken verouderde of incomplete informatie. In het governancedocument zijn bijvoorbeeld nog niet alle verantwoordelijkheden geregeld. Bovendien is de zelf ontwikkelde mensenrechtenimpactanalyse — een instrument uit het beheerskader — achterhaald geworden. Vanaf september 2023 maakt de ambtelijke organisatie daarom geen gebruik meer van deze analyse. Voortaan is Impact Assessment voor Mensenrechten (IAMA)5 de standaard.
1.4 Gebrek aan eenduidige definitie Gevolg praktijk: door het ontbreken van één heldere definitie ontstaat discussie over wanneer het Amsterdamse beheerskader voor algoritmen van toepassing is en of vermelding in het algoritmeregister noodzakelijk is . Het college van B en W (december 2022) geeft aan dat er geen eenduidige definitie van de term 'algoritme' is. De ambtelijke organisatie geeft aan een eigen definitie van algoritme te hanteren, zolang de Rijksoverheid geen bruikbare en heldere definitie heeft vastgesteld. Recent (september 2023) heeft de ambtelijke organisatie aangegeven de definitie van 'algoritme' te willen vaststellen in lijn met de aankomende Europese AI-verordening. Wij constateren echter dat Amsterdam vier verschillende definities hanteert (tot juni 2023). Hierdoor is het voor ambtenaren niet altijd duidelijk of er sprake is van een algoritme en of daarmee het Amsterdamse beheerskader voor algoritmen daarop van toepassing is. In de praktijk zien we dat er in de ambtelijke organisatie discussies ontstaan of bijvoorbeeld bepaalde 'software', een 'tool', een Excel-bewerking, of een elektronisch formulier moeten worden gezien als een algoritme. Daardoor is er dus onduidelijk of het beheerskader voor algoritmen van toepassing is en of het algoritme moet worden opgenomen in het openbare algoritmeregister.
In de ogen van sommige gesprekspartners in ons onderzoek zou een model zelfs pas een algoritme zijn als het zelflerend is, of als er sprake is van geautomatiseerde besluitvorming. Doordat het college van B en W nog niet heeft gekozen voor één definitie, bestaat er binnen de ambtelijke organisatie ruimte voor
5 Het IAMA (juli 2021) is door de Universiteit van Utrecht ontwikkeld in opdracht van het ministerie
van Binnenlandse Zaken en Koninkrijksrelaties.
10
ALGORITMEN - BESTUURLIJK RAPPORT
discussie over of iets een algoritme is of niet. Dit draagt niet bij aan het realiseren van de doelstelling van het college om meer grip te krijgen op algoritmen.
1.5 Aangekondigde activiteiten beheerskader deels uitgevoerd Gevolg praktijk: doordat nog niet alle voorgenomen activiteiten zijn uitgevoerd, ontbreken handvatten die richting en houvast geven voor het afwegen, ontwikkelen en gebruiken van algoritmen. Het beheerskader (januari 2022) beschrijft activiteiten om beter grip te krijgen op algoritmen. Een deel van deze activiteiten heeft betrekking op het opstellen en vaststellen van documenten. In juni 2023 is een deel van deze activiteiten afgerond (gerealiseerd), een ander deel is nog in uitvoering (deels gerealiseerd) en één activiteit is nog niet van de grond gekomen (niet gerealiseerd).
• Gerealiseerd: standaard met ethische principes (de Tada-waarden); activiteiten gericht op het vergroten van bewustzijn rondom algoritmen; datastrategie met daarin afspraken over het opslaan en gebruik van data over Amsterdammers en de stad. Daarin staat onder andere dat Amsterdammers meer zeggenschap moeten krijgen over hun data.
• Gedeeltelijk gerealiseerd: beleid voor het gebruik van algoritmen; standaard voor risicoanalyses; verantwoordingsstrategie en -documentatie; de referentiearchitectuur voor algoritmen.
• Niet gerealiseerd: de standaarden voor technische documentatie.
1.6 Risicogerichte methode EU beperkt uitgewerkt Gevolg praktijk: er is kans op een onjuiste risico-inschaling van een algoritme, waardoor het aantal te treffen beheersmaatregelen niet aansluit bij het werkelijke risico. Naast een eenduidige definitie is het belangrijk dat het beheerskader voor algoritmen rekening houdt met de risico's van algoritmen om te bepalen welke waarborgen nodig zijn. Het Amsterdamse college gebruikt een risico-indeling om aanvullende eisen te stellen aan algoritmen met hogere risico's. Ook wordt de risico-indeling gebruikt om te bepalen welke algoritmen eerst in het algoritmeregister moeten worden opgenomen. Positief is dat de Amsterdamse risico-indeling al gedeeltelijk aansluit bij de risicogerichte methode uit de aankomende Europese concept-AI-verordening.6 Deze verordening beoogt een risicogerichte methode voor het categoriseren van algoritmen: van onaanvaardbaar
6 De Europese concept-AI-verordening beoogt regels te stellen voor algoritmen, waaronder voor
Artifical Intelligence (AI).
11
REKENKAMER AMSTERDAM
risico (verboden), via hoog risico tot laag of minimaal risico. Amsterdam kent echter maar twee risiconiveaus: hoog risico of geen hoog risico. Hierdoor is het Amsterdamse beheerskader minder verfijnd. Het uitgangspunt van de verordening is dat voor algoritmen met een hoog risico meer regels gelden. Dat uitgangspunt zien wij ook terug in het beheerskader. Amsterdam beschikt over een risico-analysemodel dat gebaseerd is op de Europese risicogerichte methode. Of een algoritme hoog risico is, wordt alleen bepaald door het toepassingsgebied van het algoritme.7 Dit model houdt geen rekening met zaken die gevolg hebben voor de reële risico's van algoritmen voor burgers en bedrijven: bijvoorbeeld of het algoritme hun persoonsgegevens verwerkt, een hoge kans op bias heeft of dat toepassen van het algoritme mogelijk financiële gevolgen heeft voor de burger. Daardoor bestaat de kans dat Amsterdamse algoritmen ten onrechte als 'hoog risico' of als 'geen hoog risico' worden bestempeld. Bovendien blijkt uit het risico-analysemodel niet wanneer het (opnieuw) toegepast moet worden: alleen bij het ontwikkelen van een algoritme of ook periodiek als het algoritme langere tijd in gebruik is. Verder maakt het risico-analysemodel het in theorie mogelijk om de relevante risico's systematisch langs te lopen. Het model geeft dan per risico suggesties voor mogelijk te treffen beheersmaatregelen.
Maar uit het model volgt ook dat wanneer het algoritme als 'geen hoog risico' is bestempeld, het model grotendeels niet meer doorlopen hoeft te worden. Daarmee krijgt de ambtelijke organisatie geen advies over de te treffen beheersmaatregelen.
1.7 Integrale afweging van haalbaarheid vooraf ontbreekt Gevolg praktijk: als de haalbaarheid niet vroegtijdig wordt beoordeeld, bestaat de kans dat de ontwikkeling van een algoritme in een laat st adium wordt stopgezet, terwijl er dan al veel middelen zijn besteed. Het beheerskader schrijft niet voor dat vroegtijdig moet worden afgewogen of het ontwikkelen of inkopen van een algoritme zinvol, passend en haalbaar is. Uit gesprekken met verschillende ambtenaren blijkt dat securitytoetsen, privacy-analyses en checks op doeltreffendheid en doelmatigheid van het algoritme meestal los van elkaar plaatsvinden. In de praktijk worden essentiële 'make-or-break'-onderdelen van algoritmen soms in een laat stadium beoordeeld of geconstateerd. Terwijl er op dat moment al (veel) tijd en middelen zijn geïnvesteerd. Uit ons casusonderzoek blijkt dat er algoritmen zijn ontwikkeld, waarbij na een lange periode van ontwikkeling naar voren komt dat het algoritme in de praktijk niet toepasbaar
7 De concept AI-verordening benoemt 12 toepassingsgebieden van algoritmen als 'hoog risico'.
Voorbeelden zijn: 'management en uitvoering van kritieke infrastructuur' en 'publieke dienstverlening'.
12
ALGORITMEN - BESTUURLIJK RAPPORT
is. De ontwikkeling van twee van de drie door ons onderzochte algoritmen is al enkele jaren bezig of ligt stil. Bij het ene algoritme omdat de beoogde data niet verkregen zijn en bij het andere algoritme omdat nog niet duidelijk is of aan de privacywetgeving kan worden voldaan.
2 Omgang met bias nog niet ver genoeg ontwikkeld Samenvattend Biases zijn onwenselijke systematische afwijkingen voor specifieke personen, groepen of andere eenheden. Bij bias maakt een algoritme onderscheid op beschermde gronden, terwijl dit onderscheid niet gerechtvaardigd is. Voorbeelden van beschermde gronden zijn nationaliteit, huidskleur, etniciteit, leeftijd, seksuele geaardheid, religie, gezondheid en sociale klasse. Het college wil bias bij algoritmen uitsluiten en heeft twee maatregelen aangekondigd. Die maatregelen zijn beperkt effectief. De mogelijkheden om bias volledig uit te sluiten zijn meestal beperkt omdat het onderzoek naar mogelijke bias arbeidsintensief is. Ook moeten soms meer persoonsgegevens worden verwerkt voor bias-analyse dan nodig zijn voor de juiste werking van het algoritme. En voor het onderzoek van bias moet een zeer groot aantal combinaties van persoonsgegevens worden beoordeeld. Het beheerskader laat nog veel vragen over bias onbeantwoord, waardoor het ambtenaren weinig ondersteuning biedt bij het voorkomen of uitsluiten van bias. Op dit moment neemt vooral de ambtelijke organisatie beslissingen over de vraag of een algoritme rechtvaardig is, terwijl dit bij uitstek een bestuurlijk vraagstuk betreft.
2.1 College heeft ambitie om bias volledig uit te sluiten Gevolg praktijk: het college heeft twee maatregelen ingesteld om te voorkomen dat algoritmen ongerechtvaardigd onderscheid maken . Het college wil bias (zie kader) bij algoritmen volledig uitsluiten (januari 2023). Het college van B en W gaf in een raadsbrief (maart 2023) aan bias op basis van zestien beschermde gronden te willen voorkomen: nationaliteit, geboorteland, postcode, huidskleur, etniciteit, geslacht, leeftijd, burgerlijke staat, seksuele geaardheid, religie, politieke opvatting, verblijfsstatus, zwangerschap, gezondheid, sociale klasse en genetica. Wat is bias? In navolging van de Algemene Rekenkamer definiëren wij bias als onwenselijke systematische afwijkingen voor specifieke personen, groepen of andere eenheden. Of systematische afwijkingen op bepaalde kenmerken onwenselijk zijn, is een lastig te beantwoorden vraag. Soms volgt dit uit regelgeving die onderscheid expliciet verbiedt, maar vaker zal dit mede bepaald worden door maatschappelijke of politieke opinies.
13
REKENKAMER AMSTERDAM
Twee maatregelen om bias uit te sluiten Het college heeft in maart 2023 twee maatregelen benoemd om bias uit te sluiten: •
•
Bij besluitvorming moet altijd sprake zijn van menselijke tussenkomst. Volledig geautomatiseerde besluitvorming is dus niet toegestaan. Gebruikmaken van informatie of adviezen uit een algoritme mag wel. Vóór ingebruikname van het algoritme moet een bias-analyse worden uitgevoerd.
2.2 Collegemaatregelen om bias te voorkomen beperkt effectief Gevolg praktijk: de twee collegemaatregelen kunnen bias niet volledig uitsluiten. Hierdoor kan het college nog weinig zekerheid geven over in hoeverre bias wordt voorkomen. Menselijke tussenkomst sluit bias niet volledig uit Het college ziet menselijke tussenkomst bij besluitvorming als belangrijkste maatregel om bias uit te sluiten (maart 2023). Het algoritme neemt dan zelf geen besluit, maar geeft informatie (bijvoorbeeld in de vorm een advies) die de ambtenaar betrekt bij het nemen van het besluit. Een dergelijke maatregel draagt bij aan het verminderen van de bias, maar kan bias nooit volledig uitsluiten. Mensen hebben immers vaak de neiging om technologie te zien als objectief en vrij van oordelen. Dat maakt ze bereid om erop te vertrouwen, zelfs als ze niet volledig begrijpen hoe de technologie werkt (automatiseringsbias). Daarnaast zal ook menselijke bias bij niet-geautomatiseerde besluitvorming een rol blijven spelen. Het is namelijk mogelijk dat ambtenaren - vanwege gebrek aan tijd of expertise, of vanwege ingesleten systematische afwijkingen in gedrag of historische informatie - de informatie die voortkomt uit een algoritme overnemen zonder deze kritisch te beoordelen op een mogelijke bias.
Hoewel het college stelt dat volledige geautomatiseerde besluitvorming niet is toegestaan, hebben wij geconstateerd dat bij ten minste één Amsterdams algoritme daarvan wél sprake is. We weten niet bij hoeveel andere Amsterdamse algoritmen dit het geval is. Bias-analyses zijn nog niet vaak uitgevoerd Als tweede maatregel benoemt het college het uitvoeren van verplichte bias-analyse. Dit is nog maar bij één algoritme uitgevoerd (stand juni 2023). Zolang de gemeente geen uitvoering geeft aan deze maatregel zal het college burgers nog weinig informatie en zekerheid kunnen verschaffen over mogelijk ongerechtvaardigd onderscheid als gevolg van Amsterdamse algoritmen.
14
ALGORITMEN - BESTUURLIJK RAPPORT
2.3 Het constateren van bias op alle beschermde gronden is zeer complex Gevolg praktijk: het is de vraag of bias wel volledig is uit te sluiten bij algoritmen die worden gebruikt bij beslissingen die personen raken. Hoewel de bestuurlijke ambitie bestaat om bias volledig uit te sluiten, zijn de mogelijkheden om bias te constateren meestal beperkt. Het is bovendien zeer complex. Het is daarom de vraag of de ambitie van het college realistisch is. Wij zien drie oorzaken waarom de mogelijkheden voor het constateren van bias beperkt zijn: Het onderzoeken van bias is arbeidsintensief Het college wil bias uitsluiten op zestien beschermde gronden. Het onderzoeken van bias vraagt om veel middelen van de organisatie. Per beschermde grond moet namelijk worden nagegaan of er sprake is van systematische afwijkingen, en zo ja, of het gemaakte onderscheid gerechtvaardigd is (zie kader). Bovendien geldt dat hoe meer beschermde gronden worden onderzocht, hoe meer (doorloop)tijd en geld ermee gemoeid is om met voldoende zekerheid aan te tonen dat het algoritme geen ongerechtvaardigd onderscheid maakt. Hierdoor kunnen de kosten voor het uitsluiten van bias zodanig oplopen dat deze niet meer in verhouding staan tot de opbrengsten van het algoritme. Wanneer is er sprake van een ongerechtvaardigd onderscheid? Het college maakt regelmatig onderscheid op basis van de beschermde gronden.
Denk aan beleid gericht op het helpen van jongeren, ouderen, statushouders of mensen die leven in armoede. Is hier dan ook sprake van bias? Vaak niet: er is onderscheid op basis van een beschermde grond, maar dat onderscheid is gerechtvaardigd. Volgens Gerards (2017) is het sinds 1968 vaste rechtspraak dat een ongelijke behandeling toelaatbaar is "wanneer daarmee een gerechtvaardigd doel wordt nagestreefd en er een redelijke of proportionele verhouding bestaat tussen dit doel en het gemaakte onderscheid".I Systematische afwijkingen in beleid, data en algoritmen kunnen in sommige gevallen dus gerechtvaardigd zijn. Of een onderscheid gerechtvaardigd is, is een juridisch en ethisch complex vraagstuk waarbij het antwoord per casus zal verschillen. Wel is duidelijk dat onderscheid maken op basis van beschermde gronden niet zomaar mag. Als het college ervoor kiest om dit te doen, moet het deze keuze zorgvuldig rechtvaardigen, bijvoorbeeld met morele argumenten en geverifieerde kennis. Paradox: uitsluiten van bias vraagt om verwerking van zeer veel persoonsgegevens die niet nodig zijn voor de werking van het algoritme Om bias te onderzoeken en te kunnen uitsluiten is het nodig om (gevoelige) persoonsgegevens te verwerken, terwijl deze gegevens voor een goede werking van het algoritme niet altijd nodig zijn.
Het is daarom de vraag of het (op grote schaal) verwerken van (gevoelige) persoonsgegevens wenselijk is en of het haalbaar is in verband met
15
REKENKAMER AMSTERDAM
privacywetgeving.8 Daarnaast geeft het college aan dat veel gegevens uit de lijst met zestien van beschermde gronden niet door de gemeente worden verwerkt. We vragen ons daarom af of het college wel in staat is om adequaat te controleren op bias. Uit de enige bias-analyse die tot juni 2023 is uitgevoerd9, blijkt dat slechts vier van de zestien10 beschermde gronden direct zijn getoetst op bias. Hoewel voor deze kenmerken is geconstateerd dat er geen sprake is van bias, is bias op andere relevante kenmerken niet uitgesloten. Het is de vraag of deze beperkte toetsing het gemeentebestuur en de burgers voldoende zekerheid geeft dat bias is uitgesloten. Combinatie van persoonsgegevens kan leiden tot bias Een zeer complicerende factor is het fenomeen van intersectionaliteit. Dit houdt volgens Van der Sloot et al. (2021) in dat ook combinatie(s) van (persoons)kenmerken kunnen leiden tot bias, achterstelling en discriminatie.II Dit betekent dat voor volledige uitsluiting van bias algoritmen niet alleen onderzocht moeten worden op een relatief overzichtelijke lijst van beschermde gronden, maar ook op alle mogelijke combinaties van deze beschermde gronden.11
2.4 Het beheerskader laat veel vragen over bias onbeantwoord Gevolg praktijk: het beheerskader biedt ambtenaren weinig ondersteuning bij het voorkomen of uitsluiten van bias. Het is niet duidelijk wanneer een bias-analyse moet worden uitgevoerd Over het moment waarop de bias-analyse moet worden uitgevoerd, geeft het beheerskader geen informatie. Het college heeft de raad laten weten dat een bias-analyse wordt uitgevoerd vóórdat het algoritme in gebruik wordt genomen. Maar op welk moment is dat? Aan het begin van de ontwikkeling van het algoritme of net voordat het in gebruik wordt genomen? Daarnaast maakt het beheerskader niet duidelijk of de bias-analyses periodiek opnieuw moeten worden uitgevoerd. Algoritmen met een hoog risico op bias worden daardoor niet periodiek kritisch geëvalueerd. In de periodes tussen evaluaties kunnen veranderingen plaatsvinden aan het algoritme en aan de context van het algoritme die van invloed zijn op het oordeel over het algoritme. Zo kunnen de doelpopulatie, het algoritme zelf12, de
8 Het beantwoorden van de vraag of een dergelijke grootschalige verwerking van (bijzondere)
persoonsgegevens voor dit doel maatschappelijk wenselijk is, is niet aan de rekenkamer. Daarom laten we dit achterwege. 9 De bias-analyse van het algoritme onderzoekswaardigheid 'Slimme Check' (link naar algoritmeregister). 10 De zestien kenmerken die het college in de raadsbrief van maart 2023 heeft aangegeven. 11 Amsterdam hanteert een lijst van 16 beschermde gronden. Het volledig uitsluiten van bias, onder assumptie dat de data aanwezig zijn, vraagt om 16^16 controles om alle mogelijke combinaties te toetsen. 12 Dit geldt voor algoritmen die continu leren en zich aanpassen.
16
ALGORITMEN - BESTUURLIJK RAPPORT
maatschappelijke tolerantie voor mogelijke biases in algoritmen en de wetgeving veranderen. De kwaliteit van de bias-analyses is onzeker We maken ons zorgen over de kwaliteit van de bias-analyses die gemaakt zullen worden. Het beheerskader laat de ambtelijke organisatie namelijk vrij om te beslissen welke standaard zij hanteert voor het onderzoeken en analyseren van bias. Hierdoor is er van alles mogelijk: een kwalitatieve analyse van beslisregels, het uitvoeren van de eigen Kunstmatige Intelligentie Impact Assessment13, het uitvoeren van de Impact Assessment Mensenrechten en Algoritmes (IAMA), of alles daartussen. Het kader beantwoordt niet de vraag in hoeverre (met welke mate van zekerheid) het college verwacht dat bias wordt uitgesloten. Welke mate van zekerheid wordt nagestreefd zal dus naar onze verwachting per casus verschillen. Ook heeft het beheerskader weinig aandacht voor het toetsen van de rechtvaardigheid van eventuele systematische afwijkingen die bij een algoritme worden aangetroffen en wanneer het wenselijk is om het college hierbij te betrekken, (zie paragraaf 2.5). Het bias-analysemodel uit het beheerskader geeft alleen aan dat er moet worden nagedacht over de aanvaardbaarheid van geconstateerde systematische afwijkingen, maar geeft hiervoor geen concrete handvatten.
Er is niet geregeld wie bij de bias-analyse betrokken moeten zijn In het beheerskader is niet geregeld wie betrokken moeten worden bij de bias-analyse. In algemene zin noemt het kader "mensen vanuit verschillende rollen en achtergronden". Het kader wijst op betrokkenheid van verschillende interne stakeholders en eindgebruikers van het algoritme in het ontwikkelingsproces. Voor het betrekken van belanghebbenden (zoals inwoners) heeft het kader geen aandacht. Dat valt op, omdat juist deze belanghebbenden veelal de gevolgen van een algoritme zullen ondervinden.
2.5 De rechtvaardigheid van algoritmen wordt vooral ambtelijk afgewogen Gevolg praktijk: hierdoor kan het college nog weinig standpunten innemen over de rechtvaardigheid van algoritmen . Er is een tekort aan bestuurlijke betrokkenheid bij algoritmen waarbij bias een reëel risico is. Dit heeft gedeeltelijk te maken met het feit dat in het beheerskader onvoldoende is geregeld wanneer het college betrokken moet worden bij beslissingen over algoritmen. De ambtelijke organisatie is geneigd om het college te vragen naar het 'wat' en regelt in de uitvoering zelf het 'hoe'. Veel beslissingen rondom algoritmen, waaronder die over bias, worden daardoor niet aan het college voorgelegd. Het college wordt daarmee ook niet gevraagd om een standpunt in te nemen over de wenselijkheid, rechtvaardigheid en de potentiële ernst van mogelijke systematische afwijkingen in of door de algoritmen.
13 De naam van het document suggereert dat een bias-analyse alleen moet worden uitgevoerd op
algoritmen waarbij sprake is van Kunstmatige Intelligentie (AI).
17
REKENKAMER AMSTERDAM
Het Amsterdamse beheerskader voor algoritmen bevat het voorschrift dat de vakportefeuillehouders verantwoordelijk zijn voor de betrouwbaarheid van de algoritmen die binnen hun portefeuille worden toegepast. Zij moeten algoritmen met een hoog risico ter besluitvorming aan het college voorleggen. Het college was slechts bij de besluitvorming van één van de acht algoritmen met een hoog risico betrokken (stand juni 2023). Uit ons casusonderzoek blijkt dat de ambtelijke organisatie vrijwel alle belangrijke besluiten over het algoritme gedurende de levenscyclus van het algoritme heeft genomen zonder het college erbij te betrekken.
3 Privacy van burgers bij algoritmen nog onvoldoende beschermd Samenvattend Het college hecht veel waarde aan zorgvuldige verwerking van persoonsgegevens. Tegelijkertijd is de privacy van burgers met betrekking tot algoritmen nog niet goed beschermd. Het beheerskader besteedt aandacht aan zeven van de dertien onderzochte privacyrisico’s en bijbehorende maatregelen om de privacyrisico’s te verminderen. Zo is de gemeente verplicht om na te gaan of zij het recht heeft om persoonsgegevens te verwerken. Ook moet de gemeente algoritmen die persoonsgegevens verwerken in het verwerkingsregister registreren en moet zij duidelijke afspraken maken met de leveranciers van algoritmen over verwerking van persoonsgegevens. In de praktijk is er wisselend uitvoering gegeven aan deze maatregelen. Het beheerskader heeft te weinig aandacht voor het informeren van burgers. Zij krijgen daardoor geen goed zicht op algoritmen die hun persoonsgegevens verwerken en hoe het algoritme van invloed is geweest op een genomen besluit.
3.1 College wil de privacy van burgers beschermen Gevolg praktijk: het college is aanspreekbaar op de bescherming van privacy. Het college geeft aan veel waarde te hechten aan een zorgvuldige verwerking van persoonsgegevens en hanteert daarbij de volgende uitgangspunten: iedereen in Amsterdam weet waar hij of zij aan toe is; de burger heeft zeggenschap over zijn persoonsgegevens; de toegang tot gegevens is zo makkelijk mogelijk en de gemeente informeert burgers actief, zodat bekend is welke informatie de gemeente over hem heeft. Alleen na besluitvorming door het college of de burgemeester kan worden afgeweken van deze uitgangspunten, zodat voor Amsterdammers en de gemeenteraad transparant is hoe de gemeente omgaat met persoonsgegevens.III Deze uitgangspunten hangen samen met de wens van het college om algoritmen eerlijker en transparanter te maken voor burgers.
18
ALGORITMEN - BESTUURLIJK RAPPORT
3.2 Beheerskader heeft deels aandacht voor privacyrisico's Gevolg praktijk: Het beheerskader besteedt aandacht aan een deel van de privacyrisico's die wij hebben onderzocht. Aan de beheersmaatregelen om deze risico's te verminderen, is in de praktijk wisselend uitvoering gegeven. De verplichting om de privacy van burgers te beschermen, ook bij het gebruik van algoritmen, komt voort uit de Algemene Verordening Gegevensbescherming (AVG). De AVG is in mei 2018 in werking getreden, maar Amsterdam worstelt nog steeds met de uitvoering daarvan. Het Amsterdamse beheerskader voor algoritmen heeft voor zeven van de dertien getoetste privacyrisico's voldoende aandacht. Voor zes privacyrisico's heeft het beheerskader nog te weinig aandacht. Het beheerskader heeft nog geen aandacht voor de onderwerpen subsidiariteit en proportionaliteit ('dataminimalisatie').14 Het merendeel van de privacyrisico's waarvoor nog te weinig aandacht is, heeft betrekking op de communicatie van de gemeente naar burgers over het gebruik van hun persoonsgegevens (zie uitgebreid paragraaf 3.3). We lichten hieronder drie risico's toe waarvoor het beheerskader voldoende aandacht heeft, maar waaraan de gemeente in de praktijk wisselend uitvoering geeft.
Het openbare verwerkingsregister bevat nog nauwelijks algoritmen Het beheerskader heeft aandacht voor de vraag welk recht ('wettelijke grondslag') de gemeente heeft om de gegevens van inwoners ('persoonsgegevens') te verzamelen en te gebruiken voor algoritmen ('verwerken'). Ook blijkt uit het beheerskader dat het algoritme geregistreerd moet worden in het openbare verwerkingsregister als het algoritme persoonsgegevens verwerkt.15 In de praktijk is nog nauwelijks uitvoering gegeven aan de verplichting om algoritmen die persoonsgegevens verwerken te registreren in het verwerkingsregister. De openbare versie van het gemeentelijke verwerkingsregister (stand maart 2023) bevat slechts informatie over één algoritme, het algoritme Public Eye. Bij de start van ons casusonderzoek van drie algoritmen stonden deze algoritmen niet in het gemeentelijke verwerkingsregister, terwijl ze wel persoonsgegevens verwerkten.
14 Het gaat bij dataminimalisatie bijvoorbeeld over de vragen of het mogelijk is om hetzelfde
(maatschappelijk) doel te realiseren zonder met een algoritme te werken of met een minder ingrijpend algoritme te werken ('subsidiariteit'). Een andere relevante vraag in het kader van dataminimalisatie is of het mogelijk is om hetzelfde doel te bereiken door met een algoritme te werken dat geen of minder persoonsgegevens verwerkt ('proportionaliteit'). Doordat het beheerskader nog geen aandacht besteedt aan dataminimalisatie, ontstaat het risico dat Amsterdam met haar algoritmen meer persoonsgegevens verwerkt dan nodig is. Uit het casusonderzoek blijkt dat er voldoende aandacht is voor dataminimalisatie. 15 In het verwerkingsregister legt de gemeente vast welke persoonsgegevens zij verwerkt, met welk doel de gegevens worden verwerkt, wat de wettelijke grondslag daarvoor is, wie daarbij betrokken zijn en hoelang de gegevens worden bewaard.
19
REKENKAMER AMSTERDAM
Afspraken maken met derden over verwerking persoonsgegevens gaat nog niet altijd zoals gewenst Het beheerskader heeft aandacht voor de vraag hoe de gemeente moet handelen als een andere partij de persoonsgegevens voor de gemeente verwerkt. De gemeente blijft dan wel verantwoordelijk. Om dit goed te regelen heeft Amsterdam een standaard verwerkersovereenkomst, waarin afspraken over het verwerken van persoonsgegevens zijn vastgelegd. Uit het casusonderzoek blijkt dat de gemeente met twee leveranciers een verwerkersovereenkomst overeen is gekomen, omdat deze leveranciers het algoritme hebben ontwikkeld. Bij één algoritme uit het casusonderzoek is niet de Amsterdamse standaard verwerkersovereenkomst gebruikt, maar die van de externe partij. Daarvan is niet vastgesteld of deze overeenkomt met de Amsterdamse standaard. Hiermee verliest Amsterdam controle over het naleven van wettelijke standaarden voor het verwerken van persoonsgegevens. Sinds september 2023 meer ondersteuning bij het maken van Data Protection Impact Assessments Het beheerskader geeft aan wanneer een Data Protection Impact Assessment (DPIA)16 moet worden uitgevoerd. De DPIA moet in een vroegtijdig stadium worden uitgevoerd om vooraf privacyrisico's in kaart kunnen brengen. Amsterdam heeft een sjabloon-DPIA ontwikkeld die ambtenaren ondersteunt bij het maken van de DPIA.
Tot september 2023 bevatte de sjabloon-DPIA wel alle relevante aspecten die bij een DPIA aan de orde moeten komen, maar gaf de sjabloon-DPIA nog weinig uitleg bij ingewikkelde termen uit de AVG.IV Hierdoor begrepen ambtenaren die met de sjabloon-DPIA werkten niet altijd goed wat er in de DPIA gevraagd werd en werden risico's en maatregelen verkeerd ingeschat. In september 2023 is de sjabloon-DPIA aangevuld met meer uitleg. Uit het casusonderzoek blijkt dat voor één algoritme tijdig is gestart met het opstellen van een DPIA. Voor de overige twee algoritmen is pas gestart met het opstellen van een DPIA nadat het algoritme al persoonsgegevens verwerkte.
3.3 Burgers beperkt geïnformeerd over het gebruik van hun persoonsgegevens Gevolg praktijk: burgers ontvangen niet alle informatie waarop zij recht hebben. Dat bemoeilijkt het aanvechten van beslissingen die met behulp van algoritmen over hen zijn genomen.
16 Een DPIA is een instrument om vooraf de privacyrisico’s in kaart te brengen als de gemeente
persoonsgegevens wil gaan verwerken, zodat de gemeente maatregelen kan nemen om de privacyrisico’s te verkleinen. Met een DPIA wordt in een vroegtijdig stadium onder meer getoetst welke gegevens nodig zijn voor het algoritme en of verwerking daarvan wettelijk is toegestaan (wettelijke grondslag). Daarbij moet ook worden getoetst of er sprake is van profilering in de zin van de AVG en in hoeverre profilering is toegestaan.
20
ALGORITMEN - BESTUURLIJK RAPPORT
Het beheerskader schenkt te beperkt aandacht aan maatregelen om burgers te informeren over het gebruik van hun persoonsgegevens door algoritmen. Dit geldt voor het informeren van de burger als die daarover zelf vragen stelt aan de gemeente, of wanneer iemand een (Woo-)verzoek17 indient. Het geldt ook voor het uit eigen beweging informeren van de burger door de gemeente. Hierna lichten we toe dat de gemeente burgers nog te weinig uit eigen beweging persoonlijk informeert en dat besluiten geen informatie bevatten over (de rol van) het algoritme. Daarna lichten we toe dat de ambtelijke organisatie er lange tijd niet op is geattendeerd dat burgers moeten worden geïnformeerd als er sprake is van profilering. Amsterdam informeert nog weinig uit eigen beweging De gemeente kan de burger op twee manieren uit eigen beweging informeren. Ten eerste via algemene informatie die zij kunnen raadplegen via de gemeentelijke websites. Burgers kunnen via deze weg zelf nagaan welke algoritmen Amsterdam heeft en welke persoonsgegevens deze algoritmen verwerken. Mogelijke bronnen daarvoor zijn het algoritmeregister, het verwerkingsregister, het stedelijk privacybeleid en de privacyverklaringen over specifieke processen. In de praktijk zijn deze bronnen weinig informatief.
Het algoritmeregister is nog niet volledig (zie paragraaf 4.3) en het verwerkingsregister bevatte in maart 2023 slechts één algoritme (zie paragraaf 3.2). Het stedelijk privacybeleid heeft geen aandacht voor het gebruik van persoonsgegevens door algoritmen. Ten slotte blijkt uit het casusonderzoek dat de privacyverklaringen lang niet altijd toereikend zijn: slechts een van de drie privacyverklaringen geeft informatie over het algoritme. Daarnaast kan de gemeente burgers persoonlijk informeren dat hun gegevens zijn gebruikt door een algoritme. Dat kan bijvoorbeeld bij het verlenen van een vergunning of het toekennen van een uitkering. Uit het casusonderzoek blijkt dat de gemeente nog niet op deze wijze informeert. Nog weinig aandacht voor het informeren van burgers bij besluiten Gegeven de doelstelling van het college van B en W om algoritmen eerlijker en transparanter te maken voor haar inwoners en met het oog op recente ontwikkelingen in het recht, ligt het voor de hand om ook in oorspronkelijke besluiten ('primaire besluiten') open en eerlijk te zijn over algoritmen, ook als algoritmen ambtenaren slechts ondersteunen of adviseren bij het nemen van een besluit (zie kader voor verdere uitleg). Dat gebeurt echter op dit moment niet.
17 Woo staat voor Wet open overheid. Met een Woo-verzoek kunnen burgers informatie opvragen
over wat de overheid doet.
21
REKENKAMER AMSTERDAM
Waarom open zijn over het gebruik van algoritmen in besluiten? We constateren dat de kwaliteit van de motivering van het primaire besluit steeds belangrijker wordt geacht door rechtswetenschappers en de rechtsspraak. Zo vindt het College voor de Rechten van de Mens dat in het besluit vermeld moet zijn als er een algoritme is gebruikt. Ook moet het besluit een uitleg bevatten van het algoritme waarmee de inhoud van het besluit logisch te reconstrueren is. Als deze reconstructie niet mogelijk is, dan voldoet het besluit niet aan het motiveringsbeginsel. Bij geautomatiseerde besluitvorming (dus zonder menselijke tussenkomst) stellen de AVG en de rechtspraak expliciet aanvullende eisen. De gemeente is in dat geval verplicht om de gemaakte keuzes en de gebruikte gegevens en aannames volledig, tijdig en uit eigen beweging openbaar te maken. Dat moet gebeuren op een passende wijze zodat deze keuzes, gegevens en aannames voor de burger toegankelijk zijn. Ook moet de gemeente burgers de mogelijkheid bieden om een niet-geautomatiseerd besluit te krijgen. Het beheerskader bevat geen instructie om al open te zijn over (de rol van) het algoritme in het primaire besluit. Uit het casusonderzoek blijkt dat er geen aandacht is voor communicatie over algoritmen in besluiten.
Bij één van de drie onderzochte algoritmen werden besluiten genomen waarbij ambtenaren gebruik konden maken van het advies van het algoritme. In deze besluiten is geen aandacht besteed aan (de rol van) het algoritme. Besluiten zijn hierdoor niet goed te reconstrueren. Positief is dat het beheerskader wel een handreiking voor bezwaarbehandelaars bevat. Die handreiking roept bezwaarbehandelaars op om in de beslissing op bezwaar open te zijn over (de rol) van het algoritme bij het primaire besluit. In juni 2023 bevat geen enkele beslissing op bezwaar informatie over het gebruik van een algoritme bij de besluitvorming. De handreiking is daarmee nog niet toegepast. Burgers niet geïnformeerd bij profilering in de zin van de AVG Is er sprake van profilering18 in de zin van de AVG, dan is de gemeente verplicht de betreffende persoon te informeren over de inhoud van het profiel en welke gegevens er zijn gebruikt om het profiel op te bouwen. Ook moet de gemeente aangeven of het profiel is betrokken bij besluitvorming en vermelden dat het mogelijk is tegen het profiel bezwaar te maken. De gemeente moet de burger informeren over het belang van het algoritme, de onderliggende logica van het algoritme en de mogelijke (persoonlijke) gevolgen van het algoritme van de burger.
Deze informatie biedt de mogelijkheid om de besluitvorming en de handelingen van de gemeente te doorgronden en daartegen op te komen. Voor deze
18 Het evalueren van een persoon op basis van persoonlijke aspecten zoals onder andere
gezondheid, economische situatie, betrouwbaarheid, locatie. Voor meer informatie over profilering, zie paragraaf 3.4.2 van het Onderzoeksrapport Algoritmen.
22
ALGORITMEN - BESTUURLIJK RAPPORT
plichten heeft het beheerskader geen aandacht. Vanaf september 2023 bevat de DPIA wel de algemene instructie om burgers te informeren over profilering. Uit het casusonderzoek blijkt dat de gemeente niet heeft onderkend dat er sprake was van profilering. Burgers zijn (daarom) niet over de profilering geïnformeerd.
4 De gewenste openbaarheid en transparantie worden in beperkte mate bereikt Samenvattend Het Amsterdamse college wil open en transparant zijn over algoritmen. Dat lukt nog niet goed doordat het college en de ambtelijke organisatie geen goed beeld hebben van alle algoritmen die Amsterdam gebruikt. Het openbare algoritmeregister is nog niet volledig. Voor de algoritmen die wel in het register staan, is de informatiewaarde van wisselende kwaliteit. Hierdoor krijgen burgers nog weinig informatie over algoritmen. Ook is de informatievoorziening aan de gemeenteraad over algoritmen nog beperkt.
4.1 Amsterdam spreekt de intentie uit om open en transparant te zijn Gevolg praktijk: Amsterdam wil burgers, leveranciers en ketenpartners informeren over de manier waarop de gemeente met algoritmen omgaat en wil zo veel mogelijk informatie over Amsterdamse algoritmen openbaar maken. Het college wil eerlijker en transparanter zijn over algoritmen en wil met het algoritmeregister transparantie bieden over het gebruik van algoritmen en de participatie van burgers bevorderen. Eén van de doelen van het Amsterdamse beheerskader voor algoritmen is het bieden van "houvast en transparantie aan Amsterdammers, leveranciers en ketenpartners over de manier waarop de gemeente Amsterdam met algoritmen omgaat". Ook schrijft het beheerskader voor dat alle informatie over Amsterdamse algoritmen openbaar is - inclusief de broncode van zelfontwikkelde algoritmen - tenzij er wettelijk gegronde redenen zijn om informatie niet openbaar te maken.
4.2 College heeft nog weinig zicht op algoritmen Gevolg praktijk: doordat de ambtelijke organisatie en daarmee het college nog maar beperkt zicht hebben op de algoritmen die Amsterdam toepast, kan het college nog maar beperkt open en transparant zijn over algoritmen . Het college en de ambtelijke organisatie weten niet hoeveel algoritmen de gemeente Amsterdam en aan haar verbonden partijen gebruiken. Schattingen van ambtenaren waarmee wij hebben gesproken, lopen uiteen van enkele honderden tot misschien wel duizenden algoritmen. Het inventariseren van algoritmen verloopt moeizaam. Bij de start
23
REKENKAMER AMSTERDAM
van ons onderzoek (september 2022) had de ambtelijke organisatie een beperkte inventarisatie gemaakt van algoritmen. Op ons verzoek is daarna een verdere inventarisatie gestart. Deze inventarisatie (oktober 2022 tot en met april 2023) heeft informatie opgeleverd over 92 mogelijke algoritmen. Los van deze inventarisatie gaf het college in een raadsbrief (december 2022) aan dat het “herkennen van (risicovolle) algoritmen in bestaande systemen” lastig is. In juni 2023 beschikt de gemeente nog niet over een centraal overzicht van algoritmen. Wel is het zicht op algoritmen enigszins verbeterd. Het gebrekkige zicht op algoritmen belemmert het college om beter grip te krijgen op algoritmen en om transparant te zijn over algoritmen. Het is immers niet mogelijk om open en transparant te zijn over zaken waar men zelf geen weet van heeft. Tegelijk zorgen de onduidelijkheid over wat een algoritme is (zie ook paragraaf 1.4) en het soms negatieve sentiment rondom algoritmen ervoor dat de ambtelijke organisatie niet altijd signaleert dat er sprake is van een algoritme uit angst voor nadelige gevolgen.
4.3 Het algoritmeregister is niet volledig Gevolg praktijk: raadsleden en burgers krijgen geen goed zicht op de algoritmen die in Amsterdam worden gebruikt. Amsterdam heeft in mei 2021 op eigen initiatief het Amsterdamse algoritmeregister gepubliceerd met daarin vijf algoritmen. Daarmee liep Amsterdam voor op andere steden en op het algoritmeregister van de Rijksoverheid, dat in december 2022 online verscheen. Amsterdam heeft de intentie om elk algoritme dat de gemeente gebruikt in het algoritmeregister te publiceren. Begin 2022 deed de Functionaris Gegevensbescherming de aanbeveling om het register verder te vullen. Op dat moment bevatte het algoritmeregister zes algoritmen. Pas vanaf januari 2023 zijn meer algoritmen geregistreerd (zie figuur 2). De informatiewaarde van het register was daardoor lange tijd beperkt. In september 2023 zijn 29 algoritmen geregistreerd. Het zicht voor burgers en raadsleden op de Amsterdamse algoritmen is daarmee iets verbeterd ten opzichte van de situatie van mei 2021. Er ontbreken echter nog veel algoritmen in het register (zie paragraaf 4.2).