A - 11 ICT en Digitale Stad (49) 03 Onderzoeksrapport Algoritmen DEF

ONDERZOEKSRAPPORT

Algoritmen Hoe Amsterdam algoritmen beter kan toepassen 20 OKTOBER 2023

DEFINITIEF Dit onderzoeksrapport is een document van de Rekenkamer Amsterdam en bevat de bevindingen van het onderzoek Algoritmen. Het onderzoeksrapport bevat in detail de bevindingen en beantwoording van de onderzoeksvragen. Het document vormt samen met het bestuurlijk rapport de volledige rapportage van het onderzoek. Beide digitale documenten kunt u raadplegen op de projectpagina.

ALGORITMEN - ONDERZOEKSRAPPORT

Inhoudsopgave Toelichting en leeswijzer ................................................................................................... 3 1

Inleiding ..................................................................................................................... 3

1.1 Aanleiding onderzoek....................................................................................................................3 1.2 Maatschappelijke context – algoritmetransitie .............................................................................6 1.3 De Amsterdamse context...............................................................................................................7 1.4 Doel en onderzoeksvragen..........................................................................................................11 1.5 Aanpak en onderzoeksverantwoording .......................................................................................12 1.6 Leeswijzer ...................................................................................................................................20

Gedetailleerde onderzoeksbevindingen .......................................................................... 21 2

Het Amsterdamse beheerskader voor algoritmen getoetst ..................................... 21

2.1 Totstandkoming van het beheerskader .......................................................................................22 2.2 Samenhang van het beheerskader ..............................................................................................24 2.3 Aandacht voor sturing en verantwoording ..................................................................................34 2.4 Aandacht voor model en data ......................................................................................................37 2.5 Aandacht voor privacy.................................................................................................................41 2.6 Aandacht voor IT-beheer .............................................................................................................44 2.7 Aandacht voor ethiek ..................................................................................................................45 2.8 Kwaliteit van de instrumenten in het beheerskader ...................................................................54 2.9 Stand van zaken afspraken uit het beheerskader .......................................................................75

3

Casusonderzoek: drie algoritmen getoetst .............................................................. 86

3.1 Beschrijving drie onderzochte algoritmen ...................................................................................87 3.2 Sturing en verantwoording ........................................................................................................ 103 3.3 Model en data............................................................................................................................ 108 3.4 Privacy ...................................................................................................................................... 113 3.5 IT-beheer ................................................................................................................................... 118 3.6 Ethiek ........................................................................................................................................ 120

1

REKENKAMER AMSTERDAM

3.7 Inzichten ambtelijke organisatie ............................................................................................... 127

Onderzoeksverantwoording .......................................................................................... 131 4

Onderzoeksteam .................................................................................................... 131

5

Dankwoord ............................................................................................................. 131

Bijlagen .......................................................................................................................... 132 Bijlage 1 - Toetsingskader Amsterdams beheerskader voor algoritmen ....................... 133 Bijlage 2. Toetsingskader en bevindingen algoritme behandeling Bbz-aanvraag (Gripvol) .................................................................................................................. 143 Bijlage 3. Toetsingskader en bevindingen algoritme Detectie illegale onderhuur ......... 163 Bijlage 4. Toetsingskader en bevindingen algoritme Detectie illegale passagiersvaart ..................................................................................................... 188 Bijlage 5. Inventarisatie RMA - algoritmen die Amsterdam mogelijk toepast................ 205 Bijlage 6. Rapport Tilburg University (23 februari 2023) ................................................ 214 Eindnoten ....................................................................................................................... 248

2

ALGORITMEN - ONDERZOEKSRAPPORT

Toelichting en leeswijzer 1 Inleiding In de volgende paragrafen gaan we in op de aanleiding van het onderzoek, de Amsterdamse context rondom algoritmen, het doel en de onderzoeksvragen van het onderzoek, de aanpak, en tot slot de leeswijzer bij dit rapport.

1.1 Aanleiding onderzoek De gemeente Amsterdam gebruikt algoritmen bij de uitvoering van haar taken (zie kader Voorbeelden algoritmen Amsterdam). Voorbeelden algoritmen Amsterdam Parkeercontrole De gemeente Amsterdam zet scanauto's met geautomatiseerde kentekenherkenning in om te controleren of voor een geparkeerde auto parkeergeld is betaald of dat deze een parkeervergunning heeft. Mocht dat niet het geval zijn, dan volgt een parkeerbon. De scanauto's worden ook ingezet voor de opsporing van gestolen voertuigen en voertuigen met een vordering van de politie of het Openbaar Ministerie. Top400/600 De Top400/600-aanpak is erop gericht om (zware) criminaliteit en drugshandel-gerelateerde drugs- en geweldsdelicten terug te dringen met behulp van een persoonsgebonden aanpak. Personen kunnen in- of uitstromen in de aanpak wanneer ze voldoen aan een aantal criteria. Beeldherkenning reclamebelasting Voor uitingen die zichtbaar zijn van de openbare weg (zoals gevelreclames, uithangborden en raamreclames) moet reclamebelasting worden betaald. Het formaat van de reclame-uiting bepaalt, naast onder andere het tarief(gebied) en de soort uiting, het bedrag dat betaald moet worden. Om de belastingen te kunnen heffen rijden er een aantal keer per jaar scanauto’s op straat. De camera’s in de scanauto’s herkennen automatisch de reclame en de oppervlakte ervan.

Bron: algoritmeregister Amsterdam.nl, geraadpleegd op 21 februari 2023. We constateren dat er voor de term 'algoritme’ verschillende definities in omloop zijn op internationaal en nationaal niveau. In navolging van de Algemene Rekenkamer hanteren we in dit onderzoek de volgende definitie van ‘algoritmen’:1

3

REKENKAMER AMSTERDAM

Een algoritme is een set regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden. Met het gebruik van algoritmen kunnen sommige taken van de gemeente (gedeeltelijk) automatisch of sneller worden uitgevoerd. Bovendien bieden algoritmen de mogelijkheid om besluitvorming transparant te maken, problemen van burgers te voorkomen of vroegtijdig te signaleren, en gelijke gevallen gelijk te behandelen. Algoritmen kunnen zeer eenvoudig zijn (bijvoorbeeld een eenvoudige beslisboom), maar ook zeer complex in het geval van artificiële intelligentie (AI)a bij het leren herkennen van zwerfafval. Zowel eenvoudige als complexe algoritmen kunnen grote impact hebben op burgers en bedrijven. Indien een algoritme de structuur heeft van een (eenvoudige) beslisboom, dan zullen wij in dit onderzoek spreken van een ‘rule-based’ algoritme.

Is er sprake van een zelflerend algoritme dat op basis van statistische analyse van de eigen output zelf de eigen criteria en beslisregels bij kan stellen, of kan leren voorspellingen te doen op basis van historische data, dan zullen wij spreken over een ‘case-based’ algoritme.2 Aandacht voor de risico's van algoritmen van groot belang Amsterdam zet algoritmen in om zijn dienstverlening en taken sneller, gerichter en beter uit te voeren.3 Het levert de stad veel voordelen op, maar de toepassing van algoritmen is niet risicoloos. Behalve het risico op de inbreuk op de privacy van burgers, kunnen verkeerde toepassingen van het gebruik van algoritmen discriminerende werkingen hebben als deze vooroordelen bevatten. Burgers en bedrijven krijgen vaker te maken met algoritmen en de impact ervan.4 Maar het gebruik van algoritmen is niet altijd zichtbaar voor burgers. Ook is de werking van algoritmen voor burgers niet altijd eenvoudig te begrijpen. Meerdere rapporten en onderzoeken zijn inmiddels verschenen over de risico's en voordelen van het gebruik van algoritmen. De Algemene Rekenkamer (2021) constateert bijvoorbeeld dat bij algoritmen veelal niet de burger, maar de overheid centraal lijkt te staan.5 Hierdoor is er volgens de Algemene Rekenkamer maar weinig aandacht voor de ethische aspecten en vragen van bezorgde burgers over de toepassing van algoritmen.

In een recenter verschenen rapport van de Algemene Rekenkamer (2022) werd vastgesteld dat algoritmen van de rijksoverheid niet volledig voldoen aan de eisen die de Algemene Rekenkamer daaraan stelt (zie paragraaf 1.4.1). Uiteenlopende risico's bestaan bij deze algoritmen, variërend van gebrekkige controle op prestaties of effecten, tot mogelijke vooringenomenheid, datalekken of ongeautoriseerde toegang.6 Tegelijkertijd zorgen

a Artificial Intelligence (AI) of kunstmatige intelligentie is een van de vormen van een algoritme en

laat zich definiëren als "het soort systemen dat intelligent gedrag vertoont door hun omgeving te analyseren en – met enige graad van autonomie – actie te ondernemen om specifieke doelen te bereiken.” Bron: High-level expert group on AI (HLEG-AI) van de Europese Commissie en WRR, Opgave AI, De nieuwe systeemtechnologie, 2022.

4

ALGORITMEN - ONDERZOEKSRAPPORT algoritmen voor een snellere en doelmatige besluitvorming, waardoor het werk met minder ambtenaren kan worden gedaan en burgers minder lang op hun besluit hoeven te wachten en eerder hun geld ontvangen van de overheid.7 De Nationale ombudsman (2021) benoemt als randvoorwaarde bij het gebruik van algoritmen door overheden dat de grondrechten en ethische normen van burgers gewaarborgd moeten blijven.8 Het gebruik van algoritmen moet daarbij duidelijk, toegankelijk en oplossingsgericht zijn. Risico's bij het toepassen van algoritmen spelen niet alleen bij de rijksoverheid, maar ook bij lokale overheden. De Rekenkamer Rotterdam concludeerde in haar rapport Gekleurde technologie (2021) bijvoorbeeld dat er te weinig overzicht is van de toegepaste algoritmen in de organisatie.9 Ook ziet de Rotterdamse rekenkamer dat de verantwoordelijkheid voor ethische principes nog onvoldoende ambtelijk belegd is en dat het gebruik van algoritmen kan leiden tot vooringenomen uitkomsten.10 Raadsleden en burgers maken zich zorgen om algoritmen Niet alleen verschillende onderzoeksinstanties zien risico's bij algoritmen. Uit onze analyse van Amsterdamse raads- en commissieverslagen over de laatste vier jarenb blijkt dat raadsleden zich duidelijk zorgen maken over het gebruik van algoritmen in de gemeente.

Raadsleden zien eveneens de risico’s als gevolg van vooringenomenheid of onethisch gebruik en hebben daardoor oog voor (strenge) randvoorwaarden. Zij willen dat algoritmen begrijpelijk zijn voor burgers en dat er een menselijke maat wordt gehanteerd. Volgens de raadsleden maken burgers zich veelal zorgen dat de overheid door algoritmen te veel over hun privéleven te weten komt. Andere zorgen zijn dat de overheid algoritmen gebruikt zonder dat te vertellen, en dat de overheid niet aan burgers kan uitleggen hoe een besluit is genomen. Dat geldt niet alleen voor technisch ingewikkelde algoritmen, maar ook voor simpele algoritmen die grote gevolgen kunnen hebben voor burgers. Raadsleden hebben een initiatiefvoorstel ingediend en schriftelijke vragen gesteld. Daarmee vragen zij aandacht voor de (ethische) risico's van algoritmen.

Zo besloot de gemeenteraad op 16 februari 2022 in te stemmen met een initiatiefvoorstel11 waarin het college wordt verzocht om te evalueren in hoeverre er voldoende maatregelen zijn voor het waarborgen van brede ethische toetsing van technologische toepassingen (zoals algoritmen).12 Ook werden in juni 2022 nog schriftelijke vragen gesteld over de mogelijke vooringenomenheid in het algoritme Criminaliteit Anticipatie Systeem (CAS)c, dat gebruikt wordt door de politie.13 Raadsleden zien ook kansen van algoritmen Aan de andere kant zien raadsleden ook kansen met betrekking tot algoritmen. Zo zijn twee van de onderzochte algoritmen in dit onderzoek toegepast als gevolg van een b Vanaf de voorgaande raadsperiode, maart 2018 tot juni 2022. c De schriftelijke vragen werden op 2 juni 2022 ingediend door de raadsleden Belkasmi en Abdi.

Aanleiding was een recentelijk (18 mei 2022) onderzoek van de Algemene Rekenkamer waaruit blijkt dat controle en inzicht in het CAS ontbreekt waardoor er niet valt uit te sluiten dat er in de gebruikte data onwenselijke vooringenomenheid over groepen of specifieke personen is opgenomen.

5

REKENKAMER AMSTERDAM raadsmotie. Bijvoorbeeld om een proces efficiënter te maken, of om patronen te herkennen die een mens niet zou waarnemen. In december 2017 is in de gemeenteraad een motie aangenomen om illegale passagiersvaart tegen te gaan, “waar mogelijk door het inzetten van geavanceerde digitale controlemogelijkheden”.14 Dit verzoek heeft uiteindelijk geleid tot de ontwikkeling van een algoritme om illegale passagiersvaart te detecteren. Ook heeft de raad in maart 2019 een motie aangenomen om fraude bij sociale huurwoningen aan te pakken door middel van controle op de gemeentelijke basisadministratie op basis van een ‘risicokaart’, waarbij de raad het college expliciet vraagt om ook te kijken naar "fraude-indicaties" zoals "overbewoning, schijnverhuizing, woongeschiedenis, bewoningspatroon, gezinssituatie en het aantal inschrijvingen op woningen in verhouding tot de oppervlakte".15 Deze motie heeft direct geleid tot de ontwikkeling van het algoritme Detectie illegale onderhuur.

1.2 Maatschappelijke context – algoritmetransitie De afgelopen jaren is de maatschappelijke aandacht voor algoritmen toegenomen. Op alle bestuurlijke niveaus is dit zichtbaar: bij de Europese en de nationale wetgever, de wetenschap, adviesorganen van de regering, nationale en decentrale toezichthouders, de media, het Amsterdamse college van B en W en bij de gemeenteraad. 16 Er is in het bijzonder veel aandacht voor een soort algoritmen: AI. Volgens de Wetenschappelijke Raad voor het Regeringsbeleid (WRR) is AI niet zomaar een technologie, maar een systeemtechnologie (vergelijkbaar met de uitvinding van elektriciteit, de verbrandingsmotor en de computer) die de samenleving fundamenteel zal veranderen.17 Volgens de WRR stonden we in 2021 op een keerpunt: de overgang van het lab naar de samenleving. AI is inmiddels voor een breed publiek toegankelijk, met ChatGPT als bekendste voorbeeld. Daarnaast is er meer aandacht voor algoritmen dan ooit door een aantal incidenten (bijvoorbeeld SyRId). Deze aandacht komt veelal met het besef dat algoritmen risico's dragen. Dit besef is ook sterk aanwezig bij de Amsterdamse ambtelijke organisatie. Ook wetgevers zitten niet stil. De Europese Commissie heeft in april 2021 een voorstel gedaan voor een verordening voor artificiële intelligentie (AI).

Deze concept-verordening heeft als doel om voor alle algoritmen (dus niet alleen AI) duidelijke regels te geven voor ontwikkeling en toepassing. Met de verordening zullen algoritmen in de EU aan nieuwe regels moeten voldoen. Als de concept-verordening de eindstreep haalt, dan zal het nog een aantal jaar zal duren voordat deze verordening in werking treedt.

d SyRI staat voor Systeem Risico Indicatie. SyRI was een overheidsalgoritme dat verschillende

databronnen aan elkaar kon knopen om risico-inschattingen te maken over frauduleus gedrag door burgers (bron: bijvoorbaatverdacht.nl, geraadpleegd op 30 augustus 2023.

6

ALGORITMEN - ONDERZOEKSRAPPORT Het kabinet heeft uitgewerkt hoe het de digitale transitie, inclusief die van algoritmen, in goede banen wil leiden.18 Het kabinet verwacht stevige bijdragen aan economische groei, welvaart en het welzijn van Nederland.19 En is van mening dat de toepassing van algoritmen allerlei mogelijkheden biedt om taken beter vorm te geven en uit te voeren. Tegelijk ziet het kabinet risico's bij het gebruik van algoritmen.20 Het ministerie van BZK voert daarom actiese uit die moeten bijdragen aan het juiste gebruik van algoritmen door de overheid. Daarnaast investeert de wetgever in het toezicht op algoritmen: in 2023 is de Autoriteit Persoonsgegevens van gestart met het toezicht op de ontwikkeling en het gebruik van algoritmen.21 We denken dat toenemend gebruik van technologie waarbij algoritmen worden ingezet voor Amsterdam onvermijdelijk isf. Dit gebeurt in een context van personeelstekorten, een toename van het aantal gemeentelijke taken en verantwoordelijkheden en een verder gaande digitalisering van de samenleving. Het toepassen van algoritmen heeft gevolgen voor de werkwijze van de gemeente en het heeft gevolgen voor de dienstverlening aan haar burgers. Amsterdam staat daarmee net zoals andere organisaties aan het begin van een structurele verandering. Deze overgangsfase, die gekenmerkt wordt door grote veranderingen, noemen we de algoritmetransitie.

Transities gaan gepaard met het omgaan met onzekerheid en risico’s, waarbij de overheid het veranderingsproces niet volledig kan sturen. Volgens de Raad voor het Openbaar Bestuur (ROB) zijn transities complex: vaak is nog niet duidelijk hoe precies het beoogde einddoel wordt bereikt en hoe onderweg problemen moeten worden aangepakt. Dat vraagt volgens de ROB om een overheid die gaandeweg leert (van innovaties), die leren bevordert en die een kritische en nieuwsgierige houding stimuleert. De ROB waarschuwt tegelijkertijd voor een risico-regelreflex en bestuurlijke overreactie bij incidenten.22

1.3 De Amsterdamse context De context omtrent algoritmen is op internationaal, nationaal en lokaal niveau sterk in beweging. Zo werkt de Europese Unie momenteel bijvoorbeeld aan een verordening omtrent kunstmatige intelligentie en is er op nationaal niveau steeds meer aandacht voor algoritmen (waaronder AI). Deze nationale aandacht blijkt bijvoorbeeld uit moties in de Tweede Kamer, onderzoeken van de Algemene Rekenkamer en het vaststellen van een nationale AI-strategie door de regering. In de volgende twee subparagrafen gaan we in op het Amsterdamse beleid en het Amsterdamse beheerskader voor algoritmen.

e De acties betreffen 1): een implementatiekader voor de inzet van algoritmen, 2) de mogelijke

verplichtstelling van het algoritmeregister en 3) de mogelijke verplichtstelling van de handreiking non-discriminatie. f Zie bijvoorbeeld Goldman Sachs, The Potentially Large Effects of Artificial Intelligence on Economic Growth, 26 maart 2023, via: weblink; en McKinsey, Jobs lost jobs gained what the future of work will mean for jobs skills and wages, 18 november 2017, via: weblink.

7

REKENKAMER AMSTERDAM

1.3.1

Amsterdams beleid

Figuur 1.1 - Amsterdams beleid

Het Amsterdamse beleid omtrent algoritmen is vastgelegd in verschillende beleidsstukken (zie figuur 1.1). In deze paragraaf beschrijven we in samenhang het Amsterdamse beleid. De coalitieakkoorden Zowel het vorige Coalitieakkoord 2018-2022 als het nieuwe Coalitieakkoord 2022-2026 bevat ambities op hoofdlijnen van het gemeentebestuur die algoritmen raken.23 In het akkoord van 2018-2022 worden algoritmen niet specifiek genoemd, maar heeft het gemeentebestuur wel al aandacht voor dataminimalisatie, open data en datarechten. Het gemeentebestuur geeft aan dat er een Agenda Digitale Stad komt (zie volgende paragraaf voor de inhoud van de Agenda Digitale Stad) en dat de zes waardeng uit het Tada manifest zullen worden geïmplementeerd (tada.city). Het gemeentebestuur heeft in het akkoord van 2022-2026 aandacht voor privacy, digitale rechten, digitale zelfredzaamheid en digitale veiligheid. Concreet geeft het gemeentebestuur aan een algoritmeregister te willen blijven hanteren, en deze vooraf, tijdens en na de ontwikkeling van ICT-systemen, zal testen op integriteit, discriminatie en vooroordelen. Agenda Digitale Stad De in 2019 vastgestelde Agenda Digitale Stad bevat de nog steeds geldende ambities van de gemeente Amsterdam met betrekking tot digitalisering. Hierin zijn onder andere de digitale rechten opgenomen die gezamenlijk met andere wereldsteden zijn opgesteld

g 1) Inclusief: Onze digitale stad is inclusief. We houden rekening met de verschillen tussen individuen

en groepen, zonder gelijkwaardigheid uit het oog te te verliezen, 2) Zeggenschap: Data en technologie moeten bijdragen aan vrijheid van bewoners. Data zijn dienend. Om het leven vorm te geven naar eigen inzicht, zelf informatie te verzamelen, kennis te ontwikkelen, ruimte te vinden om jezelf te organiseren, 3) Menselijke maat: Data en algoritmen hebben niet het laatste woord. Menselijkheid gaat altijd voor. We laten ruimte voor onvoorspelbaarheid. Mensen hebben het recht om digitaal vergeten te worden. Zo blijft er altijd ruimte voor een nieuwe, schone start, 4) Legitiem en gecontroleerd: Bewoners en gebruikers hebben zeggenschap over de vormgeving van onze digitale stad. De overheid, maatschappelijke organisaties en bedrijven faciliteren dit. Zij monitoren de ontwikkeling en de maatschappelijke gevolgen, 5) Open en transparant: Welke data worden verzameld? Waarvoor? En met welke uitkomsten en resultaten? Daarover zijn we altijd transparant, 6) Van iedereen - voor iedereen: Data die overheden, bedrijven en andere organisaties uit de stad genereren en over de stad verzamelen zijn gemeenschappelijk bezit. Iedereen kan ze gebruiken. Iedereen kan er voordeel van hebben. Hier maken we gezamenlijk afspraken over.

8

ALGORITMEN - ONDERZOEKSRAPPORT (citiesfordigitalrights.org). Ook bevat de agenda het zogenaamde Tada manifest: de zes waarden met betrekking tot het ontwerpen van een digitale stad. Het college geeft ook aan dat Amsterdam algoritmen wil gaan laten auditen door een onafhankelijke partij.24 Agenda AI: Amsterdamse Intelligentie De in 2020 vastgestelde Agenda AI bevat de ambities van het college op het gebied van algoritmen, waaronder kunstmatige intelligentie.25 Doelen zijn onder andere het zorgen voor interventies die het leven van Amsterdammers verbeteren, de negatieve effecten van digitalisering te beperken en de positieve effecten te versterken. Het college wil de technologie laten werken voor Amsterdammers, door onder meer AI toe te passen op eigen processen van de gemeente, AI-competenties te ontwikkelen en door minder discriminerende en meer transparante algoritmen te realiseren. Daarnaast wil het college het gebruik van algoritmen stimuleren en het economisch potentieel van algoritmen benutten. Daartoe wil het college de samenwerking versterken tussen investeerders, onderzoeksinstellingen, talent en het bedrijfsleven. Ook moet Amsterdam een 'living lab' worden met proeven en toepassingen voor stedelijke vraagstukken.

Tegelijkertijd wil het college de digitale rechten van burgers beschermen en meer kansengelijkheid creëren door sociale, economische en ethische kaders voor AI op te stellen en zicht te krijgen op wat AI doet met de stad.26 Datastrategie In de Datastrategie 2021-2022 (vastgesteld in 2021) heeft het college opgenomen dat Amsterdammers meer zeggenschap krijgen over hun data, en dat Amsterdam gebruik moet maken van kansen die digitalisering biedt om taken beter uit te voeren.27 Daarnaast bevat de strategie voornemens met betrekking tot data, zoals het standaard openbaar maken van datasets. Ook is de gemeente samen met de Universiteit van Amsterdam het ‘Civic AI Lab’ gestart (civic-ai.nl). Dat lab onderzoekt hoe AI ongelijkheid in de stad kan tegengaan en hoe kan worden tegengegaan dat AI ongelijkheid vergroot.

1.3.2

Het Amsterdamse beheerskader voor algoritmen

Als onderdeel van de Agenda AI is het college het Programma Algoritme Lifecycle Aanpak gestart. Met de Algoritme Lifecycle Aanpak wil het college meer grip krijgen op de gemeentelijke algoritmen, en deze eerlijker en transparanter maken haar inwoners.28 De aanpak bestaat uit zeven instrumenten om algoritmen gedurende hun levenscyclus te kunnen beheren, risico's in te kunnen schatten en te onderzoeken ('auditen'). In ons rapport verwijzen wij naar deze aanpak met 'het Amsterdamse beheerskader voor algoritmen'.

• Algoritmeregister. Sinds 28 september 2020 is er een online algoritmeregister beschikbaar waarin te zien zou moeten zijn welke algoritmen door Amsterdam worden gebruikt, waarvoor ze worden ingezet en hoe ze werken. • Governancedocument en levenscyclusmodel. In het governancedocument staan vastgelegde taken en verantwoordelijkheden, welke maatregelen getroffen moeten worden om risico’s bij het toepassen van algoritmen te voorkomen, welke

9

REKENKAMER AMSTERDAM informatie gedocumenteerd moet worden en wie verantwoordelijk is als een algoritme niet voldoet aan het beoogde doel. Het levenscyclusmodel beschrijft het proces ofwel 'de levenscyclus' van een algoritme van begin tot eind. De levenscyclus bestaat uit zes fasen (zie figuur 1.2).

Figuur 1.2 – Levenscyclus van een algoritme

Bron: DS&I, Taken en verantwoordelijkheden bij het gebruik van Algoritmen door de gemeente Amsterdam, 20 januari 2022.

• Contractvoorwaarden. Sinds november 2020 zijn er contractvoorwaarden vastgelegd waarin staat welke informatie leveranciers van algoritmen met de gemeente moeten delen, zodat de gemeente die informatie vervolgens met Amsterdammers kan delen. • Handreiking voor bezwaarbehandelaars. Een handreiking voor behandelaars voor het afhandelen van bezwaren, indien het besluit (deels) is gebaseerd op een algoritme. • Mensenrechtenimpactanalyse(model). Een model om de impact van het gebruik van een algoritme (wat in ontwikkeling of in gebruik is) op de mensenrechten te analyseren en borgende maatregelen te treffen. Naast het interne model mogen ook vergelijkbare externe modellen gebruikt worden.29 • Bias-analyse(model). Een model of standaard dat gebruikt kan worden om eventuele vooringenomenheid in een algoritme of in de gebruikte data op te

10

ALGORITMEN - ONDERZOEKSRAPPORT sporen. Naast het interne model mogen ook vergelijkbare externe modellen gebruikt worden.30 • Audits. Interne onderzoeken waarbij aan de hand van de interne standaarden wordt gekeken of de juiste maatregelen zijn genomen om risico’s, bijvoorbeeld op discriminatie of het schenden van rechten, te voorkomen. Voor deze audits is een normenkader ontwikkeld. Het instrumentarium is op 20 januari 2022 vastgesteld door het Gemeentelijk Management Team (GMT).31

1.4 Doel en onderzoeksvragen Met dit onderzoek willen we raadsleden, burgers en andere belanghebbenden inzicht bieden in hoeverre het college van B en Wh algoritmen verantwoord toepast. Met 'verantwoord toepassen' bedoelen we in het kort dat het college voldoende rekening houdt met risico's op de gebieden van ethiek, sturing en verantwoording, model en data, privacy, en IT-beheer wanneer het college de inzet van een algoritme overweegt, een algoritme ontwikkelt of een algoritme al in de praktijk toepast. Voor het onderzoek hanteren we de volgende centrale onderzoeksvraag:

In hoeverre is het Amsterdamse beheerskader voor algoritmen toereikend voor een verantwoorde toepassing van algoritmen en welke lessen kunnen getrokken worden over het toepassen van algoritmen in de Amsterdamse praktijk? We beantwoorden de centrale onderzoeksvraag door zowel het Amsterdamse beheerskader (het instrumentarium zoals beschreven in paragraaf 1.2) voor algoritmen te onderzoeken, als een selectie van algoritmen individueel te beoordelen. Voor het onderzoek naar het gemeentelijke beheerskader voor algoritmen beantwoorden we de volgende deelvraag: Deelvraag 1: In hoeverre draagt het Amsterdamse beheerskader voor algoritmen bij aan de verantwoorde toepassing van algoritmen?i Met het beantwoorden van deze vraag is het echter niet mogelijk om een uitspraak te doen over de mate waarin individuele algoritmen verantwoord in de praktijk zijn ingezet. Ten

h En de burgemeester wanneer die het bevoegde bestuursorgaan is, bijvoorbeeld in het geval van de

portefeuille Openbare Orde en Veiligheid. i Wij hebben deze deelvraag anders geformuleerd. De oorspronkelijke deelvraag in de onderzoeksopzet luidde: 'In hoeverre draagt het Amsterdamse beheerskader Programma Algoritme Lifecycle Aanpak bij aan de verantwoorde toepassing van algoritmen?'

11

REKENKAMER AMSTERDAM eerste omdat het Amsterdamse beheerskader in 2021 en 2022 ontwikkeld is, terwijl algoritmen al jaren in de Amsterdamse praktijk worden toegepast. Ten tweede kan bij het ontwikkelen en onderhouden van algoritmen (on)bewust worden afgeweken van het beheerskader, omdat men niet bekend is met het kader of andere prioriteiten stelt. Om ook de praktijk te kunnen beoordelen en daaruit lering te kunnen trekken, onderzoeken wij ook drie algoritmen als casus. Van elk onderzocht algoritme leggen we eerst uit waarvoor dat algoritme gebruikt wordt. Hiervoor gebruiken we de volgende deelvraag: Deelvraag 2: Hoe wordt het algoritme toegepast? Bij deze deelvraag hanteren we de volgende beschrijvende subdeelvragen:

• Wat is het beoogde doel van het algoritme en wordt ook vastgesteld dat het doel is • • • • • • •

bereikt? Bij welke ondersteunende of besluitvormende processen wordt het algoritme toegepast? Wat zijn kenmerken van de gebruikte data? Wat is de herkomst van de data? Wat voor soort algoritme betreft het? Hoe is de besluitvorming over de toepassing van dit algoritme tot stand gekomen? Zijn er alternatieven overwogen? Welke impact op burgers of bedrijven is voorzien?

Anderzijds geven we een oordeel over de mate waarin het geselecteerde algoritme verantwoord wordt ingezet. Hiervoor beantwoorden we de derde en laatste deelvraag: Deelvraag 3: In welke mate zijn bij de toepassing van het algoritme de risico's op de gebieden van ethiek, sturing en verantwoording, model en data, privacy, en ITbeheer in kaart gebracht en zijn toereikende beheersmaatregelen geïmplementeerd?j

1.5 Aanpak en onderzoeksverantwoording Met dit onderzoek willen wij antwoord geven op de vraag in hoeverre algoritmen in Amsterdam verantwoord worden toegepast. We hebben het Amsterdamse beheerskader voor algoritmen onderzocht (zie hoofdstuk 2) om een oordeel te geven over de vraag in hoeverre het beheerskader op macroniveau bijdraagt aan het verantwoord toepassen van algoritmen. Daarnaast wilden we onderzoeken welke lessen er kunnen worden geleerd van de toepassing van Amsterdamse algoritmen in de praktijk. We hebben het onderzoek

j Ten opzichte van de onderzoeksopzet is deze deelvraag gepreciseerd, door aan de deelvraag “bij de

toepassing van het algoritme” toe te voegen.

12

ALGORITMEN - ONDERZOEKSRAPPORT daarom opgedeeld in twee delen: 1) een toets van het Amsterdamse beheerskader, en 2) een casusonderzoek van drie Amsterdamse algoritmen. De beoordeling van het beheerskader en de beoordelingen bij het casusonderzoek hebben we gedaan aan de hand van het Toetsingskader Algoritmen van de Algemene Rekenkamer. De Algemene Rekenkamer heeft dit kader voorafgaand aan dit onderzoek al toegepast bij twaalf algoritmen bij Nederlandse overheden.32 Voor een uitgebreidere toelichting op de keuze voor het kader van de Algemene Rekenkamer verwijzen we naar onze onderzoeksopzet.

1.5.1

Aanpak toets Amsterdams beheerskader voor algoritmen

We hebben het Amsterdamse beheerskader getoetst op basis van een door ons aangepaste versie van het Toetsingskader Algoritmen van de Algemene Rekenkamer (zie bijlage 1). Vier onderzoekers hebben hiervoor elk apart het Amsterdamse beheerskader beoordeeld. Vervolgens hebben we in vijf afzonderlijke sessies (één per thema uit het toetsingskader) onze bevindingen besproken en een gezamenlijk oordeel per toetspunt geformuleerd. Hieruit zijn bevindingen naar voren gekomen over de thema's: 1) sturing en verantwoording, 2) model en data, 3) privacy, 4) IT-beheer en 5) ethiek (paragrafen 2.3 tot en met 2.7). Verder hebben we bevindingen over de totstandkoming en samenhang van het beheerskader (paragraaf 2.1 en 2.2), de kwaliteit van de instrumenten in het beheerskader (paragraaf 2.8) en tot slot bevindingen over de stand van zaken van de afspraken die zijn vastgelegd in het beheerskader (paragraaf 2.9). Aanpassingen in het kader van de Algemene Rekenkamer Het normenkader van de Algemene Rekenkamer bestaat uit de perspectieven van 1) sturing en verantwoordingk, 2) model en datal, 3) privacym, 4) IT-beheern en 5) ethiek. Het normenkader van de Algemene Rekenkamer onderscheidt vanuit het perspectief ethiek vier ethische perspectieven: 1) respect voor de menselijke autonomieo, 2) voorkomen van

k Bij sturing en verantwoording gaat het onder meer om het schriftelijk vastleggen van de rollen,

verantwoordelijkheden en deskundigheid, risico-afwegingen bij het gebruik van het algoritme en afspraken met externe partijen over bijvoorbeeld aansprakelijkheid. l Voor het onderdeel model en data wordt onder meer gekeken naar de kwaliteit van de data en de ontwikkeling en het onderhoud van het algoritme. Een belangrijk onderdeel hiervan is het uitvoeren van controles om de juiste werking van het algoritme te garanderen. m Bij het gebruik van algoritmes wordt in een aantal gevallen gebruikgemaakt van (bijzondere) persoonsgegevens. Voor het beschermen van de privacy is het van belang dat algoritmes voldoen aan de wettelijke verplichtingen die gelden voor het verwerken van persoonsgegevens, waaronder die van de Algemene Verordening Gegevensbescherming (AVG). n Bij een verantwoorde inzet van algoritmes is een belangrijke randvoorwaarde dat de gebruikte data en het algoritme zelf worden beschermd met IT-maatregelen. Ongeautoriseerde toegang tot de systemen kan bijvoorbeeld leiden tot wijziging, beschadiging en/of verlies van data. o Of er sprake is van menselijke autonomie wanneer er sprake is van geautomatiseerde besluitvorming door een algoritme met directe impact op burgers of bedrijven, hangt af van het antwoord op de vraag af of dat besluit gevolgd wordt door een handmatige controle van een ambtenaar indien een aanvraag niet aan alle voorwaarden voldoet.

13

REKENKAMER AMSTERDAM schadep, 3) fairness (een eerlijk algoritme)q en 4) verklaarbaarheid en transparantier. Ethiek is verweven in de overige vier perspectieven. Dat wil zeggen dat de ethische principes gekoppeld zijn aan de risico's die zijn geformuleerd vanuit de andere vier perspectieven.s33 Het Toetsingskader Algoritmes van de Algemene Rekenkamer hebben we herzien. We hebben 6 van de 63 toetsingsonderdelen laten vervallen.t We hebben hiervoor gekozen omdat het toetsen van deze onderdelen redelijkerwijs niet mogelijk was (bijvoorbeeld 3.10; of er sprake is van discriminatie)u, of omdat het toetsingsonderdeel te specifiek was (bijvoorbeeld 2.06; of keuzes in het gebruik van hyperparameters voldoende zijn onderbouwd).v Van de overgebleven 57 risico’s, onderzoeksvragen en voorbeeldbeheersmaatregelen hebben we er 46 (gedeeltelijk) herzien. In de meeste gevallen is er sprake geweest van ondergeschikte tekstuele wijzigingen. In andere gevallen hebben we bronnen toegevoegd (relevante wetsartikelen) of geactualiseerd (‘BIO’ voor het onderdeel IT-beheer in plaats van ‘BIG’). Voor het casusonderzoek hebben we de formulering van twee ethische principes aangepast: 1) over biases en discriminatie (E3.1), en 2) over het uitleggen van algoritmen (E4.2).w Enerzijds omdat met het toetsingskader van de Algemene Rekenkamer

p Het voorkomen van schade kan worden getoetst met de volgende vragen: is de privacy

gewaarborgd, wordt er goed omgegaan met persoonsgegevens, zijn de gebruikte data en algoritmen beschermd? q Fairness betekent dat het algoritme rekening houdt met diversiteit in de populatie. Fairness kan worden getoetst met de vraag: is er sprake van een onwenselijke bias in het algoritme of in de data? Waarbij bias betekent dat de uitkomsten van het algoritme voor sommige groepen mensen verkeerd zijn. r Verklaarbaarheid en transparantie zijn onder te verdelen in technische en procedurele transparantie. Technische transparantie houdt in dat eigenaren van een algoritme de werking ervan moeten kunnen uitleggen. Procedurele transparantie houdt in dat eigenaren van een algoritme verantwoording moeten afleggen over de gevolgde procedure bij de totstandkoming en de uitkomsten van het algoritme. s Met het toetsingskader van de Algemene Rekenkamer is geen goed oordeel te geven over de aandacht voor de impact van algoritmen op maatschappij en milieu. Toetspunten ontbreken of de relatie is indirect. Het toetsingskader van de Algemene Rekenkamer bevat geen toetspunten voor het onderdeel 'Er wordt rekening gehouden met de impact op samenleving en democratie'. Voor het onderdeel 'Er vindt een impact assessment plaats over de sociale gevolgen' bevat het toetsingskader geen zelfstandige toetspunten. Het betreft hier dezelfde toetspunten rondom het voorkomen van bias in het model / de data.

t Het betreft de onderdelen 2.06, 2.20, 3.05, 3.10, 4.08 en 4.09 (zie bijlage 1 voor een uiteenzetting van deze onderdelen). u Het was binnen de scope van het onderzoek redelijkerwijs niet mogelijk om na te gaan of er sprake is van discriminatie door het algoritme. Ten eerste is het niet mogelijk om discriminatie volledig uit te sluiten, ten tweede past het niet binnen de methode om te toetsen aan risicobeheersing en ten derde is ‘discriminatie’ een vage term die nog geoperationaliseerd dient te worden. v Bij dit voorbeeld geldt het risico alleen voor specifieke machine learning algoritmen. w Het ethisch principe E3.1 luidde "Het algoritme houdt rekening met diversiteit in de populatie en discrimineert niet". Dit principe hebben wij aangepast: "Het algoritme houdt rekening met

14

ALGORITMEN - ONDERZOEKSRAPPORT geen uitspraak kan worden gedaan dat er niet wordt gediscrimineerd. Anderzijds omdat wij een uitspraak willen doen of het algoritme al is verklaard en is uitgelegd, in plaats van aan te geven dat het algoritme te verklaren is en uitgelegd kan worden. Voor een compleet overzicht van alle wijzigingen, zie bijlage 1. Naast de overgebleven 57 risico’s hebben wij ook aan 4 ethische perspectieven getoetst. In totaal hebben we daarmee het beheerskader op 61 onderdelen getoetst. CODIO en concept-AI-verordening Voor de toets van het beheerskader hebben we het kader aangevuld met normen uit de Code Goed Digitaal Openbaar Bestuur (CODIO) (zie paragraaf 1.4.2) en de Europese concept-verordening inzake Artificiële Intelligentie (AI) (hierna: de concept-Europese verordening inzake AI) (zie paragraaf 1.4.3). Tevens hebben we voor onze toets van het beheerskader de bevindingen uit het rapport van de Tilburg University gebruikt (zie paragraaf 1.4.4) Deze aanvullingen hebben we niet gebruikt voor het casusonderzoek, omdat deze hiervoor minder geschikt waren (zie paragraaf 1.4.5). Bespreking met de Commissie Persoonsgegevens Amsterdam (CPA) In de besloten vergadering van 6 juli 2023 hebben wij een deel van de voorlopige bevindingen met de leden van de Commissie Persoonsgegevens Amsterdam (CPA) besproken.

Daarbij hebben wij ook gesproken over de vraag welke interventies helpend zijn voor de gemeente Amsterdam om algoritmen in de toekomst verantwoord toe te passen.

1.5.2

Gebruik van CODIO bij de toets van het beheerskader

Voor de aanvullingen op het kader van de Algemene Rekenkamer hebben we ook normen uit de Code Goed Digitaal Openbaar Bestuur (CODIO) gebruikt.34 CODIO is opgesteld door onderzoekers van de Universiteit Utrecht in opdracht van het Ministerie van Binnenlandse Zaken om richting te geven bij een verantwoorde invulling van digitalisering. De onderzoekers baseren CODIO op zes principes, gekoppeld aan zo’n dertig specifieke waarden. Wij hebben CODIO geanalyseerd om vast te stellen waar CODIO aanvullingen met toegevoegde waarde biedt op het kader van de Algemene Rekenkamer en de Europese concept-verordening inzake Artificiële Intelligentie (AI). De volgende vijf normen kwamen hieruit naar voren: 1. Burgerbetrokkenheid: de overheid betrekt burgers actief en in een open gesprek bij besluitvorming rondom, en inzet van, digitale middelen in bestuur. 2. Inclusiviteit: de overheid draagt er zorg voor dat digitale processen toegankelijk zijn voor diverse groepen in de samenleving.

diversiteit in de populatie". Het ethisch principe E4.2 luidde: “De werking van het algoritme is te verklaren en uit te leggen”. Die principe hebben wij aangepast: "De werking van het algoritme is verklaard en uitgelegd".

15

REKENKAMER AMSTERDAM 3. Passendheid: de technologie neemt de specifieke behoeftes van verschillende sociale groepen (leeftijd, cultureel, mensen met een beperking en sociaaleconomisch) in acht en zorgt indien nodig voor maatwerk. 4. Duurzaamheid: de negatieve impact - footprint - van de inzet van digitale technologie op natuur en milieu is minimaal. 5. Doelmatigheid: het bestuur maakt de doelen van de digitale technologieën bekend en neemt de beslissingen en maatregelen die nodig zijn om de gestelde doelen met prudent gebruik van financiële middelen te behalen. Bovenstaande normen hebben wij getoetst in de paragrafen 2.3 tot en met 2.7.

1.5.3

Gebruik van de concept-AI-verordening bij de toets van het beheerskader

De Europese Wet op de Artificiële Intelligentie (hierna: concept-AI-verordening) is een wetgevingsvoorstel van de Europese Commissie dat bedoeld is om een veilig en vertrouwd kader te creëren voor de ontwikkeling en toepassing van artificiële intelligentie (AI) en simpelere algoritmen zoals beslisbomen, binnen de Europese Unie.35 De concept-AIverordening heeft tot doel mensen en andere gebruikers het vertrouwen te geven om op AI-gebaseerde oplossingen te omarmen en bedrijven aan te moedigen deze te ontwikkelen.36 Het Europees Parlement heeft met de concept-AI-verordening de doelstelling om mensgerichte en betrouwbare artificiële intelligentie te bevorderen en te zorgen voor een hoge mate van bescherming tegen de schadelijke effecten van AIsystemen op het vlak van gezondheid, veiligheid, grondrechten, democratie, de rechtstaat en het milieu en om innovatie te ondersteunen.37 Voor Nederlandse gemeenten betekent de AI-verordening dat ze bij het ontwikkelen en gebruiken van algoritmen zullen moeten gaan voldoen aan de bepalingen van de verordening. Dit betekent onder andere dat ze moeten zorgen voor transparantie en verantwoording bij het gebruik van algoritmen, en dat ze moeten zorgen voor een doeltreffende en effectieve beheersing van de risico's die verband houden met het gebruik ervan. De nadruk ligt op voorschriften voor hoog risicovolle algoritmen.

Wel zijn er stimulansen ingebouwd om deze verplichtingen ook op overige algoritmen toe te gaan passen, zoals met behulp van gedragscodes.38 Ten tijde van het rekenkameronderzoek was de wetgevingsprocedure van de AIverordening nog in gang. Wij hebben de conceptversies van de Europese Commissie (april 2021), de Raad van Ministers (december 2022) en het Europees Parlement (juni 2023, eerste lezing) geanalyseerd om vast te stellen waar het aanvullingen met toegevoegde waarde biedt op het kader van de Algemene Rekenkamer en CODIO.39 Hieruit kwamen de volgende normen naar voren: Voor hoog risicovolle algoritmen:

• Verplichtingen ten aanzien van technische documentatie; • Transparantie en informatieverstrekking aan de gebruiker van het algoritme en verplichtingen van ambtelijke functionarissen die het algoritme gebruiken;

16

ALGORITMEN - ONDERZOEKSRAPPORT

• Het uitvoeren van effectbeoordelingen op het gebied van grondrechten x; • Menselijk toezicht op algoritmen; • Recht van getroffen personen op het ontvangen van een duidelijke en zinvolle toelichting bij besluiten.40 Voor overige algoritmen: • Het duidelijk aangegeven als er sprake is van interactie met een AI-systeem, bijvoorbeeld bij chatbots; • Overwegen om gedragscodes op te stellen voor andere algoritmen dan hoog risicoalgoritmen.41 Voor test(omgeving)en:

• Het monitoren van (test)resultaten met betrekking tot risico’s rondom de • • • • • •

verwerking van persoonsgegevens; Het voorkomen van besluiten op basis van data en algoritmen in testomgevingen; Het documenteren van het proces en de onderbouwing van het trainen, testen en valideren van het algoritme inclusief de testresultaten; Het vernietigen van data (uit de testomgeving) op de juiste momenten; Het publiceren van doelstellingen en verwachte resultaten van algoritmen in ontwikkeling; Het opstellen van (openbare) rapportages over de uitvoering binnen een testomgeving; Het opstellen van regels rondom het testen in reële omstandigheden.42

Paragraaf 2.2.4 bevat onze bevindingen over de vraag of het Amsterdamse beheerskader voldoet aan deze aanvullende normen uit de concept-AI-verordening.

1.5.4

Toets beheerskader Amsterdam door Tilburg University

Naast onze eigen toetsing hebben we het Amsterdamse beheerskader onafhankelijk laten toetsen door een team van vier wetenschappers van Tilburg Law School (Tilburg University). Daarvoor hebben we gevraagd of zij elk vanuit hun eigen achtergrond, kennis en kunde het beheerskader willen beoordelen. De wetenschappers hebben onder andere x Het betreft onder meer: het recht op menselijke waardigheid (artikel 1), de eerbiediging van het

privéleven en de bescherming van persoonsgegevens (artikelen 7 en 8), non-discriminatie (artikel 21) en gelijkheid van vrouwen en mannen (artikel 23), het recht van vrije meningsuiting (artikel 11) en de vrijheid van vergadering (artikel 12), het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, en het vermoeden van onschuld en rechten van de verdediging (artikelen 47 en 48), alsook het algemene beginsel van behoorlijk bestuur te beschermen, het recht van werknemers op rechtvaardige en billijke arbeidsomstandigheden en -voorwaarden (artikel 31), een hoog niveau van consumentenbescherming (artikel 28), de rechten van het kind (artikel 24) en de integratie van personen met een handicap (artikel 26). Het recht op een hoog niveau van milieubescherming en op verbetering van de kwaliteit van het milieu (artikel 37). Bron: Concept-AIverordening, versie van Europese Commissie van 21 april 2021, paragraaf 3.5.

17

REKENKAMER AMSTERDAM gebruikgemaakt van juridische inzichten die zijn ontleend aan het privacyrecht, de mensenrechten en het bestuursrecht, maar ook van ethische inzichten die soms verder gaan dan waartoe het geldende recht momenteel verplicht. Op 23 februari 2023 hebben wij het rapport Een onafhankelijke beoordeling van het Amsterdamse beheerskader voor algoritmen ontvangen. De bevindingen van de onderzoekers van Tilburg University hebben wij betrokken bij het opstellen van dit rapport (met name in paragrafen 2.2 en 2.8). De uitkomsten van het onderzoek van Tilburg University (23 februari 20213) zijn opgenomen als een afzonderlijke bijlage bij dit rapport en die is zelfstandig leesbaar. Oorspronkelijk waren wij voornemens om het rekenkamerrapport vóór het zomerreces 2023 openbaar te maken. Toen in mei 2023 bleek dat niet haalbaar was, hebben wij overwogen om het rapport van Tilburg University alvast in juni 2023 openbaar te maken, vooruitlopend op de openbaarmaking van ons rapport Algoritmen na het zomerreces van 2023. Dit met als doel dat het college van B en W de bevindingen uit het rapport van Tilburg University al in een vroegtijdig stadium zou kunnen betrekken bij de verdere ontwikkeling van het Amsterdamse beheerskader voor algoritmen (zie paragraaf 1.2.2).

Na overleg met de ambtelijke organisatie hebben wij ervan afgezien om het rapport van Tilburg University afzonderlijk openbaar te maken. De ambtelijke organisatie gaf er de voorkeur aan dat het rapport van Tilburg University gelijktijdig en als onderdeel van het rekenkamerrapport zou worden gepubliceerd, waarbij het college van B en W in de gelegenheid zou worden gesteld om ook bestuurlijk te reageren op het rapport van Tilburg University.

1.5.5

Toelichting bij casusselectie en aanpak casusonderzoek

Oorspronkelijk wilden we een selectie maken uit een populatie van algoritmen die het Amsterdamse gemeentebestuur toepast op basis van vooraf bepaalde selectiecriteria (zie onze onderzoeksopzet). Tijdens het onderzoek zijn we van deze aanpak afgestapt. We hebben hiervoor gekozen omdat we tijdens het onderzoek constateerden dat de ambtelijke organisatie te weinig algoritmen in beeld had om een selectielijst van algoritmen op te stellen. Het algoritmeregister was beperkt ingevuld. Daarnaast had de ambtelijke organisatie intern ook slechter zicht op algoritmen dan wij van tevoren hadden ingeschat. Zie in dit verband het kader Interne inventarisatie verloopt moeizaam in paragraaf 2.8.1, waarbij wij uiteenzetten hoe wij zelf hebben getracht om een overzicht van algoritmen op te stellen. Bovendien bleek bij navraag ook dat algoritmen die in het verleden werden ontwikkeld of gebruikt, op dat moment niet meer werden gebruikt en er ook geen plannen waren om deze in de toekomst verder te ontwikkelen of te gaan gebruiken. Het betrof hier decision support tool voor toegang tot de maatschappelijke opvang en beschermd wonen (ook bekend als zelfredzaamheidmatrix), waarbij de mate van zelfredzaamheid van een dak- of thuisloze wordt bepaald.

En het algoritme voor risicoprofilering voor kindermishandeling.43 Van het algoritme GALO, een algoritme dat adviseert over het te nemen besluit op de aanvraag levensonderhoud, gaf de ambtelijke organisatie eind 2022 aan dat dit zou worden uitgefaseerd en dat de aanbesteding voor een nieuw systeem zou lopen. De reden voor ons om het algoritme niet te selecteren. In september 2023 wordt

18

ALGORITMEN - ONDERZOEKSRAPPORT GALO nog gebruikt en wordt gezocht naar een alternatief onder de werktitel ‘Vaststelservices’.44 Tijdens het onderzoek hebben wij daarom gekozen voor een andere selectiemethode. Het eerste algoritme hebben burgers gekozen uit een door ons gemaakte voorselectie van vijf algoritmen.y Van de 509 stemmen kozen er 236 (46,4%) voor het algoritme Detectie illegale onderhuur.z45 Het tweede algoritme mocht de ambtelijke organisatie zelf selecteren. De ambtelijke organisatie heeft een voorkeur aangegeven voor selectie van een algoritme onder het programma Digitale Gracht. Wij hebben vervolgens daarbinnen het algoritme Detectie illegale passagiersvaart geselecteerd. Het derde algoritme, voor het behandelen van een Bbz-aanvraag (Gripvol) hebben we op eigen initiatief geselecteerd. Daarbij hebben we bewust gekozen voor een ander beleidsterrein dan de twee eerder geselecteerde algoritmen. Voor het casusonderzoek hebben we vragenlijsten uitgezet, ambtenaren geïnterviewd, de ontvangen reacties en achterliggende documenten beoordeeld en deze beoordeling besproken met de ambtelijke organisatie. De vragenlijst is door ons in een digitaal 'uitvraagformulier' gegoten. Hierin konden de betrokken functionarissen antwoord geven op onze vragen. Daarbij leverden de functionarissen afzonderlijk de documentatie ter onderbouwing van hun antwoorden.

Dit is een intensief proces geweest waarbij we de aangeleverde informatie meermaals beoordeeld hebben, gevolgd door een reactie van de betrokken ambtelijke teams die verantwoordelijk zijn voor de selectie of de ontwikkeling van het algoritme. Dat proces verliep als volgt: •

•

•

Het uitvraagformulier is eerst doorgenomen en besproken in een brede kennismakingsbijeenkomst tussen ons en het team van het betreffende algoritme. Daarnaast hebben we dit team gevraagd om te beschrijven welke lessen zij hadden getrokken uit het ontwikkelen of het selecteren en werken met het algoritme. Daarna had het team vier weken de tijd om het uitvraagformulier te voorzien van een reactie en het verzamelen van de documenten. Tussendoor was er ruimte voor het stellen van vragen aan ons over het uitvraagformulier en hebben we tussentijds korte feedback gegeven op de eerste schriftelijke reacties. Vervolgens is het ingevulde uitvraagformulier en de documentatie door ons beoordeeld en voorzien van een voorlopige beoordeling en van aanvullende vragen. Deze voorlopige beoordeling is besproken in een tweede gesprek met het team. Enkele

y Met een tweet voorzien van een filmpje riepen wij burgers op 20 oktober 2022 op om vóór 2

november 2022 hun stem uit te brengen op een van de volgende vijf algoritmen (percentage tussen de haken betreft de voorkeuren): 1) Opsporing van woonfraude (46,4%), 2) Berekening WOZwaarde (23,2%), 3) Parkeercontrole (3,9%), 4) Matching kind-basisschool (9,2%), en 5) Kans van slagen bezwaar (12,0 %). Ook konden burgers aangeven geen voorkeur te hebben (5,3%). Daarnaast is de enquête 61 keer geopend, waarbij geen stem is uitgebracht. z Onze enquête bevatte de vraag “Wilt u op de hoogte blijven van het onderzoek? Laat dan hier uw e-mailadres achter. Dan laten we het u weten als het rapport gereed is. Indien u niet geïnteresseerd bent, laat dan het invoerveld leeg en druk op “volgende”. 263 respondenten hebben een e-mailadres ingevuld.

19

REKENKAMER AMSTERDAM

•

•

•

dagen voor het gesprek is onze beoordeling toegestuurd aan het team. Van deze besprekingen zijn gespreksverslagen opgesteld, die terug zijn gelegd voor feitelijk wederhoor. Daaropvolgend kreeg het team twee à drie weken de tijd om het ingevulde uitvraagformulier te herzien of aan te vullen en hun antwoorden te voorzien van aanvullende documentatie. Daarna hebben we het herziene formulier en de aanvullende documentatie beoordeeld. Ook hebben we in deze fase een concept-oordeel gegeven over het thema ethiek. Het ambtelijk team ontving deze beoordeling een week voorafgaand aan de derde bespreking. Tijdens de bespreking heeft het team ons vragen gesteld over onze oordelen en heeft ons aanvullende informatie verstrekt. Ook na dit gesprek was het voor de teams mogelijk om aanvullende informatie aan ons aan te leveren. Van die mogelijkheid is gebruikgemaakt. Na afronding van de drie afzonderlijke beoordelingen, hebben we de drie beoordelingen vergeleken om na te gaan of de feiten op eenzelfde wijze waren beschreven en tot dezelfde oordelen leidden. Dit heeft geresulteerd in het bijstellen van een aantal oordelen en de toelichtingen daarop. De beoordelingen en detailbevindingen per algoritme zijn in bijlagen twee tot en met vier opgenomen.

De bevindingen van het casusonderzoek zijn door ons geanalyseerd op rode draden. Daarbij hebben we onderzocht wat er gemiddeld genomen 'goed' gaat en welke onderwerpen nog aandacht behoeven. In paragrafen 3.2 tot en met 3.6 lichten we dit nader toe. De voorlopige bevindingen die hieruit voortkwamen hebben we op 13 juni 2023 (vóór het moment van feitelijk wederhoor) met medewerkers van de drie teams en medewerkers van de directie DS&I in een groepsgesprek gedeeld en besproken. Daarbij hebben wij specifiek aandacht gehad voor enerzijds de vraag of de ambtelijke organisatie zich in de rode draden herkent. Anderzijds zijn wij met hen in gesprek gegaan over de vraag wat de gemeentelijke organisatie in de toekomst zou helpen bij het toepassen van algoritmen in de praktijk, gegeven onze rode draden. Van deze groepsbespreking is een gespreksverslag opgesteld dat terug is gelegd voor feitelijk wederhoor.

1.6 Leeswijzer Het volgende hoofdstuk richt zich op de toets van het Amsterdamse beheerskader voor algoritmen en de beantwoording van deelvraag 1. In hoofdstuk 3 behandelen we het casusonderzoek en beantwoorden we de deelvragen twee en drie. Overal waar we hij of zijn schrijven, bedoelen we álle mensen.

20

ALGORITMEN - ONDERZOEKSRAPPORT

Gedetailleerde onderzoeksbevindingen 2 Het Amsterdamse beheerskader voor algoritmen getoetst In dit hoofdstuk behandelen we de volgende deelvraag (deelvraag 1):

In hoeverre draagt het Amsterdamse beheerskader voor algoritmen bij aan de verantwoorde toepassing van algoritmen? Met het Amsterdamse beheerskader voor algoritmen wil het college van B en W meer grip krijgen op de gemeentelijke algoritmen, en deze algoritmen eerlijker en transparanter maken voor de inwoners van Amsterdam. Een goed beheerskader geeft richting aan en houvast bij de ondersteuning van de praktijk. Ze helpen om de kwaliteit te borgen, doelstellingen te formuleren en afspraken vast te leggen. Dit biedt als voordeel dat niet ieder(e) organisatie(onderdeel) steeds opnieuw het wiel hoeft uit te vinden. Een bruikbaar beheerskader biedt voldoende ruimte voor de werkelijkheid van de praktijk, omdat niet alle mogelijke situaties van tevoren te voorzien zijn. In die zin is een beheerskader begeleidend en faciliterend. Dat betekent overigens niet dat een beheerskader vrijblijvend is. Wel betekent het dat er gemotiveerd van het beheerskader kan worden afgeweken als het realiseren van de doelen daarom vraagt. Het Amsterdamse beheerskader voor algoritmen draagt in redelijke mate bij aan het verantwoord toepassen van algoritmen door de gemeente.

Met 'verantwoord toepassen' bedoelen we dat het college voldoende rekening houdt met risico's op de gebieden van ethiek, sturing en verantwoording, model en data, privacy en IT-beheer, wanneer het college de inzet van een algoritme overweegt, een algoritme ontwikkelt of een algoritme al in de praktijk toepast. Positief is dat het beheerskader al deels aansluit op de Europese concept-AI-verordening. Tegelijkertijd is het beheerskader in ontwikkeling. Om de waarde van het beheerskader voor de gemeente te vergroten, is verdere ontwikkeling nodig. Dit betekent dat de samenhang van de afzonderlijke instrumenten moet worden vergroot en dat de kwaliteit van de afzonderlijke instrumenten moet verbeteren. Ook moet duidelijk worden gemaakt welke doelen worden nagestreefd met het beheerskader. Op dit moment wijken doelen nog onderling van elkaar af. Aan de door ons onderzochte onderdelen van het kader is nog maar beperkt uitvoering gegeven. De waarde van het kader neemt toe als de bekendheid van het kader binnen de ambtelijke organisatie toeneemt, de praktische toepasbaarheid van het kader wordt vergroot, en de ambtelijke organisatie het kader meer gaat gebruiken. In de volgende paragrafen leest u de gedetailleerde bevindingen met betrekking tot de totstandkoming en samenhang van het Amsterdamse beheerskader voor algoritmen.

21

REKENKAMER AMSTERDAM Daarna volgt onze beoordeling over in hoeverre in het beheerskader aandacht is voor de thema's sturing en verantwoording, model en data, privacy, IT-beheer en ethiek (zie voor de samenvatting figuur 2.1; elk vakje in het figuur is een toetsingsonderdeel) en ons oordeel over de zeven instrumenten van het beheerskader. In de laatste paragraaf zetten we uiteen in hoeverre aangekondigde activiteiten en toegezegde documenten in het beheerskader zijn uitgevoerd respectievelijk zijn opgesteld in juni 2023.

Figuur 2.1 - Beoordeling verantwoorde toepassing Amsterdams beheerskader

2.1 Totstandkoming van het beheerskader Het is belangrijk om te vermelden dat het Amsterdamse beheerskader voor algoritmen in augustus 2023 nog in ontwikkeling is, en dat de bevindingen in dit hoofdstuk daarom in dat licht gelezen zouden moeten worden. Sinds het Coalitieakkoord 2018-2022, met daarin de ambitie om een Agenda Digitale Stad te formuleren,46 is de ambtelijke organisatie actief bezig met de vraag wat voor rol algoritmen, en in het bijzonder Artificiële Intelligentie (AI), zouden kunnen spelen in de gemeentelijke context bij het oplossen van problemen en vraagstukken.47 Uit figuur 2.2 blijkt dat het aantal nieuwsartikelen tot en met 2022 groeit op openresearch.amsterdam (online platform van de gemeente) en Tamtam (interne sociale mediakanaal van de gemeente).