03 Onderzoeksrapport Algoritmen DEF

• • • • • • •

systemen en wijzigingen (‘logging’) [4.01]; het inrichten en bijhouden van logische toegangsbeveiliging en het bijhouden van toegangsrechten tot algoritmen en de bijbehorende IT-omgeving [4.02, 4.03, 4.04, 4.07, 4.09]; het voorkomen van functievermenging [4.05]; het beperken van het aantal (generieke) beheeraccounts [4.06]; het gebruikmaken van standaard naamgevingsconventies en systematiek bij het inrichten van toegangsrechten [4.07]; het voorkomen van ongeautoriseerde toegang [4.08]; de volwassenheid van het wachtwoordbeheer [4.10]; het op een gecontroleerde wijze uitvoeren van wijzigingen in de code van het algoritme [4.11]; het ontwikkelen van algoritmen en processen volgens het principe 'security by design' [4.14].

Daarmee is er voldoende aandacht voor dertien van de veertien toetsingsonderdelen binnen het thema IT-beheer. In het beheerskader wordt niet expliciet benoemd wie er primair verantwoordelijk is voor het maken en het beheer van back-ups.ss Hierdoor kan onduidelijkheid ontstaan over wie er verantwoordelijk is, waardoor het risico toeneemt dat back-ups niet gemaakt worden. Ook valt op dat er in de Contractbepalingen in aanvulling op de GIBIT voor het rechtvaardig gebruik van Algoritmische toepassingen weinig aandacht is voor het (laten) nemen van ITbeheersmaatregelen bij aanbestedingen. Hierdoor kan adequaat IT-beheer bij aanbesteding potentieel in gevaar raken. De Gemeentelijke inkoopvoorwaarden bij IT (GIBIT) hebben echter wel aandacht voor het nemen van IT-beheersmaatregelen bij aanbestedingen.138

2.7 Aandacht voor ethiek Het laatste perspectief, 'ethiek', is verweven in de vier eerder besproken thema's van sturing en verantwoording, model en data, privacy en IT-beheer (paragrafen 2.3 tot en met 2.6). De beoordeling van ethiek is gebaseerd op onze toetsing van de vier genoemde thema's.

ss Wel blijkt uit het kader dat de security officer de taak heeft om te toetsen of er back-ups van het

algoritme worden gemaakt en of de data hersteld kunnen worden.

45

REKENKAMER AMSTERDAM Het begrip ethiek omschrijven wij als het kritisch nadenken over wat (moreel)tt goed is om te doen. In dit onderzoek hebben we ons gericht op de vier ethische perspectieven (en zeven ethische principes) zoals voorgesteld door de Algemene Rekenkameruu: 1. Respect voor menselijke autonomie: 1.1. De beslissingen die gemaakt zijn door het algoritme zijn te controleren door menselijke tussenkomst. 2. Voorkomen van schade: 2.1. Het algoritme is veilig en doet altijd waarvan het gemaakt is; 2.2. Privacy is gewaarborgd en data zijn beschermd. 3. Fairness (een eerlijk algoritme): 3.1. Het algoritme houdt rekening met diversiteit in de populatie; 3.2. Er is bij de ontwikkeling van het algoritme rekening gehouden met impact op maatschappij en milieu. 4. Verklaarbaarheid en transparantie: 4.1. Er kan verantwoording worden afgelegd over gevolgde procedures (procedureel); 4.2. De werking van het algoritme is te verklaren en uit te leggen (technisch).139 We hebben onderzocht in hoeverre het Amsterdamse beheerskader aandacht heeft voor deze ethische perspectieven. Hieronder zullen we de vier perspectieven apart langslopen en onze bevindingen uiteenzetten.

2.7.1

Respect voor menselijke autonomie: voldoende aandacht

Wat houdt het ethische perspectief in? Algoritmen die zelfstandig besluiten nemen op basis van een geautomatiseerd proces vormen een risico voor burgers. Belangrijk is daarom dat beslissingen die (mede) door algoritmen worden genomen, te controleren zijn door menselijke tussenkomst. Dit houdt in dat er sprake moet zijn van menselijke controle en toezicht op het algoritme en dat menselijke review in ieder geval achteraf (als een besluit is genomen) mogelijk is.140 Geautomatiseerde besluitvorming is alleen onder voorwaarden toegestaan. In artikel 22 van de Algemene Verordening Gegevensbescherming (AVG) is namelijk opgenomen dat

tt Moraal is het geheel van morele normen en waarden dat door een individu of binnen een groep,

instelling of samenleving als een belangrijke richtlijn voor het eigen handelen wordt beschouwd. Bron: Ministerie EZLI, Ethiek in beleid: waarden wegen met gevoel en verstand, februari 2011. uu In de versie van de concept-AI-verordening die het Europees Parlement in eerste lezing heeft aangenomen (juni 2023) zijn algemene beginselen toegevoegd. Deze algemene beginselen komen overeen met de ethische perspectieven en onderliggende principes van de Algemene Rekenkamer. Het gaat om: 1) invloed en toezicht door mensen; 2) technische robuustheid en veiligheid; 3) privacy en databeheer; 4) diversiteit, non-discriminatie en billijkheid; 5) sociaal en ecologisch welzijn en 6) transparantie. Bron: Europees Parlement, De wet op de artificiële intelligentie Amendementen van het Europees Parlement aangenomen op 14 juni 2023 op het voorstel voor een verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de Unie, art 4 bis (amendement 213).

46

ALGORITMEN - ONDERZOEKSRAPPORT - wanneer er persoonsgegevens worden verwerkt - betrokkenen het recht hebben om niet onderworpen te worden aan geautomatiseerde besluitvorming.141 Artikel 40 van de Uitvoeringswet AVG heeft verder een ruime uitzonderingsgrond gecreëerd voor volledige geautomatiseerde besluitvorming, mits er aan voorwaarden is voldaan. Belangrijk daarbij zijn: het voldoen aan transparantieverplichtingen (zie kader Relatie tussen ‘respect voor menselijke autonomie’ en ‘transparantie’) en het waarborgen van het recht van burgers om een besluit aan te kunnen vechten.142 Relatie tussen ‘respect voor menselijke autonomie’ en ‘transparantie’ Om transparant te zijn richting betrokken burgers over het algoritme en de verwerking van persoonsgegevens daarbij, moeten onder andere de toepassing, werking, gebruikte data en de gevolgen en beperkingen van het algoritme voldoende inzichtelijk zijn voor betrokken burgers. Transparantie draagt eraan bij dat burgers de mogelijke negatieve gevolgen in beeld krijgen en daar waar nodig actie tegen kunnen ondernemen.143 De mogelijkheid van betrokkenen om het besluit achteraf te kunnen controleren en aan te vechten, is andersom ook weer een vorm van menselijke tussenkomst.

In hoeverre er in het Amsterdamse beheerskader aandacht is voor transparantie richting betrokkenen, wordt uitgebreid besproken bij het vierde ethische perspectief Verklaarbaarheid en transparantie (zie paragraaf 2.7.4). Beoordeling Uit het beheerskader blijkt dat het ontwikkelteam en de privacy officer moeten toetsen of het algoritme voldoet aan de geldende wet- en regelgeving rondom geautomatiseerde besluitvorming. Wanneer er sprake is van geautomatiseerde besluitvorming, moet de privacy officer verder nagaan of er documentatie aanwezig is waarin staat waarom het is toegestaan en moet hij een vastgestelde en met de betrokkene gecommuniceerde procedure hanteren.144 Wordt een algoritme ingekocht, dan gelden de Modelbepalingen voor gemeenten voor verantwoord gebruik van Algoritmische toepassingen. Hierin is eveneens opgenomen dat het algoritme in overeenstemming moet zijn met de wet- en regelgeving, waaronder rondom geautomatiseerde besluitvorming. Er wordt aangesloten bij artikel 22 van de AVG, wat betekent dat wanneer het ingekochte algoritme persoonsgegevens verwerkt, geautomatiseerde besluitvorming slechts onder voorwaarden is toegestaan.

Bovendien kunnen de modelbepalingen ook van toepassing worden verklaard op ingekochte algoritmen die impact hebben op een groep personen, zonder dat daarbij persoonsgegevens worden verwerkt.145 Daarnaast moet zowel bij hoog risicovolle algoritmen als bij inkoop worden vastgelegd op welke wijze in menselijke tussenkomst is voorzien. Ook zou in het algoritmeregister informatie over de menselijke tussenkomst moeten worden opgenomen.146 Conclusie Er is voldoende aandacht voor het respecteren van de menselijke autonomie in het

47

REKENKAMER AMSTERDAM beheerskader met 1) toetsingen of er voldaan is aan de geldende wet- regelgeving rondom geautomatiseerde besluitvorming, en 2) het vastleggen van de wijze waarop is voorzien in menselijke tussenkomst (minder risicovolle algoritmen zijn daarbij wel een aandachtspunt).

2.7.2

Voorkomen van schade: voldoende aandacht

Wat houdt het ethische perspectief in? Voor het voorkomen van schade moet volgens het toetsingskader van de Algemene Rekenkamer enerzijds het algoritme veilig zijn en altijd doen waarvoor het gemaakt is en anderzijds de privacy gewaarborgd en de data beschermd zijn.147 Wij zien hierin drie onderdelen terugkomen. Ten eerste een blijvende goede werking. Daarvoor moeten het algoritme en de bijbehorende data van goede kwaliteit zijn en in lijn zijn met het doel. Bovendien moeten er mogelijkheden zijn ingebouwd om te kunnen volgen of het algoritme ook goed blijft werken en om indien nodig in te kunnen grijpen. Ten tweede is voor zowel de veiligheid van het algoritme als de bescherming van de bijbehorende data een goede informatiebeveiliging vereist. Deze informatiebeveiliging moet zorgen voor weerbaarheid tegen manipulatie en cyberaanvallen en voorkomen dat er geen onrechtmatige toegang plaatsvindt. Wijziging, beschadiging of verlies van data kunnen namelijk grote gevolgen hebben voor burgers en bedrijven. Ten derde moet om de privacy van burgers te beschermen, ook aan verschillende wettelijke verplichtingen uit de AVG worden voldaan.148 Beoordeling We zien dat er in het beheerskader voldoende aandacht is voor een blijvende goede werking van het algoritme; ook bij inkoop is dat het geval.

Zo dragen prestatie- en kwaliteitscriteria, technische documentatie over de kwaliteit en betrouwbaarheid van het model en verschillende controles - bijvoorbeeld op de technische kwaliteit, betrouwbaarheid en de juistheid/volledigheid van de verwerking - bij aan een technisch robuust, betrouwbaar en nauwkeurig algoritme. Voor een hoge datakwaliteit moet onder andere het gebruik van data in overeenstemming zijn met de passende praktijken voor databeheer uit de Europese concept-AI-verordening (relevant, representatief, juist en volledig). Tijdens de levensduur van het algoritme is de functioneel beheerder verantwoordelijk voor beheer en onderhoud. Er moet ook een proces worden ingericht om de prestaties en kwaliteit te kunnen monitoren, maar expliciete regels over de inhoud en frequentie ontbreken nog. Verder is er aandacht voor mogelijkheden tot ingrijpen met een evaluatie bij afwijkingen en het bepalen van beheersmaatregelen rondom de omgang met fouten en de aanwezigheid van een stopknop. De opdrachtgever (directeur of dagelijks bestuurder) is verder eindverantwoordelijk voor de betrouwbaarheid van het algoritme en daarmee onzes inziens ook wanneer er fouten optreden.

Een algemeen aandachtspunt is wel dat verschillende zaken alleen voor hoog risico-algoritmen goed zijn geborgd, zoals de documentatie en controles rondom de technische kwaliteit en betrouwbaarheid, evenals het beschrijven van maatregelen om onjuiste data te voorkomen.149

48

ALGORITMEN - ONDERZOEKSRAPPORT De informatiebeveiliging wordt met het beheerskader over het algemeen ook voldoende geborgd met 'security by design' en allerhande maatregelen rondom toegangsrechten. Aandachtspunten zijn wel de controle op het up-to-date houden van toegangsrechten, logging van minder risicovolle algoritmen en de verantwoordelijkheid voor het maken van back-ups (zie verder paragraaf 2.4).150 In paragraaf 2.5 beoordeelden we dat het beheerskader in zijn algemeenheid aandacht heeft voor privacy. Er wordt voldaan aan verschillende wettelijke verplichtingen uit de AVG, maar er zijn ook nog tekortkomingen. Zo vraagt het beheerskader bijvoorbeeld niet expliciet om af te wegen of de verdere verwerking van persoonsgegevens, na een initiële verwerking, nog steeds verenigbaar is met het oorspronkelijke doel van de gegevensverwerking. Verder zou in de dataminimalisatie-toets naast de proportionaliteit ook de subsidiariteit moeten worden meegenomen.151 Ook zien we dat de communicatie richting betrokkenen nog meer uitgewerkt kan worden. Bijvoorbeeld het proactief, gericht informeren van de betrokkenen voorafgaand aan de besluitvorming en het informeren van diegenen die niet direct onderworpen zijn aan een besluit, maar wiens persoonsgegevens wel verwerkt worden.

Daarnaast is de toelichting op het gebruik en de werking van het algoritme, waaronder de gebruikte gegevens, nu nog vooral uitgewerkt voor de bezwaarfase en niet zozeer voor primaire besluiten (zie ook paragraaf 2.7.4).152 Conclusie Onze conclusie is dat er voldoende aandacht is voor het voorkomen van schade. Een blijvende goede werking en de veiligheid van het algoritme evenals de bescherming van de bijbehorende data en privacy van de betrokkenen zijn redelijk goed geborgd in het beheerskader. Het beheerskader heeft aandacht voor de kwaliteit van het model en data, monitoring, informatiebeveiliging en de wettelijke verplichtingen uit de AVG. Een algemeen aandachtspunt is dat deze conclusie in mindere mate geldt voor niet-hoog risicoalgoritmen, terwijl het ook voor dergelijke algoritmen belangrijk is om schade zoveel mogelijk te voorkomen. Ook zijn er meer specifieke aandachtspunten, zoals de uitwerking van de monitoring (blijvende goede werking algoritme), de verantwoordelijkheden rondom het up-to-date houden van toegangsrechten en het maken van back-ups (informatiebeveiliging), en bij de verwerking van persoonsgegevens zou meer aandacht mogen zijn voor subsidiariteit, de verdere verwerking na het initiële gebruik en proactieve en gerichte communicatie richting betrokkenen (privacy).

2.7.3

Fairness (een eerlijk algoritme): beperkte aandacht

Wat houdt ethisch perspectief in? Tilburg University constateert dat algoritmische besluitvorming systemische en op institutioneel niveau ingebedde ongelijkwaardigheid vergroot, aangezien algoritmen bestaande sociaaleconomische ongelijkheden in de samenleving kunnen reproduceren of zelfs versterken.153 Wanneer een algoritme dergelijke systematische afwijkingen voor specifieke groepen of personen creëert of versterkt, kan dat voor diegenen grote gevolgen hebben. Een ‘eerlijk algoritme’ moet daarom rekening houden met de diversiteit in de populatie. Daartoe moeten de data representatief zijn, bias in het model en data moeten

49

REKENKAMER AMSTERDAM worden geminimaliseerd en extra aandacht moet worden geschonken aan kwetsbare groepen. Daarnaast moeten stakeholders en eindgebruikers regelmatig betrokken worden bij de ontwikkeling van een algoritme. Een te eenzijdige inbreng kan namelijk ook leiden tot bias, evenals fouten.154 Een ‘eerlijk algoritme’ houdt verder rekening met de impact op maatschappij en milieu. Dit houdt in dat bij de ontwikkeling een impact assessment plaatsvindt over de sociale gevolgen en er rekening wordt gehouden met de impact op de samenleving en democratie.155 Beoordeling Wat betreft het voorkomen van bias moet volgens het beheerskader onder andere 1) een toets op aanwezige bias in het model en de data plaatsvinden, 2) voor hoog risicoalgoritmen maatregelen ter voorkoming van sociaal geconstrueerde vertekening en bias in de data worden beschreven, en 3) het gebruik van data in overeenstemming zijn met de passende prakijken voor databeheer uit de Europese concept-AI-verordening, waar representativiteit onderdeel van is.156 Ook in de modelbepalingen voor inkoop is opgenomen dat de leveranciers sociaal geconstrueerde vertekening en bias in de data zoveel mogelijk moeten voorkomen en een risicostrategie moeten hanteren waarbij risico’s op discriminatie worden gesignaleerd.157 Wat betreft de toetsing op bias, is binnen het gemeentelijke Kunstmatige Intelligentie Impact Assessment een

bias-analysemodel ontwikkeld. Het bevat een stappenplan, dat uitmondt in een rapportage over de gevonden biases en eventueel genomen maatregelen.158 Dit gemeentelijke kader bevat een vraag (7.7) over de kwetsbare positie van een betrokkene ten opzichte van de gebruiker van een algoritme.159 Zoals uit paragrafen 2.8.5 en 2.8.6 blijkt, is het echter onduidelijk of dit bias-analysemodel verplicht of vrijwillig is en in welke fasen en op welke algoritmen het precies van toepassing is. Verder wordt er gevraagd om verschillende stakeholders inclusief de eindgebruikers te betrekken in het ontwikkelproces, maar het gaat daarbij wel meer om verschillende deskundigen en niet zozeer om burgers en bedrijven. 160 Ook het bias-analysemodel geeft geen duidelijkheid over het betrekken van belanghebbenden. Het betrekken van belanghebbenden kan langs verschillende lijnen vorm krijgen. In sommige gevallen zal een algemeen burgerpanel uitkomst kunnen bieden, maar in andere gevallen zal er juist voor moeten worden gezorgd dat (vertegenwoordigers van) betrokken doelgroepen specifiek een stem krijgen.161 In het beheerskader is in beperkte mate aandacht voor het in kaart brengen van de maatschappelijke impact van een algoritme. Zo zijn de directeuren respectievelijk de dagelijkse bestuurders verantwoordelijk voor het toetsen van de impact van beoogde algoritmen bij bewoners en ondernemers.

Daarnaast moeten door middel van een gemeentelijke Kunstmatige Intelligentie Impact Assessment (zie paragraaf 2.8.5) risico's in kaart worden gebracht inclusief de gevolgen voor de mensenrechten en de afweging van ethische principes. Deze Kunstmatige Intelligentie Impact Assessment bevat echter relatief

50

ALGORITMEN - ONDERZOEKSRAPPORT weinig vragen over de sociale gevolgen of de impact op de samenleving en democratie (met name in het onderdeel ‘Wettige en ethische toepassing’). De landelijke Impact Assessment Mensenrechten en Algoritmes (IAMA) bevat dergelijke vragen in meerdere mate, maar deze impactanalyse was ten tijde van het rekenkameronderzoek nog op vrijwillige basis.vv Aandacht voor de impact op het milieu zijn we niet tegengekomen in het Amsterdamse beheerskader.162 Conclusie Het beheerskader heeft beperkt aandacht voor fairness. Om bias tegen te gaan, zijn er in het beheerskader wel verschillende waarborgen ingebouwd voor representatieve data en het voorkomen van bias in het model en de data. Tegelijkertijd is er daarbij nog nauwelijks expliciete aandacht voor kwetsbare groepen en het betrekken van belanghebbenden. Daarnaast is er voor de impact op maatschappij en milieu weinig aandacht in de Kunstmatige Intelligentie Impact Assessment. Deze gemeentelijke impact assessment (inclusief bias-analyse) evenals de landelijke mensenrechten impact assessment (IAMA) werden door de ambtelijke organisatie ten tijde van het rekenkameronderzoek bovendien alleen nog op vrijwillige basis toegepast. Ook bij dit ethische perspectief constateren we dat sommige waarborgen alleen voor hoog risico-algoritmen expliciet worden genoemd.

2.7.4

Verklaarbaarheid en transparantie: voldoende aandacht

Wat houdt het ethische perspectief in? Er zijn volgens de Algemene Rekenkamer twee soorten transparantie als het gaat om algoritmen: technische en procedurele transparantie. Technische transparantie houdt in dat eigenaren van een algoritme de werking ervan moeten kunnen uitleggen aan de betrokkenen. Het gaat er hier om dat er inzicht is in de (technische) werking van het algoritme evenals of en wanneer het algoritme goed en in lijn met het doel functioneert. Bij procedurele transparantie gaat het erom dat eigenaren van een algoritme verantwoording moeten afleggen over de gevolgde procedures bij de totstandkoming en de uitkomsten van het algoritme. Het gaat met name om het documenteren van allerhande zaken, zoals het ontwerp van het model, de data(verwerking), de risicobeheersing en gemaakte keuzes en afwegingen.163 Beoordeling In het algemeen is er voldoende aandacht voor de technische transparantie in het beheerskader, dat geldt ook voor de modelbepalingen voor inkoop. Volgens het beheerskader moet voor alle betrokkenen documentatie beschikbaar zijn over het doel en vv Uit verschillende raadsstukken blijkt dat het de bedoeling is om het IAMA standaard te gaan

toepassen (Wethouder ICT en Digitale Stad, Raadsinformatiebrief: Toezeggingen over algoritmen tijdens commissievergaderingen in het derde kwartaal 2022, 25 januari 2023; Waarnemend portefeuillehouder Digitale Stad en ICT, namens het college, Raadsinformatiebrief: Afdoening toezegging over het algoritmeregister uit de commissievergadering FKD van 9 maart 2023, 28 maart 2023; Gemeente Amsterdam, Grip op Technologie Ethische toetsing technologische toepassingen: evaluatie en verbetervoorstellen, Versie 1.0, 20 juni 2023, p. 9.)

51

REKENKAMER AMSTERDAM elk algoritme moet vergezeld gaan van een goede gebruiksinstructie. Ook moet het ontwikkelteam een toets uitvoeren op de uitlegbaarheid van het algoritme. Verder is er - in ieder geval expliciet voor hoog risico-algoritmen - aandacht voor technische documentatie (waaronder de kwaliteit van het model), technische kwaliteitscontroles en het monitoren van de prestaties en kwaliteit.164 Hiermee zijn in het beheerskader waarborgen ingebouwd voor inzicht in wat het doel is, hoe het algoritme in technische zin werkt, hoe het algoritme besluiten neemt, onder welke voorwaarden het algoritme goed functioneert, wanneer het algoritme accuraat werkt en wat de prestaties zijn.165 Eveneens is aan de procedurele transparantie - ook bij inkoop - over het algemeen voldoende aandacht besteed, maar er zijn tegelijkertijd nog enkele tekortkomingen. Ten eerste is niet expliciet benoemd dat elke fase van 'het levenscyclusmodel' gedocumenteerd moet worden, wat ten koste gaat van de reproduceerbaarheid van het algoritme. Ten tweede is de procedurele transparantie wederom met name voor algoritmen met hoge risico's geborgd. Hiervoor wordt expliciet gevraagd om keuzes en aannames die zijn gemaakt gedurende de levenscyclus te documenteren.

Hoewel bij nieuwe algoritmen of (grote) wijzigingen in bestaande algoritmen risicoanalyses moeten worden vastgelegd, wordt daarentegen alleen voor hoog risicovolle algoritmen expliciet gevraagd om ook de beheersmaatregelen vast te leggen. Hetzelfde geldt voor de documentatie van technische specificaties, waaronder de kwaliteit van het model en de gebruikte datacategorieën data.ww Documentatie over het verkrijgen en bewerken van data is alleen in de koopvoorwaarden expliciet geregeld. En afspraken over het documenteren van de trainen testfase zijn nog niet expliciet benoemd in het beheerskader.166 De Algemene Rekenkamer stelt dat om te bepalen welke mate van transparantie nodig is, er ook rekening moet worden gehouden met de doelgroep.167 Uit het toetsingskader van de Algemene Rekenkamer blijkt echter niet op wie de gewenste technische en procedurele transparantie gericht is. Zijn dit de interne stakeholders, de externe belanghebbenden of beide groepen? In het kader Transparantie voor verschillende doelgroepen, bespreken we per doelgroep de informatiebehoefte en de gevolgen van te weinig transparantie.

Transparantie voor verschillende doelgroepen Een gebrek aan transparantie richting interne stakeholders, zoals opdrachtgevers en gebruikers, kan onder andere de sturing, beheersing en continuïteit in gevaar brengen en ervoor zorgen dat gebruikers de uitkomsten onjuist interpreteren en toepassen. Externe belanghebbenden, zoals burgers, bedrijven en belangengroepen, hebben meestal minder behoefte aan (technische) details. Uit onderzoek blijkt dat burgers vooral behoefte hebben aan informatie over privacy, menselijke controle en de reden waarom het algoritme is ingezet. Onvoldoende transparantie richting externe belanghebbenden kan tot gevolg hebben dat voor hen niet duidelijk is dat ze te maken hebben met een algoritme en welke consequenties en beperkingen dat heeft. Een slechte

ww Indien het algoritme persoonsgegevens verwerkt, dienen deze gegevens beschreven te worden

in de DPIA en het verwerkingsregister.

52

ALGORITMEN - ONDERZOEKSRAPPORT uitlegbaarheid van algoritmen en te weinig transparantie kunnen er verder toe leiden dat besluiten onvoldoende gemotiveerd zijn en betrokkenen belangrijke informatie missen voor een eventuele bezwaar- en beroepsfase. Bronnen: Algemene rekenkamer, Toetsingskader algoritmes v1.0, ethische principes, ongedateerd; Algemene Rekenkamer, Algoritmes getoetst, 18 mei 2022, pp. 29-32; Concept-AI-verordening, artikel 13 (versie april 2021). Het beheerskader heeft aandacht voor openbaarheid. De directeur, respectievelijk de dagelijks bestuurder, moet volgens het beheerskader een expliciete afweging maken over de openbaarheid van informatie richting burgers. De informatiecommissaris is verantwoordelijk voor het interne toezicht op het 'openbaar tenzij principe'. Dit principe houdt in dat het model (code en werking) en de data in principe openbaar zijn. Daarnaast heeft de gemeente het algoritmeregister ontwikkeld. Het register zou een overzicht moeten geven van de algoritmen die de gemeente Amsterdam gebruikt bij ‘gemeentelijke dienstverlening’ en waarvoor ze worden ingezet, hoe ze werken en hoe de risico’s worden beperkt et cetera (zie paragraaf 2.8.1 kader Welke informatie is te vinden in het algoritmeregister?).168 Tegelijkertijd zou er nog meer aandacht voor proactieve en gerichte communicatie kunnen zijn.

De directeuren, respectievelijk dagelijks besturen, van de stadsdelen moeten al een besluit nemen of actieve communicatie richting burgers en bedrijven nodig is, maar wederom alleen voor hoog risico-algoritmen. De ambtelijke organisatie geeft aan dat de directeuren en dagelijks besturen ook besluiten nemen over laag-risico algoritmen.169 De rekenkamer heeft geen documenten ontvangen ter onderbouwing van dit standpunt en heeft dit dus niet zelf kunnen vaststellen. Verder is er nog geen expliciete aandacht voor het communiceren over de gevolgen en beperkingen van de toepassing van algoritmen. De toelichting in primaire besluiten over het gebruik en de werking van het algoritme kan bovendien nog verder worden uitgewerkt, waaronder afspraken over het opnemen van gebruikte gegevens, keuzes en aannames, zoals de AERUS-uitspraak voorschrijft. Een uitgebreidere toelichting wordt nu pas voorgeschreven in de handleiding voor de bezwaarfase. Wanneer het primaire besluit in de eerste plaats echter onvoldoende is toegelicht, missen betrokkenen essentiële informatie om hiertegen op te komen in bezwaar gevolgd beroep (zie ook paragraaf 2.8.4).170 Conclusie Het beheerskader heeft voldoende aandacht voor het ethisch perspectief van verklaarbaarheid en transparantie. Aan hoog risico-algoritmen worden meer transparantie-eisen gesteld dan aan minder risicovolle algoritmen.

Andere aandachtspunten zijn enerzijds het documenteren van alle fasen in het levenscyclusmodel, waaronder het verkrijgen, bewerken, trainen en testen van data. En anderzijds meer proactieve en gerichte communicatie richting belanghebbenden en het beter toelichten van primaire besluiten waarbij het algoritme een rol heeft gespeeld.

53

REKENKAMER AMSTERDAM

2.8 Kwaliteit van de instrumenten in het beheerskader Op ons verzoek hebben de onderzoekers van de Tilburg Law School (Tilburg University) een onafhankelijke beoordeling gemaakt van het Amsterdamse beheerskader van algoritmen. We hebben op 23 februari 2023 het rapport ontvangen. Het rapport is zelfstandig leesbaar (zie bijlage 6). Deze paragraaf licht een aantal hoofdlijnen uit de onafhankelijke beoordeling, aangevuld met onze eigen bevindingen over de kwaliteit van de instrumenten in het beheerskader.

2.8.1

Algoritmeregister positief voor transparantie, doelen beperkt bereikt

Het algoritmeregister van de gemeente Amsterdam is sinds 28 september 2020 online. Het algoritmeregister is eind juni 2023 nog in ontwikkeling, zoals ook wordt gecommuniceerd op de website. Het algoritmeregister betreft een publiek toegankelijke website (algoritmeregister.amsterdam.nl) waarop een overzicht wordt gegeven van de algoritmen die de gemeente Amsterdam gebruikt bij ‘gemeentelijke dienstverlening’, waarvoor ze worden ingezet en hoe ze werken (zie kader Welke informatie is te vinden in het algoritmeregister?). Welke informatie is te vinden in het algoritmeregister? Het algoritmeregister bevat per proces: 1) algemene informatie over het doel waarvoor en de context waarbinnen algoritmen worden ingezet, 2) contactgegevens, en 3) gedetailleerde informatie over de systemen. Die gedetailleerde informatie is onderverdeeld naar (a) datasets, (b) gegevensverwerking, (c) non-discriminatie, (d) menselijk toezicht en (e) risicobeheer. In het register wordt niet ieder algoritme of systeem individueel geregistreerd, maar wordt de informatie over het gebruik van algoritmen verzameld op het niveau van de beleidsdoelstelling (bijvoorbeeld ‘parkeercontrole’). Positief aan het algoritmeregister is dat per algoritme eerst het doel en de context worden beschreven waarvoor respectievelijk waarbinnen het algoritme wordt ingezet.

Verder is positief dat de informatie die over de verschillende algoritmen wordt gepresenteerd, steeds in dezelfde categorieën wordt aangeboden. Het algoritmeregister kent drie doelen In de eerste plaats is het register bedoeld om transparantie te bieden aan burgers over het gebruik van algoritmen. Ten tweede dient het register om de participatie van burgers te bevorderen door het delen van informatie over algoritmen. Ten derde kan het register ook een interne functie vervullen in het ontwikkelproces van algoritmen, door ontwikkelaars en ambtenaren kaders te bieden voor goed bestuur, zoals het bieden van adequate transparantie.171

54

ALGORITMEN - ONDERZOEKSRAPPORT Het algoritmeregister biedt mogelijkheid voor wettelijke transparantievereisten Het Amsterdamse algoritmeregister levert een positieve bijdrage aan het gebruik en de toepassing van algoritmen in Amsterdam. Het is een instrument waarmee het college zou kunnen voldoen aan haar informatieverplichtingen over algoritmen die volgen uit de Algemene Verordening Gegevensbescherming (AVG) en het bestuursrecht.172 De AVG vereist bijvoorbeeld dat mensen op de hoogte worden gesteld van geautomatiseerde besluitvorming en nuttige informatie krijgen over de logica, het belang en de gevolgen van die verwerking.173 Maar ook buiten de context van persoonsgegevens moeten overheidsinstanties volledig en tijdig openbaar maken welke keuzes, gegevens en aannames worden gebruikt bij geautomatiseerde besluitvorming, zodat keuzes, gegevens en aannames duidelijk voor belanghebbenden te vinden zijn.174 Ook is het positief dat het register in het Engels beschikbaar is voor inwoners die de Nederlandse taal niet machtig zijn.175 Directeuren en dagelijkse besturen verantwoordelijk voor inhoud algoritmeregister Het is de verantwoordelijkheid van de directeur of het dagelijks bestuur van het stadsdeel om ervoor te zorgen dat een algoritme in het register wordt opgenomen en dat de informatie in het register actueel blijft en inhoudelijk juist is.176 Om dat laatste te

bewerkstelligen, wordt de verantwoordelijke directeur gevraagd om voorafgaand aan de publicatie van de tekst in het algoritmeregister de tekst te accorderen.xx Van alle (twaalf) algoritmen die eind juni 2023 in het algoritmeregister staan, is de tekst door de verantwoordelijke directeur geaccordeerd.177 De informatiewaarde van het algoritmeregister is wisselend De informatiewaarde van het register is wisselend en qua diepgang zeer divers.178 Zo bevat de pagina van het algoritme Onderzoekswaardigheid ‘Slimme check’ de achterliggende documentatie van het algoritme, bestaande uit een architectuurnotitie, technische documentatie, de Kunstmatige Intelligentie Impact Assessment en een bias-analyse. Op de pagina van Geautomatiseerde handhaving Milieuzones - die vier verschillende algoritmen bespreekt - zijn wel alle velden met een beschrijving gevuld, maar wordt alleen onder het kopje ‘Architectuur’ een brondocument (visualisatie van de architectuur) getoond. Het algoritme Optimalisatie routeplanning afval, dat overigens inmiddels (juni 2023) niet meer in gebruik is, bevat alleen een tekst en geen onderliggende elementen. Er is voor de bezoeker geen houvast voor waarom er in het ene geval wel bepaalde informatie wordt verstrekt en in het andere geval niet. Zo bevatten registraties soms wel een privacyverklaring en soms niet. Het algoritmeregister bevat doorgaans geen broncode.

In twee gevallen is deze wel beschikbaar via een link naar GitHub (een online platform voor softwareontwikkeling en versiebeheer). Het college is van plan om voor alle algoritmen die

xx Van de volgende algoritmen hebben wij de accordering door de directeuren ontvangen:

Adviestool Gripvol ; Public Eye; Druktebeeld (NL); Vroeg Eropaf; Top400/600; Waarderen WOZobjecten Amsterdam; Map it out; Handhaving Illegale Vakantieverhuur; Onderzoekswaardigheid ‘Slimme check’; Parkeercontrole; Meldingen Openbare Ruimte en Beeldherkenning reclamebelasting.

55

REKENKAMER AMSTERDAM door de gemeente zelf zijn ontwikkeld de broncode openbaar te publiceren via links in het algoritmeregister naar GitHub.179 Ook bevat het register geen informatie over de vraag of de inzet van een algoritme überhaupt gerechtvaardigd is.180 Evenmin bevat het register informatie over hoe bij de ontwikkeling van een algoritme sprake is geweest van participatie van burgers en betrokken doelgroepen, en de resultaten hiervan.181 Daarnaast wordt onderliggende documentatie niet standaard in het register openbaar gemaakt.182 Tot slot is onduidelijk of bepaalde (onderdelen van) algoritmen niet zijn beschreven, omdat deze niet openbaar of vertrouwelijk zijn (op grond van de Woo). Als het doel van het register is om burgers meer inzicht te geven in het gebruik van een algoritme, dan ligt het in de lijn der verwachting dat ook informatie over waarom sommige algoritmen niet verder (kunnen) worden toegelicht, onderdeel zou zijn van het publiek toegankelijke deel van het register.183 Registreren algoritmen blijft achter bij de planning Het algoritmeregister bestaat sinds september 2020yy, maar is in augustus 2023 nog lang niet volledig.184 In september 2021 bevatte het register zes algoritmen.

Begin 2022 deed de Functionaris Gegevensbescherming de aanbeveling om het register verder te vullen, maar in 2022 is het aantal algoritmen in het register nog steeds op zes blijven steken.185 De Nederlandstalige versie van het algoritmeregister bevat eind september 2023 negentwintig algoritmen (zie figuur 2.5). De Engelstalige versie bevatte er op dat moment vier.186

Figuur 2.5 - Ontwikkeling aantal algoritmen in Amsterdams algoritmeregister 35 30 25 20 15 10 5 0

Bron: Rekenkamer Amsterdam op basis van archive.orgzz van de site algoritmeregister.amsterdam.nl. (sites laatst geraadpleegd op 21 september 2023).

yy Zie het nieuwsartikel van Digitaleoverheid.nl, Amsterdam en Helsinki hebben primeur met

algoritmeregister, september 2020. Via: weblink. zz Archive.org maakt digitale kopieën van websites wereldwijd. In totaal beschikt Archive.org over twaalf kopieën van de website algoritmeregister.amsterdam.nl tot en met juni 2023. Deze zijn aangemaakt in april 2021, juni 2021, juli 2021, oktober 2021, januari 2022, april 2022, juli 2022, oktober 2022, januari 2023, april 2023, mei 2023 en juni 2023. Wij hebben de aanname gedaan dat de hoeveelheid algoritmen gelijk blijft tussen de door Archive.org waargenomen maanden.

56

ALGORITMEN - ONDERZOEKSRAPPORT

De prioriteit van de ambtelijke organisatie voor het vullen van het register ligt bij de hoog risico-algoritmen.187 Uiteindelijk moeten alle algoritmen in het register worden opgenomen; dit geven het college, de CIO en de directeur Digitale Strategie en Informatie (DS&I) aan. Dit geldt dus ook voor de algoritmen zonder een hoog risico.188 Om het project van het vullen van het algoritmeregister te realiseren, heeft de directeur DS&I informatiemanagers zowel in de zomer als in het najaar van 2021 opgeroepen om algoritmen te inventariseren en deze toe te voegen aan het algoritmeregister.189 Door de tijd heen verschilt de ambitie over de snelheid van het 'vullen' van het algoritmeregister. In november 2022 beoogt de ambtelijke organisatie eind 2023 zestig algoritmen volledig (maximaal transparant) te hebben beschreven en honderd algoritmen in algemene zin te hebben beschreven.aaa190 In januari 2023 heeft de wethouder Digitale Stad, in lijn met het ambtelijk plan van aanpak, toegezegd dat in het eerste kwartaal van 2023 zo'n dertig algoritmen gepubliceerd zouden zijn.191 In april 2023 verwachten de CIO en directeur DS&I dat vóór de zomer alle algoritmen zouden zijn geïnventariseerd, en dat eind 2023 alle algoritmen in het register zullen staan.192 De realisatie blijft op dit moment achter bij de gewenste planning.

Het algoritmeregister bevat in september 2023 negentwintig algoritmen (zie figuur 2.5). Interne en externe afstemming vergt tijd Volgens de wethouder ICT en Digitale Stad (januari 2023) zijn er twee redenen waarom het lang duurt - tussen de zes weken en vier maanden per algoritme - om het register te vullen: 1) Amsterdam doorloopt een zorgvuldig proces, omdat Amsterdam meerdere doelgroepen wil bedienen (de burger, de expert en de techneut), en 2) voor ingekochte algoritmen met oudere contracten is er "veel afstemming nodig met de leverancier"193 Ook in de interviews die wij hebben gevoerd, komt de hoeveelheid afstemming ter sprake.194 Met name daar waar het gaat over het algoritmeregister. Functionarissen die wij hebben gesproken, bevestigen dat er altijd meerdere schrijfronden nodig zijn voor het beschrijven van het algoritme in het register.195 Ook vergt het goedkeuringsproces voor publicatie in het register door de lijneigenaren veel tijd.196 Het is overigens een landelijke tendens dat het registreren van algoritmen complex is en tijd vraagt (zie kader Ook het landelijk algoritmeregister loopt achter). Ook het landelijk algoritmeregister loopt achter Sinds december 2022 bestaat er ook een landelijk algoritmeregister (algoritme.overheid.nl). Op 24 juni 2023 bevat het landelijke register 123 algoritmen van (decentrale) overheden en 8 Amsterdamse algoritmen.

Het vullen van het landelijke register

aaa Deze doelstellingen zijn ook geconcretiseerd per kwartaal. Voor de categorie ‘Maximaal

transparant’: Q1: 30 algoritmen, Q2: 40 algoritmen en Q4: 60 beschreven algoritmen in het algoritmeregister. Voor de categorie ‘Algemeen’: Q1: 40, Q2: 80 en Q4: 100 beschreven algoritmen in het algoritmeregister.

57

REKENKAMER AMSTERDAM gaat, net als bij het Amsterdamse register, vrij langzaam, zo blijkt uit de berichtgeving van Tweakers (22 mei 2023) en de NOS (18 juni 2023). Onjuiste, onterechte of arbitraire selectie aan de poort Naast de hierboven beschreven oorzaken zijn er meer oorzaken voor het lage aantal algoritmen in het register. Eerder beschreven we het belang van het onderkennen door de ambtelijke organisatie dat een tool of toepassing een algoritme is (zie paragraaf 2.2.2). In paragraaf 2.2.1 (zie het kader Afwegingskader voor toepassing en risicoanalyse algoritme) beschrijven we een gemeentelijk instrument dat tot doel heeft om de ambtelijke organisatie te ondersteunen bij het beantwoorden van de vraag of er sprake is van een algoritme. Daartoe moeten twee stellingen worden beantwoord: 1) er is hier sprake van software waarin gebruikgemaakt wordt van data-analyse, statistiek en/of zelflerende logica, en 2) de software komt op deels of volledig geautomatiseerde wijze tot een uitkomst (bijvoorbeeld een berekening, advies of voorspelling). Wordt een van beide stellingen met een ‘nee’ beantwoord, dan luidt de conclusie: “Uw systeem is geen algoritmisch systeem volgens de Amsterdamse definitie. U kunt stoppen”. Dit is echter slechts een van de gemeentelijke definities van algoritmen (paragraaf 2.2.2).

Bovendien is deze definitie minder ruim dan de definitie die de gemeente voorstaat in het algoritmeregister. Het gevolg van de gehanteerde selectiecriteria is dat het gemeentelijk instrument op basis van deze criteria een tool of toepassing niet als algoritme kwalificeert, terwijl het dat volgens de definitie van het algoritmeregister wel is. Daarnaast gelden strenge criteria voor opname van een algoritme in het register. Een algoritme moet volgens de handleiding van het algoritmeregister pas geregistreerd worden op het moment dat het algoritme in gebruik wordt genomen.197 Algoritmen die nog in ontwikkeling zijn, of waarvan het inkooptraject nog loopt, worden dus niet in het register opgenomen. Voor algoritmen die niet meer gebruikt worden, zijn er geen instructies.

De praktijk laat zien dat wanneer besloten wordt dat een algoritme niet langer wordt gebruikt, deze uit het register is of zal worden verwijderd (bijvoorbeeld voor het algoritme Handhaving illegale vakantieverhuur en het algoritme Anderhalve meter monitor).198 Ook algoritmen waarvoor de gemeente niet zelfstandig verantwoordelijk is, maar wel beleid op maakt, bijvoorbeeld het koppelen van groep 8-leerlingen aan een middelbare school, maken geen onderdeel uit van het algoritmeregister.199 Bovendien werden vóór juni 2023 algoritmen alleen openbaar gepubliceerd in het register wanneer de gewenste beschrijving compleet was.200 In het proces om een algoritme in het register op te nemen, werd soms door de ambtelijke organisatie ontdekt dat er bijvoorbeeld nog geen privacyverklaring voor het algoritme bestond, of dat andere 'checks' nog moesten worden uitgevoerd, zoals het vaststellen dat er een wettelijke grondslag is voor de verwerking van persoonsgegevens.201 In dergelijke gevallen koos het college ervoor om éérst alle checks en achterliggende documentatie compleet te krijgen, alvorens het algoritme te publiceren in het register. Zo moest bijvoorbeeld ook eerst een toets op bias worden uitgevoerd voordat het algoritme werd toegevoegd aan het algoritmeregister.202 De consequentie van deze werkwijze is geweest dat verschillende

58

ALGORITMEN - ONDERZOEKSRAPPORT algoritmen die intern bekend en in gebruik waren, niet in het algoritmeregister voorkwamen en dus niet openbaar worden gemaakt. Sinds december 2022 heeft men de intentie om van de werkwijze af te stappen.203 In juni 2023 heeft de directie DS&I, in lijn met het Jaarplan 2023 Algoritme life cycle (december 2022), besloten dat ook algoritmen aan het register worden toegevoegd indien de beschrijving, checks en achterliggende stukken nog niet volledig gereed zijn.204 Ook constateren we dat er soms spraakverwarring en desinteresse optreedt in de ambtelijke organisatie als het gaat om het algoritmeregister.

Zo blijkt uit de correspondentie tussen een directie en de Commissie Privacy Amsterdam (CPA) dat het onderscheid tussen het verwerkingsregister en het algoritmeregister niet duidelijk is.205 Elders merkt een andere directeur in de correspondentie met de CPA op dat die zich weliswaar best wil richten op de accuraatheid van de informatie in het register, maar zich niet bezighoudt met ‘de semantiek’ of met wat belangrijke informatie zou zijn voor het algoritmeregister.206 Laag aantal geregistreerde algoritmen problematisch Omdat er zo weinig algoritmen in het register staan, weet de bezoeker niet over welke algoritmen er geen informatie wordt verschaft.207 Als gevolg van de gekozen werkwijze is de samenleving minstens tot juni 2023 dus niet goed ingelicht over algoritmen die wél al in gebruik zijn, maar waarvan nog niet alle documentatie op orde is, over algoritmen die worden ontwikkeld en waarbij persoonsgegevens worden gebruikt, en over algoritmen die enige tijd hebben gefunctioneerd, maar daarna uit het algoritmeregister zijn verwijderd.

De samenleving heeft daarom geen weet over de bedoeling en werking van deze algoritmen en wordt niet in de gelegenheid gesteld om de algoritmen te toetsen en te reageren om deze beter, eerlijker en verantwoorder te maken.208 Het college heeft geen zicht op het aantal algoritmen Het college van B en W heeft geen volledig zicht op het aantal algoritmen in Amsterdam. Schattingen van ambtenaren lopen uiteen van enkele honderden tot enkele duizenden algoritmen. In april 2021 spraken we ter verkenning van het onderzoeksonderwerp met twee functionarissen van de gemeente. Zij schatten toen in dat er 15 tot 30 'complexere' algoritmen bij de gemeente in gebruik zouden zijn, waaronder een onbekend aantal zelflerende modellen.209 Daarnaast zouden er volgens hen toentertijd mogelijk 150 tot 300 rule-based algoritmen in gebruik zijn die impact hebben op burgers, bijvoorbeeld regels voor dataverwerking en beslisbomen. Er was toen geen centraal overzicht op de algoritmen. Ook bij aanvang van ons onderzoek (september 2022) had het college nog geen zicht op het aantal gemeentelijke algoritmen.

Een medewerker van de ambtelijke organisatie verwachtte destijds dat de gemeente zo'n 12.000 algoritmen zou hebben.210 Daarnaast is er tussen januari 2022 en juni 2023 slechts 1 algoritme met een hoog risico ter besluitvorming aan het college voorgelegd, terwijl het algoritmeregister meerdere hoog risico-algoritmen bevat (zie paragraaf 2.9.2). De ambtelijke organisatie had bij de start van ons onderzoek (september 2022) een inventarisatie gemaakt van mogelijke algoritmen, aan de hand van het

59

REKENKAMER AMSTERDAM verwerkingsregister voor persoonsgegevens. Omdat er op dat moment geen activiteiten plaatsvonden voor een verdere inventarisatie van algoritmen, hebben wij een inventarisatie geïnitieerd (zie kader Interne inventarisatie verloopt moeizaam). Interne inventarisatie algoritme verloopt moeizaam Om algoritmen te selecteren voor ons casusonderzoek (zie hoofdstuk 3) hebben we een eigen inventarisatie gemaakt van algoritmen die mogelijk door de gemeente Amsterdam worden gebruikt. De lijst met mogelijke algoritmen is door ons samengesteld op basis van een open bronnen-analyse (media, raads- en commissieverslagen en algoritmeregisters van andere grote gemeenten) en de inventarisatie van de gemeente Amsterdam op basis van het verwerkingsregister. De lijst bevatte 63 mogelijke Amsterdamse algoritmen en 24 algoritmen die in het Haagse, Rotterdamse of Utrechtse register zijn geregistreerd. Aan de directie DS&I is op 20 oktober 2022 gevraagd om per algoritme in de lijst kort te beschrijven wat het algoritme doet en aan te geven in welke fase het algoritme zich bevindt (met verwijzing naar het levenscyclusmodel van de gemeente, zie paragraaf 1.2.2). Hiervoor heeft de directie DS&I een uitvraag gedaan binnen de hele gemeentelijke organisatie.

Aanvankelijk is afgesproken dat de ambtelijke organisatie ons de gevraagde informatie per Amsterdams algoritme op 2 januari 2023 zou leveren. Eind december 2022 ontvingen we een eerste inventarisatie. Op 6 februari 2023 volgde aanvullende informatie van het cluster Sociaal. Wij hebben deze inventarisaties beoordeeld en aanvullende vragen gesteld. Op 5 april 2023 ontvingen we een bijgestelde inventarisatie met daarin 92 algoritmen en de beantwoording van onze vragen. Deze inventarisatie bevatte voor het merendeel van de Amsterdamse algoritmen een beschrijving en een duiding van de levensfase van het algoritme (zie bijlage 5). Over de vijf mogelijke algoritmen van Openbare Orde en Veiligheid (OOV) is aangegeven dat twee daarvan geen algoritmen zijn volgens de definitie van OOV en dat OOV niet bekend is met de drie overige algoritmen.211 Een ambtelijk team van de directie DS&I heeft vervolgens toegezegd om in april bij OOV langs te gaan om te identificeren of er sprake is van de toepassing van algoritmen binnen de directie.

Uit de interne inventarisatie van de ambtelijke organisatie blijken er begin juni 2023 38 mogelijke algoritmen te zijn geïdentificeerd bij de directie OOV.212 Voor 18 van de 24 algoritmen die in het Haagse, Rotterdamse of Utrechtse register zijn geregistreerd, hebben we geen reactie ontvangen of Amsterdam deze algoritmen ook heeft.213 Sindsdien is deze interne inventarisatie mede op ons verzoek door de ambtelijke organisatie aangevuld, maar is er in de periode tot en met juli 2023 nog geen centraal overzicht ontstaan. Ook gaf het college eerder aan dat het “herkennen van (risicovolle) algoritmen in bestaande systemen” lastig is (december 2022).214 De gemeente laat in Het Parool van 22 februari 2023 weten dat er 64 algoritmen zijn geïdentificeerd met een

60

ALGORITMEN - ONDERZOEKSRAPPORT mogelijke grote impact op burgers of bedrijven.215 De ambtelijke organisatie geeft in september 2023 aan dat de inventarisatie nog steeds loopt.216 Daarvoor gebruikt de ambtelijke organisatie een overzichtslijst die gedeeld wordt met de lijnverantwoordelijken met het verzoek om informatie aan te vullen. Het gemeentelijke algoritmeteam ondersteunt algoritme-eigenaren actief bij het identificeren, analyseren en uiteindelijk publiceren in het algoritmeregister, aldus de ambtelijke organisatie. Raad onhandig geïnformeerd Na het verzoek van raadslid Nadif om alle algoritmen van de directie Openbare Orde en Veiligheid (OOV) op te nemen in het algoritmeregister (15 december 2023) geeft de burgemeester op 7 februari 2023 in een raadsinformatiebriefbbb aan : “Ook heb ik in de commissie op verzoek van het lid Nadif (GroenLinks) toegezegd na te gaan of het algoritmeregister van de gemeente Amsterdam voor Openbare Orde en Veiligheid up-todate is. Dit is het geval.”217 Daarmee is de suggestie gewekt dat alle algoritmen van de directie OOV in het Amsterdamse algoritmeregister geregistreerd waren. De ambtelijke organisatie geeft in september 2023 aan dat zij de raadsvraag destijds anders heeft geïnterpreteerd. Het raadslid zou de burgemeester gevraagd hebben of het Top400algoritme volledig in het algoritmeregister was beschreven.

Die vraag zou de burgemeester in de raadsbrief bevestigend hebben beantwoord.218 Die interpretatie is onjuist. Uit de interne inventarisatie van de ambtelijke organisatie (begin juni 2023) blijkt bovendien dat er 38 mogelijke algoritmen zijn geïdentificeerd bij de directie OOV (zie ook het kader Interne inventarisatie verloopt moeizaam).219 Eind juni 2023 heeft de ambtelijke organisatie een sessie gepland waarin ieder algoritme specifiek wordt doorlopen om te bepalen welke acties vereist zijn - waaronder publicatie.220 In september 2023 heeft de ambtelijke organisatie laten weten dat deze sessie inmiddels heeft plaatsgevonden. Twee processen die een algoritme bevatten worden uitgewerkt, zodat ze kunnen worden opgenomen in het algoritmeregister. Afhankelijk van de aanwezige algoritmen die deel uitmaken van een dashboard zal hierna het algoritmeregister verder worden uitgebreid.221 Het antwoord op de vraag of het algoritmeregister op dat moment volledig was, had met de kennis van nu ontkennend beantwoord moeten zijn. Doelen algoritmeregister nog beperkt gerealiseerd Zoals eerder beschreven kent het algoritmeregister drie doelen: transparantie bieden, participatie van burgers bevorderen en kaders bieden voor algoritmen. Op basis van de hierboven beschreven bevindingen blijkt dat de doelen van het algoritmeregister nog niet volledig zijn bereikt.

Hoewel het register bepaalde informatie over de algoritmen bevat, is het aantal algoritmen dat in het register staat nog beperkt en wisselt de informatiewaarde

bbb College van B en W, Raadsinformatiebrief: Afdoening toezegging uit de commissievergadering van

15 december 2022 om de meningsverschillen en de verschillende reacties op het rapport naar de Top400 (o.a. van Data Justice Project e.a.) in een overzicht te zetten,7 februari 2023

61

REKENKAMER AMSTERDAM sterk. Ook is er geen zicht op de algoritmen die (nog) ontbreken in het algoritmeregister, als gevolg van de gekozen werkwijzen.

2.8.2

Governancedocument speelt een centrale rol binnen het beheerskader

Het eerder besproken document Taken en verantwoordelijkheden bij het gebruik van Algoritmen door de gemeente Amsterdam (hierna: governancedocument) neemt een centrale rol in binnen het beheerskader. Het bevat uitgebreide beschrijvingen van taken en verantwoordelijkheden met betrekking tot algoritmen in Amsterdam. De opzet van het document lijkt ontleend aan de Taken en verantwoordelijkheden bij het verwerken van persoonsgegevens door de gemeente Amsterdam (mei 2018).222 In het governancedocument zijn duidelijke bestuurlijke en ambtelijke verantwoordelijkheden vastgesteld. Op bestuurlijk niveau zowel voor het college, de burgemeester als voor individuele vakportefeuillehouders. Op ambtelijk niveau zijn verantwoordelijkheden vastgelegd voor het stelsel, voor de lijn en voor toezicht- en advies. Onduidelijk wanneer betrokkenheid college gewenst is Het college respectievelijk de burgemeester is verantwoordelijk voor de toepassing van algoritmen in Amsterdam. De portefeuillehouder ICT, tevens wethouder Digitale Stad, is de stelselverantwoordelijke voor het gebruik van algoritmen. Vanuit die verantwoordelijkheid dient deze portefeuillehouder het college ook kaders te laten vaststellen voor het werken met algoritmen en activiteiten te initiëren om de bescherming van persoonsgegevens en digitale rechten van burgers binnen de organisatie te bevorderen.

De vakportefeuillehouders zijn verantwoordelijk voor de betrouwbaarheidccc van de algoritmen die binnen hun portefeuille worden toegepast en om algoritmen met een hoog risico ter besluitvorming aan het college voor te leggen.223 Het kader maakt niet duidelijk waarom enkel dergelijke algoritmen ter besluitvorming aan het college moeten worden voorgelegd. Dit roept ook de vraag op in welke fase van de levenscyclus (verzoek tot ontwikkeling, ingebruikname, et cetera) het college hierover een besluit moet nemen.224 Ambtelijke verantwoordelijkheden voor het stelsel geregeld De Chief Information Officer (CIO) is de belangrijkste actor binnen de ambtelijke organisatie. Zo is de CIO onder andere verantwoordelijk voor het laten vaststellen van kaders voor het toepassen van algoritmen en de regie als het gaat om het beheersen van risico’s, het zorgen voor bewustwording en training van de ambtelijke organisatie in het gebruik van algoritmen, en de controle op de naleving van interne richtlijnen. De Chief Information Security Officer (CISO) is verantwoordelijk voor de ontwikkeling en naleving

ccc In het governancedocument (p. 3, voetnoot 3) is aangegeven wat onder betrouwbare algoritmen

moet worden verstaan: “Deze moeten wettig zijn door te voldoen aan alle toepasselijke wet- en regelgeving, ethisch zijn, door naleving van ethische beginselen en waarden te waarborgen en robuust, zowel vanuit technisch als sociaal oogpunt (…) Daarmee sluit de gemeente aan met het standpunt van de AI High-Level Expert Group”. Bron: Tilburg University, Een onafhankelijke beoordeling van het Amsterdamse beheerskader voor algoritmen, februari 2023, p. 6.

62

ALGORITMEN - ONDERZOEKSRAPPORT van het informatiebeveiligingsbeleid bij de toepassing van algoritmen. De Informatiecommissaris (IC) is verantwoordelijk voor het toezicht dat informatie over algoritmen openbaar wordt gemaakt, binnen het uitgangspunt openbaar, tenzij. De directeur Digitalisering & CTOddd is verantwoordelijk voor juiste registratie van alle vereiste informatie en documentatie over het algoritmische systeem. De directeur Digitale Voorzieningen is verantwoordelijk voor de technische kwaliteitscontrole en -borging bij de begripsvorming, ontwikkeling, modellering, evaluatie en monitoring van de algoritmen. Tot slot is de directeur Data verantwoordelijk voor het signaleren van de toepassing van algoritmen, het bevorderen van de naleving van taken en verantwoordelijkheden bij het gebruik van algoritmen, en beleid op het gebied van datagebruik bij het ontwikkelen van algoritmen.225 Ambtelijke lijnverantwoordelijken deels geregeld Stedelijk directeuren zijn binnen hun functie verantwoordelijk voor de betrouwbaarheid van algoritmen die directie-overstijgend binnen een bepaald domein worden toegepast, ontwikkeld of worden ingekocht.226 Directeuren en het dagelijks bestuur hebben dezelfde verantwoordelijkheid voor algoritmen die binnen hun eigen directie of stadsdeel worden toegepast, ontwikkeld of worden ingekocht.

De uitvoering is over het algemeen belegd bij ambtelijke ontwikkelteams.227 Het valt ons hierbij op dat de rol van de directeur DS&I in het governancedocument niet lijkt te zijn geformaliseerd. Het ligt voor de hand dat de directeur DS&I wel een formele rol heeft bij algoritmen, aangezien deze directie verantwoordelijk is voor de kaders en het beleid van de digitale dienstverlening en de digitale voorzieningen van de gemeente.228 Voor het sturen op en het monitoren van het behalen van het (beleids)doel en maatschappelijk nut waarvoor het algoritme wordt ingezet, heeft het governancedocument geen aandacht.229 Verantwoordelijkheden voor toezicht en advies geregeld De privacy en security officers, de adviseurs informatiebeheer en de informatiearchitecten zijn belast met de coördinatie en advies over de uitvoering van de kaders voor algoritmen door de organisatieonderdelen.

Zij hebben de taak om een actieve bijdrage te leveren aan de ontwikkeling van bewustzijn en kennis van het beleid bij medewerkers op het gebied van algoritmen en de advisering in alle fases van de levenscyclus van algoritmen.230 De Functionaris Gegevensbescherming (FG) is de interne toezichthouder voor de naleving van de Algemene verordening gegevensbescherming (AVG) en brengt advies uit over het verwerken van persoonsgegevens en verplichtingen ingevolge de wet.231 Daarnaast is algoritmetoezicht opgenomen in het nieuwe functieprofiel voor de FG, die ten tijde van ons onderzoek geworven werd.232

ddd De toelichting van de afkorting ‘CTO’ ontbreekt in het governancedocument, maar betreft Chief

Technology Officer.

63

REKENKAMER AMSTERDAM Onafhankelijke derdelijns-audits en -onderzoek worden verricht in opdracht van de gemeente Amsterdam, door de afdeling Interne Audit en Beleidsonderzoek (IA&BO) (zie verder paragraaf 2.8.7).233 De Commissie Persoonsgegevens Amsterdam (CPA) adviseert het college over gegevensverwerking. Daaronder valt de ethische toets bij de toepassing van algoritmen. De CPA adviseert sinds 2021 over het gebruik van algoritmen, waarbij de commissie let op de wet- en regelgeving, maatschappelijke en ethische inzichten en technologische ontwikkelingen. De commissie doet dit bij afwijking van de ethische principes voor algoritmen of bij vragen over gebruik van algoritmen. In de praktijk heeft de CPA met name over algoritmen geadviseerd met een hoog risico of waarbij bijzondere persoonsgegevens worden verwerkt. Directeuren leggen steeds vaker algoritmen in een vroeg stadium aan de CPA voor.234 Het is niet geformaliseerd dat een advies van de CPA moet worden gevraagd en dat moet worden gerapporteerd over de opvolging van dit advies, of de gemotiveerde afwijking daarvan.235 Niet alle stakeholders worden expliciet betrokken Het beheerskader vraagt expliciet aandacht voor het betrekken van verschillende stakeholders in de verschillende fasen in de levenscyclus van een algoritme.

In het governancedocument worden stakeholders in één adem genoemd met “eindgebruikers” en “[teamleden] met de benodigde expertise”.236 Het valt hierbij op dat belanghebbende burgers en groepen in de stad niet expliciet genoemd worden, terwijl de algoritmen wel het potentieel hebben om deze belanghebbenden op verschillende manieren te raken. Andere experts kunnen weliswaar het belang van deze groepen naar voren brengen, maar die kunnen hen niet vervangen. Het incorporeren van externe feedback van burgers is minder nadrukkelijk uitgewerkt in het governancedocument.237 Inhoudelijke sturing niet altijd even concreet Het governancedocument beschrijft de taken en verantwoordelijkheden van verschillende functionarissen op vrij gedetailleerd niveau. Tegelijkertijd biedt het stuk vooralsnog niet overal voldoende houvast.238 Zo zou de koppeling met het beleid voor inkopen of zelf ontwikkelen concreter kunnen, bijvoorbeeld door te verwijzen naar de handleiding hiervoor. Ook zou het concretere handvatten kunnen bieden voor de beslissing om te stoppen met (de ontwikkeling van) een algoritme, en over het gebruik van specifieke risico- en impactanalyses. Daarnaast geeft het document weinig duidelijkheid over hoe de evaluatie eruitziet en op welk moment in de levenscyclus bijvoorbeeld wordt beoordeeld of een algoritme effectief is.239