Bijlage.Onderzoeksopzet van het onderzoek Algoritmen

ONDERZOEKSOPZET

Algoritmen 28 JULI 2022

DEFINITIEF Deze onderzoeksopzet is een document van de Rekenkamer Amsterdam en bevat de opzet van het onderzoek Algoritmen. U kunt het digitale document raadplegen op de projectpagina.

ALGORITMEN - ONDERZOEKSOPZET

Inhoudsopgave Aanleiding .......................................................................................................................... 2 De Amsterdamse context ................................................................................................... 5 1

Beleid en instrumenten .............................................................................................. 5

1.1 Amsterdams beleid .......................................................................................................................5 1.2 Instrumentarium voor beheersing ................................................................................................7

Opzet onderzoek ................................................................................................................ 9 2

Doelstelling en onderzoeksvragen ............................................................................. 9

3

Aanpak ..................................................................................................................... 10

3.1 Toets beheerskader.....................................................................................................................10 3.2 Casusonderzoek ..........................................................................................................................11

4

Afbakening ............................................................................................................... 14

5

Planning en onderzoeksteam ................................................................................... 15

5.1 Planning ......................................................................................................................................15 5.2 Onderzoeksteam .........................................................................................................................15 5.3 Verantwoording ...........................................................................................................................15

Bijlage 1 - Algemene werkwijze rekenkamer .................................................................. 17 Eindnoten ......................................................................................................................... 18

1

REKENKAMER METROPOOL AMSTERDAM

Aanleiding De gemeente Amsterdam gebruikt algoritmen bij de uitvoering van haar taken (zie kader Voorbeelden algoritmen Amsterdam). Een algoritme is een set regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden. Hierdoor kunnen sommige taken van de gemeente automatisch of sneller worden uitgevoerd. Bovendien bieden algoritmen de mogelijkheid om besluitvorming transparant te maken, problemen van burgers te voorkomen of vroegtijdig te signaleren, en gelijke gevallen gelijk te behandelen. Algoritmen kunnen zeer eenvoudig zijn (bijvoorbeeld een eenvoudige beslisboom), maar ook zeer complex in het geval van Artificial Intelligence (AI)a bij het leren herkennen van zwerfafval. Zowel eenvoudige als complexe algoritmen kunnen grote impact hebben op burgers en bedrijven. Voorbeelden algoritmen Amsterdam Parkeercontrole De gemeente Amsterdam zet scanauto's met geautomatiseerde kentekenherkenning in om te controleren of voor een geparkeerde auto parkeergeld is betaald of dat deze een parkeervergunning heeft. Mocht dat niet het geval zijn, dan volgt een parkeerbon. De scanauto's worden ook ingezet voor de opsporing van gestolen voertuigen en voertuigen met een vordering van de politie of het Openbaar Ministerie.

Top 400/600 De Top 400/600-aanpak is erop gericht om (zware) criminaliteit en drugshandel-gerelateerde drugs- en geweldsdelicten terug te dringen met behulp van een persoonsgebonden aanpak. Personen kunnen in- of uitstromen in de aanpak wanneer ze voldoen aan een aantal criteria. Handhaving illegale verhuur Voor het opsporen van mogelijke illegale vakantieverhuur gebruikt de gemeente een algoritme. Dit algoritme helpt bij het prioriteren van meldingen door gegevens te analyseren en de kans in te schatten dat de woning op het gemelde adres illegaal wordt verhuurd. Hierdoor kan de gemeente handhavingscapaciteit efficiënter en effectiever inzetten. Bron: algoritmeregister Amsterdam.nl, geraadpleegd op 14 juli 2022. Aandacht voor de risico's van algoritmen van groot belang Amsterdam zet algoritmen in om zijn dienstverlening en taken sneller, gerichter of beter

a Artificial Intelligence (AI) of kunstmatige intelligentie is een van de vormen van een algoritme en

laat zich definiëren als "het soort systemen dat intelligent gedrag vertoont door hun omgeving te analyseren en – met enige graad van autonomie – actie te ondernemen om specifieke doelen te bereiken.” Bron: High-level expert group on AI (HLEG-AI) van de Europese Commissie en WRR, Opgave AI, De nieuwe systeemtechnologie, 2022.

2

ALGORITMEN - ONDERZOEKSOPZET uit te voeren.1 Het levert de stad hierdoor veel voordelen op, maar de toepassing van algoritmen is niet risicoloos. Behalve het risico op de inbreuk op de privacy van burgers kunnen verkeerde toepassingen van het gebruik van algoritmen discriminerende werkingen hebben als deze vooroordelen bevatten. Burgers en bedrijven krijgen vaker te maken met algoritmen en de impact ervan.2 Dat, terwijl het gebruik van algoritmen niet altijd voor burgers zichtbaar is. Ook is de werking van algoritmen voor burgers niet altijd eenvoudig te begrijpen. Meerdere rapporten en onderzoeken zijn inmiddels verschenen over de risico's en voordelen van het gebruik van algoritmen. De Algemene Rekenkamer (2021) constateert bijvoorbeeld dat bij algoritmen veelal niet de burger, maar de overheid centraal lijkt te staan.3 Hierdoor is maar weinig aandacht voor de ethische aspecten en vragen van bezorgde burgers over de toepassing van algoritmen. In een recenter verschenen rapport van de Algemene Rekenkamer (2022) werd vastgesteld dat algoritmen van de rijksoverheid niet volledig voldoen aan de eisen die de Algemene Rekenkamer daaraan stelt (zie paragraaf 3.2).

Uiteenlopende risico's bestaan bij deze algoritmen, variërend van gebrekkige controle op prestaties of effecten, tot mogelijke vooringenomenheid, datalekken of ongeautoriseerde toegang.4 Tegelijkertijd zorgen algoritmen voor een snellere en doelmatige besluitvorming, waardoor het werk met minder ambtenaren kan worden gedaan en burgers minder lang op hun besluit hoeven te wachten en eerder hun geld ontvangen van de overheid.5 De Nationale ombudsman (2021) benoemt als randvoorwaarden bij het gebruik van algoritmen door overheden dat de grondrechten en ethische normen van burgers gewaarborgd moeten blijven.6 Het gebruik van algoritmen moet daarbij duidelijk, toegankelijk en oplossingsgericht zijn. Risico's bij het toepassen van algoritmen spelen niet alleen bij de rijksoverheid, maar ook bij lokale overheden. De Rekenkamer Rotterdam concludeerde in zijn rapport Gekleurde technologie (2021) bijvoorbeeld dat er te weinig overzicht is van de toegepaste algoritmen in de organisatie.7 Ook ziet de rekenkamer dat de verantwoordelijkheid voor ethische principes nog onvoldoende ambtelijk belegd is en dat het gebruik van algoritmen kan leiden tot vooringenomen uitkomsten. Raadsleden en burgers maken zich zorgen om algoritmen Niet alleen verschillende onderzoeksinstanties zien risico's bij algoritmen.

Uit onze analyse van Amsterdamse raads- en commissieverslagen over de laatste vier jarenb blijkt dat raadsleden zich duidelijk zorgen maken over het gebruik van algoritmen in de gemeente. Raadsleden zien eveneens de risico’s als gevolg van vooringenomenheid of onethisch gebruik en hebben daardoor oog voor (strenge) randvoorwaarden. Zij willen dat algoritmen begrijpelijk zijn voor burgers en dat er een menselijke maat wordt gehanteerd. Volgens de raadsleden maken burgers zich veelal zorgen dat de overheid door algoritmen te veel over hun privéleven te weten komt. Andere zorgen van raadsleden zijn dat de overheid algoritmen gebruikt zonder dat te vertellen. En dat de overheid niet aan burgers

b Vanaf de voorgaande raadsperiode, maart 2018 tot juni 2022.

3

REKENKAMER METROPOOL AMSTERDAM kan uitleggen hoe een besluit is genomen. Dat geldt niet alleen voor technisch ingewikkelde algoritmen. Het gaat juist ook om simpele algoritmen. Die kunnen net zo goed grote gevolgen hebben voor burgers. Raadsleden hebben een initiatiefvoorstel ingediend en schriftelijke vragen gesteld. Daarmee vragen zij aandacht voor de (ethische) risico's van algoritmen. Zo besloot de gemeenteraad op 16 februari 2022 in te stemmen met een initiatiefvoorstel8 waarin het college wordt verzocht om te evalueren in hoeverre er voldoende maatregelen zijn voor het waarborgen van brede ethische toetsing van technologische toepassingen (zoals algoritmen).9 Ook werden onlangs nog schriftelijke vragen gesteld over de mogelijke vooringenomenheid in het algoritme Criminaliteit Anticipatie Systeem (CAS)c, dat gebruikt wordt door de politie.10

c De schriftelijke vragen werden op 2 juni 2022 ingediend door de raadsleden Belkasmi en Abdi.

Aanleiding was een recentelijk (18 mei 2022) onderzoek van de Algemene Rekenkamer waaruit blijkt dat controle en inzicht in het CAS ontbreekt waardoor er niet valt uit te sluiten dat er in de gebruikte data onwenselijke vooringenomenheid over groepen of specifieke personen is opgenomen.

4

ALGORITMEN - ONDERZOEKSOPZET

De Amsterdamse context De context omtrent algoritmen is op internationaal, nationaal en lokaal niveau sterk in beweging. Zo werkt de Europese Unie bijvoorbeeld momenteel aan een verordening omtrent kunstmatige intelligentie en is er op nationaal niveau steeds meer aandacht voor algoritmen (waaronder AI). Deze nationale aandacht blijkt bijvoorbeeld uit moties in de Tweede Kamer, onderzoeken van de Algemene Rekenkamer of het vaststellen van een nationale AI-strategie door de regering. Ten behoeve van deze onderzoeksopzet schetsen we kort de Amsterdamse context.

1 Beleid en instrumenten 1.1 Amsterdams beleid Het Amsterdamse beleid omtrent algoritmen is vastgelegd in verschillende beleidsstukken. In deze paragraaf beschrijven we in samenhang het Amsterdamse beleid.

Figuur 1 - Amsterdams beleid

De coalitieakkoorden Zowel het vorige Coalitieakkoord 2018-2022 als het nieuwe Coalitieakkoord 2022-2026 bevat ambities op hoofdlijnen van het gemeentebestuur die algoritmen raken.11 In het akkoord van 2018-2022 worden algoritmen niet specifiek genoemd, maar heeft het gemeentebestuur wel al aandacht voor dataminimalisatie, open data en datarechten. Het gemeentebestuur geeft aan dat er een Agenda Digitale Stad komt (zie volgende paragraaf voor de inhoud van de Agenda Digitale Stad) en dat de zes waardend uit het Tada manifest zullen worden geïmplementeerd (tada.city).

d 1) Inclusief: Onze digitale stad is inclusief. We houden rekening met de verschillen tussen individuen

en groepen, zonder gelijkwaardigheid uit het oog te te verliezen, 2) Zeggenschap: Data en technologie moeten bijdragen aan vrijheid van bewoners. Data zijn dienend. Om het leven vorm te geven naar eigen inzicht, zelf informatie te verzamelen, kennis te ontwikkelen, ruimte te vinden om jezelf te organiseren, 3) Menselijke maat: Data en algoritmen hebben niet het laatste woord. Menselijkheid gaat altijd voor. We laten ruimte voor onvoorspelbaarheid. Mensen hebben het recht om digitaal vergeten te worden. Zo blijft er altijd ruimte voor een nieuwe, schone start, 4) Legitiem en gecontroleerd: Bewoners en gebruikers hebben zeggenschap over de vormgeving van onze digitale

5

REKENKAMER METROPOOL AMSTERDAM Het gemeentebestuur heeft in het akkoord van 2022-2026 aandacht voor privacy, digitale rechten, digitale zelfredzaamheid en digitale veiligheid. Concreet geeft het gemeentebestuur aan een algoritmeregister te willen blijven hanteren, en dat het vooraf, tijdens en na de ontwikkeling van ICT-systemen zal testen op integriteit, discriminatie en vooroordelen. Agenda Digitale Stad De in 2019 vastgestelde Agenda Digitale Stad bevat de nog steeds geldende ambities van de gemeente Amsterdam met betrekking tot digitalisering. Hierin zijn onder andere de digitale rechten opgenomen die gezamenlijk met andere wereldsteden zijn opgesteld (citiesfordigitalrights.org). Ook bevat de agenda het zogenaamde Tada manifest: de zes waarden met betrekking tot het ontwerpen van een digitale stad. Het college geeft ook aan dat Amsterdam algoritmen wil gaan laten auditen door een onafhankelijke partij.12 Agenda AI: Amsterdamse Intelligentie De in 2020 vastgestelde Agenda AI bevat de ambities van het college op het gebied van algoritmen waaronder kunstmatige intelligentie.13 Doelen zijn onder andere het zorgen voor interventies die het leven van Amsterdammers verbeteren, de negatieve effecten van digitalisering te beperken en de positieve effecten te versterken.

Het college wil de technologie laten werken voor Amsterdammers, door onder meer AI toe te passen op eigen processen van de gemeente, AI-competenties te ontwikkelen en door minder discriminerende en meer transparante algoritmes te realiseren. Daarnaast wil het college het gebruik van algoritmen stimuleren en het economisch potentieel van algoritmen benutten. Daartoe wil het college de samenwerking versterken tussen investeerders, onderzoeksinstellingen, talent en het bedrijfsleven. Ook moet Amsterdam een 'living lab' worden met proeven en toepassingen voor stedelijke vraagstukken. Tegelijkertijd wil het college de digitale rechten van burgers beschermen en meer kansengelijkheid creëren door sociale, economische en ethische kaders voor AI op te stellen en zicht te krijgen op wat AI doet met de stad.14 Datastrategie In de Datastrategie 2021-2022 (vastgesteld in 2021), heeft het college opgenomen dat Amsterdammers meer zeggenschap krijgen over hun data, en dat Amsterdam gebruik moet maken van kansen die digitalisering biedt om taken beter uit te voeren.15 Daarnaast bevat de strategie voornemens met betrekking tot data, zoals het standaard openbaar maken van datasets. De gemeente zal samen met de Universiteit van Amsterdam het Civic Artificial Intelligence Lab starten (civic-ai.nl). Dat lab gaat onderzoeken hoe AI

stad. De overheid, maatschappelijke organisaties en bedrijven faciliteren dit. Zij monitoren de ontwikkeling en de maatschappelijke gevolgen, 5) Open en transparant: Welke data worden verzameld? Waarvoor? En met welke uitkomsten en resultaten? Daarover zijn we altijd transparant, 6) Van iedereen - voor iedereen: Data die overheden, bedrijven en andere organisaties uit de stad genereren en over de stad verzamelen zijn gemeenschappelijk bezit. Iedereen kan ze gebruiken. Iedereen kan er voordeel van hebben. Hier maken we gezamenlijk afspraken over.

6

ALGORITMEN - ONDERZOEKSOPZET ongelijkheid in de stad kan tegengaan of hoe kan worden tegengegaan dat AI ongelijkheid vergroot.

1.2 Instrumentarium voor beheersing Als onderdeel van de Agenda AI is het college het Programma Algoritme Lifecycle Aanpak gestart. De Algoritme Lifecycle Aanpak wordt gebruikt door het college om grip te krijgen op de gemeentelijke algoritmen, en om deze eerlijker en transparanter te maken voor burgers en bedrijven.16 De aanpak bestaat uit zeven instrumenten om algoritmen gedurende hun levenscyclus te kunnen beheren, risico's in te kunnen schatten en te onderzoeken ('auditen').

• Algoritmeregister. Sinds 28 september 2020 is er een online algoritmeregister

•

•

•

•

•

•

beschikbaar waarin te zien zou moeten zijn welke algoritmen door Amsterdam worden gebruikt, waarvoor ze worden ingezet en hoe ze werken. Tijdens de publicatie van deze onderzoeksopzet bevat het register zes algoritmen. Governance-vastlegging en levenscyclusmodel. In de governance-beschrijving staan vastgelegde taken en verantwoordelijkheden, welke maatregelen getroffen moeten worden om risico’s bij het toepassen van algoritmen te voorkomen, welke informatie gedocumenteerd moet worden en wie verantwoordelijk is als een algoritme niet voldoet aan het beoogde doel. Het levenscyclusmodel beschrijft het proces ofwel 'de levenscyclus' van een algoritme van begin tot eind. Contractvoorwaarden. Sinds november 2020 zijn er contractvoorwaarden vastgelegd waarin staat welke informatie leveranciers van algoritmen met de gemeente moeten delen, zodat de gemeente die informatie met Amsterdammers kan delen. Handreiking voor bezwaarbehandelaars. Een handreiking voor behandelaars voor het afhandelen van bezwaren, daar waar het besluit (deels) is gebaseerd op een algoritme. Mensenrechtenimpactanalysemodel. Een model om de impact van het gebruik van een algoritme (wat in ontwikkeling is of in gebruik) op de mensenrechten te analyseren en borgende maatregelen te treffen. Bias-analysemodel.

Een model of standaard dat gebruikt kan worden om eventuele vooringenomenheid in een algoritme of in de gebruikte data op te sporen. Audits. Interne onderzoeken waarbij aan de hand van de interne standaarden wordt gekeken of de juiste maatregelen zijn genomen om risico’s, bijvoorbeeld op discriminatie of het schenden van rechten, te voorkomen. Voor deze audits is een normenkader ontwikkeld.

Het instrumentarium is op 20 januari 2022 vastgesteld door het GMT.17 De Chief Information Officer (CIO) zal de directies en stadsdelen elke zes maanden vragen om het centrale overzicht van algoritmes (het algoritmeregister) aan te vullen. Waarbij het register eerst wordt gevuld met algoritmen met een hoog risico en tot slot met algoritmen

7

REKENKAMER METROPOOL AMSTERDAM met een laag risico. Zowel nieuwe als bestaande algoritmen zullen worden onderworpen aan een bias-analyse, mensenrechtenimpactassessment en/of een audit.18 Het instrumentarium is continu in ontwikkeling, mede dankzij ontwikkelingen in het geldend recht en de wetenschap omtrent algoritmen. Omdat het gemeentelijke instrumentarium nog niet zo lang bestaat, is het tot op heden slechts bij enkele algoritmen toegepast. Naast het instrumentarium wil het college investeren in kennis over algoritmen in de ambtelijke organisatie, bijvoorbeeld bij de juridische, inkoop-, en auditafdelingen.19 Bovendien wil het college bewustwording van algoritmen in de organisatie vergroten.20 Dit met als doel bekendheid te geven aan de interne afspraken over algoritmen en het beter kunnen beheersen van de algoritmen.

8

ALGORITMEN - ONDERZOEKSOPZET

Opzet onderzoek In dit hoofdstuk gaan we dieper in op de doelstelling van het onderzoek, de onderzoeksvragen, de beoogde aanpak en afbakening van het onderzoeksobject.

2 Doelstelling en onderzoeksvragen Met dit onderzoek willen we burgers, raadsleden en andere belanghebbenden inzicht bieden in hoeverre het college van B en W algoritmen verantwoord toepast. Met 'verantwoord toepassen' bedoelen we in het kort dat het college voldoende rekening houdt met risico's op de gebieden van ethiek, sturing en verantwoording, model en data, privacy, en IT-beheer wanneer het college de inzet van een algoritme overweegt, een algoritme ontwikkelt of een algoritme al in de praktijk toepast. Voor het onderzoek hanteren we de volgende centrale onderzoeksvraag:

In hoeverre is het Amsterdamse beheerskader voor algoritmen toereikend voor een verantwoorde toepassing van algoritmen en welke lessen kunnen getrokken worden over het toepassen van algoritmen in de Amsterdamse praktijk? We beantwoorden de centrale onderzoeksvraag door zowel het Amsterdamse beheerskader (het instrumentarium zoals beschreven in paragraaf 1.2) voor algoritmen te onderzoeken als een selectie van algoritmen individueel te beoordelen. Voor het onderzoek naar het gemeentelijke beheerskader voor algoritmen beantwoorden we de volgende deelvraag: 1 In hoeverre draagt het Amsterdamse beheerskader Programma Algoritme Lifecycle Aanpak bij aan de verantwoorde toepassing van algoritmen? Met het beantwoorden van deze vraag is het echter niet mogelijk om een uitspraak te doen over de mate waarin individuele algoritmen verantwoord in de praktijk zijn ingezet. Ten eerste omdat het Amsterdamse beheerskader recent ontwikkeld is, terwijl algoritmen al jaren in de Amsterdamse praktijk worden toegepast. Ten tweede kan bij het ontwikkelen en onderhouden van algoritmen (on)bewust worden afgeweken van het beheerskader, omdat men niet bekend is met het kader of andere prioriteiten stelt. Om ook de praktijk te kunnen beoordelen en daaruit lering te kunnen trekken, zullen wij enkele algoritmen onderzoeken.

Van elk onderzocht algoritme willen we enerzijds uitleggen waarvoor dat algoritme gebruikt wordt, anderzijds willen we een oordeel geven

9

REKENKAMER METROPOOL AMSTERDAM over de mate waarin het geselecteerde algoritme verantwoord wordt ingezet. Hiervoor beantwoorden we de volgende deelvragen: 2 Hoe wordt het algoritme toegepast? a Wat is het beoogde doel van het algoritme en wordt ook vastgesteld dat het doel is bereikt? b Bij welke ondersteunende of besluitvormende processen wordt het algoritme toegepast? c Wat zijn kenmerken van de gebruikte data? d Wat is de herkomst van de data? e Wat voor soort algoritme betreft het? f Hoe is de besluitvorming over de toepassing van dit algoritme tot stand gekomen? g Zijn er alternatieven overwogen? h Welke impact op burgers of bedrijven is voorzien? 3 In welke mate zijn de risico's op de gebieden van ethiek, sturing en verantwoording, model en data, privacy, en IT-beheer in kaart gebracht en zijn toereikende beheersmaatregelen geïmplementeerd?

3 Aanpak We willen weten in hoeverre algoritmen in Amsterdam verantwoord worden toegepast. We onderzoeken daarom het overkoepelende beheerskader (het Amsterdamse instrumentarium, zie paragraaf 1.2), om een oordeel te geven over in hoeverre het beheerskader op macroniveau bijdraagt aan het verantwoord toepassen van algoritmen. Daarnaast onderzoeken we een aantal casussen (individuele algoritmen), om op microniveau oordeel te kunnen geven over de verantwoorde toepassing van algoritmen in Amsterdam. We werken met een selectieve steekproef van algoritmen en de uitspraken op microniveau zijn daarom niet generaliseerbaar voor alle algoritmen die de gemeente Amsterdam gebruikt. Wel verwachten wij dat de analyse leidt tot enkele algoritmeoverstijgende bevindingen. Samen bieden de oordelen op macro- en microniveau de basis om de centrale onderzoeksvraag te beantwoorden. Hierna gaan we eerst in op de overkoepelende toets van het beheerskader, vervolgens op het casusonderzoek.

3.1 Toets beheerskader In dit deel van het onderzoek beoordelen we het overkoepelende beheerskader (het instrumentarium) van de gemeente Amsterdam. We gaan na of dit instrumentarium de verantwoorde toepassing van algoritmen in Amsterdam bevordert. Dit doen we door het instrumentarium op hoofdlijnen te toetsen aan meerdere (nog te selecteren) erkende normenkaders en richtlijnen, zoals het kader van de Algemene Rekenkamer of de Code

10

ALGORITMEN - ONDERZOEKSOPZET Goed Digitaal Openbaar Bestuur21 en de aankomende Europese verordening inzake AI. Bij onze beoordeling betrekken wij ook de Beoordeling stedelijk beheersingskader voor Algoritmen (februari 2022) van de afdeling Internal Audit en beleidsonderzoek van de gemeente Amsterdam. Daarnaast overwegen we om (onderdelen van) het Amsterdamse beheerskader aan een of meerdere deskundigen voor te leggen.

3.2 Casusonderzoek Om de individuele algoritmen te beoordelen, gebruiken we het normenkader dat in 2021 ontwikkeld is door de Algemene Rekenkamer. De Algemene Rekenkamer heeft het kader inmiddels al toegepast bij twaalf algoritmen bij Nederlandse overheden.22 Het normenkader is openbaar beschikbaar via de website van de Algemene Rekenkamer. Het normenkader bestaat uit de perspectieven van 1) sturing en verantwoordinge, 2) model en dataf, 3) privacyg, 4) IT-beheerh en 5) ethieki (zie figuur 2). Met dit normenkader kan worden beoordeeld of het algoritme voldoet aan bepaalde kwaliteitscriteria, of de risico’s voldoende in beeld zijn bij de ambtelijke organisatie en/of het college, en in hoeverre deze risico's zijn beperkt met beheersmaatregelen. Het normenkader van de Algemene Rekenkamer onderscheidt vanuit het perspectief ethiek vier ethische principes: 1) respect voor de menselijke autonomiej, 2) voorkomen

e Bij sturing en verantwoording gaat het onder meer om het schriftelijk vastleggen van de rollen,

verantwoordelijkheden en deskundigheid, risico-afwegingen bij het gebruik van het algoritme en afspraken met externe partijen over bijvoorbeeld aansprakelijkheid. f Voor het onderdeel model en data wordt onder meer gekeken naar de kwaliteit van de data en de ontwikkeling en het onderhoud van het algoritme. Een belangrijk onderdeel hiervan is het uitvoeren van controles om de juiste werking van het algoritme te garanderen. g Bij het gebruik van algoritmes wordt in een aantal gevallen gebruikgemaakt van (bijzondere) persoonsgegevens. Voor het beschermen van de privacy is het van belang dat algoritmes voldoen aan de wettelijke verplichtingen die gelden voor het verwerken van persoonsgegevens, waaronder die van de Algemene Verordening Gegevensbescherming (AVG). h Bij een verantwoorde inzet van algoritmes is een belangrijke randvoorwaarde dat de gebruikte data en het algoritme zelf worden beschermd met IT-maatregelen. Ongeautoriseerde toegang tot de systemen kan bijvoorbeeld leiden tot wijziging, beschadiging en/of verlies van data. i Ethiek is verweven in de andere vier perspectieven. De ethische principes zijn in de volgende alinea beschreven. j Als er sprake is van automatische besluitvorming door een algoritme met directe impact op burgers of bedrijven, volgt er dan een handmatige controle door een ambtenaar indien een aanvraag niet aan alle voorwaarde voldoet?

11

REKENKAMER METROPOOL AMSTERDAM van schadek, 3) fairness (een eerlijk algoritme)l en 4) verklaarbaarheid en transparantiem. Ethiek is verweven in de overige vier perspectieven. Dat wil zeggen dat de ethische principes gekoppeld zijn aan de risico's die zijn geformuleerd vanuit de andere vier perspectieven.

Figuur 2 - Normenkader algoritmen

Bron: Algemene Rekenkamer, Algoritmes getoetst, mei 2022.

Voor het beoordelen van algoritmen zijn verschillende (internationale) kaders beschikbaar. We hebben gekozen voor het kader van de Algemene Rekenkamer om Amsterdamse algoritmen te beoordelen, ondanks dat Amsterdam ook een eigen kader heeft. We kiezen ervoor om het Amsterdamse kader niet te hanteren, omdat het tevens object van ons onderzoek is (deelvraag 1). Bovendien is dat kader nog maar zeer beperkt in de praktijk toegepast en in ontwikkeling. Voor onze keuze van het kader van de Algemene Rekenkamer gaf de doorslag dat:

• het kader van de Algemene Rekenkamer onafhankelijk van de gemeente Amsterdam is opgesteld door een landelijk erkende instelling; • het gebruik van het kader de resultaten vergelijkbaar maakt met andere casussen bij de rijksoverheid (de Algemene Rekenkamer heeft al twaalf algoritmen met het kader getoetst); • het kader door een andere rekenkamer is toegepast; k Het voorkomen van schade kan worden getoetst met de volgende vragen: is de privacy

gewaarborgd, wordt er goed omgegaan met persoonsgegevens, zijn de gebruikte data en algoritmen beschermd? l Fairness betekent dat het algoritme rekening houdt met diversiteit in de populatie en niet discrimineert. Fairness kan worden getoetst met de vraag: is er sprake van een onwenselijke bias in het algoritme of in de data? Waarbij bias betekent dat de uitkomsten van het algoritme voor sommige groepen mensen verkeerd zijn. m Verklaarbaarheid en transparantie zijn onder te verdelen in technische en procedurele transparantie. Technische transparantie houdt in dat eigenaren van een algoritme de werking ervan moeten kunnen uitleggen. Procedurele transparantie houdt in dat eigenaren van een algoritme verantwoording moeten afleggen over de gevolgde procedure bij de totstandkoming en de uitkomsten van het algoritme.

12

ALGORITMEN - ONDERZOEKSOPZET

• het kader voor iedereen toegankelijk en transparant is; • het kader uitgaat van risico's en hoe deze risico's worden beperkt of beheerst; • het kader op evenwichtige wijze werkt vanuit vijf perspectieven, die concreet zijn uitgewerkt. Hierdoor is het mogelijk om zowel op bestuurlijk als operationeel niveau bevindingen te rapporteren. Hoe komen we tot een selectie van te onderzoeken algoritmen? Tijdens het onderzoek selecteren we enkele Amsterdamse algoritmen om te beoordelen. Daartoe zullen wij de volgende stappen doorlopen: 1 Populatie algoritmen verkennen. We willen een beeld krijgen van de mogelijk te onderzoeken algoritmen. Uit onze verkenning blijkt dat het college nog geen volledig overzicht heeft van de algoritmen die door de gemeente Amsterdam gebruikt worden. Het algoritmeregister is niet compleet. Wel heeft de ambtelijke organisatie een interne lijst opgesteld van algoritmen op basis van het verwerkingsregister. Deze lijst is completer, maar zeer waarschijnlijk ook niet volledig, omdat het verwerkingsregister betrekking heeft op persoonsgegevens en het ook denkbaar is dat er algoritmen zijn waarin niet tot een persoon herleidbare gegevens wordt verwerkt. 2 De populatie afbakenen.

De grootte van de populatie in het onderzoek te betrekken algoritmen hangt af van de te maken keuze over welke algoritmen wel en welke algoritmen niet tot de populatie van te onderzoeken algoritmen worden gerekend. Behoren daartoe bijvoorbeeld ook algoritmen die gebruikt worden door derde partijen in opdracht van of ten behoeve van het Amsterdamse college van B en W, waaronder het algoritme voor de centrale loting en matching van de OSVO? 3 Nadere selectiecriteria bepalen. Hiervoor is het noodzakelijk om categorisering aan te brengen binnen de populatie algoritmen. Uit onze verkenning blijkt dat algoritmen op allerlei (in meer of mindere mate) zinvolle manieren te categoriseren zijn. Bijvoorbeeld op basis van complexiteit, techniek, gebruik, impact op burgers of bedrijven, of risico. 23 Een mogelijk selectiecriterium zou bijvoorbeeld het behoren bij de hoog-risico algoritmen, zoals bedoeld in de Europese AI-verordening, kunnen zijn. 4 Grootte van de selectie bepalen. We zullen een keuze maken in het aantal te onderzoeken casussen. Minimaal twee, maar mogelijk meer, afhankelijk van de gekozen categorie of categorieën. Voor het casusonderzoek zullen we ambtenaren interviewen, vragenlijsten uitzetten, de ontvangen reacties en achterliggende documenten beoordelen en deze beoordeling bespreken met en wederhoren bij de ambtelijke organisatie.

13

REKENKAMER METROPOOL AMSTERDAM

4 Afbakening Dit onderzoek richt zich op de vraag in hoeverre het Amsterdamse beheerskader voor algoritmen toereikend is voor een verantwoorde toepassing van algoritmen en welke lessen getrokken kunnen worden over het toepassen van algoritmen in de Amsterdamse praktijk. Het onderzoek zal zich niet richten op de vraag of de beleidsdoelstellingen van het college aangaande algoritmen, zoals geformuleerd in de coalitieakkoorden, de Agenda Digitale Stad en Agenda AI en de datastrategie (zie paragraaf 1.1), zijn gerealiseerd of dat het Amsterdamse beheerskader (zie paragraaf 1.2) helpt deze doelen te bereiken. Ook gaan we niet na of het beheerskader van de gemeente juist wordt toegepast. De reden hiervoor is dat het beheerskader van de gemeente nog volop in ontwikkeling is en de verwachting is dat het nog niet volledig door de ambtelijke organisatie wordt toegepast. Belangrijk te vermelden is dat voor algoritmen geen eenduidige definitie en categorisering van algoritmen bestaat binnen de overheid.24 Om mogelijke interpretatieverschillen tijdens het onderzoek te voorkomen, maken wij daarom gebruik van een vaste definitie zoals deze is opgenomen in het onderzoeksrapport van de Algemene Rekenkamer (2021).

Deze definitie wordt ook gebruikt door het ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK)25 en vertoont grote overeenkomsten met de definitie gehanteerd in het onderzoek naar algoritmen en grondrechten van de Universiteit Utrecht (2018).26 De definitie van algoritme van de Algemene Rekenkamer luidt:27 Algoritmes zijn sets van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden. In het onderzoeksrapport zullen wij uiteenzetten in welk opzicht deze definitie afwijkt van die van de gemeente Amsterdamn en wat dat voor de bevindingen over de gemeente Amsterdam betekent.

n De Modelbepalingen voor gemeenten voor verantwoord gebruik van algoritmische toepassingen

(Gemeente Amsterdam, 2021) bevat de definitie van algoritmische toepassingen: software waardoor op geautomatiseerde wijze voorspellingen worden gedaan, beslissingen worden genomen en/of adviezen worden gegeven door gebruik te maken van data-analyse, statistiek en/of zelflerende logica.

14

ALGORITMEN - ONDERZOEKSOPZET

5 Planning en onderzoeksteam 5.1 Planning De uitvoering van het onderzoek zal plaatsvinden vanaf augustus 2022. We streven ernaar het onderzoek in het tweede kwartaal van 2023 te publiceren. De doorlooptijd en diepgang van dit onderzoek zijn mede afhankelijk van de afspraken die wij met de gemeente kunnen maken over het aanleveren van informatie en het voeren van gesprekken.

5.2 Onderzoeksteam Onderzoeksteam Directeur

Drs. Annelies Daalder

Onderzoekers

Mr. drs. Arjan Kok RA (projectleider) Robin van de Maat MA MSc Tello Heldring MSc RO

5.3 Verantwoording Deze onderzoeksopzet is opgesteld op basis van een verkennende documentenstudie (waaronder die genoemd in de bronnen en het boek Ontdek de groeikansen van AI, van Gieling e.a., 2021), het kennisnemen van uitzendingen en artikelen van Argoso en oriënterende gesprekken met:

• Ambtenaren werkzaam bij of voor de ACAM Audit en Advies, de afdeling Internal Audit en Beleidsonderzoek, de Commissie Persoonsgegevens Amsterdam (CPA), het Public Tech team van het CTO en CIO office (gemeente Amsterdam); • Een onderzoeker van de Rekenkamer Rotterdam; • Onderzoekers van de Algemene Rekenkamer; • Hinda Haned, professor Faculteit der Natuurwetenschappen, Wiskunde en Informatica, Informatics Institute en eigenaar van Owls & Arrows;

o In het vizier van het Rotterdamse algoritme (artikel), In het vizier van het algoritme (uitzending),

IND registreerde afkomst voor risicoprofilering (artikel), Het geautomatiseerde wantrouwen van de overheid (uitzending).

15

REKENKAMER METROPOOL AMSTERDAM

• Johan Wolswinkel, hoogleraar Bestuursrecht, markt en data van de Tilburg University. Op basis van het verzamelde onderzoeksmateriaal kan de aanpak gedurende het onderzoek worden bijgesteld. In ons onderzoeksrapport worden alle opmerkingen en bedenkingen meegenomen die wij naar aanleiding van de bevindingen van belang achten. Ook als dit niet expliciet onderdeel uitmaakt van deze onderzoeksopzet.

16

ALGORITMEN - ONDERZOEKSOPZET

Bijlage 1 - Algemene werkwijze rekenkamer

17

REKENKAMER METROPOOL AMSTERDAM

Eindnoten 1 Gemeente Amsterdam, Raadsinformatiebrief Algoritme Lifecycle Programma, 9 juli 2021. 2 Nationale Ombudsman, Een burger is geen dataset - Ombudsvisie op behoorlijk gebruik van data en

algoritmen door de overheid, 2 maart 2021. 3 Algemene Rekenkamer, Aandacht voor algoritmes, 26 januari 2021, p. 8. 4 https://www.rekenkamer.nl/publicaties/rapporten/2022/05/18/algoritmes-getoetst, geraadpleegd op 14 juli 2022. 5 Algemene Rekenkamer, Algoritmes getoetst, 18 mei 2022. 6 Nationale Ombudsman, Een burger is geen dataset - Ombudsvisie op behoorlijk gebruik van data en algoritmen door de overheid, 2 maart 2021. 7 Rekenkamer Rotterdam, Gekleurde technologie - verkenning ethisch gebruik algoritmes, april 2021, p. 3. 8 Initiatiefvoorstel Grip op technologie: een digitale gemeente met menselijke waarden van de leden IJmker, Blom, Bosman, Biemond en N.T. Bakker. 9 Gemeente Amsterdam, Raadsbesluit VN2021-015316, 2022. 10 Gemeente Amsterdam, Schriftelijke vragen VN-115, 2022. 11 Gemeente Amsterdam, Amsterdams Coalitieakkoord 2018-2022, p. 59; Gemeente Amsterdam, Amsterdams Coalitieakkoord 2022-2026, p. 70. 12 Gemeente Amsterdam, Agenda Digitale Stad, 2019, pp. 24, 40-41. 13 Gemeente Amsterdam, Agenda AI: Amsterdamse Intelligentie, 2021. 14 Gemeente Amsterdam, Agenda AI: Amsterdamse Intelligentie, 2021, pp. 4 ,7, 9. 10. 15 Gemeente Amsterdam, Datastrategie Amsterdam 2021-2022, pp. 6, 13, 19, 21. 16 Gemeente Amsterdam, Raadsinformatiebrief Algoritme Lifecycle Programma, 9 juli 2021. 17 Gemeente Amsterdam, Verslag en besluitenlijst GMT-vergadering, 20 januari 2022.

18 GMT-voordracht, 20 januari 2022. 19 Gemeente Amsterdam, Agenda AI: Amsterdamse Intelligentie, 2021, p. 9. 20 Gemeente Amsterdam, Agenda AI: Amsterdamse Intelligentie, 2021, p. 9. 21 Meijer, A. en Ruijer E., Universiteit Utrecht, Code Goed Digitaal Openbaar Bestuur (CODIO), 2021; Algemene Rekenkamer, Aandacht voor algoritmes, 26 januari 2021; Algemene Rekenkamer, Algoritmen getoetst, 2022. 22 Algemene Rekenkamer, Aandacht voor algoritmes, 26 januari 2021; Algemene Rekenkamer, Algoritmes getoetst, 2022. 23 Algemene Rekenkamer, Algoritmes getoetst, 2022, p. 9 24 Algemene Rekenkamer, Aandacht voor algoritmes, 26 januari 2021, p. 16. 25 Ministerie van Binnenlandse Zaken en Koninkrijk relaties, Besluit op Wob-verzoek over gebruik en werking van algoritmes, 30 maart 2022, kenmerk 2021-000042290. 26 M. Vetzo, J. Gerards, R. Nehmelman, Montaigne Centrum voor Rechtsstaat en Rechtspleging, Universiteit Utrecht, Algoritmes en grondrechten, 2018. 27 Algemene Rekenkamer, Aandacht voor algoritmes, 26 januari 2021, p. 5.

18