A - 11 ICT en Digitale Stad (49) 03 Onderzoeksrapport Algoritmen DEF

22

ALGORITMEN - ONDERZOEKSRAPPORT

Figuur 2.2 – Ambtelijke aandacht voor algoritmen 70 60 50 40 30 20 10 0 2016

2017

2018

2019

Openresearch.Amsterdam

2020

2021

2022

Tamtam

Bron: Rekenkamer Amsterdam op basis van zoekresultaten voor nieuwsartikelen gepubliceerd tussen 1-1-2016 en 31-12-2022 met de zoekterm “algoritme” op openresearch.amsterdam en Tamtam.

Met de opkomst van algoritmen groeide binnen de ambtelijke organisatie de behoefte aan standaarden waaraan gemeentelijke algoritmen moesten voldoen, en de behoefte aan hulpmiddelen om algoritmen te verbeteren of om de afweging te maken om algoritme zelf te ontwikkelen of in te kopen.48 Instrumenten geïnitieerd vanuit het Rijk, zoals het Impact Assessment Mensenrechten en Algoritmes (IAMA), kwamen pas beschikbaar nadat de interne instrumenten waren aangeboden aan de ambtelijke organisatie. Bij gebrek aan bruikbare instrumenten hanteerde de ambtelijke organisatie vanaf 2018 een strategie waarbij initiatieven die in de organisatie opkwamen in het kader van algoritmen vrijwel altijd werden ondersteund.49 De gezegden 'laat duizend bloemen bloeien' en 'leren door te doen' karakteriseerden deze aanpak, aldus een betrokken functionaris.50 Als onderdeel van de Agenda Amsterdamse Intelligentie en de Agenda Digitale Stad heeft de ambtelijke organisatie de Algoritme Lifecycle Aanpak ontwikkeld. Dit met als doel om meer grip te krijgen op en transparantie te creëren in de door Amsterdam gebruikte algoritmen.

De eerste opdrachtomschrijving van dit programma (maart 2020) was om een kwaliteitsraamwerk te ontwikkelen dat ondersteunend zou zijn bij het ontwikkelen van "een samenhangend beleid voor algoritmen".51 Binnen de Algoritme Lifecycle Aanpak werkt de ambtelijke organisatie aan zeven verschillende instrumenten om het gebruik van algoritmen eerlijker en helderder te maken voor de inwoners van Amsterdam. Deze instrumenten worden ingezet om algoritmen tijdens hun levenscyclus te kunnen beheren, risico’s in te schatten en te auditen.52 Deze instrumenten zijn op initiatief van de toenmalige afdeling CIO-office voorgedragen aan het GMT ter vaststelling, en door het GMT vastgesteld op 20 januari 2022.

23

REKENKAMER AMSTERDAM In dit rapport noemen wij de Algoritme Lifecycle Aanpak inclusief de zeven instrumenten 'het Amsterdamse beheerskader voor algoritmen'.

2.2 Samenhang van het beheerskader Een beheerskader kan de ambtelijke organisatie meerwaarde bieden bij het toepassen van algoritmen, maar daar zijn wel voorwaarden aan verbonden. De belangrijkste voorwaarde is dat het beheerskader een samenhangend geheel vormt. Hieronder verstaan we dat het beheerskader overzichtelijk, helder en praktisch is. Dit behelst dat de verhoudingen en de hiërarchie van de afzonderlijke onderdelen duidelijk is. In deze paragraaf beschrijven we onze bevindingen met betrekking tot de samenhang van het Amsterdamse beheerskader voor algoritmen. Het Amsterdamse beheerskader bestaat uit de zeven instrumenten zoals beschreven in paragraaf 1.2.2. Een overkoepelende bevinding is dat de documenten samen een soort lappendeken vormen, waarbij de verhoudingen tussen en de hiërarchie van de afzonderlijke onderdelen van het beheerskader niet duidelijk zijn.53 Deze bevinding wordt in de navolgende paragrafen verder uitgewerkt.

2.2.1

Niet helder welke doelen worden nagestreefd met beheerskader

In juli 2021 geeft het college van B en W aan met het beheerskader voor algoritmen meer grip te willen krijgen op de gemeentelijke algoritmen, en deze eerlijker en transparanter te maken voor haar inwoners.54 In december 2022 wordt daaraan toegevoegd dat het beheerskader ook tot doel heeft om de democratische waarden van een rechtstaat zeker te stellen.55 Desgevraagd heeft de ambtelijke organisatie aangegeven (juni 2023) dat met het Amsterdamse beheerskader voor algoritmen zeven doelen worden nagestreefd. Deze zijn, om:56 1. tot een samenhangend beleid en tot beleidsinstrumenten voor algoritmen te komen, waarbij de levenscyclus van een algoritme als leidraad wordt gebruikt; 2. toepassingsregels te bieden waarmee medewerkers weten hoe ze moeten handelen ten aanzien van algoritmen; 3. houvast te bieden bij het beoordelen van algoritmen op het risicoprofiel; 4. houvast te bieden bij de toetsing of sprake is van een algoritme in de zin van de stedelijk vastgestelde definitie; 5. transparantie en houvast te bieden aan Amsterdammers, leveranciers en ketenpartners over de manier waarop de gemeente Amsterdam met algoritmen omgaat; 6. rechten en plichten te expliciteren, en 7. te kunnen voldoen aan de wettelijke eisen en collegedoelstellingen rondom algoritmen.

24

ALGORITMEN - ONDERZOEKSRAPPORT Deze doelstellingen zien wij niet een-op-een terug in de zeven instrumenten van het beheerskader. Daarnaast zijn in het document Jaarplan 2023 Algoritme Lifecycle de te realiseren doelen, de daarvoor te ondernemen activiteiten en de beoogde resultaten voor 2023aa beschreven.57 Ons valt op dat in het jaarplan vijf doelen worden genoemd, die qua formulering en inhoud afwijken van de zeven doelen die met het beheerskader worden beoogd.

2.2.2

Beheerskader nog niet overzichtelijk genoeg

Het is belangrijk om een duidelijk overzicht te hebben van alle onderdelen van het beheerskader, zodat ambtenaren die aan de slag willen gaan met algoritmen weten wat er van hen verwacht wordt. Wanneer de samenhang en het overzicht ontbreken, kan dit leiden tot verwarring, inefficiëntie en onrechtmatig handelen bij het toepassen van algoritmen. Het is daarom belangrijk om ervoor te zorgen dat het beheerskader een duidelijke structuur heeft en dat alle onderdelen goed op elkaar aansluiten, zodat de ambtelijke organisatie doeltreffend, doelmatig en rechtmatig kan werken. Samenhang tussen instrumenten kan duidelijker De zeven instrumenten van het Amsterdamse beheerskader voor algoritmen zijn voor het eerst beknopt beschreven in de raadsbrief van juli 2021.58 In december 2022 zijn de zeven instrumenten begrijpelijk en in meer in samenhang beschreven in het document Controle op algoritmen. Aanpak en instrumenten voor verantwoording algoritmegebruik in Amsterdam (december 2022).59 Daarnaast is op het gemeentelijk intranet inzichtelijk gemaakt hoe de zeven instrumenten zich verhouden tot de drie fasen die het algoritme kan doormaken: de onderzoekfase, de ontwikkelfase en de beheerfase (zie figuur 2.3).60 In december 2022 geeft de gemeente aan dat het belangrijk is om instrumenten te stroomlijnen, om administratieve regeldruk te voorkomen.61

aa Alleen voor de activiteit ‘Het vaststellen van standaarden voor Gegevensuitwisseling’ geldt dat de

planning 2024 is.

25

REKENKAMER AMSTERDAM

Figuur 2.3 - Koppeling instrumenten aan de fasen van het algoritme

Bron: Gemeentelijk intranet, onderdeel algoritmen, geraadpleegd op 20 juni 2023.

Ondanks deze ontwikkelingen is er nog geen sprake van één samenhangend beheerskader, omdat:

• er onvoldoende is toegelicht hoe het beheerskader als geheel gebruikt moet (of kan) worden; • het niet duidelijk is welke onderdelen van het beheerskader verplicht zijn en welke onderdelen facultatief of als handreiking bedoeld zijn; • de status, de datum en het versienummer van de stukken niet helder zijn en niet zijn af te leiden uit de stukken (vastgesteld of niet); • niet alle stukken definitief en afgerond zijn. Zo zijn stukken voorzien van het label 'concept', bevatten ze verouderde informatie (bijvoorbeeld verwijzingen naar de Wob in plaats van de Woo), of staan delen die zijn opgenomen de inhoudspagina, niet daadwerkelijk in het stuk. Onduidelijk welke instrumenten tot het beheerskader behoren Een voorbeeld van de onduidelijkheden rondom het beheerskader is de tool "Afwegingskader en risicoanalyse", dat als instrument niet is vastgesteld door het GMT, maar wel intern wordt aangehaald als instrument dat tot het beheerskader behoort.62 Onduidelijkheid over de status maakt dat het instrument mogelijk niet gebruikt wordt in de mate die het zou verdienen (zie kader Afwegingskader: concreet, maar beperkt in toepassing).

26

ALGORITMEN - ONDERZOEKSRAPPORT

Afwegingskader: concreet, maar beperkt in toepassing De tool Afwegingskader en risicoanalyse (Excel) geeft enerzijds afwegingscriteria in de onderzoeksfase om te bepalen of een algoritme kan worden ontwikkeld of ingekocht. Anderzijds geeft deze tool stellingen om tijdens de fase van ontwikkeling of inkoop van het algoritme te komen tot een risicoanalyse voor algoritmische toepassingen in Amsterdam.63 De afwegingswegingscriteria bestaan uit drie onderdelen. In het eerste onderdeel wordt de ambtelijke organisatie gevraagd om voordelen van het algoritme voor de Amsterdammer en de gemeente Amsterdam te beschrijven. In het tweede onderdeel wordt gevraagd een ‘Quickscan’ op zes mogelijke risico’s op het gebied van Goed Digitaal Openbaar Bestuur uit te voeren en vast te stellen dat het algoritme op grond van de concept-AI-verordening niet is verboden. Tot slot vraagt het derde onderdeel de ambtelijke organisatie aan de hand van acht voorwaardenbb gestructureerd na te denken (en de gemaakte overwegingen te documenteren) over de vraag of de ontwikkeling of inkoop van het algoritme succesvol kan plaatsvinden.64 Wat opvalt, is dat handvatten ontbreken om een afweging te maken tussen de verschillende afwegingscriteria.65 Ook het deel over de risicoanalyse bevat drie onderdelen. In het eerste onderdeel wordt aan de hand van drie 'checks' vastgesteld 1.

of er sprake is van een algoritme (zo nee, dan hoeft de tweede check niet te worden uitgevoerd en kan worden gestopt), 2. of het algoritme een aanmerkelijke invloed heeft op Amsterdammers (zo nee, dan kan worden gestopt en hoeven het tweede en derde onderdeel over risico's en maatregelen niet te worden ingevuld), en 3. of er persoonsgegevens door het algoritme verwerkt worden (zo nee, dan leidt dit niet tot aanvullende maatregelen in het derde onderdeel). Het tweede onderdeel bevat over vijftien thema's zeventien risicostellingen. Een stelling dient met "ja" te worden beantwoord indien het risico voor het algoritme bestaat. Een beantwoording met "ja" op een specifieke stelling leidt tot een overzicht van concreet te treffen beheersmaatregelen en verantwoordelijkheden per verantwoordelijke (ontwikkelteam, directeur of dagelijks bestuur, directeur Digitale Voorzieningen, functioneel beheer, leveranciersmanager en de portefeuillehouder). 66 Wat opvalt is dat de risicostellingen niet volledig zijn.

Zo ontbreken onder meer risicostellingen over afhankelijkheden en het gebrek aan capaciteit bij de ontwikkeling van een systeem en het risico dat een algoritme afbreuk kan doen aan het te realiseren beleidsdoel.67 De tool Afwegingskader en risicoanalyse is concreet, omdat het de belangrijkste begrippen toelicht, risicostellingen verduidelijkt met voorbeelden en de uitkomsten van risicostellingen koppelt aan risicobeheersmaatregelen die de organisatie moet treffen. Het afwegingskader zet daarmee aan tot handelen. Minder duidelijk is waarom

bb 1. Complexiteit algoritmische toepassing, 2. Financiën, 3. Expertise, 4. Capaciteit, 5. Tijd, 6.

Informatiebeveiliging, 7. Maatwerk en 8. Publieke opinie.

27

REKENKAMER AMSTERDAM dit model uitsluitend betrekking heeft op ‘hoog risico’-toepassingen. Daarmee is het risico eigenlijk al gekwalificeerd voordat de risicostellingen zijn beantwoord. Evenmin maakt het afwegingskader duidelijk hoe de uitkomsten van de risicoanalyse een vervolg krijgen.68 De ambtelijke organisatie geeft aan dat zowel nieuwe als reeds in productie genomen algoritmen aan bovengenoemde risicoanalyse worden onderworpen.69 Bij algoritmen met een hoog risico volgt een verdiepende fase waarin “nog beter nagedacht wordt” of het algoritme überhaupt ingezet dient te worden en zo ja, hoe de risico’s zoveel mogelijk te mitigeren zijn. 70 Dit gebeurt “bijna altijd” in overleg tussen de lijn, de privacy officer en het algoritmeteam, aldus de ambtelijke organisatie. Verder geeft de ambtelijke organisatie aan dat de tool wordt gebruikt als hulpmiddel, waarbij alleen het resultaat wordt vastgelegd, en niet de tussenstappen.

Als het overleg voltooid is, dan volgt een verdiepende risicoanalyse.71 Omdat het overleg tussen de verschillende partijen niet gedocumenteerd wordt, komen de afwegingen om bijvoorbeeld een algoritme te classificeren als hoog of laag risico niet expliciet terug, aldus de ambtelijke organisatie.72 Van vijf algoritmen met een hoog risico – die ook zijn opgenomen in het algoritmeregister – werden ons onder meer DPIA’s en Quickscans over informatiebeveiliging ter beschikking gesteld.cc Uit de door ons ontvangen informatie blijkt dat de risicoanalyse zich veelal beperkt tot risico’s rondom privacy en informatiebeveiliging. Alleen bij het algoritme Onderzoekswaardigheid ‘Slimme Check’ zijn ook risicoanalyses uitgevoerd rondom mensenrechten (IAMA) en is de Kunstmatige Intelligentie Impact Assessment uitgevoerd (zie uitgebreid paragraaf 2.8.5). Voor dit algoritme zijn ook adviezen gegeven door de Participatieraad Amsterdam, de Commissie Persoonsgegevens Amsterdam en door Deloitte.73 We constateren dat bij de overige algoritmen niet is gemotiveerd en gedocumenteerd waarom dit soort analyses niet zijn uitgevoerd. Zie paragraaf 3.3 van het rapport van Tilburg University over het Amsterdamse beheerskader (bijlage 6) voor een uitgebreide analyse van de onderlinge samenhang van de zeven instrumenten in het Amsterdamse beheerskader.

2.2.3

Verschillende definities zorgen voor onduidelijkheid

Het college van B en W (december 2022) geeft aan dat er geen eenduidige definitie van 'algoritme' bestaat. 74 De ambtelijke organisatie wacht op de rijksoverheid voor een bruikbare en heldere definitie voor het woord 'algoritme'.75 Tot die tijd hanteert Amsterdam - naar eigen zeggen - een eigen definitie. Amsterdam hanteert echter vier verschillende definities (zie tekst hieronder). Dit bemoeilijkt de realisatie van het vierde doel (zie paragraaf 2.2.2): houvast bieden bij de toetsing of sprake is van een algoritme in de zin van de stedelijk vastgestelde definitie.

cc Dit betreft de algoritmen Slimme geluidsmeter (DPIA), MM Wave Sensing (DPIA, Quickscan,

advies FG), Containerherkenning (DPIA, Quickscan), Public Eye (DPIA) en Onderzoekswaardigheid ‘Slimme Check’ (DPIA, KIIA, IAMA, aanvullende analyse door Deloitte, advies CPA).

28

ALGORITMEN - ONDERZOEKSRAPPORT Amsterdam hanteert vier verschillende definities In het document Taken en verantwoordelijkheden bij het gebruik van Algoritmen door de gemeente Amsterdam (hierna: governancedocument)76, dat onderdeel is van het beheerskader en in de raadsbrief van april 202377, wordt de volgende definitie gehanteerd voor algoritmen: Definitie 1: "Software die - door gebruik van data-analyse, statistiek of zelflerende logica - geautomatiseerd voorspellingen doet, beslissingen neemt of adviezen geeft die leiden tot beslissingen van de gemeente die bestuursrechtelijk, privaatrechtelijk en/of feitelijk van aard zijn en die direct of indirect één of meer burgers van de gemeente, bezoekers van de gemeente of bedrijven of andersoortige instellingen in aanmerkelijke mate treffen.”78 Een tweede definitie komt in andere gemeentelijke documenten voor, waaronder een raadsbrief (juli 2021)79, een presentatie bij een GMT-voordracht, de openbare Handreiking Controle op algoritmen en de Quality Assurance Acceptatiecriteria.80 Deze definitie staat sinds februari 2022 ook op intranet en wordt actief gecommuniceerd tussen ambtenaren.81 Deze definitie betreft een samengevatte versie van de voornoemde definitie, omdat het laatste deel van de eerste definitie (vanaf: "[…] die leiden tot beslissingen […] in aanmerkelijke mate treffen") wordt samengevat tot "impact op burgers of

bedrijven". De tweede definitie luidt als volgt: Definitie 2: “Software die door gebruik van data-analyse, statistiek of zelflerende logica geautomatiseerd voorspellingen doet, beslissingen neemt of adviezen geeft die leiden tot impact op burgers of bedrijven.”82 In de openbare Handreiking Controle op algoritmen (december 2022) is het volgende toegelicht: “de definitie is breed en tegelijk precies. Binnen deze definitie passen zowel simpele rekenmodellen als ‘machine-learning-modellen’ en andere vormen van kunstmatige intelligentie (ook wel ‘Artificial Intelligence’ of AI genoemd). We nemen zo’n algoritme op in het Algoritmeregister als we het gebruiken bij een activiteit met invloed op burgers of bedrijven. En dan gelden ook de andere instrumenten.”83 De derde definitie staat in de gemeentelijke contractvoorwaarden. De definitie van de ambtelijke organisatie voor algoritmen wordt gesplitst in een definitie voor een

29

REKENKAMER AMSTERDAM ‘algoritmische toepassing’ en een ‘besluit’dd. De definitie van ‘algoritmische toepassing’ luidt als volgt: Definitie 3: “Software waarmee op geautomatiseerde wijze voorspellingen worden gedaan, beslissingen worden genomen en/of adviezen worden gegeven door gebruik te maken van data-analyse, statistiek en/of zelflerende logica.”84 De vierde definitie die in het gemeentelijk algoritmeregister staat, is het breedst van opzet. De definitie heeft ook het grootste externe bereik, omdat het algoritmeregister de plaats is om te zoeken naar Amsterdamse algoritmen en de gehanteerde definitie. Volgens de ambtelijke organisatie is de definitie op advies van de afdeling Communicatie versimpeld om de begrijpelijkheid te vergroten.85 Definitie 4: “Een algoritme is een vooraf bepaalde set regels of stappen die door de computer gevolgd worden.”86 Onder deze definitie vallen alle geautomatiseerde logica, waaronder computerprogramma's inclusief de regels in bijvoorbeeld Excel-sheets op gemeentelijke websites.

In de feitelijke reactie op dit rapport (september 2023) heeft de ambtelijke organisatie aangegeven dat het de definitie op korte termijn zal herzien in lijn met de Europese concept-AI-verordening.87 Definitie uit het algoritmeregister komt het meest overeen met die van het Rijk Tussen de definities van de ambtelijke organisatie zijn enkele verschillen en gelijkenissen te bemerken. De definities verschillen op de methode die het algoritme gebruikt, de vorm van de uitkomst van het algoritme, de mate van geautomatiseerd handelen en de reikwijdte van de impact van het algoritme. De eerste drie gemeentelijke definities komen overeen op het punt van specificatie van de technieken. De vierde definitie (die uit algoritmeregister) wijkt daarvan af, maar vertoont grote gelijkenissen met die van het Landelijke Algoritmeregister en de definitie die het ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) en de Algemene Rekenkamer hanteren: “Een algoritme is een set regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden.”88 Zie kader Verschillen en gelijkenissen tussen definities Amsterdam.

dd Besluiten: “[…]besluiten van de gemeente die bestuursrechtelijk, privaatrechtelijk en/of feitelijk

van aard zijn en die direct of indirect één of meer burgers van de gemeente, bezoekers van de gemeente of bedrijven of andersoortige instellingen die in de gemeente zijn gevestigd in aanmerkelijke mate treffen.” Bron: Gemeente Amsterdam, Contractbepalingen in aanvulling op de GIBIT voor het rechtvaardig gebruik van Algoritmische toepassingen.

30

ALGORITMEN - ONDERZOEKSRAPPORT

Verschillen en gelijkenissen tussen definities Amsterdam Er is een duidelijk onderscheid tussen de eerste drie definities en de vierde definitie uit het algoritmeregister. In tegenstelling tot de andere definities worden bij de meest ruime definitie (definitie vier) geen specificaties over de methoden gedaan, de vorm van de uitkomst, de mate van geautomatiseerd handelen en de impact. De definitie uit het Amsterdamse algoritmeregister vertoont gelijkenis met die van het landelijk algoritmeregister en die van de Algemene Rekenkamer die wij in dit onderzoek hanteren ("Een algoritme is een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden").89 Tevens is de vierde definitie de enige definitie die de term ‘algoritme’ niet vervangt door de term ‘software’. Definities één tot en met drie vertonen meer overeenkomsten. Er is sprake van een specificatie van technieken, namelijk dat er bij een algoritme gebruik wordt gemaakt van data-analyse, statistiek en/of zelflerende logica. Het is niet toegelicht waarom is gekozen om deze technieken op deze manier te specificeren. Ook is de voorwaarde bij deze definities dat er sprake is van een 'geautomatiseerde wijze' waarop de software tot het resultaat komt.

Het is niet duidelijk of daarmee bedoeld wordt dat het algoritme zonder enige tussenkomst van een mens moet draaien om binnen de definitie te vallen, of dat het hier gaat om 'geautomatiseerd' in de zin van 'gecomputeriseerd'. Een ander punt waarop de definities verschillen, is de specificatie van waar de voorspellingen, beslissingen of adviezen toe leiden. In het geval van de eerste definitie (uit het governancedocument) en de derde definitie (uit de gemeentelijke contractvoorwaarden) wordt gesproken van: “Software die […] voorspellingen doet, beslissingen neemt of adviezen geeft die leiden tot beslissingen van de gemeente die bestuursrechtelijk, privaatrechtelijk en/of feitelijk van aard zijn en die direct of indirect één of meer burgers van de gemeente, bezoekers van de gemeente of bedrijven of andersoortige instellingen in aanmerkelijke mate treffen.” Daarentegen ontbreekt het in de tweede en derde definitie aan het feit dat de output van het algoritme moet leiden tot beslissingen van de gemeente (en dus ook de aard van die beslissingen). Deze definities spreken enkel van voorspellingen, beslissingen of adviezen die leiden tot impact op burgers en bedrijven. De groep op wie het algoritme impact heeft, is bij de eerste definitie dus breder: burgers en bedrijven versus een of meer burgers van de gemeente, bezoekers van de gemeente of bedrijven of

31

REKENKAMER AMSTERDAM andersoortige instellingen. Door deze toevoeging te maken, verkleint de reikwijdte van de definitie.ee Verschillende definities leiden tot onduidelijkheid en discussie Wij hebben tijdens het onderzoek in gesprekken met ambtenaren ervaren dat het ontbreken van één heldere definitie leidt tot onduidelijkheid en discussies binnen de ambtelijke organisatie over de vraag of een ‘model’, ‘tool’ of een ‘geautomatiseerd formulier’ nu wel of geen algoritme betreft, of het wel of niet wel in het algoritmeregister moet worden vermeld en of het beheerskader wel of niet van toepassing is. Deze discussies worden mede gevoed doordat onderdelen van de verschillende definities (‘dataanalyse, statistiek of zelflerende logica’ en ‘geautomatiseerde wijze’) verschillend uitgelegd kunnen worden. Negatieve connotatie van algoritmen Ook hebben wij ervaren dat ambtenaren en leveranciers liever niet willen dat bepaalde 'modellen' of 'tools' worden geassocieerd met de term 'algoritme'. 'Algoritmen' zouden mede vanwege de negatieve aandacht in de media door SyRI en de Toeslagenaffaire een negatieve connotatie hebben.

Ambtenaren geven ook aan dat de aanvullende eisen rondom algoritmen kunnen leiden tot extra werk(druk) en innovatie kunnen belemmeren.90 De toelichting bij de concept-AI-verordening bevestigt dat het ontwikkelen, gebruik en het onderhouden van een algoritme (jaarlijks) middelen van organisaties (zoals de Amsterdamse ambtelijke organisatie) vergt.ff91

2.2.4

Beheerskader sluit deels aan op Europese concept-AI-verordening

Het Amsterdamse beheerskader voor algoritmen is ontworpen met de Europese conceptAI-verordening in het achterhoofd.92 Hoewel de verordening 'AI' (kunstmatige intelligentie) in de naam heeft, is deze verordening ook van toepassing op minder complexe algoritmen en op algoritmen zonder AI.93 Het is belangrijk om te benadrukken dat de concept-AI-verordening nog in ontwikkeling is en ook na het vaststellen van het Amsterdamse beheerskader voor algoritmen nog is gewijzigd. Het is nog niet zeker wanneer en in welke vorm de verordening in werking zal

ee Dat er ook nog verdere vermenging van de definities mogelijk is, bewijst de volgende definitie die

werd aangetroffen in de Quality Assurance Acceptatiecriteria v1.1, 5 juni 2023 (p. 11): "Er is sprake van een algoritme als zowel (1) gebruik gemaakt wordt van data-analyse, statistiek en/of zelflerende logica en (2) de software op deels of volledig geautomatiseerde wijze tot een uitkomst komt (bijv. een berekening, advies of voorspelling)". ff In de concept-AI-verordening (paragraaf 3.3, versie april 2021) maakt de Europese Commissie een inschatting van de financiële gevolgen van het naleven van de bepalingen uit de verordening. De kosten zouden bij de ontwikkeling van een hoog risico-algoritme tussen de € 6.000 en € 7.000 bedragen. De kosten van het jaarlijks menselijk toezicht bedraagt tussen de € 5.000 en € 8.000. De jaarlijkse checks kosten naar schatting tussen de € 3.000 en € 7.500.

32

ALGORITMEN - ONDERZOEKSRAPPORT treden.gg Zodra de verordening van toepassing wordt, zal Amsterdam zich daaraan moeten houden.hh Beheerskader sluit aan op Europese risicoindeling Wat vooral opvalt, is de aansluiting van het Amsterdamse beheerskader voor algoritmen op de Europese classificatie van 'hoog risico' algoritmen. De nadruk in de concept-AIverordening ligt namelijk op voorschriften voor hoog risico-algoritmen.94 In artikel 6 is geclassificeerd wat onder een hoog risico AI-systeem wordt volstaan. Er moet aan twee voorwaarden worden voldaan: 1. het algoritme moet onder een van de toepassingsgebiedenii vallen (uit bijlagen II of IIIjj) en 2. er moet sprake zijn van een risico op het gebied van gezondheid, veiligheid, gezondheid, grondrechten of (eventueel) milieu.95 De concept-AI-verordening bevat ook een sectie over verboden AI-praktijkenkk, waarmee rekening wordt gehouden in de Amsterdamse risicoanalysetool voor algoritmen (zie paragraaf 2.2.1). Het gaat daarbij om risico’s die onaanvaardbaar worden geacht.96 Het Amsterdamse beheerskader leunt op de risico-indeling van de concept-AIverordening. Het gevolg van het hanteren van de risicogerichte methode is dat voor hoog risico-algoritmen hogere eisen gelden. Dit is zowel een sterk als een zwak punt. Sterk, omdat dit een efficiëntere beheersing en werkwijze kan opleveren.

En zwak, omdat bijvoorbeeld door het ontbreken van voorschriften voor de overige typen algoritmen risico’s over het hoofd kunnen worden gezien en er minder transparantie richting burgers is vereist. De concept-AI-verordening bevat bepalingen over gedragscodes, waarmee de

gg Op 21 april 2021 heeft de Europese Commissie een wetgevingsvoorstel ingediend voor de AI-

verordening. Op 6 december 2022 heeft de Raad van Ministers zijn gezamenlijke standpunt bereikt; op 14 juni 2023 heeft het Europees Parlement zijn gezamenlijke standpunt inzake de verordening (Artifical Intelligence Act) vastgesteld in een eerste lezing. Deze versie moet minimaal nog door de Raad van Ministers worden goedgekeurd (zie Europees wetgevingstraject). Het Europese Parlement, de Raad van de Europese Unie en Europese Commissie waren ten tijde van het rekenkameronderzoek nog aan het onderhandelen over de definitieve tekst van de verordening. Bron: Podcast BNR Big Five – interview met Catelijne Muller (dd. 16 juni 2023). Of de verordening de eindstreep haalt en in welke vorm, is ten tijde van het onderzoek niet bekend. hh Het moment van inwerkingtreding en het moment dat de Europese verordening van toepassing wordt, verschilt. Tussen deze twee momenten kan een periode liggen om (decentrale) overheden en bedrijven in de gelegenheid te stellen om de regeling in te voeren (zie EU Monitor). Bij de Algemene verordening gegevensbescherming bedroeg deze periode twee jaar.

ii De toepassingsgebieden die in bijlage III als ‘hoog risico’ worden gezien, zijn: biometrische identificatie en categorisering van natuurlijke personen, management en uitvoering van kritieke infrastructuren, onderwijs, werkgelegenheid en personeelsbeheer, publieke dienstverlening en toegang tot uitkeringen of toeslagen, rechtshandhaving, migratie en grenscontroles en rechtsgang en democratische processen zoals verkiezingen. Bron: concept-AI-verordening, versie april 2021. jj De concept-AI-verordening laat in artikel 7 nog wel ruimte voor de toevoeging of het schrappen van hoog risico systemen in bijlage III door de Europese Commissie. kk Hieronder vallen systemen die ertoe leiden dat personen fysieke of psychologische schade oplopen, social scoring systemen, gebruik van real-time biometrische systemen voor identificatie op afstand in openbare ruimten voor rechtshandhaving, tenzij het bijvoorbeeld gaat om het zoeken naar vermiste kinderen, het voorkomen van een terroristische aanslag of de opsporing van een dader of verdachte voor een strafbaar feit met een straf van minimaal drie jaar. Bron: Concept-AIverordening, versie april 2021 van Europese commissie, art. 5.

33

REKENKAMER AMSTERDAM toepassing van de strengere voorschriften op minder risicovolle algoritmen wordt gestimuleerd, zodat ook die voldoen aan de beginselen van de verordening.97 Op onderdelen sluit het beheerskader voldoende aan Verder valt het op dat het beheerskader al voldoende aandacht heeft voor de volgende punten uit de concept-AI-verordening:

• • • •

Het monitoren van (test)resultaten; Het vernietigen van data (uit de testomgeving) op de juiste momenten; Verplichtingen ten aanzien van technische documentatie; Transparantie en informatieverstrekking aan en verplichtingen van ambtelijke functionarissen die het algoritme gebruiken; • Menselijk toezicht op algoritmen. Op andere onderdelen sluit het beheerskader nog niet helemaal aan Daarnaast zijn er nog een aantal verbeterpunten, zodat het beheerskader beter aansluit op de eisen die de concept-AI-verordening stelt. Er is namelijk momenteel nog geen aandacht voor het aan burgers laten weten dat zij communiceren (‘interageren’) met een AIsysteem, bijvoorbeeld wanneer een chatbot wordt toegepast. Verder is het recht op een duidelijke en zinvolle toelichting voor de bezwaarfase uitgewerkt, maar is deze transparantie bij het primaire besluit nog gebrekkig (zie de paragrafen 2.4 en 2.8.4).98 Voor het uitvoeren van de verplichte effectbeoordeling op grondrechten is maar zeer beperkt aandacht in het beheerskader.99 Deze beoordeling zou kunnen worden uitgevoerd met behulp van de IAMA, maar uit het beheerskader blijkt nog niet dat het IAMA standaard moet worden uitgevoerd. Vanaf begin 2023 heeft het college aangegeven dat de IAMA verplicht moet worden uitgevoerd en in juni 2023 heeft de ambtelijke organisatie besloten om over te stappen op het IAMA (zie paragraaf 2.8.5).

Verder heeft het kader geen aandacht voor sommige verplichtingen rondom het testen van algoritmen in een testomgeving of in reële omstandigheden, net als wat daarover moet worden gedocumenteerd.100 Zo is er geen aandacht voor het voorkomen van maatregelen en besluiten die (per ongeluk) worden genomen op basis van data en algoritmen in testomgevingen. Ook ontbreekt nog de verplichting in het kader om de doelstellingen van algoritmen in ontwikkeling en verwachte resultaten ervan openbaar te publiceren.101 Daarnaast is er nog geen aandacht voor het opstellen van een openbaar jaarverslag over de testomgeving en verslagen bij de overgang van het algoritme van de testomgeving naar de productieomgeving.102 Tot slot besteedt het Amsterdamse beheerskader geen aandacht aan het opstellen van gedragscodes voor algoritmen zonder hoge risico’s.103

2.3 Aandacht voor sturing en verantwoording Om te kunnen sturen op hetgeen het gemeentebestuur wil bereiken en zich naar binnen en buiten toe te kunnen verantwoorden over wat hij doet en waarom, legt het college afspraken vast (vandaar: sturing en verantwoording). Dit soort afspraken kunnen gaan over het doel van het algoritme, de afweging om het algoritme in te zetten, het betrekken

34

ALGORITMEN - ONDERZOEKSRAPPORT van burgers, de rollen en verantwoordelijkheden, het managen en documenteren van verschillende fasen van het algoritme, risico-afwegingen bij het gebruik van het algoritme en afspraken met externe partijen over bijvoorbeeld aansprakelijkheid. In grote lijnen is het Amsterdamse beheerskader voor algoritmen toereikend op het gebied van sturing en verantwoording. Het Amsterdamse beheerskader heeft voldoende aandacht voor het:

• vastleggen van beoogde doelen van algoritmen [1.01]ll; • op vaste (periodieke) momenten een afweging plaats laten vinden van de risico's • •

• •

van het gebruik van (specifieke) algoritmen [1.02]; beschikbaar stellen van voldoende deskundigheid, zowel kwantitatief als kwalitatief [1.03]; op verschillende niveaus beschrijven en vastleggen van verschillende rollen, taken, verantwoordelijkheden en bevoegdheden van Amsterdamse functionarissen die in enige mate verantwoordelijk zijn voor algoritmen [1.05]; vastleggen van een aanpak voor het monitoren van kwaliteits- en prestatiedoelstellingen van algoritmen en het monitoren daarvan [1.06 en 1.08]; vastleggen van afspraken bij aanbestedingenmm van onderdelen of activiteiten met betrekking tot algoritmen [1.07].

Daarmee is er voldoende aandacht voor zeven van de acht toetsingsonderdelen binnen het thema sturing en verantwoording. Tegelijkertijd heeft het beheerskader nog te weinig aandacht voor het actief betrekken van burgers, inclusiviteit en passendheid bij besluitvorming rondom en inzet van digitale middelen in bestuur. Er is wel aandacht voor communicatie naar burgers omtrent de inzet van algoritmen, maar dat blijft vooral bij 'zenden'. Burgers worden daarnaast om feedback gevraagd wanneer het algoritme gepubliceerd is in het algoritmeregister. Over betrokkenheid en inclusie van (bepaalde groepen) burgers bij het ontwikkelen van algoritmen zegt het beheerskader vrij weinig, tenzij de burger de eindgebruiker is van het algoritme. Maar wanneer ambtenaren de eindgebruikers zijn, en het algoritme gebruikt wordt voor beslissingen die burgers kunnen raken, vraagt het kader niet expliciet om burgers te betrekken en om aandacht te hebben voor behoeftes van specifieke groepen. Bij de evaluatie van de ‘ethische toetsing van technologische toepassingen’ binnen de gemeente (juni 2023) geeft het college aan dat ze belanghebbenden meer wil gaan betrekken en meer diverse perspectieven wil meenemen.104 In het beleid voor digitalisering (het 'I-beleid'), dat geen deel uitmaakt van het beheerskader, is wel aandacht voor burgerbetrokkenheid (zie kader).

ll Het nummer ‘1.01’ betreft het nummer van het toetsingsonderdeel. Zie bijlage 1 voor een

overzicht van de toetsingsonderdelen. mm Het gaat hier om de aanbesteding van diensten of leveringen zoals bedoeld in artikel 1.1 van de Aanbestedingswet 2012.

35

REKENKAMER AMSTERDAM

Burgerbetrokkenheid in het I-beleid van Amsterdam Het algemenere I-beleid van Amsterdam heeft daarentegen wel aandacht voor burgerbetrokkenheid. Onder andere in de Agenda Digitale Stad en Datastrategie is er aandacht voor burgerbetrokkenheid, inclusiviteit en passendheid. Het gaat om verschillende activiteiten, zoals het organiseren van een publiek debat rondom ethische vraagstukken, Amsterdammers te laten meedenken over digitale oplossingen, een (veilige) digitale omgeving of digitale rechten. Of om burgers digitale middelen te laten inzetten, bijvoorbeeld voor geluidsmetingen. Specifiek voor algoritmen wordt in de Datastrategie genoemd dat burgers om een reactie wordt gevraagd op het algoritmeregister en in de Agenda AI wordt een inspraakproces en feedback bij beleidsontwikkeling rondom algoritmen benoemd. Het documenteren van de complete levenscyclus van het algoritme, van start tot eind, gaat nog niet goed. Amsterdam heeft wel een model ontwikkeld voor het in kaart brengen van de verschillende fases waarin een algoritme zich kan bevinden ('het levenscyclusmodel'; zie onderstaande figuur), maar het beheerskader vraagt niet expliciet om elke fase van het proces per algoritme te documenteren.

Figuur 2.4. Het 'levenscyclusmodel' van de gemeente Amsterdam

Bron: Directie Digitale Strategie en Informatie, Taken en verantwoordelijkheden bij het gebruik van Algoritmen door de gemeente Amsterdam, 20 januari 2022.

Zonder goede documentatie gedurende de hele levenscyclus van het algoritme is het algoritme niet goed (tussentijds en achteraf) te evalueren en te rechtvaardigen.105 Het kan er ook voor zorgen dat achteraf niet meer (aan een toezichthouder) kan worden uitgelegd om welke redenen bepaalde beslissingen en keuzes met betrekking tot een algoritme zijn gemaakt. Ook de Europese concept-AI-verordening vereist documentatie van 'hoog risicoalgoritmen' (zie kader voor uitleg) nog voordat ze in gebruik worden gesteld.106

36

ALGORITMEN - ONDERZOEKSRAPPORT

Wat zijn hoog risico-algoritmen volgens de Europese Commissie? De Europese Commissie heeft een lijst gemaakt van algoritmen en AI-systemen die worden gezien als 'hoog risico'.107 Deze categorisering is sterk afhankelijk van het toepassingsgebied. Zo zijn bijvoorbeeld alle algoritmen die worden toegepast bij kritieke infrastructuren ‘hoog risico’, ongeacht de complexiteit van het algoritme of impact op de burger. Andere hoog risico toepassingsgebieden zijn: - biometrische identificatie en categorisering van natuurlijke personen; - onderwijs; - werkgelegenheid en personeelsbeheer; - publieke dienstverlening en toegang tot uitkeringen of toeslagen; - rechtshandhaving; - migratie en grenscontroles en rechtsgang; - democratische processen, zoals verkiezingen. Tot slot heeft het Amsterdamse beheerskader beperkt aandacht voor duurzaamheid en doelmatigheid. In haar advies over de opvolging van het raadsinitiatief Grip op Technologie (maart 2023) schrijft de CPA dat kunstmatige intelligentie getraind moet worden met data om het algoritme zijn werk te laten doen. Het benodigde energieverbruik daarvan kan een grote impact op het milieu hebben.108 Daarnaast is het nuttig om expliciet af te wegen of beslissingen doelmatig (efficiënt) zijn.

Voegt een algoritme iets toe tegenover traditionele methoden? Zijn er niet andere maatregelen mogelijk om hetzelfde of meer te bereiken? Is inkopen of zelf ontwikkelen efficiënter? Dit zijn zaken waarvan we verwachten dat het Amsterdamse beheerskader er aandacht aan zou besteden.

2.4 Aandacht voor model en data Het onderdeel model en data gaat onder meer over de vraag of het Amsterdamse beheerskader voldoende aandacht heeft voor de kwaliteit van de data en de ontwikkeling, het gebruik en het onderhoud van het model onderliggend aan het algoritme.109 Belangrijk daarbij is het uitvoeren van controles om de juiste werking van het algoritme te kunnen garanderen.110 Ook is het in het kader van model en data belangrijk dat het beheerskader waarborgen stelt om eventuele vooroordelen in de gebruikte data en in het model te voorkomen (zie kader Wat is bias), dat er niet meer gegevens worden verzameld dan nodig is om het beoogde doel van het algoritme te bereiken (dataminimalisatie) en dat de output van het model wordt getoetst.111 Wat is bias? Biases zijn onwenselijke systematische afwijkingen voor specifieke personen, groepen of andere eenheden.112 De systematische afwijkingen vinden dan plaats op kenmerken, waarvan we als maatschappij vinden dat die er niet toe zouden moeten

37

REKENKAMER AMSTERDAM doen. Het college van B en W geeft aan dat systematische afwijkingen op basis van nationaliteit, geboorteland, postcode, huidskleur, etniciteit, geslacht, leeftijd, burgerlijke staat, seksuele geaardheid, religie, politieke opvatting, verblijfsstatus, zwangerschap, gezondheid, sociale klasse of genetica door Amsterdam als onwenselijk te zien.113 Er is bijvoorbeeld sprake van bias wanneer bepaalde personen of groepen meer kans hebben om bevoordeeld of benadeeld te worden op basis van geslacht.nn Een bias kan direct ontstaan door selectie op basis van kenmerken die er niet toe doen (i.e. onwenselijke afwijkingen), maar kan ook indirect ontstaan, doordat er selecties worden gemaakt op basis van indicatoren die ogenschijnlijk neutraal zijn, maar tegelijkertijd sterk correleren met kenmerken die er niet toe doen.114 Bias door het model kan bijvoorbeeld voorkomen wanneer gebruik wordt gemaakt van etniciteit of van andere kenmerken die iets kunnen zeggen over etniciteit (zoals laaggeletterdheid of voorkeurstaal).115 Een voorbeeld van bias kan zijn dat bepaalde groepen meer kans hebben om gecontroleerd te worden dan anderen als gevolg van eenvoudige beslisregels. Zo'n beslisregel lijkt dan weliswaar transparant, maar kan er tegelijkertijd voor zorgen dat bepaalde groepen oververtegenwoordigd zijn in verhouding tot de werkelijke populatie.

Bias door de data kan ontstaan wanneer een algoritme (zowel bij rule-based als bij case-based systemen) gebruikmaakt van historische gegevens, waarbij sprake is geweest van een specifiek beleid op specifieke groepen, waardoor deze groepen meer of minder vertegenwoordigd worden in een dataset. Dit kan zorgen voor een vertekening in de uitkomsten van het algoritme. Door adequate controles in te bouwen in het algoritme, of door de uitkomsten te controleren op onwenselijke systematische afwijkingen, kan bias (gedeeltelijk) gecorrigeerd worden.116 Het is ook belangrijk om te benadrukken dat bias ook op een veelvoud aan andere manieren kan ontstaan. We zien dat het Amsterdamse beheerskader voor betreft het model en de data voldoende aandacht heeft voor:

• het duidelijk formuleren van het doel van het algoritme en dat het algoritme functioneert in lijn met de geformuleerde doelstelling(en) [2.01]; • het doel van het algoritme inzichtelijk en uitlegbaar is en gedeeld wordt door de eigenaar, ontwikkelaar en gebruiker van het algoritme [2.02A en 2.02B]; • het maken van een afweging tussen de uitlegbaarheid van het model en de prestatie van het model [2.03];

nn Zie bijvoorbeeld Reuters: Amazon scraps secret AI recruiting tool that showed bias against women,

via weblink.

38

ALGORITMEN - ONDERZOEKSRAPPORT

• de externe communicatie over het model en het publiceren en beschikbaar stellen

•

•

• • • • • • • •

van het model (code en werking) en (een beschrijving van) de gebruikte data voor belanghebbenden [2.06 en 2.21]; het betrekken van de verschillende interne stakeholders/eindgebruikers van het algoritme in het ontwikkelingsproces (specifiek voor het betrekken van burgers is minder aandacht) [2.08]; het vastleggen van toegepaste controles om de aansluiting te maken tussen de invoer (data) en de uitvoer (resultaat) om zo de juistheid en volledigheid van de verwerking te garanderen [2.09]; het model periodiek actualiseren, zodat het in lijn blijft met actuele wet- en regelgeving [2.10]; het waarborgen van de kwaliteit van de data en het gescheiden verwerken van trainings-, test- en/of validatiedata [2.11 en 2.14]; het waarborgen dat er geen bias wordt gecreëerd door keuzes met betrekking tot het model [2.12]; het waarborgen dat de data representatief zijn en geen onwenselijke bias bevat [2.13 en 2.15]; dat de gemeente (volledige) controle en beheersing (eigenaarschap) heeft over de gebruikte data voor het model [2.16]; het documenteren van de kwaliteit van het model (voor hoog risico-algoritmen, niet voor andere algoritmen) [2.18]; het borgen dat de kwaliteit van de resultaten op orde is en de output van het model gemonitord wordt [2.19 en 2.20]; de onderhoud en beheer op het algoritme [2.22].

Daarmee is er aandacht voor negentien van de drieëntwintig toetsingsonderdelen binnen het thema model en data. Er zijn echter ook onderdelen waarvoor in het beheerskader minder aandacht is. Zo vraagt het beheerskader weliswaar voor hoog risico-algoritmen dat (de gemaakte keuzes en gehanteerde aannames van) het ontwerp en de implementatie van het algoritme gedocumenteerd worden, maar wordt er geen aandacht gegeven voor de documentatie van model en code bij niet-hoog risico-algoritmen. Hierdoor loopt men het risico dat niet bij alle algoritmen kan worden herleid waarom welke keuzes zijn gemaakt in het model en de code van het algoritme. Een ander risico voor het ontbreken van deze documentatie van het model en de code is dat de continuïteit van het proces en de uitvoering van werkzaamheden in geding komt. Er is in het geval van niet-hoog risico-algoritmen nog te weinig aandacht voor geldende transparantie-eisen die volgen uit de bestuursrechtelijke AERIUS-jurisprudentie. Deze transparantie-eisen houden in dat het college of de burgemeester, wanneer er sprake is van geautomatiseerde besluitvorming, de gemaakte keuzes, gebruikte gegevens en aannames uit eigen beweging volledig, tijdig en op passende wijze openbaar moeten maken. 117 Het rapport van de Tilburg University (2023) maakt duidelijk dat het steeds

39

REKENKAMER AMSTERDAM complexer wordt om geautomatiseerde en handmatige stappen in besluitvorming van elkaar te onderscheiden. Bovendien duiden ontwikkelingen in de rechtspraak erop dat de bestuursrechter steeds meer gewicht toekent aan een begrijpelijke en inzichtelijke motivering van besluiten.118 Het College voor de Rechten van de Mens (2023) pleit voor een wettelijke plicht tot transparantie bij individuele besluiten die burgers rechtstreeks raken, wanneer het algoritme is gebruikt om tot een besluit te komen, zodat burgers uit het besluit kunnen opmaken of er een algoritme is gebruikt en zich tegen eventuele discriminatierisico’s kunnen verdedigen.119 Ook is in de concept-AI-verordening door het Europese Parlement een amendement toegevoegd over het recht op een duidelijke en zinvolle toelichting wanneer een besluit mede op basis van een hoog risico-algoritme is genomen. En acht het Europese Parlement het wenselijk dat burgers worden geïnformeerd als het algoritme op hen wordt toegepast.120 Gezien deze ontwikkelingen achten wij het zeer wenselijk dat het college net zo open is over de rol van het algoritme in de besluitvorming als het besluit is gemaakt door een mens op basis van een advies of informatie die uit een algoritme volgt, als wanneer er sprake is van geautomatiseerde besluitvorming.

Het risico dat de gemeente loopt wanneer ze dit niet doet, is dat besluiten die voortkomen uit algoritmen onvoldoende gemotiveerd en transparant zijn. Uit een gesprek met medewerkers van de ambtelijke organisatie blijkt dat ze belang hechten aan een goed gemotiveerd besluit, maar dat zij er niet van overtuigd zijn dat het daarvoor nodig is om te vermelden van welke tool zij gebruikt hebben gemaakt om tot de beslissing te komen. Een ander deel van de medewerkers ziet de toegevoegde waarde voor betrokkenen wanneer in het besluit wordt vermeld welke informatie is gebruikt en hoe deze is gewogen om tot het besluit te komen.121 Tot slot heeft het beheerskader bij het uitgangspunt dataminimalisatie enkel aandacht voor de proportionaliteit van de dataverzameling en -verwerking. Proportioneel betekent in dit geval dat de inzet van een algoritme effectief en efficiënt is ten opzichte van het beoogde doel en dat niet meer persoonsgegevens mogen worden verwerkt dan voor het doel noodzakelijk is.122 Met andere woorden: of het algoritme zijn doel niet voorbijschiet, en of er niet minder (of minder gevoelige) gegevens kunnen worden gebruikt. Het is niet duidelijk of daar ook een expliciete afweging wordt gemaakt als het gaat om subsidiariteit.

Subsidiair betekent dat het doel niet op een minder ingrijpende wijze kan worden bereikt (door minder of geen persoonsgegevens te verwerken), bijvoorbeeld door een ander middel in te zetten dan een algoritme of een ander soort algoritme in te zetten.123 Met andere woorden: 'kan het niet wat minder?' De Europese concept-AI-verordening stelt dat technische documentatie van hoog risicoalgoritmen dient te worden opgesteld voordat dit systeem in gebruik wordt gesteld (hoofdstuk 2, artikel 11). De verplichte aanwezigheid van technische documentatie is nog niet als zodanig vastgesteld door het GMT.

40

ALGORITMEN - ONDERZOEKSRAPPORT

2.5 Aandacht voor privacy Algoritmen gebruiken vaak persoonsgegevens om naar behoren te functioneren. De betrokken personen hebben recht op privacyoo, en het is daarom belangrijk dat er goede waarborgen zijn om de privacy te behouden. De Algemene Verordening Gegevensbescherming (AVG) die in mei 2018 in werking is getreden heeft tot doel de privacy van Europese burgers te beschermen door te reguleren hoe persoonsgegevens worden verzameld, verwerkt en opgeslagen, en om privacyrechten van burgers verder te verankeren. Het is daarom belangrijk om na te denken over hoe algoritmen worden ontworpen en gebruikt, en hoe deze zich verhouden tot de AVG en andere privacywetten. Het zo veel mogelijk beperken van de impact van algoritmen op de privacy van individuen vraagt om een verantwoorde manier van ontwikkelen en gebruik van algoritmen. Het is daarom belangrijk dat het Amsterdamse beheerskader voor algoritmen hier voldoende aandacht voor heeft. Het beheerskader heeft in zijn algemeenheid aandacht voor privacy en de AVG. Het kader benoemt de AVG expliciet, en heeft voldoende aandacht voor het:

• opnemen van algoritmen in het verwerkingsregister indien persoonsgegevens • •

• • •

•

worden verwerkt [3.01]; ontwerpen van algoritmen volgens de principes van 'data protection by design' [3.02]; uitvoeren van een 'Data Protection Impact Assessment' (DPIA) wanneer een gegevensverwerking waarschijnlijk een hoog privacyrisico oplevert voor de personen van wie de gegevens worden verwerkt [3.03]; nagaan of er sprake is van geautomatiseerde besluitvorming, en zo ja, of dat is toegestaan [3.04]; vaststellen van een rechtmatige grondslag voor de verwerking van persoonsgegevens [3.06]; vaststellen van wie de 'verwerkingsverantwoordelijke' en wie de 'verwerker' is van de persoonsgegevens, wanneer er andere organisaties worden ingezet om persoonsgegevens voor Amsterdam te verwerken, en daar duidelijke afspraken over te maken in een 'verwerkersovereenkomst' [3.08]; toetsen in hoeverre er sprake is van profilering in de zin van de AVG en in hoeverre dat is toegestaan [3.09].

Daarmee is er voldoende aandacht voor zeven van de dertien toetsingsonderdelen binnen het thema privacy.

oo In navolging van de Tilburg University stellen wij privacy gelijk aan de bescherming en

eerbiediging van de persoonlijke levenssfeer. Dit recht biedt de burger de mogelijkheid om op te komen tegen onrechtmatige inmenging in diens autonome bewegings-, ontwikkelings- en keuzevrijheid. Bron: Tilburg University, -econ, februari 2023.

41

REKENKAMER AMSTERDAM Uit eerder onderzoek van Tilburg Institute for Law, Technology and Society (TILT, 2022) blijkt dat de in Amsterdam gehanteerde sjabloon voor de DPIA in opzet in orde is, en aansluit op de vereisten van de AVG.124 Tegelijkertijd zou de sjabloon-DPIA gebaat zijn bij meer aandacht voor vooronderzoek, het betrekken van belanghebbenden en uitleg van de gehanteerde terminologie (zie kader Amsterdamse DPIA voldoet aan de AVG, maar laat ruimte voor verbetering). Ons valt daarnaast op dat de DPIA de ambtelijke organisatie weinig ondersteuning biedt om te bepalen of er sprake is van profilering , of profilering is toegestaan en hoe betrokkenen moeten worden geïnformeerd over de profilering en de gevolgen daarvan.

Het sjabloon voor de DPIA is in september 2023 geactualiseerd en bevat nu wel een definitie van profilering, het risico dat het uitgelegd kan worden als discriminatie van bepaalde groepen en voorwaarden waaraan moet worden voldaan wanneer toch gebruik wordt gemaakt van profileringen (zie paragraaf 3.4.2).125 Amsterdamse DPIA voldoet aan de AVG, maar laat ruimte voor verbetering In opdracht van de Commissie Persoonsgegevens Amsterdam (CPA, zie ook paragraaf 2.8.2) heeft het Tilburg Institute for Law, Technology and Society (TILT) in 2022 een analyse gedaan van de in Amsterdam gehanteerde template voor de ‘Data Protection Impact Assessment’ (DPIA).126 Uit de analyse komt naar voren dat de inhoud van de gehanteerde template voldoet aan de juridische en procedurele vereisten van de AVG. Zo wordt de DPIA verondersteld plaats te vinden voordat gegevensverwerking begint, is deze gericht op het identificeren van risico’s en het mitigeren ervan met technische en organisatorische maatregelen, en identificeert het de verantwoordelijke personen voor de implementatie ervan.

Voorts voorziet de template ook in de betrokkenheid van de privacy officer, en met overwegingen als “is iets veranderd sinds de laatste DPIA is uitgevoerd?”, voorziet het ook in de middelen om mogelijk onnodige DPIA's te vermijden.127 Uit het onderzoek van TILT blijkt ook dat uit de template niet duidelijk wordt of, en zo ja, wanneer het uitvoeren van een DPIA noodzakelijk is. Een pre-assessment zou het makkelijker maken om in een vroeg stadium de risicocategorisering in het vizier te krijgen.pp Zo komt ook direct in beeld welke algoritmen binnen de categorie hoog risico vallen en waarvoor dus een DPIA is vereist.128 Ook zou het de foutmarge kunnen verkleinen bij het bepalen of een verwerking wel of geen betrekking heeft op persoonsgegevens. Dit is niet altijd eenvoudig, gezien de ruime interpretatie die aan het begrip ‘persoonsgegevens’ wordt toegekend.129 Het betrekken van belanghebbenden is een ander aspect van het DPIA-proces dat niet volledig lijkt te worden behandeld in het sjabloon. De template voorziet in een paragraaf over advies dat kan worden ingewonnen bij functionaris voor gegevensbescherming (FG), verwerkingsverantwoordelijken, de CPA zelf, en de personen op wie de data mogelijk betrekking hebben (paragraaf 13 van de DPIA).

Er zijn echter geen aanwijzingen hoe het proces van het inwinnen van advies eruit behoort te zien; ook pp Sinds januari 2023 bevat de DPIA wel een pre-scan (zie paragraaf 3.4.1).

42

ALGORITMEN - ONDERZOEKSRAPPORT niet bijvoorbeeld of het inwinnen van advies vrijwillig of verplicht is.qq De template die door de gemeente Amsterdam wordt gebruikt, lijkt niet bedoeld voor publicatie, en DPIA's worden door het college niet actief openbaar gemaakt (bijvoorbeeld in het algoritmeregister).130 Daarnaast ontbreekt de uitleg over de gebruikte terminologie.rr Dit hoeft niet een direct probleem te zijn volgens de onderzoekers van TILT, mits er voldoende middelen en deskundigheid aan de DPIA worden toegewezen. Maar het koppelen van de template met aanvullende informatie zou de consistentie tussen de verschillende DPIA's die door de gemeente Amsterdam worden uitgevoerd bevorderen, de mate van subjectiviteit verminderen, en interpretatieruimte verkleinen.131 Die interpretatieruimte is er nu wel. Zo lijkt proportionaliteit alleen te worden beschouwd in de context van het doelbindingsbeginsel, terwijl de rol van proportionaliteit in de AVG breder is.132 Overigens zijn de bevindingen bij de door Amsterdam gebruikte template vergelijkbaar met andere DPIA-templates en richtlijnen van andere organisaties die TILT voor deze analyse onderzocht. Bron: Dalla Corte, L., & van Brakel, R.

(2022), Data protection impact assessment methods for the urban environment: A report for the Commissie Persoonsgegevens Amsterdam (CPA), Tilburg Institute for Law, Technology and Society (TILT), 23 augustus 2022. Op een aantal normen die volgen vanuit de AVG constateren we dat er beperkt aandacht of zelfs geen aandacht is voor deze normen. Daarbij valt op dat er weinig aandacht is voor het proactief of op verzoek informeren van betrokkenen wiens gegevens worden verwerkt of gebruikt. Er is ook beperkt aandacht voor het duidelijk maken van de mogelijke gevolgen voor betrokkenen wiens persoonsgegevens worden verwerkt. Er is weliswaar een openbaar privacybeleid, maar daarin wordt niet expliciet aandacht besteed aan algoritmen. Ook is er beperkt aandacht voor het expliciet maken van overwegingen en gevolgde logica bij het verstrekken van besluiten die (gedeeltelijk) zijn gemaakt met behulp van een algoritme. Er is aandacht aan besteed door een handreiking te maken voor interne

qq De in september 2023 geactualiseerde DPIA bevat een verplichting om vóór de afronding van de

DPIA advies in te winnen bij de FG. De ambtelijke organisatie geeft in september 2023 aan dat de verplichte consultatie van de FG en de CPA ook wordt opgenomen in de nieuwe Quality Assurance Acceptatiecriteria, die naar verwachting in het laatste kwartaal van 2023 zullen worden geactualiseerd. (Bron: Feitelijke reactie van de ambtelijke organisatie op de Nota van Bevindingen Algoritmen, 18 september 2023; Gemeente Amsterdam, DPIA Template DEF.docx, ongedateerd) rr In de vernieuwde DPIA (september 2023) is meer aandacht gekomen voor de gehanteerde terminologie, met verduidelijkingen over wat er onder begrippen wordt verstaan als profilering, algoritmen, een BIO-scan (Baseline Informatiebeveiliging Overheid) en het Basis Beveiligings Niveau (BBN), en welke consequenties het beantwoorden van een vraag met ‘Ja’ kan hebben voor de te benaderen betrokkenen. (Bron: Feitelijke reactie van de ambtelijke organisatie op de Nota van Bevindingen Algoritmen, 18 september 2023; ; Gemeente Amsterdam, DPIA Template DEF.docx, ongedateerd)

43

REKENKAMER AMSTERDAM bezwaarbehandelaars, maar er is nog te weinig aandacht voor transparantie in de overwegingen en logica bij het primaire besluit (zie ook onderstaand kader). Concreet betekent dit, dat er te weinig aandacht is voor uitleg en informatie over de rol die het algoritme heeft gespeeld bij de totstandkoming van het besluit en uitleg over de gevolgde logica die specifiek van toepassing is op het individuele besluit (zie ook paragraaf 2.8.4). Passende mate van transparantie bij besluiten met algoritmen Het College voor de Rechten van de Mens (CvdRM) heeft in 2023 een zogenaamd ‘position paper’ geschreven waarin zij een standpunt inneemt over de uitleg van het motiveringsbeginsel (3:46 en 3:47 Awb) in het kader van algoritmen.133 Volgens het CvdRM moeten besluiten van bestuursorganen waarbij een algoritme gebruikt is, voldoen aan: 1) een vermelding van het feit dat er een algoritme gebruikt is, en 2) een uitleg van het algoritme waarmee de inhoud van het besluit logisch gereconstrueerd kan worden. Als deze reconstructie niet mogelijk is, voldoet het besluit niet aan het motiveringsbeginsel zoals beschreven in artikel 3:47 Awb, aldus het CvdRM. Daarnaast heeft het kader nog geen aandacht voor casussen waarbij persoonsgegevens die zijn verzameld en/of verwerkt voor het ene doel, worden gebruikt voor een ander doel.

Daarbij is het belangrijk dat er wordt getoetst of de twee doelen wel voldoende bij elkaar aansluiten (of het nieuwe doel verenigbaar is met het oorspronkelijke doel). Tot slot zou het beheerskader meer aandacht kunnen besteden aan dataminimalisatie, proportionaliteit en subsidiariteit. Daarbij zijn twee vragen belangrijk: 1) staat de inbreuk op de privacy van de betrokkene in verhouding tot het doel van de gegevensverwerking? en 2) is het doel niet op een andere manier te bereiken, die minder nadelig is voor de betrokkene?134

2.6 Aandacht voor IT-beheer Een goede inrichting van het IT-beheer is cruciaal voor het bewaken van de betrouwbaarheid, vertrouwelijkheid en beschikbaarheid van informatiesystemen en bij de inzet van algoritmen.135 Een organisatie neemt zogenaamde 'generieke ITbeheersmaatregelen' om IT-systemen (waaronder algoritmen) te beveiligen en te beheersen.136 Voorbeelden van dit soort beheersmaatregelen zijn het inrichten en up-todate houden van toegangsbeveiliging tot systemen, wachtwoordbeheer en het maken van back-ups. Op grote lijnen heeft het Amsterdamse beheerskader voor algoritmen voldoende aandacht voor aspecten van goed IT-beheer. Uit de stukken blijkt dat de directeur Digitale Voorzieningen de primaire verantwoordelijkheid draagt voor de uitvoering van het ITbeheer. De ambtelijke organisatie geeft aan dat in de praktijk deze verantwoordelijkheid bij de (gedelegeerde) applicatie-eigenaar ligt en dat het beheerskader hierop zal worden aangepast (september 2023).137 Het beheerskader heeft in zijn algemeenheid voldoende aandacht voor:

44

ALGORITMEN - ONDERZOEKSRAPPORT

• het bijhouden van gebeurtenissen in processen zoals gebruikerstoegang tot •