[24bb002973] Brief van de Rekenkamer Rotterdam over RO2205 rapport kleur bekennen, vervolgonderzoek naar toepassing algoritmes

Het gaat dan bijvoorbeeld om het recht op een effectief rechtsmiddel en een eerlijk proces (is er een instantie waarbij je een inbreuk op een mensenrecht als gevolg van een overheidsbesluit kan aanvechten). bestuursrecht De algemene beginselen van behoorlijk bestuur spelen ook een belangrijke rol bij de toepassing van algoritmes en besluitvorming door de overheid. De overheid moet deze beginselen, zoals transparantie, motivering en zorgvuldigheid van besluitvorming in acht nemen. Momenteel is er veel (wetenschappelijk) debat over de manier waarop deze beginselen geïnterpreteerd moeten worden in het licht van (gedeeltelijk) geautomatiseerde besluitvorming door de overheid en of hier nadere wettelijke normering voor nodig is. 79 ethische principes Voor een goede beheersing van risico’s bij de inzet van algoritmes zijn de juridische kaders die hiervoor uiteen zijn gezet niet voldoende. Ze kunnen een vangnet bieden

75 Rathenau Instituut, ‘Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering’, 2022; Raad van State, ‘Digitalisering. Wetgeving en bestuursrechtspraak’, 2021. 76 Groot de, A., Noorman, M., Taylor, L. & Wolswinkel, J., ‘Een onafhankelijke beoordeling van het Amsterdamse beheerskader voor algoritmen’, Tilburg Law School, 2023. 77 Rathenau Instituut, ‘Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering’, 2022; Raad van State, ‘Digitalisering. Wetgeving en bestuursrechtspraak’, 2021. 78 Rathenau Instituut, ‘Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering’, 2022; Raad van State, ‘Digitalisering. Wetgeving en bestuursrechtspraak’, 2021. 79 Wolswinkel, J., ‘Willekeur of algoritme? Laveren tussen analoog en digitaal bestuursrecht’, Tilburg University, 2020; Rathenau Instituut, ‘Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering, 2022; Raad van State, ‘Digitalisering. Wetgeving en bestuursrechtspraak’, 2021.

54

kleur bekennen

en tot op zekere hoogte bescherming bieden, maar zullen niet altijd toereikend zijn. 80 Daarom moet risicobeheersing in aanvulling hierop ook vanuit een ethisch perspectief benaderd worden. Zoals eerder beschreven zijn het juridische perspectief en ethische perspectief niet strikt gescheiden. In onderzoek naar algoritmes zijn er momenteel drie ethische beginselen dominant. Dit worden ook wel de FAT-beginselen genoemd: Fairness, Accountability en Transparancy. 81 In het Nederlands wordt naar deze beginselen gerefereerd als eerlijkheid, verantwoording en transparantie: •

Eerlijkheid. Eerlijkheid betekent dat een algoritme niet tot vooringenomen besluiten leidt of discriminerende gevolgen heeft voor mensen. Een eerlijk algoritme behandelt alle (groepen) mensen hetzelfde en versterkt bestaande (sociale) ongelijkheid niet.

•

Verantwoording. Het is van belang dat organisaties en de mensen binnen de organisatie verantwoording afleggen over de ontwikkeling en inzet van algoritmes en over de besluiten en die hieruit voortkomen. Het gaat er bij verantwoording dus om dat de processen en besluiten worden vastgelegd zodat deze navolgbaar en toetsbaar zijn. Onder verantwoording valt ook dat algoritmes voldoen aan geldende wet- en regelgeving en ethische beginselen.

•

Transparantie. Transparantie is essentieel om ethisch gebruik van algoritmes te waarborgen. Het gaat dan met name over de openheid en communicatie over het toepassen van algoritmes en de consequenties daarvan zowel naar experts als de personen over wie besluiten worden genomen. Transparantie wordt vaak onderverdeeld in technische transparantie en uitlegbaarheid (zie paragraaf 2-3-3).

Er kan dus gesteld worden dat voor een verantwoorde ontwikkeling en inzet van algoritmes door overheidsorganisaties er sprake moet zijn van een integrale afweging van risico’s. Hierbij moeten verschillende juridische perspectieven (privacy, mensenrechten en bestuursrechtelijk) en ethische uitgangspunten (eerlijkheid, verantwoording en transparantie) worden meegenomen en afgewogen. richtlijnen, kaders en instrumenten Zoals uit de vorige paragraaf is gebleken moeten organisaties voor een verantwoorde inzet van algoritmes aandacht hebben voor risico’s vanuit verschillende perspectieven en moeten deze ook in onderlinge samenhang worden beoordeeld. De afgelopen jaren zijn er diverse richtlijnen, kaders en instrumenten ontwikkeld om organisaties inzicht te geven in de belangrijkste beginselen, normen en principes en hen te ondersteunen bij het proces om deze principes te waarborgen in het ontwikkel- en implementatieproces. In tabel 2-1 wordt een overzicht gegeven van deze richtlijnen, kaders en instrumenten. Dit overzicht is niet uitputtend, maar een selectie van kaders die met name relevant zijn voor overheidsorganisaties of door overheden veelvuldig worden toegepast. Grofweg kunnen vier soorten richtlijnen, kaders en instrumenten worden onderscheiden:

80 Groot de, A., Noorman, M., Taylor, L. & Wolswinkel, J., ‘Een onafhankelijke beoordeling van het Amsterdamse beheerskader voor algoritmen’, Tilburg Law School, 2023. 81 Wolswinkel, J., ‘Willekeur of algoritme? Laveren tussen analoog en digitaal bestuursrecht’, Tilburg University, 2020

55

kleur bekennen

1 Overkoepelende kaders. Dit zijn kaders die organisaties een overzicht bieden van de belangrijkste waarden, principes en beginselen om een verantwoorde inzet van algoritmes te waarborgen. 2 Kaders vanuit een specifiek perspectief. Dit soort kaders geven organisaties handvatten mee voor het waarborgen van een specifiek perspectief of risico bij de ontwikkeling of implementatie van algoritmes, zoals bijvoorbeeld mensenrechten. 3 Instrumenten voor organisaties. Dit zijn praktische instrumenten die organisaties kunnen inzetten om dialoog en eventueel besluitvorming over ethische vraagstukken rondom de inzet van algoritmes te bevorderen. 4 Audit- en toetsingskaders. Deze kaders zijn in principe bedoeld als instrument voor auditors, maar kunnen ook behulpzaam zijn voor organisaties om inzicht te krijgen in de beheersing van risico’s van algoritmes.

tabel 2-1: overzicht richtlijnen, kaders en instrumenten naam

Organisatie

toelichting

Ethische richtsnoeren voor

AI High-Level Expert Group

Kader met richtsnoeren en ethische beginselen voor het

betrouwbare kunstmatige intelligentie

(Europese Commissie)

bevorderen en waarborgen van ethische en robuuste

Universiteit Utrecht

De code bevat fundamenten, principes en waarden waar

overkoepelende kaders

(2018)

kunstmatige intelligentie.

Code Goed Digitaal Openbaar Bestuur (2021)

overheidsorganisaties zich aan kunnen committeren om goed digitaal openbaar bestuur te borgen.

Handreiking Digitale Ethiek (2022)

VNG

Handreiking met ervaringen en tips om gemeenten op weg te helpen met het thema digitale ethiek. Hieronder wordt ook het ethisch verantwoord inzetten van data en digitale technologie verstaan.

Implementatiekader verantwoorde

Ministerie BZK

inzet van algoritmen (2023)

Overzicht van de belangrijkste eisen, normen en maatregelen bij de ontwikkeling en implementatie van algoritmes.

kaders vanuit een specifiek perspectief Non-discriminatie by design (2021)

Ministerie BZK

Handreiking met vragen en principes die leidend zijn bij het ontwikkelen en implementeren van een AI-systeem met het oog op het discriminatieverbod, vanuit zowel juridisch, technisch, als organisatorisch perspectief.

Handreiking (semi-)geautomatiseerde

College voor de Rechten van de

Uitgangspunten voor het waarborgen van mensenrechten bij

besluitvorming door de overheid

Mens

de ontwikkeling en toepassing van (semi-)geautomatiseerde

(2021)

besluitvorming door overheidsorganisaties.

Discriminatie door risicoprofielen. Een

College voor de Rechten van de

mensenrechtelijk toetsingskader (2023) Mens

Kader voor overheidsfunctionarissen om te bepalen wanneer risicoprofielen leiden tot discriminatie op grond van ras of nationaliteit. Er is een beslisboom gemaakt om deze stappen te doorlopen.

instrum enten voor organisaties De Ethische Data Assistent (2021)

Universiteit Utrecht

Handleiding voor de inventarisatie van ethische kwesties rond dataprojecten bij overheidsorganisaties.

Impact Assessment Mensenrechten en Algoritmes (2021)

Ministerie BZK

Instrument voor discussie en besluitvorming voor overheidsorganisaties. Maakt een interdisciplinaire dialoog mogelijk tussen personen die verantwoordelijk zijn voor de ontwikkeling of inzet van een algoritmisch systeem.

56

kleur bekennen

audit- en toetsingskaders Toetsingskader algoritmes (2021)

Algemene Rekenkamer

Praktisch handvat om de belangrijkste risico’s voor overheidsorganisaties met betrekking tot algoritmes in kaart te brengen en te beheersen.

Onderzoekskader Algoritmes (2023)

Auditdienst Rijk

Instrument om de huidige en/of gewenste beheersing en werking van algoritmes binnen overheidsorganisaties te auditeren of in kaart te brengen. Het geef inzicht in risico's en beheersmaatregelen.

In deze richtlijnen en kaders zijn veel overeenkomsten te zien wat betreft de principes en ethische beginselen die belangrijk worden geacht. Tegelijkertijd zijn er ook verschillen. Er zijn bijvoorbeeld verschillen in de principes en beginselen die worden benoemd, dezelfde principes worden in verschillende kaders anders gedefinieerd of toegepast en er zijn accentverschillen in welke principes op de voorgrond staan. Hoewel dit soort verschillen te verklaren zijn en ook logisch zijn omdat het een vraagstuk is dat constant in ontwikkeling is, kan ook geconcludeerd worden dat er geen gedeeld beeld is over wat een verantwoorde inzet precies betekent en hoe hier praktische invulling aan gegeven kan worden. Voor dit onderzoek heeft de rekenkamer gekozen het toetsingskader van de Algemene Rekenkamer te hanteren (zie gele kader hieronder en bijlage 4).

toetsingskader huidig onderzoek Een van de kaders uit tabel 2-1 is het toetsingskader van de Algemene Rekenkamer. De Algemene Rekenkamer heeft informatie uit wet- en regelgeving en bestaande richtlijnen bij elkaar gebracht en aan de hand hiervan dit kader ontwikkeld. Met dit kader kan de risicobeheersing van algoritmes in organisaties inzichtelijk worden gemaakt. De Algemene Rekenkamer heeft dit kader gebruikt om algoritmes van overheidsorganisaties te toetsen. 82 Daarom is ervoor gekozen om voor het casusonderzoek naar vier algoritmes (zie hoofdstuk 6) dit kader ook te hanteren. 83 Het toetsingskader van de Algemene Rekenkamer is als uitgangspunt genomen. Om ervoor te zorgen dat het toetsingskader ook goed toepasbaar is op de gemeentelijke praktijk en aansluit op de methoden van onderzoek, is het toetsingskader op enkele punten aangepast en versimpeld. In bijlage 4 wordt het toetsingskader nader toegelicht.

Door de landelijke overheid is eveneens gesignaleerd dat er geen gedeeld beeld is over wat een verantwoorde inzet van algoritmes precies betekent en wordt getracht de verschillende kaders in samenhang te beschouwen en te verbinden. Het ‘Implementatiekader verantwoorde inzet algoritmen’ dat is ontwikkeld door het ministerie van BZK is een poging hiertoe. In paragraaf 2-5 wordt hier nader op in gegaan.

82 Algemene Rekenkamer, ‘Aandacht voor algoritmes’, 2021. 83 Het Onderzoekskader Algoritmes van de Auditdienst Rijk kan ook gebruik worden voor het toetsen van algoritmes. Bij aanvang van dit onderzoek was dit kader nog niet beschikbaar.

57

kleur bekennen

in het kort • Er bestaat geen eenduidig antwoord op de vraag wanneer binnen overheidsorganisaties gesproken kan worden van een verantwoorde toepassing van algoritmes. Wel zijn er eisen en normen uit weten regelgeving en ethische principes die richting kunnen geven aan het beheersen van risico’s. • Uit onderzoek blijken vier perspectieven belangrijk voor een verantwoorde toepassing, namelijk: (1) privacy, (2) mensenrechten, (3) bestuursrecht en (4) ethische beginselen (eerlijkheid, verantwoording en transparantie). Deze perspectieven zijn niet strikt van elkaar te onderscheiden en moeten in samenhang worden toegepast. • De afgelopen jaren zijn diverse richtlijnen, kaders en instrumenten ontwikkeld om organisaties te ondersteunen bij het proces om deze normen en principes te waarborgen. Hoewel deze kaders behulpzaam zijn, bestaat er nog geen volledig gedeeld beeld van wat een verantwoorde inzet van algoritmes precies betekent voor overheidsorganisaties en hoe hier praktische invulling aan gegeven kan worden. • In dit onderzoek wordt het kader dat de Algemene Rekenkamer heeft ontwikkeld als uitgangspunt genomen om tot een oordeel te komen over de mate waarin algoritmes verantwoord worden ingezet (zie bijlage 4).

reguleren van algoritmes Op zowel Europees als landelijk niveau zijn wetgeving en beleid om de inzet van algoritmes te reguleren volop in ontwikkeling. In deze paragraaf wordt deze internationale en nationale context geschetst. Europees niveau De Europese Commissie (EC) werkt al enkele jaren aan een verordening voor artificiële intelligentie (AI-verordening). De AI-verordening is de eerste vorm van regelgeving voor algoritmes op Europees niveau en stelt eisen aan alle publieke en private organisaties die algoritmes ontwikkelen of toepassen. Het beoogde doel van de wet is ervoor te zorgen dat AI-systemen veilig, transparant, traceerbaar, niet-discriminerend en milieuvriendelijk zijn. Ook hoopt de EC met de wet een technologie-neutrale en uniforme definitie van AI te introduceren. 84 In de concept AI-verordening wordt een risicogerichte benadering gehanteerd. Afhankelijk van de risicocategorie van een AI-systeem gelden bepaalde regels en verplichtingen. Er worden vier risicocategorieën onderscheiden. 85 1 AI-systemen met een onaanvaardbaar risico. Deze algoritmes worden verboden, omdat ze een bedreiging vormen voor de veiligheid en rechten van mensen. Een voorbeeld hiervan zijn algoritmes waarmee personen op basis van biometrische gegevens (zoals gezichtsherkenning) op afstand en in real-time geïdentificeerd kunnen worden.

84 European Parliament, ‘AI-verordening: eerste regels voor artificiële intelligentie’, 25 juli 2023, geraadpleegd op 19 december 2023 via https://www.europarl.europa.eu/news/nl/headlines/society/20230601STO93804/ai-verordening-eerste-regels-voor-artificiele-intelligentie 85 Ministerie van Buitenlandse Zaken, ‘Europees Parlement en Raad bereiken politiek akkoord over nieuwe AI-Verordening’, 12 december 2023, geraadpleegd op 19 december via https://ecer.minbuza.nl/-/europees-parlement-en-raad-bereiken-politiek-akkoord-over-nieuwe-aiverordening?redirect=%2F

58

kleur bekennen

2 AI-systemen met een hoog risico. Deze algoritmes vormen een hoog risico voor de gezondheid, de veiligheid en de grondrechten van mensen. Voorbeelden hiervan zijn systemen die worden gebruikt voor geautomatiseerde besluitvorming in toepassingsgebieden die grote impact hebben op mensen, zoals de rechtsspraak of gezondheidszorg. Voor hoog-risico systemen geldt onder andere een verplichting om de impact van het systeem op fundamentele rechten van burgers in kaart te brengen en gelden bepaalde transparantie- en registratieverplichtingen. 3 AI-systemen met een beperkt risico. Een voorbeeld van dit soort algoritmes zijn chatbots. Voor deze algoritmes gelden bepaalde transparantieverplichtingen zodat het voor mensen duidelijk wordt dat zij interacteren met een AI-systeem en de functionaliteit kunnen doorgronden. 4 AI-systemen met een minimaal risico. Deze algoritmes vormen een minimaal tot geen risico voor de gezondheid en de veiligheid van mensen. Voor deze systemen gelden geen aanvullende eisen of verplichtingen. Voorbeelden hiervan zijn een zoekmachine of spamfilters. In december 2023 is een voorlopig politiek akkoord bereikt over de inhoud en definitieve tekst van de AI-verordening. De verordening moet nog worden goedgekeurd door het Europees Parlement en de Raad.

86 De verwachting is dat de wet in de loop van 2024 in werking treedt en organisaties hier vanaf 2026 aan moeten voldoen. Ook gemeenten moeten dan voldoen aan deze wet.

scope van de AI-verordening De afbakening van wat in de verordening als AI-systeem wordt gezien, is gebaseerd op de definitie van de OECD. Deze heeft eind 2023 een nadere inperking van de definitie aangebracht. Het belangrijkste verschil is dat met deze aanpassing rule-based algoritmes buiten de scope van de verordening zijn geplaatst. Deze aanpassing van de definitie leidt er toe dat minder algoritmes onder de verordening vallen. De gevolgen voor de algoritmegovernance van overheden zijn op dit moment nog niet uitgekristalliseerd. De gemeente zal minimaal moeten voldoen aan de wettelijke eisen voor de AI-systemen die onder de AI-verordening vallen. Tegelijkertijd zijn er ook niet-wettelijke principes en standaarden die voor algoritmes (kunnen) gelden.

landelijk niveau Op landelijk niveau is in 2022 de Werkagenda Waardengedreven Digitalisering gepubliceerd. 87 Hierin staat uitgewerkt hoe de overheid het beleid op het gebied van digitalisering wil vormgeven. Eén van de onderwerpen die in de werkagenda aan bod komt, is het reguleren van algoritmes. Rondom dit thema zijn een aantal actiepunten geformuleerd waar de overheid aan werkt om te komen tot een eerlijke en transparante inzet van algoritmes.

86 European Parliament, ‘Artificial Intelligence Act: deal on comprehensive rules for trustworthy AI’, 12 december 2023, geraadpleegd op 19 december 2023 via https://europadecentraal.nl/nieuws/ep-en-raad-akkoord-over-gewijzigd-ec-voorstel-ai-verordening/ 87 Ministerie van Binnenlandse Zaken en Koninkrijkrelaties, ‘Werkagenda Waardengedreven Digitaliseren’, 2022.

59

kleur bekennen

In het beleid wordt specifiek aandacht besteed aan de inzet van algoritmes door de overheid zelf. Zo wordt beschreven welke problemen zich hierbij kunnen voordoen, wat de oorzaken hiervan zijn en welke oplossingen de overheid hiertoe ziet. 88 In het gele kader hieronder wordt deze analyse kort samengevat.

probleemanalyse inzet algoritmes door de overheid 89 De overheid onderschrijft in haar analyse dat de impact op burgers groot kan zijn wanneer algoritmes in een verkeerde context, op verkeerde wijze of met het verkeerde doel worden ingezet. Publieke waarden en fundamentele rechten kunnen hierdoor onder druk komen te staan, zoals privacy, nondiscriminatie, autonomie en menselijke waardigheid. Er worden drie belangrijke oorzaken beschreven die ten grondslag liggen aan de problematische inzet van algoritmes door de overheid: 1

Voorafgaand en tijdens het ontwikkelproces worden geen (duidelijke) criteria gesteld waar algoritmes aan moeten voldoen.

2

Bij het ontwikkelen van algoritmes worden ontwerp- en implementatiekeuzes te laat getoetst en gecontroleerd. Zo vindt bijvoorbeeld een toets op wet- en regelgeving die van toepassing is op de inzet van algoritmes, zoals de AVG en de Awb, vaak te laat plaats.

3

Het is niet altijd duidelijk of er algoritmes worden gebruikt waardoor bestaande controlemechanismen niet goed functioneren. Hierbij wordt benoemd dat algoritmes nog te vaak worden gezien als een technische oplossing voor een technisch probleem waardoor onvoldoende wordt nagedacht over de keuzes en afwegingen in de ontwerp-, ontwikkel- en implementatiefase die van maatschappelijk belang zijn. Daarnaast wordt beschreven dat dat de keuzes in het ontwerp en de implementatie van algoritmes vaak niet goed te herleiden zijn. Dit bemoeilijkt het controleren en toetsen van algoritmes.

De afgelopen twee jaar zijn er diverse ontwikkelingen geweest om de inzet van algoritmes door de overheid te reguleren. Deze sluiten aan op de actiepunten uit de werkagenda. Drie belangrijke ontwikkelingen zijn: het instellen van een algoritmetoezichthouder, het inrichten van een algoritmeregister en het ontwikkelen van een implementatiekader voor de toepassing van algoritmes. 90 algoritmetoezichthouder Begin 2023 is in Nederland een algoritmetoezichthouder ingesteld. 91 Binnen de Autoriteit Persoonsgegevens (AP) is een apart organisatieonderdeel opgericht waar het toezicht is belegd. De taak van de algoritmetoezichthouder is het beschermen van publieke waarden en grondrechten en het stimuleren van het gebruik van transparante en eerlijke algoritmes. 92 In 2023 heeft de AP in het kader van deze taak drie concrete activiteiten uitgevoerd: 1 Het verzamelen en analyseren van signalen en inzichten over de risico’s en effecten van algoritmegebruik en de kennis hierover delen.

88 Ministerie van Binnenlandse Zaken en Koninkrijkrelaties, ‘Verzamelbrief algoritmen reguleren’, 26643 nr. 1056, 2023. 89 Ministerie van Binnenlandse Zaken en Koninkrijkrelaties, ‘Verzamelbrief algoritmen reguleren’, 26643 nr. 1056, 2023. 90 Ministerie van Binnenlandse Zaken en Koninkrijkrelaties, ‘Verzamelbrief algoritmen reguleren’, 26643 nr. 1056, 2023. 91 Ministerie van Binnenlandse Zaken en Koninkrijkrelaties, ‘Verzamelbrief algoritmen reguleren’, 26643 nr. 1056, 2023. 92 Autoriteit Persoonsgegevens geraadpleegd op 28 november 2023 via https://www.autoriteitpersoonsgegevens.nl/themas/algoritmes-ai/coordinatietoezicht-algoritmes-ai/directie-coordinatie-algoritmes-dca.

60

kleur bekennen

2 Het versterken en faciliteren van samenwerkingen tussen andere organisaties en toezichthouders bij wie vraagstukken rondom algoritmes ook spelen. 3 In samenwerking met andere organisaties en toezichthouders werken aan een gezamenlijke uitleg van juridische normen en kaders voor het inzetten van algoritmes. Op deze manier kan een gezamenlijke normuitleg in de toezichtspraktijk bevorderd worden. In december 2023 heeft de AP een rapport gepubliceerd over de algoritmerisico’s in Nederland en de manier waarop het algoritmetoezicht vormgegeven en versterkt kan worden. 93 Hierin wordt onder meer beschreven dat het toezicht op algoritmes plaatsvindt op basis van uiteenlopende kaders en dat het een zoektocht is hoe deze kaders zich tot elkaar verhouden (zie ook paragraaf 2-4). Ook wordt geconstateerd dat dit kan leiden tot onduidelijkheid over de regels en dit het beheersen van algoritmerisico’s bemoeilijkt. algoritmeregister Eind 2022 is het landelijke algoritmeregister voor overheidsorganisaties gelanceerd. 94 Hierin worden algoritmes geregistreerd die overheden ontwikkelen of gebruiken en die “aanmerkelijke impact” kunnen hebben op burgers. Wat overheidsorganisaties moeten verstaan onder een algoritme en hoe zij kunnen bepalen of er sprake is van een algoritme met een “aanmerkelijke impact” wordt uitgelegd in een handreiking.

95 Het registeren van algoritmes is op dit moment nog niet verplicht voor overheden, maar dit wordt het in de toekomst wel. Voor welke algoritmes registratie verplicht wordt, is nog niet bekend en zal onder meer afhangen van de precieze reikwijdte van de AI-verordening. In de meest recente kamerbrief wordt beschreven dat de registratieverplichtingen uit de AI-verordening waarschijnlijk tot onvoldoende transparantie leiden in de context van het gebruik van algoritmes door overheden. 96 Daarom wordt nagedacht of in aanvulling hierop, nog andere registratieverplichtingen ingesteld worden, bijvoorbeeld voor simpelere algoritmes. Het algoritmeregister heeft verschillende doelen, waaronder het vergroten van de transparantie, uitlegbaarheid en controleerbaarheid van algoritmes die door overheden worden ingezet en de besluiten die hieruit voortvloeien. In het algoritmeregister kan algemene informatie worden geregisterd, zoals de naam en omschrijving van het algoritme, maar ook meer specifieke informatie, zoals de wettelijke grondslag voor de inzet en of er wel of geen mensenrechtentoets is uitgevoerd. Eind november 2023 bevatte het register ruim 200 algoritmes. 97 In hoofdstuk 5 wordt nader ingegaan op het landelijke en gemeentelijke algoritmeregister.

In een eerste rapportage van de AP over de algoritmerisico’s in Nederland werd het algoritmeregister beoordeeld als een positieve ontwikkeling. 98 Hierbij constateerde de AP wel dat het register ook veel algoritmes bevat met beperkte risico’s. Zij zouden

93 Autoriteit Persoonsgegevens, ‘Rapportage AI- en algoritmerisico’s Nederland. Rapportage najaar 2023, december 2023. 94 Ministerie van Binnenlandse Zaken en Koninkrijkrelaties, ‘Verzamelbrief algoritmen reguleren’, 26643 nr. 1056, 2023. 95 Ministerie van Binnenlandse Zaken en Koninkrijkrelaties, ‘Handreiking Algoritmeregister. Aan de slag met het algoritmeregister’, 2023. 96 Ministerie van Binnenlandse Zaken en Koninkrijkrelaties, ‘Verzamelbrief algoritmen reguleren’, 26643 nr. 1056, 2023. 97 https://algoritmes.overheid.nl/nl/algoritme, geraadpleegd op 28 november 2023. 98 Autoriteit Persoonsgegevens, ‘Rapportage algoritmerisico’s Nederland. Voorjaar 2023’, juli 2023.

61

kleur bekennen

graag zien dat in het register de focus op hoog-risico algoritmes komt te liggen en er ook een deadline komt voor een eerste registratie van algoritmes met een hoog risico. implementatiekader toepassing algoritmes Zoals beschreven in paragraaf 2-4 zijn er door diverse organisaties richtlijnen, kaders en instrumenten ontwikkeld om een verantwoorde inzet van algoritmes te waarborgen. Om deze kaders te verbinden en op een plek samen te brengen heeft de rijksoverheid een implementatiekader ontwikkeld die overheden kan ondersteunen bij het ontwikkelen, implementeren, toetsen en verantwoorden van algoritmes. 99 Het ‘implementatiekader verantwoorde inzet algoritmen’ biedt aan de hand van zeven onderwerpen een overzicht van de belangrijkste (verplichte en aanbevolen) eisen, normen en maatregelen bij de inzet van algoritmes. Deze zeven onderwerpen zijn: • menselijke controle en menselijk toezicht; • technische robuustheid; • privacy en datagovernance; • transparantie; • diversiteit, non-discriminatie en rechtvaardigheid; • milieu- en maatschappelijke waarden; • verantwoording. Daarnaast biedt het kader inzicht in de functies, rollen en verantwoordelijkheden voor controle en toezicht op algoritmes. Gebruikers van het implementatiekader wordt twee belangrijke kanttekeningen meegegeven.

100 Ten eerste wordt benadrukt dat het kader geen checklist is en dus ook niet als zodanig moet worden gebruikt. Hiermee wordt bedoeld dat het kader een hulpmiddel kan zijn, maar dat er binnen de organisatie altijd eigen afwegingen gemaakt moeten worden. Daarnaast wordt meegegeven dat de wijze waarop de normen, eisen en maatregelen worden ingebed in de organisatie (de governance dus) een apart vraagstuk is. Het implementatiekader wordt continu doorontwikkeld en het is de verwachting dat in 2024 het kader ook handvatten biedt voor de inrichting van een algoritmegovernance in overheidsorganisaties.

in het kort • Op Europees en landelijk niveau is wetgeving en beleid om de inzet van algoritmes te reguleren volop in ontwikkeling. • Op Europees niveau is in december 2023 een voorlopig politiek akkoord bereikt over de inhoud en definitieve tekst van een AI-verordening. Deze wetgeving stelt eisen aan alle publieke en private organisaties die algoritmes ontwikkelen of toepassen. In de verordening wordt een risicogerichte benadering gehanteerd. Afhankelijk van de risicocategorie van een AI-systeem gelden bepaalde regels en verplichtingen. Verwacht wordt dat gemeenten vanaf 2026 aan deze regelgeving moeten voldoen. • Op landelijk niveau zijn de afgelopen twee jaar diverse ontwikkelingen geweest om de inzet van algoritmes door de overheid te reguleren. Drie belangrijke ontwikkelingen zijn:

99 Ministerie van Binnenlandse Zaken en Koninkrijkrelaties, ‘Implementatiekader verantwoorde inzet van algoritmen (concept)’, 2023. 100 Ministerie van Binnenlandse Zaken en Koninkrijkrelaties, ‘Verzamelbrief algoritmen reguleren’, 26643 nr. 1056, 2023.

62

kleur bekennen

1

Instellen algoritmetoezichthouder: in 2023 is een algoritmetoezichthouder ingesteld binnen de Autoriteit Persoonsgegevens (AP). De taak van deze toezichthouder is het beschermen van publieke waarden en grondrechten en het stimuleren van het gebruik van transparante en eerlijke algoritmes.

2

Inrichten algoritmeregister: in 2022 is het landelijke algoritmeregister voor overheidsorganisaties gelanceerd. Doelen van het register zijn onder meer het vergroten van de transparantie, uitlegbaarheid en controleerbaarheid van algoritmes. Registratie is nog niet verplicht voor gemeenten, maar dit wordt het wel.

3

Ontwikkelen implementatiekader: in een poging het veelvoud aan bestaande kaders te integreren heeft de rijksoverheid in 2023 het ‘implementatiekader verantwoorde inzet algoritmen’ ontwikkeld voor overheden. Het implementatiekader biedt een overzicht van de belangrijkste (verplichte en aanbevolen) eisen, normen en maatregelen bij de inzet van algoritmes.

inrichting algoritmegovernance Overheidsorganisaties besteden de laatste jaren in toenemende mate aandacht aan het beheersen van risico’s van algoritmes. Uit onderzoek blijkt dat het lastig is voor overheidsorganisaties om een praktische vertaalslag te maken van de principes van ethisch algoritmegebruik zoals beschreven in normen- en waardenkaders. Ook blijkt dat dat er meer aandacht moet komen voor het opzetten van governancestructuren zodat in de praktijk invulling gegeven kan worden aan deze principes. 101 Onder een governancestructuur wordt het geheel aan afspraken rondom het beleid, de taken en verantwoordelijkheden, uitvoering en verantwoording van algoritmes verstaan binnen de daarvoor vastgestelde kaders en principes. Het opzetten van een governancestructuur kan eraan bijdragen dat de impact en risico’s van algoritmes worden geïnventariseerd, juridische en ethische afwegingen worden gemaakt en eventuele maatregelen worden getroffen.

bevindingen onderzoek algoritmes Rekenkamer Metropool Amsterdam Niet alleen in Rotterdam, maar ook in andere gemeenten wordt nagedacht over de manier waarop een algoritmegovernance moet worden vormgegeven. In 2023 heeft de Rekenkamer Metropool Amsterdam een onderzoek gepubliceerd naar de vraag in hoeverre het “beheerskader” dat de gemeente Amsterdam heeft ontwikkeld, bijdraagt aan het verantwoord toepassen van algoritmes. 102 Het beheerskader bestaat uit zeven instrumenten die er gezamenlijk voor moeten zorgen dat de risico’s bij de ontwikkeling en het gebruik van algoritmes (beter) beheerst worden. Voorbeelden van deze instrumenten zijn het algoritmeregister, een governancebeschrijving en levenscyclusmodel, een biasanalysemodel en een risicoanalysemodel. Uit het onderzoek blijkt dat het beheerskader ambtenaren bewust maakt van mogelijke risico’s bij de inzet van algoritmes en dat het hen een handelingsperspectief biedt voor hoe ze hiermee om kunnen gaan. Het onderzoek liet echter ook zien dat de onduidelijke samenhang en wisselende kwaliteit van de instrumenten in het beheerskader ertoe leiden dat de instrumenten beperkt praktisch toepasbaar zijn. Dat het beheerskader in de praktijk weinig wordt toegepast, komt ook doordat een definitie van

101 Krijger, J., Thuis, T., Ruiter de, M., Ligthart, E. & Broekman, I., ‘The AI ethics maturity model: a holistic approach to advancing ethical data science in organizations’, 2023, AI and Ethics, 3, 355–367. 102 Rekenkamer Metropool Amsterdam, ‘Algoritmen. Hoe Amsterdam algoritmen beter kan toepassen’, 20 oktober 2024

63

kleur bekennen

het begrip 'algoritme' ontbreekt en nog niet alle in het beheerskader aangekondigde activiteiten zijn uitgevoerd. Drie andere belangrijke bevindingen die uit het onderzoek door de Rekenkamer Metropool Amsterdam naar voren kwamen: • De omgang met bias binnen de gemeente is nog niet ver genoeg ontwikkeld en de maatregelen om bias tegen te gaan worden nog te weinig toegepast. • De gemeente wil de privacy van burgers bij algoritmes beschermen, maar slaagt daar nog onvoldoende in. Zo worden de wettelijke controles om de privacy te beschermen onvoldoende uitgevoerd. • De gewenste openbaarheid en transparantie van de gemeente wordt nog niet voldoende bereikt en de informatievoorziening aan de gemeenteraad over algoritmes is beperkt.

Er is geen blauwdruk beschikbaar van hoe een algoritmegovernance precies moet worden ingericht. Wel komen uit onderzoek een aantal elementen en uitgangspunten naar voren die belangrijk zijn bij het opzetten van een governance voor overheidsorganisaties: 1 vaststellen (beleids)kaders; 2 aansluiting fases levenscyclus algoritmes; 3 aansluiting andere governance; 4 proces en instrumenten risicoafwegingen en beheersmaatregelen. Deze elementen en uitgangspunten worden in de paragrafen hierna verder toegelicht. vaststellen (beleids)kaders Zoals uiteengezet in paragraaf 2-4 kunnen diverse juridische en ethische normen geformuleerd worden die in acht moeten worden genomen bij de ontwikkeling en toepassing van algoritmes. Dit soort algemene kaders zijn voor organisaties echter vaak niet voldoende om goede juridische en ethische afwegingen te kunnen maken. Overheidsorganisaties hebben daarom duidelijke vastgestelde (beleids)kaders nodig die een nadere uitwerking vormen van dit soort algemene kaders en die zijn toegespitst op de organisatie. 103 Een (beleids)kader moet in de eerste plaats een visie bevatten waarin staat beschreven welke waarden, normen en principes leidend zijn binnen de organisatie bij de toepassing van algoritmes. Het schetst daarmee de uitgangspunten voor de organisatie om afwegingen te kunnen maken.

Daarnaast biedt een beleidskader inzicht in hoe de organisatie invulling gaat geven aan deze uitgangspunten en hoe deze geborgd worden. Een beleidskader is dus een belangrijk startpunt. aansluiting fases levenscyclus algoritmes Het proces om te komen tot de ingebruikname van een algoritme in een organisatie bestaat uit diverse stappen. Er wordt in dit verband ook wel gesproken van de levenscyclus van een algoritme. Grofweg kan onderscheid gemaakt worden in twee fases: 104

103 Krijger, J., Thuis, T., Ruiter de, M., Ligthart, E. & Broekman, I., ‘The AI ethics maturity model: a holistic approach to advancing ethical data science in organizations’, 2023, AI and Ethics, 3, 355–367. 104 VNG, ‘Handreiking Digitale Ethiek. Op weg met digitale ethiek’, 2022.

64

kleur bekennen

1 De ontwerp- en ontwikkelfase. Tijdens deze fase wordt de inzet van een algoritme overwogen, het ontwerp gemaakt, het algoritme ontwikkeld en de werking van het algoritme getest. 2 De beheerfase. In deze fase is het algoritme in gebruik en onderdeel van een werkproces binnen de organisatie. Dit wordt ook wel de uitvoeringsfase genoemd. Deze fases kunnen in elkaar overlopen omdat de ontwikkeling van algoritmes een iteratief proces is. Zo kunnen tijdens de beheerfase nieuwe inzichten ontstaan, waardoor algoritmes worden aangepast of doorontwikkeld en dus ook weer onderdeel worden van de ontwikkelfase. Benadrukt wordt dat het voor een verantwoorde toepassing van algoritmes belangrijk is dat de governance aansluit op de verschillende fases in de levenscyclus van een algoritme. 105 In elke fase zijn namelijk andere (ethische) afwegingen nodig, andere risico’s aanwezig en andere partijen betrokken. Voor de ontwikkelfase moet bijvoorbeeld worden nagedacht over hoe ethische afwegingen en juridische checks gedaan kunnen worden tijdens het ontwikkelen. In dit iteratieve proces is vaak nog veel onduidelijkheid over hoe het algoritme er precies uit komt te zien. 106 In de beheerfase is het echter van belang dat goed wordt nagedacht over hoe ethische afwegingen en juridische checks periodiek worden herijkt en algoritmes niet uit het zicht verdwijnen.

Op enig moment wordt het algoritme door de ontwikkelaars overgedragen aan beleid of uitvoering. 107 Dit betekent dat in de beheerfase andere partijen en verantwoordelijkheden betrokken zijn. In de governance moet daarom goed worden nagedacht over welke expertise nodig is in welke fase, wie over deze expertise beschikt (ontwikkelaars, beleidsmedewerkers, medewerkers met juridische kennis en medewerkers met ethische kennis, etc.) en hoe deze personen samengebracht kunnen worden. aansluiting andere governance Veel vraagstukken rondom het verantwoord toepassen van algoritmes staan niet op zichzelf, maar hangen samen met vraagstukken over data, informatiebeveiliging en privacy. Om integrale afwegingen te kunnen maken en efficiënt te kunnen werken is het daarom belangrijk dat de governance en de taken, verantwoordelijkheden en processen met betrekking tot al deze thema’s met elkaar worden verbonden en op elkaar aansluiten. 108 proces en instrumenten risicoafwegingen en beheersmaatregelen Om risico’s te kunnen beheersen, is het van belang dat er gedurende de levenscyclus van algoritmes een proces is ingericht om juridische en ethische afwegingen te maken en hier besluiten over te nemen. Belangrijke elementen hierin zijn het maken van

105 Berenschot, ‘Governance voor een verantwoorde toepassing van algoritmen’, 2022; Krijger, J., Thuis, T., Ruiter de, M., Ligthart, E. & Broekman, I., ‘The AI ethics maturity model: a holistic approach to advancing ethical data science in organizations’, 2023, AI and Ethics, 3, 355–367. 106 VNG, ‘Handreiking Digitale Ethiek. Op weg met digitale ethiek’, 2022. 107 VNG, ‘Handreiking Digitale Ethiek. Op weg met digitale ethiek’, 2022. 108 Berenschot, ‘Governance voor een verantwoorde toepassing van algoritmen’, 2022

65

kleur bekennen

risicoanalyses, het doen van juridische checks en het formuleren en treffen van beheersmaatregelen. Ook is het van belang vast te leggen wat de rollen, taken, verantwoordelijkheden en bevoegdheden zijn van betrokkenen binnen dit proces en wie welke besluiten moet nemen. In de uitwerking van de governance moet niet alleen aandacht besteed worden aan het inrichten van een proces voor het maken van risicoafwegingen, maar moet ook uiteen worden gezet hoe hier concreet invulling aan gegeven kan worden. Voor het maken van risicoafwegingen kan gebruik worden gemaakt van verschillende instrumenten. Voorbeelden zijn instrumenten waarmee een gesprek over risico’s en beheersmaatregelen kan worden gefaciliteerd, audits en technische instrumenten of methoden om bias inzichtelijk te maken, te verminderen en te monitoren. 109 In de uitwerking van de governance moet dus uiteen worden gezet welke instrumenten de organisatie ter beschikking heeft en wanneer deze kunnen of moeten worden ingezet.

in het kort • Er bestaan diverse richtlijnen en kaders met normen en principes die kunnen bijdragen aan een verantwoorde toepassing van algoritmes. Onderzoek laat zien dat het lastig is voor organisaties om in de praktijk invulling te geven aan de principes van ethisch algoritmegebruik die in dit soort kaders staan beschreven. • Om in de praktijk invulling te kunnen geven aan principes van ethisch algoritmegebruik moeten overheidsorganisaties een structuur opzetten om de impact en risico’s van algoritmes te inventariseren, juridische en ethische afwegingen te maken en eventuele maatregelen te treffen. Dit wordt algoritmegovernance genoemd. Vier belangrijke elementen en uitgangspunten hierbij zijn: 1

Vaststellen (beleids)kaders: vastgestelde (beleids)kaders moeten onder meer een visie geven op welke normen en principes leidend zijn, hoe hier invulling aan wordt gegeven en hoe deze geborgd worden.

2

Aansluiting fases levenscyclus algoritmes: het is belangrijk dat de algoritmegovernance aansluit op de verschillende fases in de levenscyclus van een algoritme, namelijk de ontwikkelfase en de beheerfase. De risico’s, afwegingen en betrokken verschillen namelijk tussen deze fases.

3

Aansluiting andere governance: de algoritmegovernance moet worden verbonden en aansluiten op andere relevante governance, zoals privacy en informatiebeheer.

4

Proces en instrumenten risicoafwegingen en beheersmaatregelen: gedurende de levenscyclus van algoritmes moet een proces worden ingericht om juridische en ethische afwegingen te maken en hier besluiten over te nemen. Hierbij moet ook uiteen worden gezet met welke instrumenten hier concreet invulling aan wordt gegeven.

109 Krijger, J., Thuis, T., Ruiter de, M., Ligthart, E. & Broekman, I., ‘The AI ethics maturity model: a holistic approach to advancing ethical data science in organizations’, 2023, AI and Ethics, 3, 355–367.

66

kleur bekennen

3 beleid en governance Rotterdam inleiding In dit hoofdstuk staat de volgende deelvraag centraal: • Hoe zijn de governancestructuur en het bijbehorende instrumentarium voor de inzet van algoritmes vormgegeven? In hoofdstuk 2 is behandeld welke risico’s er zijn bij het inzetten van algoritmes en op welke manier gemeenten op basis van wet- en regelgeving en richtlijnen en kaders dienen te komen tot een governancestructuur voor de inzet van algoritmes. Dit hoofdstuk beschrijft de tijdlijn waarin de algoritmegovernance en het bijbehorende instrumentarium in Rotterdam zijn ontwikkeld. Vervolgens wordt de algoritmegovernance beschreven en komt ook de samenhang met de privacy-, informatiebeveiligings- en datagovernance aan bod. Dit hoofdstuk geeft weer hoe de governancestructuur en het instrumentarium in opzet zijn vormgegeven. Hierbij moet in acht worden genomen dat de gemeentelijke governance en processen zich ontwikkelden gedurende het onderzoek (zie paragraaf 1-4 ). De werking van de algoritmegovernance in de praktijk zal in hoofdstuk 5 worden behandeld.

tijdlijn In 2018 startte de gemeente met het intensiveren van datagedreven werken in de organisatie. De hiervoor ingestelde gemeentelijke stuurgroep Datastrategie stelt vanaf dat moment jaarlijks een actieplan vast. De organisatie constateerde dat de kwaliteitsborging van algoritmes in de organisatie ontbrak en de toezichtsfunctie niet adequaat was ingevuld. Dit leidde tot het deelproject ‘kwaliteitsborging van analysemodellen en algoritmes’ in het DGW actieplan 2020. 110 Voor dit deelproject is de gemeente Rotterdam een consortium aangegaan met de G4 gemeenten, de twaalf provincies, de politie en Rijkswaterstaat. Dit resulteerde in het gezamenlijke project ‘Publieke controle op algoritmes’, dat mede door het ministerie van BZK werd gefinancierd. Het doel van dit project was om een aantal instrumenten te ontwikkelen ten behoeve van het verantwoord inzetten van algoritmes. Deze instrumenten waren: • een algoritmekader, instructiekit en uitlijningsmodel; • (standaard) inkoopvoorwaarden voor ontwikkeling van algoritmes door een externe partij; • een algoritmeregister; • een check op bezwaarprocedures voor algoritmes. 111

110 Gemeente Rotterdam, ‘Actieplan DGW 2020’, 28 januari 2020, p.14. 111 Gemeente Rotterdam, ‘Indieningsformulier Innovatiebudget Digitale Overheid’, 26 april 2020, p. 3.

67

kleur bekennen

Ten tijde van het verkennende onderzoek ‘Gekleurde Technologie’ van de rekenkamer in 2020/2021 gaf de gemeente aan dat de inkoopvoorwaarden geïmplementeerd waren en de overige instrumenten nog niet waren afgerond. 112 De gemeente had een ‘bèta’versie van een algoritmeregister gemaakt en ‘technisch geïmplementeerd’, wat betekent dat de technische infrastructuur was ingericht. De verwachting was dat de volledige implementatie van het algoritmeregister in het eerste kwartaal van 2021 gereed zou zijn. 113 Er werd toen nagedacht over een publiek toegankelijke versie van het register. Ook was een eerste inventarisatie van algoritmes in de organisatie afgerond die resulteerde in een lijst van vijf algoritmes, waarvan twee in ontwikkeling, twee in pilotfase en één in gebruik. Eind 2020 en begin 2021 waren zowel Concern Auditing (de interne auditafdeling van de gemeente Rotterdam) als de Rekenkamer Rotterdam bezig met een onderzoek naar algoritmes. In februari 2021 adviseerde Concern Auditing aan W&I over het algoritme Analytics Uitkeringsonrechtmatigheid. In april 2021 publiceerde de rekenkamer het onderzoek ‘Gekleurde Technologie’, waarin ditzelfde algoritme onderzocht werd. Volgend op de aanbevelingen van Concern Auditing en de rekenkamer vroeg de gemeente een adviesbureau om een algoritmegovernance te ontwerpen.

Het advies ‘Een governance voor de verantwoorde toepassing van hoog risico algoritmen in de gemeente Rotterdam’ werd in juli 2021 opgeleverd. 114 In september 2021 is het rekenkamerrapport besproken in de gemeenteraad en gelijktijdig presenteerde het college de voorgestelde governance rondom de toepassing van hoog-risico algoritmes. 115 Deze collegebrief was volgens het college een “eerste uitwerking” van een “visie op algoritmes, inclusief kaders en handvatten voor de toepassing ervan”. 116 De geschetste algoritmegovernance moest in de volgende maanden verder worden uitgewerkt en geïmplementeerd. Delen ervan zou de gemeente gezamenlijk met andere overheden oppakken binnen het nog lopende project Publieke controle op algoritmes. Het in de brief getoonde raamwerk, de nieuwe werkwijzen en de externe adviesraad Algorithm Advisory Board (AAB) zouden begin 2022 operationeel zijn. Als onderdeel van het project ‘Publieke controle op algoritmes’ van het consortium heeft Berenschot in januari 2022 een handreiking ‘Governance voor een verantwoorde toepassing van algoritmen’ 117 gepubliceerd. Dit was het laatste product dat in het project van het consortium ontwikkeld zou worden. Deze handreiking geeft concrete do’s en don’ts bij het inrichten van de algoritmegovernance. In februari 2022 gaf het college een update over de stand van zaken van de algoritmegovernance.

118 Ze gaf aan dat het algoritmeregister is gerealiseerd en de inventarisatie van hoog-risico algoritmes achter de rug is. Openstaande punten zoals de installatie van de AAB, benoeming van een (door de raad gevraagde) Algoritme Expert en de implementatie van de werkprocessen zouden nog in het voorjaar van

112 Rekenkamer Rotterdam, ‘Gekleurde technologie’, april 2021. 113 Rekenkamer Rotterdam, ‘Gekleurde technologie’, april 2021. 114 Gemeente Rotterdam, ‘Governance voor de verantwoorde toepassing van hoog risico algoritmen in de gemeente Rotterdam’, 16 juli 2021. 115 Gemeente Rotterdam, collegebrief ‘Governance rondom de toepassing van hoog-risico algoritmes’, 7 september 2021. 116 Gemeente Rotterdam, collegebrief ‘Governance rondom de toepassing van hoog-risico algoritmes’, 7 september 2021, p2. 117 Berenschot, ‘Governance voor een verantwoorde toepassing van algoritmen’, 25 januari 2022. 118 Gemeente Rotterdam, collegebrief ‘Stand van zaken governance rondom de toepassing van algoritmes’, 15 februari 2022.

68

kleur bekennen

2022 afgerond worden. In juni 2022 gaf het college een nieuwe update over de voortgang van de implementatie algoritmegovernance. 119 Het college meldde dat de governance op hoofdlijnen geïmplementeerd is: een Algoritme Expert is geworven, de AAB is geïnstalleerd, de eerste inventarisatie van algoritmes is afgerond en het instrumentarium in werking is. Ze beschouwde alle aanbevelingen van de rekenkamer en de ingediende moties als afgedaan. Het college gaf wel aan dat de governance ‘work in progress’ blijft. 120 In 2022 heeft de gemeenteraad een ‘Afwegingskader voor sensoren, datatoepassingen en AI’ vastgesteld. Dit afwegingskader bevat verschillende principes rondom de inzet van AI en sensoren. 121 De gemeente geeft hierin aan dat overal waar AI staat ook algoritme gelezen kan worden. Voor de zomer van 2023 heeft de gemeente een interne evaluatie van de algoritmegovernance uitgevoerd (zie paragraaf 5-2 voor een toelichting).

in het kort • Sinds 2018 heeft de gemeente een programma Datagedreven Werken (DGW). Sinds 2020 is de gemeente bezig met de kwaliteitsborging van algoritmes als een van de deelprojecten binnen dat programma. • In het project ‘Publieke controle op algoritmes’ zijn in een consortium met verschillende overheden sinds 2020 enkele producten ontwikkeld, zoals inkoopvoorwaarden voor extern te ontwikkelen algoritmes en een handreiking ‘Governance voor een verantwoorde toepassing van algoritmen’. • In februari 2021 heeft Concern Auditing een advies geschreven voor het cluster W&I over een van hun algoritmes. • De rekenkamer heeft in april 2021 het rapport Gekleurde technologie gepubliceerd, waarop de gemeente is gestart met het opzetten van een algoritmegovernance. • Het college beschouwde in juni 2022 de algoritmegovernance op hoofdlijnen geïmplementeerd en beschouwt de aanbevelingen van de rekenkamer en ingediende moties van de raad als afgedaan. De gemeente heeft de algoritmegovernance in 2023 geëvalueerd.

algoritmegovernance We bespreken in deze paragraaf de gemeentelijke algoritmegovernance. De gemeente heeft in september 2021 in de collegebrief ‘Governance rondom de toepassing van hoog-risico algoritmes’ een beoogde algoritmegovernance beschreven. Vervolgens is echter geen document vastgesteld waarin de volledige algoritmegovernance is beschreven. Het ontbreken van een duidelijke uitwerking van de governance leidt er toe dat de gemeente naar verschillende stukken verwijst als zij het heeft over de algoritmegovernance. In de intern uitgevoerde ‘Evaluatie governance’ uit 2023 wordt verwezen naar het advies dat een adviesbureau voor de gemeente heeft geschreven in

119 Gemeente Rotterdam, collegebrief ‘Voortgang implementatie algoritmegovernance en Instelling Algorithm Advisory Board’, 7 juni 2022. 120 Gemeente Rotterdam, collegebrief ‘Voortgang implementatie algoritmegovernance en Instelling Algorithm Advisory Board’, 7 juni 2022, p.8. 121 Gemeente Rotterdam, ‘Afwegingskader voor sensoren, data-toepassingen en AI’, 22 maart 2022.

69

kleur bekennen

juli 2021. 122 De collegebrief ‘Governance rondom de toepassing van hoog-risico algoritmes’ van september 2021 is een korte en op punten aangepaste weergave van dit adviesrapport. Op RIO, het gemeentelijke intranet, verwijst de gemeente bij een artikel over algoritmes naar een set presentatie-slides als ‘de algoritmegovernance’. 123 Deze presentatie-slides geven een korte samenvatting van ‘de algoritmegovernance’ weer, maar bevatten enkele wijzigingen ten opzichte van de collegebrief en het adviesrapport (zo verandert er een vraag in het algoritme risico assessment en is er een ander instrument opgenomen voor het impact assessment). Omdat een duidelijke uitwerking van de governance ontbreekt, heeft de rekenkamer zelf een uitwerking gemaakt. Deze uitwerking neemt de collegebrief en de daarin beschreven elementen als startpunt. Aanvullend is informatie uit gesprekken en interne documenten gebruikt. Uit de stukken is te destilleren dat de gemeentelijke algoritmegovernance bestaat uit: • een visie op de inzet van algoritmes; • instrumentarium voor risicobeheersing dat onder andere bestaat uit een risicoassessment (ARA) en een mensenrechtenassessment (AIA/IAMA); • een uiteenzetting van rollen en verantwoordelijkheden; • een omschrijving van de verantwoordelijkheden voor controle en advies.

Deze elementen van de algoritmegovernance zullen in deze paragraaf in die volgorde worden behandeld. Een algoritmeregister is ook voorzien in de algoritmegovernance. Deze zal in paragraaf 3-3-5 worden behandeld. visie Zoals in paragraaf 2-6 is besproken, dient de gemeente een visie te hebben op het gebruik van algoritmes in de organisatie, waarin zij scherp stelt welke normen en waarden de gemeente belangrijk acht en welk beoogd gebruik van algoritmes zij geschikt acht voor de organisatie. De gemeente stelt in de collegebrief over de algoritmegovernance dat zij de volgende visie heeft op de inzet van algoritmes: “De gemeente Rotterdam zet algoritmes en Al in om betere en slimmere diensten te leveren die proactief inspelen op de behoefte van Rotterdam en haar maatschappelijke uitdagingen. Dit op een gezamenlijke, betrouwbare en realistische manier waarbij ruimte is om te experimenteren. Hierdoor voert Rotterdam met blijvend oog voor de menselijke maat haar taken beter uit die direct van belang zijn voor burgers en bedrijven.” 124 In het coalitieakkoord 2022-2026 ligt nadruk op de risico’s van algoritmes en hoe die te beheersen: “We lichten algoritmen van de gemeente periodiek door op discriminatie. De gemeente is open over de toepassing van algoritmen.

De gemeente past geen algoritmen toe die direct of indirect beslissingen baseren op gegevens die terug te voeren zijn naar afkomst. We voorkomen daarmee situaties zoals bij de toeslagenaffaire.” 125

122 Gemeente Rotterdam, ‘Werken aan verantwoorde algoritmisering. Evaluatie algoritme-governance 2023’, 25 juli 2023, p. 12. en Gemeente Rotterdam, ‘Governance voor de verantwoorde toepassing van hoog risico algoritmen in de gemeente Rotterdam’, 16 juli 2021. 123 Gemeente Rotterdam, programma DGW, ‘Governance van hoog risico algoritmetoepassingen’, presentatie-slides, februari 2022. 124 Gemeente Rotterdam, collegebrief ‘Governance rondom de toepassing van hoog-risico algoritmes’, 7 september 2021, p3. 125 Gemeente Rotterdam, ‘Coalitieakkoord 2022-2026: Eén Stad’, juni 2022, p. 17.

70

kleur bekennen

Samengevat is de visie van de gemeente dat het “noodzakelijk” is om algoritmes in te zetten om zo haar taken voor burgers en bedrijven beter uit te kunnen voeren. 126 Het coalitieakkoord voegt daaraan toe dat er periodiek gecontroleerd wordt op discriminatie en dat de gemeente met algoritmes niet direct of indirect discrimineert op afkomst. De tekst van de collegebrief vermeldt nog enkele andere aandachtspunten. De processen rondom algoritmes dienen transparant, duidelijk en eerlijk te zijn. En flexibel genoeg om mee te kunnen bewegen met landelijke en Europese kaders die nog in ontwikkeling zijn. 127 instrumentarium risicobeheersing In de algoritmegovernance wordt een instrumentarium voorgesteld om de risico’s van de inzet van algoritmes te beheersen. De keuze voor welk instrumentarium passend is in welke situatie wordt gemaakt middels een ‘risico-benadering’. De gemeente haakt daarmee aan bij de Europese AI-verordening die in ontwikkeling is (zie ook paragraaf 2-5). De gemeente stelt een risicoclassificatie van algoritmes voor die bestaat uit: • verboden algoritmes; • hoog-risico algoritmes; • laag-risico algoritmes. 128 De verboden algoritmes vormen een “onaanvaardbaar risico” omdat ze “fundamentele rechten” schenden. Een voorbeeld hiervan zijn sociaal kredietsystemen.

129 Hoog-risico algoritmes kunnen “aanzienlijke risico’s” opleveren voor gezondheid, veiligheid of grondrechten van personen. Dit zijn bijvoorbeeld algoritmes die worden ingezet voor het toekennen of beperken van uitkeringen. De laag-risicoalgoritmes “kunnen manipulerend werken” maar omdat dit gemakkelijk inzichtelijk te maken is, levert dat een minimaal risico op. Hieronder vallen bijvoorbeeld chatbots. Middels een risicobepaling van een (voorgesteld) algoritme wordt bepaald welk proces en instrumentarium van toepassing is. De gemeente heeft ervoor gekozen het risico voor alle algoritmetoepassingen in te schatten middels een ‘Algorithm Risk Assessment’ (ARA). De gemeente kiest ervoor om de algoritmegovernance alleen in te zetten bij hoog-risico algoritmetoepassingen. Voor een laag risico geldt de standaardgovernance van de gemeente (zie ook figuur 3-1). Hiermee worden de data-, informatiebeveiligings- en privacygovernance bedoeld. 130 Deze zullen in paragraaf 3-4 worden behandeld.

126 Gemeente Rotterdam, collegebrief ‘Governance rondom de toepassing van hoog-risico algoritmes’, 7 september 2021, p3. 127 Gemeente Rotterdam, collegebrief ‘Governance rondom de toepassing van hoog-risico algoritmes’, 7 september 2021, p4. 128 Gemeente Rotterdam, collegebrief ‘Governance rondom de toepassing van hoog-risico algoritmes’, 7 september 2021, pp. 5-6. 129 Een sociaal kredietsysteem is een systeem waarin burgers scores ontvangen op basis van hun gedrag en sociale activiteiten, wat kan resulteren in het toekennen of juist ontnemen van bijvoorbeeld sociale voorzieningen op basis van hun score. 130 Interview ambtenaar.

71

kleur bekennen

figuur 3-1 processchema governance

bron: Gemeente Rotterdam, programma DGW, ‘Governance van hoog risico algoritmetoepassingen’, presentatie-slides, februari 2022. AE staat voor Algoritme Expert, PO voor Privacy Officer, FG voor Functionaris Gegevensbescherming.

ARA De Algorithm Risk Assessment (ARA) is een set van drie vragen waarmee de verantwoordelijke voor het algoritme kan bepalen of een algoritme mogelijk een hoogrisico algoritme is en het bijbehorende instrumentarium uit de algoritmegovernance ingezet dient te worden. Als een van de vragen met ‘Ja’ kan worden beantwoord, is er een potentieel hoog-risico algoritme en dienen extra instrumenten te worden ingezet. De drie vragen zijn: • Is de werking van het algoritme niet volledig én beknopt uit te leggen aan een gemiddelde Rotterdammer? • Ontbreekt er een menselijke beoordeling voordat de uitkomst van het algoritme in de praktijk wordt gebracht door middel van een concrete handeling van de gemeente? • Is het voorstelbaar dat de algoritmetoepassing uitmondt in een onrechtvaardige handeling van de gemeente tegen burgers of bedrijven? Er zijn tot november 2023 in totaal 31 ARA’s uitgevoerd, zowel voor nieuwe ontwikkelingen als voor bestaande toepassingen. Het merendeel daarvan werd ingeschat als een laag risico. De inventarisatie en het algoritmeregister worden in paragraaf 5-5 verder behandeld. 131

131 Interview ambtenaar.

72

kleur bekennen

AIA/IAMA In de collegebrief ‘Governance rondom de toepassing van hoog-risico algoritmes’ is voorgesteld om bij een hoog-risico algoritme altijd een Algoritme Impact Assessment (AIA) uit te voeren. De AIA zou een vergelijkbaar instrument zijn als de DPIA (Data Protection Impact Assessment) dat is voor de privacygovernance. De DPIA is een vragenlijst om privacyrisico’s te detecteren (zie ook paragraaf 3-4-1). De AIA zou een vragenlijst worden waarmee mogelijke risico’s van een algoritmetoepassing worden geanalyseerd, met als resultaat een lijst beheersmaatregelen. De AIA zou tenminste uit de volgende onderdelen moeten bestaan: • Een omschrijving van de algoritmetoepassing aan de hand van het onderscheid tussen gegevens, algoritme, resultaat en impact; • Een omschrijving van de risico’s aan de hand van het onderscheid tussen gegevens, algoritme, resultaat en impact (een verdieping van de ARA); • Een overzicht van beheersmaatregelen op basis van de risico’s; • Een planning van de maatregelen. 132 In februari 2022 is gekozen om de AIA in te vullen met het Impact Assessment Mensenrechten en Algoritmes (IAMA). In 2021 heeft de Universiteit Utrecht dit assessment ontwikkeld in opdracht van het ministerie van BZK. Het IAMA is gebaseerd op meerdere bestaande kaders en handreikingen voor algoritmes, zoals de CODIO en de ‘Handreiking non-discriminatie by design’.

Het IAMA is een vragenlijst van 95 pagina’s, waarin vragen worden gesteld die “een interdisciplinaire dialoog mogelijk [maken] door degenen die verantwoordelijk zijn voor de ontwikkeling en/of inzet van een algoritmisch systeem.” 133 Het IAMA dient vooral het gesprek over ethiek mogelijk te maken. Het IAMA bestaat uit verschillende onderdelen, waarbij verschillende expertises op verschillende momenten dienen aan te sluiten voor deze dialoog. DEDA De Ethische Data Assistent (DEDA) is een instrument dat de gemeente al sinds 2019 inzet voor het in kaart brengen van ethische risico’s bij het inzetten van datagerelateerde producten zoals algoritmes. 134 DEDA is een workshop waarin door middel van een vragenlijst verschillende ethische vragen en dilemma’s worden behandeld (zie figuur 3-2). De DEDA’s worden begeleid door collega-ambtenaren die een training hebben gevolgd om deze sessies te kunnen begeleiden en dit vrijwillig doen.

132 Gemeente Rotterdam, collegebrief ‘Governance rondom de toepassing van hoog-risico algoritmes’, 7 september 2021, p. 9. 133 Universiteit Utrecht, ‘IAMA’, juli 2021. 134 Gemeente Rotterdam, sheets ‘Datagedreven werken binnen de overheid - DEDA workshop’, ongedateerd.

73

kleur bekennen

figuur 3-2 poster workshop De Ethische Data Assistent

bron: Universiteit Utrecht, ‘DEDA worksheet V3.1’, ongedateerd.

DEDA zou in eerste instantie als onderdeel van de AIA uitgevoerd worden. De gemeente heeft uiteindelijk gekozen voor de IAMA voor het bepalen van de ethische impact van hoog-risico algoritmes. Voor laag-risico algoritmes blijft de DEDA beschikbaar als een optionele “ethische toets”. overig instrumentarium inkoopvoorwaarden algoritmes Bij gebruik van extern ontwikkelde algoritmes of aangeleverde data met een algoritme dient de gemeente afspraken met externe partijen te maken. Dit kan via inkoopvoorwaarden, specifieke contractafspraken, verwerkersovereenkomsten of andere afspraken met de externe partij. In het consortium Publieke Controle op Algoritmes zijn (standaard)inkoopvoorwaarden ontwikkeld die aanvullende eisen stellen aan de inkoop van algoritmes. De gemeente Amsterdam heeft deze in ‘Modelbepalingen voor gemeenten voor verantwoord gebruik van Algoritmische toepassingen’ uitgewerkt en beschikbaar gesteld voor de andere overheden. De rekenkamer concludeerde in haar