[24bb002973] Brief van de Rekenkamer Rotterdam over RO2205 rapport kleur bekennen, vervolgonderzoek naar toepassing algoritmes

74

kleur bekennen

rapport ‘Gekleurde technologie’ op basis van destijds gevoerde gesprekken dat deze inkoopvoorwaarden geïmplementeerd waren. 135 menselijke beoordeling In de algoritmegovernance is vastgelegd dat voor elk proces waarbij “besluiten of adviezen ontstaan [die] met behulp van geautomatiseerde systemen en hoog-risico algoritmes worden toegepast, een menselijke beoordeling onderdeel van datzelfde werkproces is.” Bij laag-risico algoritmes vindt geen menselijke toets plaats. 136 Het toevoegen van een menselijke beoordeling in een proces heet ook wel de ‘human-inthe-loop’ benadering (zie paragraaf 2-3-2). De gemeente geeft aan dat een menselijke toets de foutkans verkleint en ervoor zorgt dat altijd van besluiten afgeweken kan worden vanuit de menselijke maat. Zo zullen belangrijke besluiten nooit door het systeem genomen worden, maar altijd door een mens. Zoals beschreven in paragraaf 2-3-2 is het inbouwen van menselijke tussenkomst op zichzelf niet voldoende, maar moet ook goed worden nagedacht over wat dit in de praktijk precies omvat en hoe mensen interacteren met het systeem. stakeholders en verantwoordelijkheden In de algoritmegovernance is gekozen voor een scheiding in verantwoordelijkheden tussen ‘de inhoud’ en ‘het systeem’. Onder de inhoud wordt de toepassing van een algoritme bedoeld in een specifiek proces of keten, door de gemeente ook wel een algoritmetoepassing genoemd.

137 Het systeem gaat over de functionele en technische verantwoordelijkheid voor (het ontwikkelen en het beheer van) het algoritme zelf. De verantwoordelijkheid voor de inhoud is volledig bij de opdrachtgever belegd, die daarmee verantwoordelijk is voor de inzet van een algoritme en de rol die het algoritme in een werkproces speelt. Dit houdt in dat de volledige eindverantwoordelijkheid voor correct gebruik van een algoritmetoepassing en het beheersen van risico’s bij het opdrachtgevende cluster ligt. Verantwoordelijkheid voor het systeem, ofwel de functionele en technische aspecten van het algoritme, ligt bij de afdeling Informatie, Innovatie, Informatievoorziening, Facilitair en Onderzoek (IIFO). 138 Dit noemt de gemeente ook wel de leveranciersverantwoordelijkheid. Deze verantwoordelijkheidsverdeling in de algoritmegovernance ziet er zo uit:

135 Rekenkamer Rotterdam, ‘Gekleurde technologie’, april 2021. 136 Gemeente Rotterdam, collegebrief ‘Governance rondom de toepassing van hoog-risico algoritmes’, 7 september 2021, p4. 137 Op de definitie van ‘algoritmetoepassing’ wordt in paragraaf 4-2 dieper ingegaan. 138 Gemeente Rotterdam, collegebrief ‘Stand van zaken governance rondom de toepassing van algoritmes’, 15 februari 2022.

75

kleur bekennen

figuur 3-3 verantwoordelijkheden in algoritmegovernance

bron: Gemeente Rotterdam, programma DGW, ‘Governance van hoog risico algoritmetoepassingen’, presentatie-slides, februari 2022.

Op bestuurlijk niveau betekent de scheiding dat de vakinhoudelijke wethouder (en dus bestuurlijke opdrachtgever van het algoritme) de verantwoordelijkheid heeft voor de gehele keten van een algoritmetoepassing. Op beleidsniveau ligt de verantwoordelijkheid voor een algoritmetoepassing bij de directeur van het cluster en op uitvoeringsniveau bij de proceseigenaar. Formeel is de opdrachtgever voor een algoritme de proceseigenaar. Dat is vaak de directeur van het organisatieonderdeel. Deze mandateert de verantwoordelijkheid vervolgens aan bijvoorbeeld een projectleider. De bestuurlijke verantwoordelijkheid voor het algoritme in technische zin (ook wel leveranciersverantwoordelijkheid genoemd) ligt bij de wethouder die verantwoordelijk is voor BCO, waar IIFO onder ressorteert. De governance beschrijft dat de directeur IIFO verantwoordelijk is voor het beleidsniveau als het gaat om algoritmes in functionele en technische zin. In de ontwikkelfase ligt de verantwoordelijkheid bij de ontwikkelaar van een algoritme. De functioneel beheerder is verantwoordelijk voor het beheer van algoritmes (in de zogenaamde beheerfase). De verantwoordelijkheid voor de controlefunctie is zowel voor inhoud als systeem gelijk. proceseigenaar De proceseigenaar draagt de primaire verantwoordelijkheid voor de ontwikkeling en toepassing van een algoritme.

Dit sluit aan bij de verantwoordelijkheden die de proceseigenaar heeft vanuit de andere typen governance: de proceseigenaar is ook verantwoordelijk voor het voldoen aan de privacywetgeving en voor het borgen van informatiebeveiliging (zie ook paragraaf 3-4). Omdat de proceseigenaar doorgaans niet de expertise heeft om bijvoorbeeld een ARA of een privacybeoordeling te doen, dient deze hier expertise bij te halen uit de organisatie, bijvoorbeeld respectievelijk een Algoritme Expert of een Privacy Officer (zie hieronder en paragraaf 3-4-1). 139 IIFO De afdeling Innovatie, Informatievoorziening, Facilitair en Onderzoek (IIFO) binnen het cluster BCO is bij het ontwikkelen en toepassen van een algoritmetoepassing

139 Gemeente Rotterdam, ‘Governance voor de verantwoorde toepassing van hoog risico algoritmen in de gemeente Rotterdam’, 16 juli 2021.

76

kleur bekennen

‘operationeel verantwoordelijk’ voor de ontwikkeling van het algoritme. De operationele verantwoordelijkheden van de ontwikkelaars bij IIFO zien er als volgt uit: • zorgen dat het algoritme doet wat het moet doen, bijvoorbeeld door middel van een analyse op bias en zorgen voor goede voorspellingen, transparantie en goede documentatie; • zorgen dat de proceseigenaar het algoritme begrijpt; • de toepassing in ogenschouw nemen bij ontwikkeling en beheer. 140 De proceseigenaar dient de expertise van IIFO op momenten te betrekken waar deze dat nodig acht, bijvoorbeeld voor het uitvoeren van een IAMA. Wanneer een algoritme extern wordt ontwikkeld is de leverancier operationeel verantwoordelijk. Dan kan door de proceseigenaar of de Algoritme Expert wel expertise van IIFO inwinnen, maar ligt de verantwoordelijkheid niet bij IIFO. 141 stuurgroep algoritmes / vakgroep algoritmen Binnen de afdeling IIFO bestaat een stuurgroep algoritmes. Deze stuurgroep kan besluiten nemen en stukken vaststellen die betrekking hebben op de algoritmegovernance. De stuurgroep bestaat uit het hoofd van de afdeling Onderzoek en Business Intelligence (OBI), het hoofd Strategie en Ondersteuning (S&O) en de programmanager DGW (sinds november 2023 is, na het aflopen van het programma DGW, de programmamanager DGW in de stuurgroep vervangen door de Chief Data Officer).

142 Sinds half augustus 2023 wordt de stuurgroep aangeduid als ‘vakgroep algoritmen’. 143 Algoritme Expert In de governance heeft de gemeente een nieuwe functionaris opgenomen, de Algoritme Expert. 144 De Algoritme Expert valt onder IIFO en adviseert op de ethische en verantwoorde toepassing van algoritmes en heeft een adviserende en toetsende rol. 145 De rol is daarmee vergelijkbaar met de rol die de Privacy Officer op het gebied van de AVG en privacy heeft. De Algoritme Expert adviseert vooral over ethiek. Op 1 maart 2022 heeft de gemeente de eerste Algoritme Expert extern ingehuurd. Deze had de volgende breed geformuleerde opdracht: • interne adviseur voor de organisatie en bestuur op het gebied van vraagstukken over algoritmes; • eerste aanspreekpunt en sparringpartner voor een (op dat moment nog te benoemen) externe adviesraad; • input leveren voor en ondersteunen bij de uitvoering van IAMA's; • 'systeemverantwoordelijk' voor het algoritmeregister (de verantwoordelijkheid voor de inhoudelijke vulling van het register is bij de proceseigenaren belegd); • intern verantwoordelijk voor de doorontwikkeling van de algoritmegovernance en compliance; • ondersteunen en adviseren van de proceseigenaren. 146

140 Gemeente Rotterdam, programma DGW, ‘Governance van hoog risico algoritmetoepassingen’, presentatie-slides, februari 2022. 141 Interview ambtenaar. 142 Gemeente Rotterdam, ‘Conceptverslag AAR 20-11-2023’, 20 november 2023. 143 Ambtelijk wederhoor. 144 Gemeente Rotterdam, collegebrief ‘Stand van zaken governance rondom de toepassing van algoritmes’, 15 februari 2022, p.11. 145 Gemeente Rotterdam, programma DGW, ‘Governance van hoog risico algoritmetoepassingen’, presentatie-slides, februari 2022. 146 Gemeente Rotterdam, collegebrief ‘Stand van zaken governance rondom de toepassing van algoritmes’, 15 februari 2022, p.4.

77

kleur bekennen

De eerste Algoritme Expert had tevens als taak om kwartier te maken voor de definitieve invulling van de functie na de zomer van 2022. 147 externe stakeholders Via een motie uit 2021 (‘Vreemde ogen dwingen’) bij de behandeling van de algoritmegovernance is het college verzocht om ook relevante externe stakeholders (zoals burgers) te betrekken bij de ontwikkeling van algoritmes. 148 De gemeente stelde begin 2022 voor om de betrokkenheid van externe stakeholders onderdeel te maken van het IAMA-proces. De proceseigenaar is daarmee verantwoordelijk voor het betrekken van “relevante en representatieve vertegenwoordiger(s) van de doelgroep”. 149 Het college hecht eraan vanwege representativiteit vooral “institutionele vertegenwoordigers” te betrekken, zoals cliëntenraden. 150 In het eerste deel van het IAMA (de voorbereidingsfase) staat beschreven dat eventueel een burgerpanel en/of (vertegenwoordiging namens) een belangengroep betrokken kan worden. 151 Tevens is in het ‘afwegingskader voor sensoren, datatoepassingen en AI’ opgenomen dat “Bij de inzet van AI-toepassingen met een hoog risico […] de gemeente de verwachtingen en behoeftes van, en de gevolgen voor de burger altijd gezamenlijk met de burger [toetst]”. 152 controle De gemeente werkt in de organisatie met de ‘three lines of defence’ als het gaat om sturen en verantwoorden.

153 Hierin is de eerste lijn verantwoordelijk voor het realiseren van doelen. De tweede lijn is, onafhankelijk van de eerste lijn, verantwoordelijk voor kaders en advies. De derde lijn controleert of de eerste en tweede lijn gezamenlijk doelmatig, doeltreffend en rechtmatig hebben gefunctioneerd. Voor de algoritmegovernance is de controle ook langs deze ‘three lines’ ingevuld. De eerste lijn bestaat uit de proceseigenaren en de operationeel verantwoordelijken. Proceseigenaren zijn verantwoordelijk voor de gehele algoritmetoepassing en de operationeel verantwoordelijken voor de ontwikkeling. De tweede lijn is de Algoritme Expert, die een onafhankelijke toezicht- en adviestaak heeft. De derde lijn wordt volgens de stukken die gaan over de algoritmegovernance vervuld door Financial Audit. Financial Audit is een van de interne auditfuncties van de gemeente en voert risicoanalyses en de financiële controles uit. In een gesprek met Financial Audit constateerde de rekenkamer echter dat Financial Audit niet de derde lijn invult, maar dat dit belegd is bij Concern Auditing. 154

147 Gemeente Rotterdam, collegebrief ‘Voortgang implementatie algoritmegovernance en Instelling Algorithm Advisory Board’, 7 juni 2022. 148 Gemeenteraad Rotterdam, ‘Vreemde ogen dwingen’, 30 september 2021 149 Gemeente Rotterdam, collegebrief ‘Stand van zaken governance rondom de toepassing van algoritmes’, 15 februari 2022. p. 4. 150 Gemeente Rotterdam, collegebrief ‘Stand van zaken governance rondom de toepassing van algoritmes’, 15 februari 2022. 151 Universiteit Utrecht, ‘IAMA’, juli 2021. 152 Gemeente Rotterdam, ‘Afwegingskader voor sensoren, datatoepassingen en AI’, 21 maart 2022, p.12. 153 Gemeente Rotterdam, ‘‘Kadernota sturen en verantwoorden 2020’, 11 maart 2020, p. 9. 154 Dit is tevens naar voren gekomen in de gemeentelijke evaluatie van de algoritmegovernance.

78

kleur bekennen

Algoritmeadviesraad Een speciale rol in de derde lijn was weggelegd voor de nieuw gecreëerde onafhankelijke externe adviesraad: de algoritmeadviesraad (AAR, voor 2023 heette deze adviesraad de Algorithm Advisory Board ofwel AAB). De Algoritmeadviesraad werd als onafhankelijk toezichthouder gepresenteerd in de algoritmegovernance, maar uit een gesprek met de gemeenteraad in december 2022 bleek dat de AAR het niet eens was met die positionering. De AAR ziet zichzelf als een adviserend orgaan en niet als toezichthouder. De gemeente heeft daarop besloten om de AAR uit de ‘third line of defence’ te gaan halen. 155 Op 7 juni 2022 is de AAR voor vier jaar benoemd. De AAR bestaat uit vijf leden vanuit verschillende disciplines (onder andere bestuurskunde, computerwetenschappen en filosofie). De AAR komt (minstens) tweemaal per jaar bijeen en geeft gevraagd en ongevraagd advies over onder andere: • het volgen van de governanceprocessen; • de kwaliteit van de uitgevoerde ARA's en IAMA’s; • eventuele witte vlekken en benodigde aanpassingen in governanceprocessen. 156 Een AAR-bijeenkomst bestaat uit drie onderdelen: eerst worden agenda, notulen en de lijst met adviezen behandeld. Vervolgens verzorgt een lid van de AAR een inhoudelijke presentatie over een relevant onderwerp. Het derde onderdeel is een presentatie van de gemeente over een bepaalde vraag of casus.

De AAR stelt verduidelijkende vragen over de casus en gaat onderling in beraad over een advies. Dit advies wordt gedeeld en wordt ook op papier gezet. De gemeente koppelt in de daaropvolgende vergadering terug hoe met de adviezen is omgegaan. Tot dusver zijn er drie bijeenkomsten van de AAR geweest en staan er 25 adviezen op een doorlopende adviezenlijst, waarvan er drie volledig zijn verwerkt en de overige adviezen doorlopend aandacht verdienen of in de toekomst nog moeten worden verwerkt. 157 inventarisatie en registratie De gemeente registreert sinds 2022 de binnen de organisatie gebruikte algoritmetoepassingen in een algoritmeregister. Dit register kent een interne en een externe versie. De interne versie moet een integraal overzicht bieden van alle binnen de gemeente toegepaste algoritmes. Een deel van deze toegepaste algoritmes wordt ook gepubliceerd in het externe register. Dit gebeurt wanneer de informatie voldoende compleet is en het algoritme in gebruik wordt genomen. 158 interne register In het interne register dienen alle gemeentelijke algoritmetoepassingen te zijn opgenomen. De verantwoordelijkheid voor het goed invullen van het register ligt bij het cluster dat de algoritmetoepassing inzet. 159 De Algoritme Expert moet toetsen of alle algoritmes in het register staan.

De proceseigenaar is verantwoordelijk voor het aanleveren van correcte informatie voor het register.

155 Interview ambtenaar. 156 Gemeente Rotterdam, collegebrief ‘Stand van zaken governance rondom de toepassing van algoritmes’, 15 februari 2022. 157 Gemeente Rotterdam, Status opvolging adviezen Algoritmeadviesraad (AAR), 8 augustus 2023. 158 Ambtelijk wederhoor. 159 Gemeente Rotterdam, Presentatie ‘Governance van hoog risico algoritmetoepassingen, waar staan we nu’, februari 2022.

79

kleur bekennen

externe register Het extern publiceren van algoritmes is op dit moment geen wettelijke verplichting. Zoals in hoofdstuk 2 is uitgewerkt zal de Europese AI-verordening op termijn wel leiden tot een verplichting om hoog-risico algoritmes op te nemen in een publiek toegankelijke databank. In het verlengde daarvan kan de landelijke overheid aanvullende eisen stellen aan publicatie van overheidsalgoritmes. Vooruitlopend op deze Europese wetgeving heeft de rijksoverheid eind 2022 het initiatief genomen tot het instellen van een centraal algoritmeregister voor overheden (zie ook paragraaf 2-52). 160 De gemeente Rotterdam heeft een eigen extern register dat geraadpleegd kan worden via de website van de gemeente. 161 Rotterdam heeft er in eerste instantie voor gekozen de algoritmes die geclassificeerd zijn als hoog-risico algoritmes op te nemen in het externe register. 162 In april 2023 is door de wethouder toegezegd ook laag-risico algoritmes ‘met een publieke waarde’ extern te publiceren. 163

in het kort • De gemeente heeft in 2021 een beoogde algoritmegovernance beschreven, maar in het vervolg geen stuk vastgesteld waarin de volledige governance is beschreven. De rekenkamer heeft de algoritmegovernance moeten afleiden uit verschillende documenten en informatie uit interviews. • De gemeente vindt de inzet van algoritmes noodzakelijk om haar taken voor de stad beter uit te kunnen voeren. Het coalitieakkoord voegt daaraan toe dat het essentieel is dat algoritmes niet discrimineren op afkomst. • De algoritmegovernance bestaat uit instrumenten om risico’s te beheersen: een risico-assessment aan de voorkant (ARA) om te bepalen of iets een laag- dan wel een hoog-risico algoritme is, en instrumentarium voor het herkennen van ethische risico’s (het IAMA en de DEDA). Binnen de gemeente Rotterdam is de inzet van de instrumenten afhankelijk van een risico-benadering: alleen hoog-risico algoritmes doorlopen het IAMA, bij de ontwikkeling van laag-risico algoritmes kan optioneel een DEDA worden ingezet. • In de algoritmegovernance zijn verschillende verantwoordelijkheden belegd. De proceseigenaar is eindverantwoordelijke voor een correcte uitvoering van een algoritmetoepassing en het beperken van risico’s. De Algoritme Expert adviseert over algoritmes en zorgt voor doorontwikkeling van de algoritmegovernance.

De afdeling IIFO is voor algoritmes die zij ontwikkelt technisch en functioneel verantwoordelijk. Er lijkt overlap te zijn tussen de verantwoordelijkheid van de proceseigenaar en van IIFO. De controlefunctie is in de governance belegd bij Concern Auditing (CA). Verder is er een externe Algoritmeadviesraad (AAR) opgezet. • De gemeente wil externe stakeholders, zoals burgers en bedrijven, betrekken bij de algoritmegovernance. Dit gebeurt in het IAMA-proces en betreft vooral ‘institutionele vertegenwoordigers’ zoals cliëntenraden.

160 https://algoritmes.overheid.nl 161 https://algoritmeregister.rotterdam.nl/p/Onzealgoritmes. 162 College van B en W Rotterdam, brief ‘Voortgang implementatie algoritmegovernance en instelling Algorithm Advisory Board’, 7 juni 2022. 163 Wethouder Financiën en Organisatie, Dienstverlening en Grote Projecten, brief ‘Digitale inclusie’, 11 april 2023.

80

kleur bekennen

• De gemeente heeft een intern en een extern algoritmeregister opgezet. Aanvankelijk was het de bedoeling om in het externe register alleen hoog-risico algoritmes te publiceren, maar besloten is om ook laag-risico algoritmes met een publieke waarde te publiceren. Het cluster dat de algoritmetoepassing uitvoert, is verantwoordelijk voor registreren van het algoritme in het register. De Algoritme Expert toetst of de informatie juist en volledig is.

verschillende typen governance rondom informatieproducten Producten in de gemeentelijke organisatie die worden ontwikkeld in software en data bevatten, vallen onder de noemer ‘informatieproducten’. Dit zijn bijvoorbeeld analyses en dashboards, eindproducten met persoonsgegevens of algoritmes. 164 De ontwikkeling van een informatieproduct dient aan allerlei relevante governance te voldoen. Een algoritme is dus een specifiek type informatieproduct, waarop de algoritmegovernance van toepassing is. De algoritmegovernance is een ‘aanvullende’ governance, die niet op zichzelf staat maar complementair is aan, en afgestemd moet zijn op, de privacy-, informatiebeveiliging- en datagovernance. privacygovernance De privacygovernance regelt dat alle verwerkingen van persoonsgegevens bij de gemeente voldoen aan de AVG.

verwerken persoonsgegevens Persoonsgegevens zijn volgens de AVG “alle informatie over een geïdentificeerde of identificeerbare natuurlijke persoon”. Dit houdt in dat informatie ofwel direct over iemand gaat, ofwel naar deze persoon te herleiden is. Het gaat dan onder andere over naam en adres, maar het gaat ook over een IP-adres van een telefoon die tot een persoon herleidbaar is. Uit de AVG blijkt dat de volgende handelingen vallen onder het verwerken van persoonsgegevens: verzamelen, vastleggen, ordenen, structureren, opslaan, bijwerken of wijzigen, opvragen, raadplegen, gebruiken, doorzenden, verspreiden, beschikbaar stellen, samenbrengen, met elkaar in verband brengen, afschermen, wissen en vernietigen. 165

De AVG vereist een aantal zaken van de gemeente: • privacybeleid: de gemeente dient privacybeleid vast te stellen; • verwerkingsregister: de gemeente is wettelijk verplicht een verwerkingsregister bij te houden, waarin alle verwerkingen van persoonsgegevens worden vastgelegd; • gegevensbeschermingseffectbeoordeling: deze beoordeling is een wettelijk vereiste bij beoogde risicovolle verwerkingen van persoonsgegevens en dient om eventuele privacyrisico’s rondom de verwerking te detecteren en beheersen en te controleren of een verwerking voldoet aan de AVG. De beoordeling wordt in de praktijk de DPIA genoemd: Data Protection Impact Assessment; • verwerkersovereenkomst: bij extern uitbesteden van een verwerking van persoonsgegevens dient een verwerkersovereenkomst te worden opgesteld, waarin wordt vastgelegd hoe de externe partij zorgt voor adequate databeveiligings- en privacymaatregelen;

164 Gemeente Rotterdam, ‘Privacy Framework Datagedreven werken met Data Analytics Platform Rotterdam’, 12 mei 2023. 165 www.autoriteitpersoonsgegevens.nl

81

kleur bekennen

• Functionaris Gegegevensbescherming: een overheidsorganisatie moet een toezichthouder privacy hebben in de vorm van een Functionaris Gegegevensbescherming (FG). De governance en het concernbrede privacybeleid zijn in 2018, net voor de inwerkingtreding van de AVG, vastgelegd in het document ‘Privacybeleid en governance’. 166 Het gemeentelijk privacybeleid concretiseert de rollen en verantwoordelijkheden rondom het voldoen aan de privacywetgeving. Proceseigenaren zijn verantwoordelijk voor het naleven van privacywetgeving en beleid in hun proces of project. De proceseigenaren worden hierbij ondersteund door Privacy Officers. Elk cluster heeft hiervoor één of meer Privacy Officers. De Privacy Officer adviseert directie, management en medewerkers op het gebied van vraagstukken rondom privacy. Wanneer een proceseigenaar een nieuwe verwerking van persoonsgegevens start, adviseert de Privacy Officer van het cluster aan de hand van een Privacy Risk Assessment (PRA) of een DPIA verplicht is. De Privacy Officer ondersteunt en adviseert bij het DPIA-proces. De Privacy Officer geeft tevens een inhoudelijk akkoord op de DPIA en monitort de uitvoering van de daaruit voortkomende maatregelen. 167 De Concern Privacy Officer valt onder het cluster Bestuurs- en concernondersteuning.

De Concern Privacy Officer heeft een coördinerende rol ten opzichte van de clusterspecifieke Privacy Officers en adviseert bij organisatiebrede privacyvraagstukken. De FG is voor privacy een onafhankelijk toezichthouder. De FG heeft een voornamelijk toetsende rol op bijvoorbeeld wijzigingen in het privacybeleid. 168 De FG beoordeelt tevens de DPIA’s op inhoud en geeft hierop een akkoord. 169 Dit doet de FG nadat de Privacy Officer akkoord gaat met de DPIA. 170 informatiebeveiligingsgovernance Informatiebeveiliging dient ertoe de informatie die de gemeente heeft beschikbaar, integer en vertrouwelijk te houden. Het informatiebeveiligingsbeleid heeft betrekking op alle gemeentelijke processen waarin data, zowel persoonsgegevens als alle andere informatie, worden verwerkt. Het beleid moet ervoor zorgen dat in de organisatie wordt voldaan aan wet- en regelgeving rondom informatiebeveiliging. 171 Een relevant kader is de Baseline Informatiebeveiliging Overheid (BIO), het normenkader voor informatiebeveiliging binnen overheden. Op informatiebeveiliging is de AVG ook van toepassing wanneer het gaat om persoonsgegevens. Net zoals er bij de privacygovernance Privacy Officers per cluster zijn, zijn er ook voor de informatiebeveiliging decentrale adviseurs. Dit zijn de Decentraal Information Security Officers (DISO’s).

Zij adviseren proceseigenaren onder andere over het voldoen aan de BIO-normen. De Concern Information Security Officer (CISO) adviseert

166 Gemeente Rotterdam, ‘Privacybeleid en governance’, 24 maart 2018. 167 Gemeente Rotterdam, ‘Proces voor de tijdige uitvoering en borging van de resultaten van een Privacy Impact Assessment’, 18 januari 2019, p.4. 168 Gemeente Rotterdam, ‘Privacybeleid en governance’, 24 maart 2018, p.31. 169 Gemeente Rotterdam, ‘Proces voor de tijdige uitvoering en borging van de resultaten van een Privacy Impact Assessment’, 18 januari 2019, p.4. 170 Gemeente Rotterdam, ‘Proces voor de tijdige uitvoering en borging van de resultaten van een Privacy Impact Assessment’, 18 januari 2019, p.5. 171 Gemeente Rotterdam, ‘Concern informatiebeveiligingsbeleid Gemeente Rotterdam 2021-2023’, 13 juli 2021.

82

kleur bekennen

organisatiebreed en op strategisch niveau en valt onder het cluster Bestuurs- en concernondersteuning. 172 De eerste verantwoordelijkheid voor informatiebeveiliging ligt, vergelijkbaar met privacy, bij de clusters. De tweedelijnsverantwoordelijkheid (adviseren en kaderstellen) ligt bij directie Middelen & Control en bij BCO. De FG is ook voor dit onderdeel de onafhankelijk toezichthouder omdat informatiebeveiliging van persoonsgegevens onder de AVG valt en er daarom voor is gekozen het geheel aan informatiebeveiliging bij de FG te beleggen. Voor het goed functioneren van de informatiebeveiligingsgovernance is het belangrijk dat de IT-systemen veilig en correct functioneren. Hiervoor zijn er generieke beheersmaatregelen voor IT, ook wel IT General Controls of ITGC genoemd. Deze regelen onder andere dat IT beschikbaar is (continuïteit) en dat wijzigingen aan systemen niet zomaar kunnen worden doorgevoerd (wijzigingsbeheer). De maatregelen bestaat uit bijvoorbeeld wachtwoordbeheer en het loggen van wijzigingen, maar ook uit het inrichten van procedures voor beveiligingsincidenten en het regelen dat er back-ups van de data worden gemaakt. De naleving van de ITGC wordt jaarlijks gecontroleerd door Financial Audit. 173 datagovernance In de stukken over de algoritmegovernance is te lezen dat deze aansluit op de ‘Way of working (2.0)’ van het programma DGW.

De ‘Way of working’ wordt regelmatig aangehaald als de standaard werkwijze voor data- en analyseprojecten. Deze ‘Way of working’ als zodanig is niet eenvoudig in documenten te vinden. Wel is te destilleren dat deze bestaat uit een aantal onderdelen en processen voor data- en analyseprojecten. Eén van de onderdelen van de ‘Way of working’ is de governance van data: wie heeft welke verantwoordelijkheden als het gaat om het gebruiken van data. Het document ‘Ontwerp Datamanagementfunctie’ uit 2022 geeft weer hoe de governance in de basis vorm heeft en nog moet krijgen. 174 De concerndirectie is het “hoogste orgaan dat besluiten neemt over datagovernance, datamanagement, datagedreven werken en het verantwoord en ethisch gebruik van data”. De primaire verantwoordelijkheid over specifieke data is verdeeld over de proceseigenaar van de databron (de bronhouder), en de proceseigenaar van het informatieproduct (de gebruiker). De proceseigenaar van de databron is verantwoordelijk voor de kwaliteit en beheer van de data. De proceseigenaar van het informatieproduct draagt de verantwoordelijkheid voor een zorgvuldige inzet van de data. Het toezicht op de inzet van data in processen ligt bij de Business/Concern Controller. Toezicht op data in het algemeen ligt bij de FG en de interne auditfuncties (archiefinspectie, Financial Audit en Concern Auditing).

Het aanbod van data en de vraag van de gebruiker van de data worden afgestemd via een zogenaamde gegevensmakelaar. Deze zorgt dat er een gegevensleveringovereenkomst (GLO) wordt opgesteld tussen de bronhouder van de

172 Gemeente Rotterdam, ‘Privacybeleid en governance’, 24 maart 2018. 173 Interview ambtenaar. 174 Gemeente Rotterdam, ‘Ontwerp datamanagementfunctie V1.0.1’, 7 maart 2022.

83

kleur bekennen

data en de gebruiker van de data. De gegevensmakelaar zorgt ervoor dat een Data Usage Board (DUB) wordt ingezet bij de start van de ontwikkeling van een informatieproduct. In een DUB worden verschillende expertises gebundeld om advies te geven over het gebruik van de data. Er wordt geadviseerd op informatiebeveiliging, privacy, informatiebeheer, data en ethiek. Deze principes worden ook wel SPIDE’R genoemd (security, privacy, informatiebeheer, datamanagement, ethiek en algoritmen Rotterdam) 175. Op deze manier vervult de DUB een functie als ‘poortwachter’ voor het gebruik van data. 176 Elk cluster krijgt een eigen DUB. Ook krijgt elk cluster een eigen DACC (Data & Analyse Competence Centre) waarin de data- en analysemedewerkers binnen een cluster samenwerken. In een DACC werken IIFO en de clusters samen om gezamenlijk informatieproducten te ontwikkelen in het cluster. Privacyframework Datagedreven Werken Voor de situaties waarin de datagovernance en de privacygovernance elkaar raken, is in mei 2023 een ‘Privacy Framework Datagedreven werken met Data Analytics Platform Rotterdam’ vastgesteld. 177 Met het Data Analytics Platform Rotterdam (DAP’R) wordt het data analyseplatform van OBI bedoeld, waar onder andere het datawarehouse onderdeel van is. 178 In dit privacyframework worden nogmaals de rollen uiteengezet.

De proceseigenaar van het informatieproduct is eindverantwoordelijk voor alle ‘compliance’-aspecten van het product (het voldoen aan alle wet- en regelgeving, met name de AVG en de BIO). De proceseigenaar is “meestal een lijnmanager uit een van de clusters”. 179 De ‘product owner’ is een gedelegeerd eigenaar van het product en voert operationele activiteiten uit die onder de verantwoordelijkheid van de proceseigenaar vallen. De bronhouder van de data blijft verantwoordelijk voor de kwaliteit en beschikbaarheid van de data.

175 Ambtelijk wederhoor. 176 Interview ambtenaar. 177 Gemeente Rotterdam, ‘Privacy Framework Datagedreven werken met Data Analytics Platform Rotterdam’, 12 mei 2023. 178 Een datawarehouse is een centrale plek waar gegevens worden opgeslagen waarmee onder andere analyses kunnen worden gedaan. 179 Gemeente Rotterdam, ‘Privacy Framework Datagedreven werken met Data Analytics Platform Rotterdam’, 12 mei 2023, p. 23.

84

kleur bekennen

figuur 3-4 samenhang governance informatieproducten

bron: Rekenkamer Rotterdam. Het lichtblauwe icoon geeft aan dat de desbetreffende functie niet is belegd. Het DUB is in tegenstelling tot de DISO en PO geen functionaris, maar een overlegorgaan. De functionaris die het DUB faciliteert, is de gegevensmakelaar.

in het kort • Algoritmes zijn informatieproducten, namelijk een product waarin data worden gebruikt. Voor alle informatieproducten zijn ook de privacygovernance, de informatiebeveiligingsgovernance en de datagovernance van toepassing. De algoritmegovernance vormt daarop een aanvulling. • De privacygovernance is van toepassing wanneer persoonsgegevens worden gebruikt. Binnen de gemeente Rotterdam vereist deze governance onder andere een privacy risk assessment (PRA) en bij risicovolle verwerkingen een data protection impact assessment (DPIA). Elk cluster heeft voor advies en toetsing een of meerdere Privacy Officers. • Het informatiebeveiligingsbeleid bevat maatregelen om ervoor te zorgen dat dataverwerkingen voldoen aan wet- en regelgeving rondom informatiebeveiliging. Proceseigenaren worden hierover geadviseerd door de Decentraal Information Security Officers in de clusters. • De verschillende vormen van governance hebben interne toezichthouders. De Functionaris Gegegevensbescherming heeft deze rol zowel voor de informatiebeveiligings-, privacy- en datagovernance. Andere interne toezichthouders zijn de interne auditafdelingen zoals Financial Audit en Concern Auditing.

85

kleur bekennen

• In het programma DGW wordt naar de ‘Way of working (2.0)’ verwezen als het gaat om het werken met data. Uit verschillende documenten zijn een governancestructuur en werkwijzen te destilleren die deze Way of working behelzen. • De basis van de datagovernance is dat verantwoordelijkheden voor data zelf en voor het gebruik van data verschillend belegd zijn. De bronhouder is verantwoordelijk voor de kwaliteit en beheer van de data, de proceseigenaar van de toepassing is verantwoordelijk voor zorgvuldige inzet van de data. Een gegevensmakelaar zorgt ervoor dat deze twee partijen goede afspraken maken. • Elk cluster krijgt een Data Usage Board (DUB) om te adviseren over ‘compliant’ gebruik van de data, ofwel gebruik van de data die voldoet aan wet- en regelgeving. Dit gebeurt aan de hand van de SPIDE’R principes: Security, Privacy, Informatiebeheer, Datamanagement en Ethiek Rotterdam. • Voor informatieproducten waarin de privacy- en datagovernance elkaar raken is een Privacyframework Datagedreven werken opgezet.

86

kleur bekennen

4 gebruik algoritmes in Rotterdam inleiding In dit hoofdstuk staat de volgende deelvraag centraal: • Wat is de aard en omvang van de inzet van algoritmes binnen de gemeente? Paragraaf 4-2 schetst een beeld van de wijze waarop de gemeente algoritmes definieert en de ontwikkeling die hierin is te constateren. In paragraaf 4-3 is beschreven wat de huidige inzet van algoritmes binnen de organisatie is.

definitie algoritme in Rotterdam Algoritmes verschillen onderling sterk in mate van complexiteit, risico’s en impact op burgers of bedrijven. In de dagelijkse praktijk zijn verschillende visies, typeringen en definities in omloop over wat een algoritme is. Zowel op Europees als op landelijk niveau is er geen wettelijk kader dat een algoritme definieert. In hoofdstuk 2 is hier eerder op ingegaan. Om te kunnen bepalen of de algoritmegovernance van toepassing is, risico’s te kunnen bepalen en transparant te kunnen zijn over het gebruik, is het van belang dat binnen de gemeente een gedeeld beeld bestaat over wat een algoritme is. Vanwege het ontbreken van een wettelijk inkadering of een algemeen gangbare definitie dient de gemeente zelf te definiëren wat ze onder een algoritme verstaat. Sinds begin 2022 heeft de gemeente op verschillende manieren gespecificeerd wat binnen de organisatie als algoritme wordt beschouwd. De eerste omschrijvingen zijn vastgelegd in het governancekader algoritmes en het afwegingskader voor sensoren, datatoepassingen en AI. 180 Beide definities zijn kort na elkaar gepubliceerd, maar verschillen opvallend genoeg onderling toch enigszins. Medio 2023 is intern besloten een andere definitie van een algoritme te gaan hanteren. 181 Geconstateerd is dat er intern onduidelijkheid heerst en er verschillend naar algoritmes wordt gekeken.

De keuze is gemaakt aan te sluiten bij een definitie uit de richtlijnen van het ministerie van Justitie en Veiligheid. 182 Deze laatste definitie is ondertussen verwerkt in interne documenten en communicatie-uitingen. De drie definities zijn in het volgende kader opgenomen.

180 Gemeente Rotterdam, presentatie ‘Governance van hoog risico algoritmetoepassingen, februari 2022 en Gemeente Rotterdam, ‘Afwegingskader voor sensoren, data-toepassingen en AI’, 21 maart 2022. 181 Gemeente Rotterdam, Memo ‘Wat is een ‘algoritme’ voor de gemeente Rotterdam? Van inventarisatie naar werkdefinitie’, 25 mei 2023. 182 Ministerie van Justitie en Veiligheid. ‘Richtlijnen voor het toepassen van algoritmen door overheden en publieksvoorlichting over data-analyses’, maart 2021.

87

kleur bekennen

gehanteerde gemeentelijke definities

Governancekader algoritmes (februari 2022) “Een algoritme is software die data-analyse, statistiek of logica kan uitvoeren. Dit kan variëren van simpele regels tot niet-lineaire modellen die doen denken aan neurale netwerken.”

Afwegingskader voor sensoren, data-toepassingen en AI (maart 2022) “Een wiskundige formule of model dat een aantal volgtijdige stappen doorloopt, waarbij door middel van het leggen van verbanden tussen data een aantal keuzes worden gemaakt die beslissend zijn voor vervolgstappen en het resultaat/de uitkomst.”

huidige definitie algoritmetoepassing (sinds mei 2023) “Een wiskundige formule of model, dat wordt uitgevoerd middels een computer, om een probleem op te lossen, een vraag te beantwoorden, een voorspelling te doen, een beslissing te nemen of die te ondersteunen.”

De drie definities komen in de basis overeen. Het gaat bij alle drie om een brede invalshoek waarin de diversiteit aan algoritmes wordt meegenomen. De gemeente neemt zowel rule-based als case-based algoritmes mee in de definitie (zie paragraaf 22). 183 Het belangrijkste verschil tussen de drie definities is dat de nieuwste zowel uitgaat van het gebruik van een computer als specifieke vormen van toepassingen noemt. Met de nieuwste definitie wordt aangesloten bij de meeste recente definitie die de Rijksoverheid heeft gepubliceerd in de ‘Handreiking Algoritmeregister’ (zie paragraaf 2-2). 184 algoritmetoepassing Een algoritme is alleen relevant voor de gemeente als deze daadwerkelijk wordt toegepast in werkprocessen. De gemeente richt zich daarom niet op het algoritme, maar op de algoritmetoepassing. Wanneer er volgens de gemeente sprake is van een algoritmetoepassing is nader uitgewerkt. 185 Ten eerste moet het uiteraard een algoritme zijn (volgens de eerdergenoemde definitie). Andere criteria zijn: • het algoritme gebruikt gegevens; • het algoritme leidt tot een resultaat (bijvoorbeeld advies, voorspelling, besluit); • het algoritme heeft impact op de eigen organisatie, burgers, bedrijven, maatschappelijke organisaties of medeoverheden. Door te spreken van een algoritmetoepassing probeert de gemeente een schifting aan te brengen tussen algoritmes.

Algoritmes die alleen worden gebruikt om bestaande data te koppelen vallen daarmee buiten de definitie van een algoritmetoepassing.

183 Een rule-based algoritme is kort gezegd een beslisboom of ‘als-dan algoritme’, bij een case-based algoritme gaat het algoritme op zoek naar verbanden op basis van data over bestaande casussen en bepaalt zo regelmatigheden of beslisregels (zie paragraaf 2-2-2 voor een verdere uitleg over beide soorten algoritmes). 184 Een algoritme is een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden 185 Gemeente Rotterdam, Memo ‘Wat is een ‘algoritme’ voor de gemeente Rotterdam? Van inventarisatie naar werkdefinitie’, 25 mei 2023.

88

kleur bekennen

Om de genoemde verwarring te voorkomen neemt de rekenkamer in dit rapport de term ‘algoritmetoepassing’ niet over en blijft in haar analyse consequent spreken over ‘algoritmes’. Alleen wanneer het relevant is voor de analyse van de wijze waarop de gemeente algoritmes definieert, wordt de term ‘algoritmetoepassing’ gehanteerd. grenzen van definities De gemeentelijke definities van een algoritme en een algoritmetoepassing geven een kader op hoofdlijnen. In de praktijk was een nadere duiding nodig om te bepalen welke toepassingen wel en welke niet onder de reikwijdte van de definitie vallen. Met de definitie van een algoritmetoepassing sluit de gemeente in ieder geval algoritmes uit die alleen gericht zijn op het presenteren van gegevens in een andere vorm. Het gaat dan om het automatisch koppelen van gegevens uit bestanden en dit presenteren via een rapportage of dashboard. Dit gebeurt met een algoritme, maar zolang het alleen gaat om het visualiseren of anders presenteren van bestaande gegevens is volgens de gemeente geen sprake van een algoritmetoepassing. Ook bijvoorbeeld algoritmes in encryptiesoftware vallen buiten de definitie van een algoritmetoepassing. Deze algoritmes hebben geen direct invloed op het resultaat van het werkproces of hebben geen impact op uitgevoerd beleid.

In hoofdstuk 3 is duidelijk gemaakt dat in de algoritmegovernance het onderscheid tussen hoog en laag risico algoritmes relevant is en consequenties heeft. Naast deze categorisering in hoog en laag risico is er dus ook een inperking door de vertaalslag van algoritmes naar algoritmetoepassingen. Bepaalde algoritmes worden buiten de definitie en daarmee de reikwijdte van de algoritmegovernance geplaatst. Door de gemeente zijn verschillende grensgevallen geconstateerd. 186 De belangrijkste geconstateerde grensgevallen zijn: • Het automatisch koppelen van bestaande gegevens om met beslisregels personen of objecten te selecteren (dit wordt wel als een algoritmetoepassing gezien). • Het samenvatten en presenteren van bestaande data via bijvoorbeeld een dashboard (dit wordt niet als een algoritmetoepassing gezien). • Analyse van binnengekomen meldingen van burgers door middel van zoektermen. Het kan hierbij zowel gaan om het gebruik van eenvoudige filters als gestructureerde tekst mining (eenvoudige filters worden niet als algoritmetoepassing gezien; tekst mining wel).Tekst mining is een techniek waarmee grote hoeveelheden tekst geautomatiseerd en gestandaardiseerd geanalyseerd kunnen worden. • Eenmalig onderzoek naar verklarende factoren.

Het gaat hierbij om onderzoeken die via bijvoorbeeld regressietechnieken kijken naar voorspellende factoren voor de kans dat bepaalde situaties optreden bij burgers (onderzoek dat extern is gepubliceerd, wordt niet geregistreerd als algoritmetoepassing). De gemeente heeft verder in het najaar van 2023 een vragenlijst in gebruik genomen voor de identificatie van algoritmes. In paragraaf 5-3-2 wordt hier verder op ingegaan. gebruik definitie In de communicatie en documentatie is sinds het najaar van 2023 uniformiteit in het omschrijven wat de gemeente als algoritme en algoritmetoepassing beschouwt. Onder ambtenaren is op dit moment echter nog geen brede consensus aanwezig. In

186 Gemeente Rotterdam, ‘Randsituaties in definitie algoritmetoepassing’, Notitie Algoritme Experts, 1 juni 2023.

89

kleur bekennen

gehouden interviews bleek er veel verschil in opvatting over wat een algoritme is. Veelal wordt door ambtenaren verwezen naar case-based of zelflerende toepassingen als enige vorm van een algoritme. De relatief eenvoudige rule-based toepassingen als beslisbomen werden in veel gevallen niet als algoritme aangeduid. Vaak wordt ook een eigen interpretatie gegeven, waarbij niet de achterliggende techniek, maar het risico voor betrokkenen centraal staat. Een toepassing waarbij geen risico wordt ervaren, wordt dan geen algoritme gevonden. De bovenstaande constateringen zijn gebaseerd op interviews met ambtenaren die nauw betrokken zijn bij datatoepassingen en de daarbij behorende governance in de organisatie. Dit is een groep insiders waarvan verwacht mag worden zij de meeste kennis hebben van wat de gemeente als algoritmetoepassing beschouwt. Desondanks blijkt bij deze groep geen eenduidig beeld aanwezig. Bij ambtenaren die minder direct betrokken zijn bij de algoritmegovernance, is het bewustzijn over wat een algoritme is nog minder groot. In een interne evaluatie is geconstateerd dat betrokkenen niet altijd weten dat ze met algoritmes werken en ook niet altijd weten hoe deze te herkennen. Ook worden de risico’s van algoritmes niet altijd goed ingeschat.

187 De rekenkamer merkte in het casusonderzoek dat het begrip algoritmetoepassing en de definiëring daarvan ook tot verwarring kan leiden. In enkele casussen is sprake van meerdere algoritmes. In die gevallen was niet voor alle betrokkenen duidelijk of ieder algoritme ook een algoritmetoepassing is, of dat de algoritmes samen één toepassing vormen. De lijn van de gemeente is om meerdere algoritmetoepassingen die onderling zijn verbonden in een proces als één algoritmetoepassing te beschouwen. 188 Bij de geïnterviewde ambtenaren bleek echter in meerdere gevallen verschil van mening over wat precies de algoritmetoepassing van de betreffende casus is. De onduidelijkheid is ook terug te zien in tegenstrijdige antwoorden in gegeven informatie over de onderzochte algoritmes in het volgende kader.

tegenstrijdige informatie over het algoritme 189 Voor automatische kwijtschelding van gemeentebelastingen maakt de gemeente gebruik van diensten van een externe partij: het Inlichtingenbureau. Deze organisatie vult gegevens van Rotterdamse burgers met een algoritme aan. Daarmee kan de gemeente vervolgens bepalen of recht op kwijtschelding bestaat. In het externe algoritmeregister van de gemeente wordt het algoritme van het Inlichtingenbureau vermeld. In de door de gemeente ingevulde IAMA is bij een aantal vragen echter ook de interne beslisboom waarmee de gemeente het recht op kwijtschelding bepaalt als algoritmetoepassing aangemerkt. Dit gebeurt echter niet consequent in de gehele IAMA. Soms wordt alleen naar het door het Inlichtingenbureau uitgevoerde gedeelte verwezen. Voor parkeercontrole maakt de gemeente gebruik van scanauto’s die kentekens herkennen. Via een koppeling aan verschillende databases wordt vervolgens bepaald of een geparkeerde auto ‘parkeerrecht’ heeft (een vergunning of heeft betaald). De gemeente heeft voor parkeercontrole een IAMA ingevuld. Op basis van de beschrijving in het IAMA is het moeilijk een goed beeld te krijgen van wat de gemeente ziet als de algoritmetoepassing. Enerzijds lijkt de gemeente het beeldherkenningsalgoritme dat wordt gebruikt voor het herkennen van kentekens als de algoritmetoepassing te beschouwen.

Anderzijds lijkt de gemeente ook het vervolgproces binnen de

187 Gemeente Rotterdam, ‘Werken aan verantwoorde algoritmisering, Evaluatie algoritme-governance 2023’, 25 juli 2023. 188 Informatie verstrekt door de gemeente in het ambtelijk wederhoor. 189 De rekenkamer heeft vier casussen nader onderzocht. Deze komen uitgebreid aan de orde in hoofdstuk 6.

90

kleur bekennen

gemeenteapplicaties als een algoritmetoepassing te beschouwen. Op basis van de insteek van de gemeente zouden de verschillende algoritmes gezamenlijk als de algoritmetoepassing moeten worden gezien. Dit is echter niet consequent zo uitgewerkt.

in het kort • De gemeente gebruikte drie verschillende definities voor een algoritme. Recent is besloten de definitie te hanteren die aansluit bij de richtlijn van het ministerie van Justitie en Veiligheid. Dit is een brede en gangbare definitie. • De gemeente heeft gekozen voor het hanteren van het begrip ‘algoritmetoepassing’. Van een algoritmetoepassing is volgens de gemeente sprake als er niet alleen sprake is van een algoritme, maar deze ook ‘gegevens gebruikt, tot een resultaat leidt en impact heeft op de eigen organisatie, burgers of andere organisaties’. Met de keuze voor deze term wordt het begrip algoritme ingeperkt en worden bepaalde algoritmes uitgesloten van de algoritmegovernance. • In de communicatie en documentatie van de gemeente is sinds het najaar van 2023 uniformiteit over wat de gemeente als algoritme en algoritmetoepassing beschouwt. Binnen de groep insiders die relatief veel werkt met algoritmes werkt is echter geen consensus over wat de gemeente als een algoritmetoepassing beschouwt. Bij ambtenaren die in de praktijk werken met een algoritme wordt de definitie van een algoritme en een algoritmetoepassing ook niet altijd begrepen.

inzet algoritmes in Rotterdam aantal toegepaste algoritmes De gemeente registreert de gebruikte algoritmes binnen de organisatie in een algoritmeregister. Dit register kent een interne en een externe versie (zie verder paragraaf 5-5). De interne versie dient een integraal overzicht te bieden van alle algoritmes die in ontwikkeling of gebruik zijn bij de gemeente. Vanaf maart 2023 is actief en systematisch ingezet op het verkrijgen van een integraal overzicht van alle algoritmes. 190 Dit heeft geresulteerd in een overzicht van 38 geregistreerde algoritmes in november 2023. 191 Naar verwachting is hiermee nog steeds een aanzienlijk deel niet geregistreerd. 192 Bij een betrokken ambtenaar waren in november 2023 ongeveer 60 mogelijke algoritmetoepassingen in beeld. 193 typering inzet algoritmes Er is nog geen volledig beeld van alle gebruikte algoritme(toepassingen) binnen de gemeente Rotterdam. Om een typering van de inzet van algoritmes door de gemeente te kunnen geven, heeft de rekenkamer daarom een aanvullende inventarisatie gehouden. Meer informatie daarover is opgenomen in de onderzoeksverantwoording in bijlage 1. De door de rekenkamer verzamelde informatie is gecombineerd met de beschikbare gegevens uit het interne register.

190 Gemeente Rotterdam, Notitie ‘Backlog algoritmeregister’, maart 2023. 191 Bestand ontvangen per mail op 10 november 2023. 192 Gemeente Rotterdam, ‘Werken aan verantwoorde algoritmisering, Evaluatie algoritme-governance 2023’, 25 juli 2023. 193 Interview ambtenaar gemeente Rotterdam.

91

kleur bekennen

Er zijn vele manieren om algoritmes in te delen. De rekenkamer heeft voor het onderzoek gekozen voor een indeling in twee hoofdtypen en daarnaast voor een nadere typering op basis van het soort algoritme. Bij hoofdtypen gaat het om de in hoofdstuk 2 genoemde rule-based en case-based algoritmes. Daarbinnen heeft de rekenkamer zes vormen onderscheiden.

tabel 4-1: vormen algoritmes binnen Rotterdam hoofdtype

vormen

rule-based

selectie of toekenning op basis van beslisregels voorspelling op basis van beslisregels

case-based

tekst mining beeldherkenning voorspelling op basis van patronen selectie op basis van patronen of factoren

Alle genoemde vormen zijn in gebruik of in ontwikkeling binnen de gemeente. Ongeveer de helft van de door de rekenkamer gevonden algoritmes is rule-based. Niet alle van de naar schatting 60 algoritmes zijn bij de rekenkamer bekend. Naar verwachting gaat het bij de groep algoritmes die nu niet in beeld is voornamelijk om rule-based algoritmes. 194 Daarmee is zeer waarschijnlijk de meerderheid van de gemeentelijke algoritmes rule-based. Op basis van de beschikbare informatie heeft de rekenkamer een indicatie gemaakt van het gebruik per cluster. De toedeling is gedaan aan de hand van het cluster dat eindverantwoordelijkheid voor het algoritme heeft (op basis van de proceseigenaar). Deze indicatie is opgenomen in figuur 4-1. Een gedetailleerder beeld dan in dit figuur is weergegeven, kan op dit moment niet worden gegeven. figuur 4-1 overzicht per cluster BCO rule-based

selectie of toekenning op basis van beslisregels

case-based

tekst mining

Dienstverlening

voorspelling op basis van beslisregels

beeldherkenning voorspelling op basis van patronen selectie op basis van patronen of factoren

Legenda: veel gebruikt/veel in ontwikkeling (minimaal 3) gebruikt/in ontwikkeling niet gebruikt

194 Interview ambtenaren gemeente Rotterdam.

92

kleur bekennen

MO

W&I

SO

Stadsbeheer

Veiligheid

Met name beslisregels voor selectie of toekenning worden veel gebruikt. Dit geldt ook voor beslisregels voor het maken van voorspellingen. Van de case-based algoritmes zijn verschillende toepassingen met beeldherkenning gevonden en algoritmes die worden gebruikt voor het doen van voorspellingen. Het gaat dan met name om voorspellingen voor het maken van capaciteits- of routeplanningen. Selectie op basis van patronen of factoren lijkt zeer beperkt voor te komen binnen de gemeente. De rekenkamer heeft hier één voorbeeld van gevonden. Dat is het (stopgezette) algoritme voor de selectie van uitkeringsgerechtigden voor heronderzoeken. Er is een duidelijk verschil in de mate van ontwikkeling en gebruik van algoritmes tussen de clusters. Dienstverlening, Stadsontwikkeling en Werk en Inkomen zijn het meest actief met het ontwikkelen en gebruiken van algoritmes. BCO en Stadsbeheer doen dit minder vaak. Daarbij geldt overigens dat bij BCO alleen naar ontwikkeling en gebruik door het cluster zelf is gekeken. De technische ontwikkeling van algoritmes voor andere clusters met ondersteuning vanuit BCO is buiten beschouwing gelaten en bij de betreffende clusters meegenomen. Bij Maatschappelijke Ontwikkeling en bij Veiligheid wordt weinig tot geen gebruik gemaakt van algoritmes. Ter illustratie zijn in de volgende tabel voorbeelden opgenomen. tabel 4-2: voorbeelden algoritmes hoofdtype

vorm

naam algoritme

cluster

rule-based

selectie of toekenning op basis van

automatische kwijtschelding gemeentebelastingen* verhuurdersrisicoscan voor toezicht huurmarkt

Dienstverlening

geautomatiseerde toetsing bijstandsaanvragen*

W&I

voorspelling op basis van

bezettingsmodel personeel op basis van verwachte in-

BCO

beslisregels

en uitstroom

beslisregels

case-based

tekst mining

SO

routeplanning afvalcontainers op basis van vulgraad

Stadsbeheer

klantsignalenmodel op basis van meldingen,

Dienstverlening

informatieverzoeken en klachten van burgers

beeldherkenning

lak-applicatie voor gebruik bij Woo-verzoeken*

BCO

meldingen illegale bouw of illegaal gebruik objecten

SO

gezichtsherkenning bij aanvraag van een reisdocument*

Dienstverlening

kentekenscan door scanauto’s voor parkeercontrole*

Stadsbeheer

digitaal schouwen van buitenruimte met camera- en

Stadsbeheer

panoramabeelden voorspelling op basis van patronen

planningsmodel aantal balie-afspraken stadswinkels

Dienstverlening

voor diverse productgroepen bepalen WOZ-waarde op basis van referentiegegevens

Dienstverlening

taxatie* prognosemodel voor zorggebruik

MO

in- en doorstroom regelingen voor capaciteitsplanning

W&I

selectie op basis van patronen of

heronderzoeken uitkeringsgerechtigden op basis van

W&I

factoren

risico-inschattingsmodel

* Algoritme in gebruik. De andere algoritmes zijn in ontwikkeling. Bron: interne register november 2023.

93

kleur bekennen

in het kort • De gemeente beoogt via een intern register een integraal overzicht van alle algoritmes te bieden. Het interne register bevatte begin november 2023 in totaal 38 algoritmes. Dit register is nog niet compleet. De gemeente heeft ongeveer 60 algoritmes geïdentificeerd, maar schat in dat hiermee nog niet alles in beeld is. • De rekenkamer heeft op basis van het register en een aanvullende inventarisatie in kaart gebracht welk typen algoritmes de gemeente gebruikt. De rekenkamer heeft zes typen onderscheiden. • De gemeente past zowel rule-based (beslisregels) als case-based (machine learning) algoritmes toe. De meerderheid van de gebruikte algoritmes bestaat uit rule-bases beslisregels voor selecties of toekenningen en voor het doen van voorspellingen. Case-based algoritmes worden ingezet voor beeldherkenning, tekst mining en voor voorspellingen. De rekenkamer heeft één case-based algoritme aangetroffen dat gericht is op selectie van personen op basis van factoren of patronen. • Vooral de clusters Dienstverlening, W&I en Stadsontwikkeling maken gebruik van algoritmes. Maatschappelijke Ontwikkeling en Veiligheid maken weinig tot geen gebruik van algoritmes.

94

kleur bekennen

5 governance in de praktijk inleiding In dit hoofdstuk wordt de inzet van de governance in de praktijk behandeld. Hierover zijn de volgende deelvragen geformuleerd: • Is het instrumentarium om de risico’s van algoritmes te beheersen in lijn met de heersende normen hieromtrent? • Wordt het instrumentarium ingezet zoals beoogd? Om de eerste deelvraag te beantwoorden, wordt gebruik gemaakt van de normen en kaders zoals deze in hoofdstuk 2 zijn behandeld. Om te toetsen of het instrumentarium wordt ingezet zoals beoogd, wordt de inzet in de praktijk afgezet tegen de uitgangspunten en doelstellingen van de algoritmegovernance zoals deze in hoofdstuk 3 zijn beschreven.

stand van zaken implementatie governance Het opzetten en implementeren van de algoritmegovernance en daarbij behorende processen kent een lange doorlooptijd (zie figuur 5-1 voor een tijdlijn van de start van het programma DGW tot aan de start van dit rekenkameronderzoek). De lange doorlooptijd is bijvoorbeeld terug te zien in het inzichtelijk krijgen van het gebruik van algoritmes in de organisatie. Eind 2020/begin 2021 is door het programma DGW een eerste inventarisatie gedaan en een eerste versie van het algoritmeregister gemaakt. In navolging van de aanbeveling van de rekenkamer in april 2021 om beter zicht te krijgen op algoritmes, gaf de gemeente in de loop van 2022 aan dat de eerste inventarisatie van hoog-risico algoritmes was afgerond. 195 Vervolgens is in de opeenvolgende versies van het algoritmeregister en in gesprekken te zien dat pas in de loop van 2023 een grote slag is gemaakt in het inventariseren van zowel hoog-risico als laag-risico algoritmes (op deze inventarisatie wordt in paragraaf 5-5-1 verder ingegaan). 196 De gemeente was in 2020/2021 in het consortium ‘Publieke controle op algoritmes’ al bezig met instrumentarium voor de verantwoorde inzet van algoritmes, maar pas eind 2023 kan gezegd worden dat het instrumentarium in werking is.

Het college gaf in juni 2022 over de algoritmegovernance aan, dat deze op hoofdlijnen was geïmplementeerd en de toezeggingen aan de raad konden worden afgedaan. 197

195 Rekenkamer Rotterdam, ‘Gekleurde technologie’, april 2021. 196 Interviews ambtenaren. 197 Gemeente Rotterdam, collegebrief ‘Voortgang implementatie algoritmegovernance en Instelling Algorithm Advisory Board’, 7 juni 2022, p.8. Besproken en vastgesteld in de raad van 8 september 2022.

95

kleur bekennen

figuur 5-1 tijdlijn tot aan start vervolgonderzoek Rekenkamer Rotterdam

DGW: Datagedreven Werken. CA: Concern Auditing. RR: Rekenkamer Rotterdam

Op basis van verschillende interviews met betrokkenen bij de algoritmegovernance concludeert de rekenkamer dat de implementatie in juni 2022 nog niet afgerond was, ook niet op hoofdlijnen. De instrumenten waren ontwikkeld, maar de praktische inzet ervan was nog niet “uitgekristalliseerd”. De ‘awareness’ over algoritmes en de bijbehorende governance was op dat moment laag (en is laag gebleven, zie hiervoor ook paragraaf 5-3-2). 198 In de laatste collegebrief over de implementatie van de algoritmegovernance, maar ook in de gesprekken die de rekenkamer heeft gevoerd, komt veelvuldig naar voren dat de gemeente met verdere ontwikkeling van de algoritmegovernance onder andere wacht op kaders en instrumentarium die voortkomen uit de op handen zijnde Europese AI-verordening en landelijke wet- en regelgeving.

interne evaluatie governance 199 Voor de zomer van 2023 heeft de gemeente zoals reeds beschreven een eigen evaluatie van de algoritmegovernance uitgevoerd. De rekenkamer heeft haar onderzoek gelijktijdig uitgevoerd met de gemeentelijke evaluatie. De bevindingen van de evaluatie en het rekenkameronderzoek komen op meerdere punten met elkaar overeen. De belangrijkste conclusies in de interne evaluatie waren: • de awareness in de organisatie is nog onvoldoende; • de derde lijn (toezichtsfunctie) dient nog beter gepositioneerd en uitgewerkt te worden; • de positie van de Algoritme Expert is kwetsbaar; • de IAMA’s en vervolgacties zijn te vrijblijvend ingericht; • er is een grote afhankelijkheid van de DUB’s; • facilitering DEDA en IAMA’s is niet robuust belegd; • er is weinig op papier vastgelegd.

198 Interviews ambtenaren. 199 Gemeente Rotterdam, ‘Werken aan verantwoorde algoritmisering, Evaluatie algoritme-governance 2023’, 25 juli 2023.

96

kleur bekennen

in het kort • In 2020 is de gemeente gestart met het inventariseren van algoritmes die in de organisatie in gebruik waren. Uiteindelijk werd pas in 2023 een grote slag gemaakt in de inventarisatie. • De gemeente is in 2020 gestart met het ontwikkelen van instrumentarium voor de verantwoorde toepassing van algoritmes. In 2022 werd het instrumentarium ingezet en in 2023 was de algoritmegovernance volgens de gemeente geïmplementeerd, maar was de inzet van de instrumenten nog niet “uitgekristalliseerd”. • De rekenkamer constateert dat de awareness van de algoritmegovernance in de organisatie nog laag is. • De gemeente wacht met verdere ontwikkeling van de governance op Europese en landelijke weten regelgeving.

instrumentarium risicobeheersing visie en kaders In de collegebrief over de algoritmegovernance (september 2021) gaf het college aan dat het noodzakelijk is dat het omgaan met algoritmes verder wordt “uitgewerkt in een visie op (het werken met) algoritmes, inclusief kaders en handvatten voor de toepassing ervan […]. Een eerste uitwerking hiervan heeft ons college in de voorliggende brief opgenomen.” 200 Het college heeft vervolgens geen nadere uitwerking van de algoritmegovernance en een verdere uitwerking van de visie, kaders en/of handvatten met de raad gedeeld. Er zijn tot dusver dus geen beleidskaders vastgesteld voor de inzet van algoritmes. De relevantie van dergelijke kaders is eerder toegelicht in paragraaf 2-6. De gemeente geeft in de collegebrief van september 2021 aan dat zij transparantie belangrijk vindt. De gemeente wil transparant zijn over het gebruik van algoritmes en zegt hierover in de collegebrief dat “zowel de technische werking van het algoritme als het proces eromheen en de totstandkoming van een besluit moeten volledig transparant en navolgbaar zijn”. 201 De gemeente heeft echter geen aanvullend beleidskader waarin duidelijk is wat de transparantie over algoritmes voor de gemeente precies inhoudt.