[24bb003360] Voorstel over Rapport Rekenkamer Rotterdam “Kleur bekennen, vervolgonderzoek naar toepassing algoritmes” (24bb002973)

Rotterdam, 23 mei 2024

24bb003360

Aan: de gemeenteraad

Onderwerp: Rapport Rekenkamer Rotterdam “Kleur bekennen, vervolgonderzoek naar toepassing algoritmes” (24bb002973)

Gevraagd besluit: Samenvattend stellen wij u voor om de hoofdconclusies van het rapport van de Rekenkamer Rotterdam “Kleur bekennen, vervolgonderzoek naar toepassing algoritmes” (24bb002973) te onderschrijven en de aanbevelingen over te nemen. Tevens stellen wij u voor om het college van burgemeester en wethouders op te dragen uitvoering te geven aan de aanbevelingen en uiterlijk over een half jaar te rapporteren over de voortgang. Waarom dit voorstel? / Waarom nu voorgelegd? De Rekenkamer Rotterdam heeft op 8 mei 2024 het rapport “Kleur bekennen” aangeboden aan de gemeenteraad. Conform de ‘Verordening rekenkamer Rotterdam’ (artikel 12, lid 4) worden rapporten van de rekenkamer binnen drie maanden behandeld. Aanleiding voor dit rekenkamerrapport De komende jaren zal de toepassing van algoritmes door overheidsorganisaties verder toenemen. Dat biedt kansen, maar er zijn ook risico’s. Uit onderzoek blijkt dat publieke waarden en/of grondrechten in het geding kunnen komen wanneer algoritmes onzorgvuldig worden ontworpen, toegepast en gecontroleerd. In 2021 publiceerde de rekenkamer het rapport ‘Gekleurde technologie’. Dit onderzoek liet zien dat de gemeente op dat moment onvoldoende zicht had op het gebruik van algoritmes en te weinig aandacht besteedde aan het beheersen van risico’s van algoritmes.

Zo bleek onder meer dat het cluster Werk en Inkomen (W&I) gebruik maakte van een algoritme dat variabelen bevatte die konden fungeren als proxy voor etniciteit. Dit bracht het risico op discriminatie met zich mee.

Portefeuillehouder: wethouder Struijvenberg Steller: Léon van Koppen

raadsvergadering van: 13 juni 2024 raadsstuk 24bb003360 pagina 1

In navolging van het rekenkamerrapport werd besloten om het algoritme van W&I buiten werking te stellen en pas weer in te zetten op het moment dat het aan de kwaliteitseisen voldoet die door de raad zijn gesteld. Deze kwaliteitseisen waren uitlegbaarheid, het voorkomen van vooringenomenheid en transparantie. Voorts verzocht de raad de rekenkamer met de motie ‘Democracy is watching Big Brother’ om een vervolgonderzoek te doen naar de toepassing van algoritmes. Om een verantwoorde toepassing van algoritmes te borgen binnen de organisatie, heeft de gemeente in 2022 een governancestructuur uitgewerkt. Onderdeel van de implementatie was onder andere een inventarisatie van hoog-risico algoritmes, het ontwikkelen van een algoritmeregister, het creëren van de functie van algoritme-expert en het samenstellen van een algoritmeadviesraad. In navolging van het rapport ‘Gekleurde technologie’ is er dus toenemende aandacht voor algoritmes binnen de gemeente Rotterdam en is een algoritme-governance geïmplementeerd. Gezien deze ontwikkelingen achtte de rekenkamer het van belang om, zoals verzocht door de raad, vervolgonderzoek te doen naar de inzet en risicobeheersing van algoritmes binnen de gemeente.

Aandachtspunt voor de gemeenteraad De rekenkamer vraagt de aandacht van de raad voor de implementatie van de aanbevelingen uit dit vervolgonderzoek en vooral de noodzaak deze voortvarend op te pakken. Uit het onderzoek blijkt dat de capaciteit voor de lopende werkzaamheden al beperkt is. Behalve voor deze werkzaamheden is capaciteit nodig voor de opvolging van de aanbevelingen. De rekenkamer wijst daarom op het belang van voldoende gemeentelijke inzet, zodat de aanbevelingen worden opgevolgd zonder dat de huidige activiteiten hieronder lijden. Vraagstelling De centrale vraag van het onderzoek is: In hoeverre is de algoritmegovernance van de gemeente Rotterdam toereikend voor een verantwoorde toepassing van algoritmes en in hoeverre leidt dit tot het beheersen van risico’s in de praktijk? De centrale vraag is uitgewerkt in de volgende deelvragen: 1. Wat is de aard en omvang van de inzet van algoritmes binnen de gemeente? 2. Hoe zijn de governancestructuur en het bijbehorende instrumentarium voor de inzet van algoritmes vormgegeven? 3. Is het instrumentarium om de risico’s van algoritmes te beheersen in lijn met de heersende normen hieromtrent? 4. Wordt het instrumentarium ingezet zoals beoogd? 5.

In hoeverre worden de risico’s beheerst bij algoritmes die de gemeente in de praktijk inzet? Financiële en juridische consequenties/aspecten: Niet van toepassing Advies commissie Bestuur, Organisatie, Financiën en Veiligheid (BOFV) De commissie BOFV heeft op donderdag 23 mei een toelichting gekregen van de directeur van de Rekenkamer op het rapport, waarna het besproken is in aanwezigheid van wethouder Struijvenberg. De commissie adviseert het rapport met bijbehorend raadsvoorstel en – ontwerpbesluit te agenderen in de raad van 13 juni als tweeminutendebat.

Portefeuillehouder: wethouder Struijvenberg Steller: Léon van Koppen

raadsvergadering van: 13 juni 2024 raadsstuk 24bb003360 pagina 2

Het bijbehorende ontwerpbesluit bieden wij u hierbij ter vaststelling aan. Presidium van de raad van de gemeente Rotterdam, De griffier,

De voorzitter,

Portefeuillehouder: wethouder Struijvenberg Steller: Léon van Koppen

raadsvergadering van: 13 juni 2024 raadsstuk 24bb003360 pagina 3

Ontwerpbesluit: De Raad van de gemeente Rotterdam, in vergadering bijeen op 13 juni 2024, gelezen het rapport van 8 mei 2024 van de Rekenkamer Rotterdam “Kleur bekennen, vervolgonderzoek naar toepassing algoritmes” (24bb002973), gelezen het raadsvoorstel (24bb003360), gelet op de Gemeentewet en de Verordening Rekenkamer Rotterdam; gehoord de beraadslagingen in de commissie Bestuur, Organisatie, Financiën en Veiligheid, op 23 mei 2024; Besluit: I De hoofdconclusies zoals verwoord in het rapport “Kleur bekennen” te onderschrijven: 1. De afgelopen twee jaar heeft de gemeente meer aandacht gekregen voor de risico’s van algoritmes en de noodzaak grip te krijgen op de toepassing hiervan. Er is een algoritme-governance ontwikkeld met instrumenten om risico’s van algoritmes inzichtelijk te maken en te beheersen. 2. Het ontbreekt aan een politiek-bestuurlijk kader dat duidelijk maakt welke normen en principes leidend zijn bij de ontwikkeling en het gebruik van algoritmes. Dit heeft als effect dat belangrijke besluiten over bijvoorbeeld wenselijkheid, haalbaarheid, transparantie en bias bij de ambtelijke organisatie komen te liggen. Deze besluiten vragen echter om politieke afwegingen. 3. In hoofdlijnen bieden de instrumenten en initiatieven uit de governance voldoende basis voor een verantwoorde omgang met algoritmes.

In de praktijk loopt de gemeente bij de implementatie wel aan tegen verschillende knelpunten in de opzet, uitvoering en capaciteit. 4. De gemeente heeft nog geen compleet zicht op algoritmes en is nog onvoldoende transparant over het gebruik. Dit is onder andere te verklaren doordat binnen de organisatie nog te weinig bewustzijn is over wat een algoritme is. Ook is het niet duidelijk met welk doel en voor welke doelgroep het algoritmeregister is opgezet. 5. De rekenkamer heeft geen grote risico’s geïdentificeerd bij de onderzochte algoritmes. Wel constateert de rekenkamer verschillende aandachtspunten. Deze zijn veelal te herleiden tot knelpunten in de governance en de implementatie hiervan. II De aanbevelingen uit het rapport “Kleur bekennen” over te nemen en het college opdracht te geven deze uit te voeren: 1. Stel een algoritmebeleidskader op waarin is opgenomen welke waarden, normen en principes leidend zijn binnen Rotterdam bij de toepassing van algoritmes. 2. Handhaaf de huidige criteria voor het vaststellen van het risico van een algoritme. 3. Investeer in de verdere implementatie en doorontwikkeling van de algoritmegovernance. 4. Zorg bij ieder algoritme voor een concrete uitwerking van de doelstellingen, de te verwachten prestaties en de wijze waarop deze worden gemonitord. Start een

Portefeuillehouder: wethouder Struijvenberg Steller: Léon van Koppen

raadsvergadering van: 13 juni 2024 raadsstuk 24bb003360 pagina 4

dergelijke uitwerking met een volledige weergave van het betreffende algoritme of de algoritmes. 5. Werk als onderdeel van een algoritmebeleid een communicatiestrategie uit voor algoritmes. Besteed daarbij aandacht aan de wijze waarop zowel burgers als (interne) professionals geïnformeerd worden over de gemeentelijke algoritmes. Onderdeel daarvan is een duidelijke uitwerking van het doel en de doelgroep van zowel het externe als interne algoritmeregister. III) Het college van burgemeester en wethouders op te dragen de aanbevelingen van de Rekenkamer uit te voeren en daarover uiterlijk na een half jaar aan de raad te rapporteren.

Aldus vastgesteld in de openbare vergadering van 13 juni 2024. De griffier,

De voorzitter,

Portefeuillehouder: wethouder Struijvenberg Steller: Léon van Koppen

raadsvergadering van: 13 juni 2024 raadsstuk 24bb003360 pagina 5