Document · PDF

[24bb002973] Brief van de Rekenkamer Rotterdam over RO2205 rapport kleur bekennen, vervolgonderzoek naar toepassing algoritmes

Gemeenteraad 30 mei 2024, gemeente RotterdamBij agendapunt: Het rapport van de Rekenkamer Rotterdam ‘Kleur bekennen, vervolgonderzoek naar toepassing algoritmes’ alsmede het voorstel van het presidium met betrekking tot de conclusies en aanbevelingen uit dit rapport.34.913 woorden

Open het PDF bij de gemeente ↗Naar de vergadering →

Tekst van het document

Uit het bestand gehaald, zonder opmaak, tabellen en afbeeldingen · deel 1 van 5

Meent 94 t 010 • 267 22 42

Postbus 70012

info@rekenkamer.rotterdam.nl

3000 KP Rotterdam

www.rekenkamer.rotterdam.nl

VERTROUWELIJK Gemeente Rotterdam Gemeenteraad d.t.k.v. de griffie Coolsingel 40 3011 AD ROTTERDAM datum 8 mei 2024

ons kenmerk

RR/24.17/MvA/JW/CL

pagina

betreft

1 van 1

RO2205 rapport kleur bekennen

Geacht raadslid, Hierbij zend ik u onder embargo het door de Rekenkamer Rotterdam vastgestelde rapport ‘kleur bekennen, vervolgonderzoek naar toepassing algoritmes’. Het embargo geldt tot maandag 13 mei 2024 12.00 uur. Het rapport wordt daarna openbaar en is dan digitaal op onze website beschikbaar. Een exemplaar treft u aan in de bijlage. Op donderdag 23 mei 2024 zal ik het rapport in de commissie BOFV toelichten.

Met vriendelijke groet,

Dr.ir. Marjolein van Asselt directeur

bijlagen

kleur bekennen vervolgonderzoek naar algoritmes

Rekenkamer

Rotterdam

kleur bekennen vervolgonderzoek naar algoritmes

Rekenkamer

Rotterdam

voorwoord

Met een algoritme wordt denk- en doewerk uitbesteed aan een computer. Dat kan efficiënter en goedkoper zijn, of zelfs beter, omdat het menselijke fouten kan voorkomen. Maar technologie is niet vanzelfsprekend neutraal. Met het rapport ‘Gekleurde technologie’ vroeg de Rekenkamer Rotterdam in 2021 aandacht voor de ethische risico’s van het gebruik van algoritmes door de gemeente Rotterdam. De titel was goed gekozen, omdat het afrekende met de illusie van neutraliteit. Net als mensen kan ook een algoritme discrimineren afhankelijk van de opdracht die het krijgt, de data waarmee het gevoed wordt, de regels waarmee het algoritme wordt geprogrammeerd en getraind en de manier waarop het wordt ingezet. Het rekenkamerrapport ‘Gekleurde technologie’ maakte indruk en kreeg veel aandacht. Ook in de jaren na de publicatie wekte het de nodige interesse op bij de media, ook in het buitenland. Het onderwerp algoritmes staat inmiddels behoorlijk in de belangstelling, omdat in de samenleving het bewustzijn over de risico’s groeit. Ook de gemeenteraad was bezorgd. Bij de behandeling van het rapport heeft de raad de rekenkamer gevraagd vervolgonderzoek te doen naar de toepassing van algoritmes. Voor u ligt de uitkomst van dat vervolgonderzoek.

We hebben het de titel ‘Kleur bekennen’ gegeven, om duidelijk te maken dat ondanks alle verbeteringen die de rekenkamer heeft vastgesteld, er ook nog het nodige moet gebeuren om tot een verantwoorde ontwikkeling en inzet van algoritmes te komen. Het belangrijkste is het besef dat ethische risico’s om politieke afwegingen vragen. Als de politiek de kaders niet stelt, dan moeten ambtenaren afwegen wat goed of fout, eerlijk of oneerlijk, gewenst of ongewenst, acceptabel of een brug te ver is. Dat is niet goed en vormt een (onnodig) risico, zoals de afgelopen jaren is gebleken bij verschillende overheidsorganisaties. Ambtenaren kunnen en mogen geen politieke keuzes maken. Dat is namelijk “het primaat van de politiek”. Dat betekent dat de politiek het recht, het voorrecht, de opdracht, de taak, de macht en de plicht heeft om morele keuzes te maken. De politiek moet duidelijk maken wat goed is om te doen, welke waarden en normen leidend moeten zijn, wat in een afweging meegenomen moet worden en wat uiteindelijk het zwaarste moet wegen. Het is met andere woorden aan de politiek om kleur te bekennen. Een risico is een kans op schade. Als risico’s niet of onvoldoende worden onderkend en niet of onvoldoende worden beheerst, dan is er dus kans op schade. Ook voor governance geldt dat het zo sterk is als de zwakste schakel.

In de gemeentelijke algoritmegovernance is dat het ontbreken van een politiek kader. Het is dus aan de Rotterdamse politiek om een belangrijke stap te zetten om schade door het gebruik van algoritmes te voorkomen. Niet de computer, maar de Rotterdamse politiek is aan zet. Marjolein van Asselt Directeur Rekenkamer Rotterdam

kleur bekennen

voorwoord

bestuurlijke nota

inleiding

bestuurlijke conclusies

hoofdconclusies

toelichting hoofdconclusies

aanbevelingen

bestuurlijke reactie

nawoord: aandachtspunten gemeenteraad

nota van bevindingen

inleiding

aanleiding

achtergrond rapport ‘Gekleurde technologie’

doel- en vraagstelling

onderzoeksvragen

afbakening en scope onderzoek

aanpak en normenkader

leeswijzer

risico’s en regulering van algoritmes

inleiding

definitie van algoritmes

rule-based versus case-based algoritmes

risico’s van algoritmes

bias en discriminatie

beperkte ruimte maatwerk

onvoldoende transparantie

gebruik en kwaliteit data

verantwoord toepassen van algoritmes

integrale benadering

richtlijnen, kaders en instrumenten

reguleren van algoritmes

Europees niveau

landelijk niveau

inrichting algoritmegovernance

vaststellen (beleids)kaders

aansluiting fases levenscyclus algoritmes

aansluiting andere governance

proces en instrumenten risicoafwegingen en beheersmaatregelen

kleur bekennen

6 kleur bekennen

beleid en governance Rotterdam

inleiding

tijdlijn

algoritmegovernance

visie

instrumentarium risicobeheersing

stakeholders en verantwoordelijkheden

controle

inventarisatie en registratie

verschillende typen governance rondom informatieproducten

privacygovernance

informatiebeveiligingsgovernance

datagovernance

gebruik algoritmes in Rotterdam

inleiding

definitie algoritme in Rotterdam

inzet algoritmes in Rotterdam

aantal toegepaste algoritmes

typering inzet algoritmes

governance in de praktijk

inleiding

stand van zaken implementatie governance

instrumentarium risicobeheersing

visie en kaders

ARA

IAMA

101

DEDA

103

inkoopvoorwaarden algoritmes

103

menselijke beoordeling

104

stakeholders en verantwoordelijkheden

105

eindverantwoordelijkheid

105

IIFO

106

Algoritme Expert

107

externe stakeholders

107

controle in en op de algoritmegovernance

108

inventarisatie en registratie

110

interne register

110

externe register

111

samenhang governance voor informatieproducten

113

risicobeheersing in de praktijk

117

inleiding

117

onderzochte algoritmes nader toegelicht

117

automatische kwijtschelding

117

parkeercontrole

119

heronderzoeken rechtmatigheid bijstandsuitkeringen

120

recht op toekenning bijstandsuitkering (Avola)

121

bevindingen algoritmes per thema

123

7 kleur bekennen

sturing en verantwoording

124

model

126

data

128

privacy

129

IT-beheer

130

bijlagen

133

onderzoeksverantwoording

135

bronnenlijst

139

lijst van afkortingen

143

toetsingskader algoritmes

145

bestuurlijke nota

1 inleiding In 2021 publiceerde de rekenkamer het rapport ‘Gekleurde technologie’. 1 Dit onderzoek liet zien dat de gemeente op dat moment onvoldoende zicht had op het gebruik van algoritmes en te weinig aandacht besteedde aan het beheersen van risico’s van algoritmes. In navolging van het rapport heeft de gemeente in 2022 een governancestructuur uitgewerkt. 2 Onderdeel van de implementatie was onder andere een inventarisatie van hoog-risico algoritmes, het ontwikkelen van een algoritmeregister, het creëren van de functie van Algoritme Expert en het samenstellen van een algoritmeadviesraad. In juni 2022 concludeerde het college dat de governance op hoofdlijnen staat, maar het ‘work in progress’ blijft omdat op Europees en landelijk niveau wetgeving en richtlijnen over de inzet van algoritmes in ontwikkeling zijn. 3 Bij de behandeling van ‘Gekleurde technologie’ werden diverse moties aangenomen. Eén van deze moties was ‘Democracy is watching Big Brother’. Hierin werd de rekenkamer verzocht een vervolgonderzoek te doen naar de toepassing van algoritmes. 4 De rekenkamer heeft het vervolgonderzoek naar algoritmes opgenomen in de onderzoeksprogrammering van 2022. Dit rapport presenteert de uitkomsten van het vervolgonderzoek.

In dit onderzoek heeft de rekenkamer gekeken in hoeverre de algoritmegovernance van de gemeente Rotterdam toereikend is voor een verantwoorde toepassing van algoritmes en in hoeverre deze leidt tot het beheersen van risico’s in de praktijk. Hiervoor heeft de rekenkamer onder andere vier algoritmes als casus nader bekeken. Het huidige onderzoek geeft inzicht in de stappen die gemeente heeft gezet sinds het verschijnen van het eerdere rapport, maar kijkt breder dan alleen naar de opvolging van de aanbevelingen van ‘Gekleurde technologie’. Deze bestuurlijke nota bevat de conclusies en aanbevelingen die volgen uit het onderzoek. In de nota van bevindingen staan de feitelijke bevindingen uit het onderzoek die als basis dienen voor de conclusies in de bestuurlijke nota. Samen vormen de bestuurlijke nota en de nota van bevindingen het rekenkamerrapport.

1 Rekenkamer Rotterdam, ‘Gekleurde technologie. Verkenning ethisch gebruik algoritmes’, 14 april 2021. 2 Burgemeester en Wethouders van Rotterdam, ‘Governance rondom algoritmes’, 7 september 2021 en Burgemeester en Wethouders van Rotterdam, ‘Stand van zaken algoritmes’, 15 februari 2022 en Burgemeester en Wethouders van Rotterdam, ‘Algoritmegovernance’, 7 juni 2022. 3 Burgemeester en Wethouders van Rotterdam, ‘Algoritmegovernance’, 7 juni 2022. 4 Gemeenteraad Rotterdam, ‘Democracy is watching Big Brother’, 30 september 2021.

kleur bekennen

toelichting op gebruikte begrippen In de bestuurlijke nota zijn verschillende begrippen gebruikt die enige nadere toelichting vragen. • AI: Artificial Intelligence (kunstmatige intelligentie) is een technologie waarmee computers taken kunnen uitvoeren die normaal gesproken menselijke intelligentie vereisen. Dit omvat het leren van ervaringen, het aanpassen aan nieuwe informatie, het oplossen van problemen en het nemen van beslissingen. • rule-based algoritme: worden ook wel beslisbomen of ‘als-dan algoritmes’ genoemd. Dit zijn algoritmes die op basis van vaststaande regels (als x dan y) tot een conclusie komen. Deze beslisregels worden door mensen bepaald en geprogrammeerd en vervolgens door een computersysteem toegepast op een gegeven dataset. • case-based algoritme: worden ook wel datagedreven algoritmes, zelflerende algoritmes of machine learning genoemd. Hierbij worden de beslisregels niet door een mens bepaald, maar ontwikkeld door het systeem zelf. • bias: een (onbedoelde) voorkeur of vertekening in een algoritme die kan zorgen voor vooringenomen uitkomsten. Zo kan het bijvoorbeeld voorkomen dat in een dataset over boetes veel boetes op naam staan van burgers uit een bepaalde buurt. Niet omdat de burgers uit deze buurt significant vaker overtredingen plegen, maar omdat onevenredig veel is gecontroleerd in deze buurten.

Dit werkt (onbedoeld) door in de uitkomsten van het algoritme en dit noemen we ‘bias’. • governance: het geheel van beleid, uitvoeringsprocessen, rollen, verantwoordelijkheden en geldende normen.

kleur bekennen

2 bestuurlijke conclusies hoofdconclusies 1 De afgelopen twee jaar heeft de gemeente meer aandacht gekregen voor de risico’s van algoritmes en de noodzaak grip te krijgen op de toepassing hiervan. Er is een algoritmegovernance ontwikkeld met instrumenten om risico’s van algoritmes inzichtelijk te maken en te beheersen. 2 Het ontbreekt aan een politiek-bestuurlijk kader dat duidelijk maakt welke normen en principes leidend zijn bij de ontwikkeling en het gebruik van algoritmes. Dit heeft als effect dat belangrijke besluiten over bijvoorbeeld wenselijkheid, haalbaarheid, transparantie en bias bij de ambtelijke organisatie komen te liggen. Deze besluiten vragen echter om politieke afwegingen. 3 In hoofdlijnen bieden de instrumenten en initiatieven uit de governance voldoende basis voor een verantwoorde omgang met algoritmes. In de praktijk loopt de gemeente bij de implementatie wel aan tegen verschillende knelpunten in de opzet, uitvoering en capaciteit. 4 De gemeente heeft nog geen compleet zicht op algoritmes en is nog onvoldoende transparant over het gebruik. Dit is onder andere te verklaren doordat binnen de organisatie nog te weinig bewustzijn is over wat een algoritme is. Ook is het niet duidelijk met welk doel en voor welke doelgroep het algoritmeregister is opgezet. 5 De rekenkamer heeft geen grote risico’s geïdentificeerd bij de onderzochte algoritmes.

Wel constateert de rekenkamer verschillende aandachtspunten. Deze zijn veelal te herleiden tot knelpunten in de governance en de implementatie hiervan.

toelichting hoofdconclusies 1 De afgelopen twee jaar heeft de gemeente meer aandacht gekregen voor de risico’s van algoritmes en de noodzaak grip te krijgen op de toepassing hiervan. Er is een algoritmegovernance ontwikkeld met instrumenten om risico’s van algoritmes inzichtelijk te maken en te beheersen. Sinds de publicatie van het rekenkamerrapport ‘Gekleurde technologie’ in april 2021 heeft de gemeente aandacht besteed aan het opzetten en implementeren van een governance voor algoritmes. Uit de genomen stappen en uitgevoerde activiteiten blijkt dat de gemeente serieus aan de slag is gegaan met de aanbevelingen uit het rekenkamerrapport. De gemeente heeft de afgelopen twee jaar verschillende instrumenten ontwikkeld en organisatorische afspraken gemaakt. Gezamenlijk vormen deze de algoritmegovernance van de gemeente.

kleur bekennen

De algoritmegovernance is ingericht als een ‘aanvullende’ governance, omdat deze niet de enige gemeentelijke governance is die van toepassing is. Er gelden namelijk ook eisen vanuit de privacy-, informatiebeveiliging- en datagovernance. Vanuit deze perspectieven worden specifieke eisen gesteld, zijn er verantwoordelijken benoemd, is er advisering en controle geregeld en zijn overlegorganen ingesteld. Het uitgangspunt is dat de algoritmegovernance een aanvulling vormt op de drie bovengenoemde andere governance typen. De algoritmegovernance is alleen van toepassing voor algoritmes die na toetsing in de categorie ‘hoog-risico’ vallen. De algoritmegovernance bestaat op hoofdlijnen uit de volgende vijf onderdelen: • Een visie op de inzet van algoritmes. Deze visie luidt als volgt: “de gemeente Rotterdam zet algoritmes in om betere en slimmere diensten te leveren die proactief inspelen op de behoefte van Rotterdam en haar maatschappelijke uitdagingen. Dit op een gezamenlijke, betrouwbare en realistische manier waarbij ruimte is om te experimenteren.

Hierdoor voert Rotterdam met blijvend oog voor de menselijke maat haar taken beter uit die direct van belang zijn voor burgers en bedrijven.” Daarnaast is in het coalitieakkoord aangegeven dat algoritmes periodiek worden doorgelicht op discriminatie en dat de gemeente geen algoritmes toepast die direct of indirect beslissingen nemen gebaseerd op gegevens die zijn terug te voeren naar afkomst. • Verschillende instrumenten voor risicobeheersing. De belangrijkste daarvan zijn een Algorithm Risk Assessment (ARA) en het Impact Assessment Mensenrechten en Algoritmes (IAMA). - De ARA is ontwikkeld door de gemeente. Het bestaat uit vragen waarmee wordt vastgesteld of sprake is van een hoog-risico algoritme. Indien dit het geval is, dan wordt het verdere instrumentarium uit de algoritmegovernance ingezet. - Het IAMA is ontwikkeld in opdracht van het ministerie van Binnenlandse Zaken en Koninkrijkrelaties. Het is een uitgebreide vragenlijst die moet zorgen voor een interdisciplinaire dialoog tussen degenen die verantwoordelijk zijn voor de ontwikkeling en degenen die verantwoordelijk zijn voor het gebruik van een algoritme. De gemeente zet het IAMA in bij hoog-risico algoritmes om te beoordelen of het verantwoord toegepast kan worden. Het doorlopen van het IAMA dient plaats te vinden via verschillende sessies. • Inkoopvoorwaarden.

Dit zijn aanvullende voorwaarden bij het extern inkopen van een algoritme, zoals het verplicht meewerken aan audits en deelname aan het hierboven genoemde IAMA. • Een uiteenzetting van rollen en verantwoordelijkheden. De verantwoordelijkheid voor de ontwikkeling en toepassing van algoritmes ligt bij de ‘proceseigenaar’ uit het cluster dat het algoritme toepast. De verantwoordelijkheid voor de functionele en technische aspecten van een algoritme ligt bij de afdeling innovatie, informatievoorziening, facilitair en onderzoek, IIFO. Ook is er een stuurgroep algoritmes ingesteld en er is een nieuwe functie gecreëerd, de Algoritme Expert. • Het beleggen van de verantwoordelijkheden voor controle en advies. De Algoritme Expert heeft een onafhankelijke toezicht- en adviesrol. De gemeentelijke auditafdeling dient toe te zien op de uitvoering door alle betrokkenen inclusief de Algoritme Expert. Daarnaast heeft de gemeente een speciale algoritmeadviesraad (AAR)

kleur bekennen

ingesteld bestaande uit externe deskundigen. Deze adviseert de organisatie gevraagd en ongevraagd. Een belangrijk voorwaarde voor het kunnen toepassen van de algoritmegovernance is dat de organisatie scherp heeft wanneer sprake is van een algoritme. De gemeente heeft in de afgelopen jaren verschillende definities gehanteerd. Uiteindelijk is medio 2023 de onderstaande definitie als richtlijn genomen: Een wiskundige formule of model, dat wordt uitgevoerd middels een computer, om een probleem op te lossen, een vraag te beantwoorden, een voorspelling te doen, een beslissing te nemen of die te ondersteunen. 5 Aanvullend heeft de gemeente gespecificeerd dat alleen algoritmes onder de definitie vallen als ze voldoen aan enkele voorwaarden. Het gaat om algoritmes die gegevens gebruiken, leiden tot een resultaat (bijvoorbeeld een advies of besluit) en impact hebben op de eigen organisatie, burgers, bedrijven of andere organisaties. Hierdoor valt bijvoorbeeld een algoritme dat bestaande data koppelt en weergeeft in een dashboard buiten de gemaakte afbakening. Een dergelijk algoritme leidt immers niet tot een resultaat (het presenteert alleen gegevens) en heeft geen impact op de gemeente of anderen.

2 Het ontbreekt aan een politiek-bestuurlijk kader dat duidelijk maakt welke normen en principes leidend zijn bij de ontwikkeling en het gebruik van algoritmes. Dit heeft als effect dat belangrijke besluiten over bijvoorbeeld wenselijkheid, haalbaarheid, transparantie en bias bij de ambtelijke organisatie komen te liggen. Deze besluiten vragen echter om politieke afwegingen. Het college heeft een globale visie op de inzet van algoritmes geformuleerd. Deze visie geeft echter weinig richting voor de ambtelijke organisatie. In 2021 zegde het college toe met een visie te komen op ‘het werken met algoritmes, inclusief kaders en handvatten voor de toepassing ervan’. Deze verdere uitwerking heeft zij tot op heden echter niet opgesteld. Het is nu niet duidelijk welke waarden, normen en principes leidend zijn bij beslissingen over het toepassen van algoritmes en bij het beoordelen of het inzetten van een algoritme wel wenselijk is. In haar collegeakkoord ‘Eén Stad Coalitieakkoord 2022-2026’ geeft het huidige college aan met algoritmes niet direct of indirect te zullen discrimineren op afkomst met algoritmes. Veel algoritmes hebben als vertrekpunt of doel het maken van onderscheid tussen (groepen) mensen op basis van kenmerken. Het is dus niet voldoende om te stellen dat de gemeente niet zal discrimineren.

Er zijn kaders nodig om afwegingen te kunnen maken, bijvoorbeeld over wat een gerechtvaardigd onderscheid is. Bij het gebruik van zelflerende algoritmes is de kans op discriminatie nooit volledig uit te sluiten. Dit vraagt dus specifiek om kaders die richting geven voor de vraag wanneer de toepassing van een zelflerend algoritme opweegt tegen dat risico en welke risicobeheersende maatregelen dan moeten worden getroffen. Uit de onderzochte casussen komt ook naar voren dat niet vastligt wat de kaders zijn ten aanzien van de kwaliteit en prestaties van een algoritme en op welke manier

5 Gemeente Rotterdam, Memo ‘Wat is een ‘algoritme’ voor de gemeente Rotterdam? Van inventarisatie naar werkdefinitie’, 25 mei 2023.

kleur bekennen

teams die een algoritme ontwikkelen de kwaliteit en prestaties moeten toetsen. Betrokkenen bij de ontwikkeling moeten daarom zelf de afweging maken of de verwachte prestatie van een algoritme opweegt tegen mogelijke ethische risico’s. De afwezigheid van concrete kaders is binnen de ambtelijke organisatie ook geconstateerd. Als gevolg daarvan heeft de organisatie in 2023 voor een aantal onderwerpen notities opgesteld. Een voorbeeld hiervan is de in mei 2023 opgestelde ‘Notitie transparantie, uitlegbaarheid en rekenschap’, waarin keuzes zijn gemaakt over de werkdefinities van transparantie, uitlegbaarheid en rekenschap. Doordat dergelijke uitgangspunten worden vastgelegd in ambtelijke notities vindt besluitvorming over verantwoord gebruik van algoritmes en de daarbij geldende principes plaats door de ambtelijke organisatie. Deze fundamentele keuzes over principes en de prioritering daarbinnen vragen om een politieke afweging. De besluitvorming hierover moet dan ook door de gemeenteraad en niet door de ambtelijke organisatie worden gemaakt.

3 In hoofdlijnen bieden de instrumenten en initiatieven uit de governance voldoende basis voor een verantwoorde omgang met algoritmes. In de praktijk loopt de gemeente bij de implementatie wel aan tegen verschillende knelpunten in de opzet, uitvoering en capaciteit. Behalve het ontbrekende politiek-bestuurlijk kader heeft de rekenkamer geen duidelijke lacunes in de algoritmegovernance aangetroffen. In hoofdlijnen zijn de noodzakelijke elementen voor een verantwoorde omgang met algoritmes aanwezig. Een belangrijk onderdeel van de opzet is de risicobenadering door middel van een risk assessment (de ARA). Deze functioneert als toegangspoort voor de governance door geïdentificeerde algoritmes op risico’s te toetsen. De recent aangepaste ARA (aangeduid als ARA+) biedt hiervoor voldoende basis. De nieuwe toets kijkt breder naar de potentiële effecten van een algoritme. Ook eenvoudige algoritmes die tot beslissingen leiden met rechtgevolgen of die aanzienlijke effecten hebben op burgers, bedrijven of organisaties vallen nu onder de categorie hoog-risico. Verder is een betere relatie gelegd met privacyrisico’s doordat in de ARA nu ook naar de verwerking van persoonsgegevens wordt gekeken. Hoewel de rekenkamer geen fundamentele tekortkomingen in de algoritmegovernance heeft geconstateerd, treden er in de praktijk wel verschillende knelpunten op.

In een interne evaluatie van medio 2023 constateerde de gemeente zelf ook meerdere knelpunten. Sinds het verschijnen van deze interne evaluatie is ook een aanzienlijke versnelling van de implementatie opgetreden en zijn verschillende verbeteringen doorgevoerd. De knelpunten die verder gaan dan ‘kinderziektes’ bij implementatie en waar vooralsnog geen oplossing voor is gevonden, zijn hieronder nader uitgewerkt. overzicht actuele governance Hoewel wordt gesproken van ‘de algoritmegovernance’ is nergens duidelijk vastgelegd wat de gemeente hier precies onder verstaat. In 2021 is een beoogde governance beschreven. In het vervolg is echter niet uitgewerkt waar deze uiteindelijk uit bestaat. Doordat sindsdien ook nog diverse wijzigingen hebben plaatsgevonden, is er geen integraal overzicht van de actuele algoritmegovernance.

kleur bekennen

IAMA Het IAMA is bedacht als een ethische toets, vergelijkbaar met de Data Protection Impact Assessment (DPIA), zoals deze voor privacyrisico’s bij gegevensverwerking wordt gebruikt. In de praktijk functioneert het IAMA niet als de beoogde toets. Dit heeft twee redenen: • Ten eerste is de status van het IAMA niet duidelijk. De intentie was dat op basis van de uitkomsten van het IAMA zou worden besloten of toepassing van het algoritme verantwoord is. Het zou daarmee dus moeten fungeren als een toetsinstrument voor het wel of niet inzetten van een algoritme. In de praktijk wordt het door betrokkenen vooral gezien als een gesprekstool voor bewustwording over ethische thema’s. Daarmee krijgt het een veel vrijblijvender karakter en wordt het niet als de toets gehanteerd om af te wegen of inzet van een algoritme passend is. • Ten tweede ontbreekt het bij het IAMA aan concrete afspraken over de opvolging van de uitkomsten. Het gebruik van het instrument leidt tot een ingevuld formulier met antwoorden op de behandelde vragen. Er wordt echter geen overzicht opgesteld van geconstateerde risico’s en te nemen maatregelen voor beheersing van deze risico’s. Het ontbreekt ook aan een toetsing van het opvolgen van maatregelen. Deze toetsing is nu niet belegd.

aansluiting verschillende typen governance In de praktijk zorgen de verschillende typen governance die een rol spelen bij algoritmes voor een veelvoud aan betrokkenen met uiteenlopende rollen en verantwoordelijkheden. Niet alleen zijn het veel verschillende betrokkenen, ook hebben deze soms tegenstrijdige belangen. Zo was in één van de onderzochte casussen te zien dat eisen vanuit privacywetgeving kunnen botsen met de algoritmegovernance. In deze casus was de intentie op bias te toetsen aan de hand van privacygevoelige data, wat op bezwaren stuitte vanuit de privacygovernance. Dit leidde tot het stilleggen van de ontwikkeling van een algoritme. Op papier is een belangrijke rol weggelegd voor het zogenaamde Data Usage Board (DUB). Beoogd is dat in ieder cluster het DUB adviezen geeft over alle wet- en regelgeving. Dit kan zorgen voor een goede aansluiting tussen de verschillende typen governance. In de praktijk worden deze DUB’s nog nauwelijks ingezet. Ze zijn nog niet in ieder cluster geïmplementeerd en bovendien zijn de DUB’s en hun rol in de algoritmegovernance onvoldoende bekend binnen de organisatie. betrekken externe stakeholders Via de motie ‘Vreemde ogen dwingen’ uit 2021 is het college verzocht ook relevante externe stakeholders (zoals burgers) te betrekken bij de ontwikkeling van algoritmes.

Het college stelde vervolgens voor om de betrokkenheid van externe stakeholders onderdeel te maken van het IAMA-proces. Ook de Autoriteit Persoonsgegevens (AP) wijst op het belang van het betrekken van het perspectief van de doelgroep bij complexe verwerkingen, zoals bij veel algoritmes het geval is. De AP is van mening dat geen goede risico-inventarisatie kan worden gemaakt als niet met betrokken burgers of vertegenwoordigers is gesproken. In de praktijk is dit tot op heden niet gebeurd. Zowel bij uitgevoerde IAMA’s als de DPIA’s van onderzochte algoritmes is geen enkele externe stakeholder betrokken geweest. Het opzetten van een ‘Civic AI lab’ waarin burgers actief betrokken worden bij de ontwikkeling van algoritmes staat gepland voor 2024. Het is echter niet duidelijk op welke manier dit aansluit bij de algoritmegovernance en de daarbij behorende processen.

kleur bekennen

toezicht Het toezicht op de uitvoering is zowel op papier als in de praktijk niet goed ingevuld. Het gaat hier om de zogenoemde ‘derdelijns toezichtsfunctie’. Op papier was dit eerst belegd bij Financial Audit en later bij Concern Auditing. Op welke manier dit dient te gebeuren is niet uitgewerkt en het is onduidelijk of Concern Auditing de benodigde capaciteit heeft. Het gevolg is dat er tot op heden nog geen controle is geweest vanuit de derdelijns functie en er ook geen afspraken zijn gemaakt over welke controles wanneer plaatsvinden. afhankelijkheid Algoritme Expert Bij de implementatie en verdere uitvoering van de governance speelt de Algoritme Expert een sleutelrol. In de loop van 2023 zijn tijdelijk twee externe Algoritme Experts aangesteld. Na hun aantreden is een aanzienlijke versnelling van de implementatie van de algoritmegovernance opgetreden. Hierdoor is een duidelijk verschil waar te nemen tussen de mate van implementatie bij aanvang van het onderzoek van de rekenkamer en de situatie in november 2023 (het moment van afsluiten van het veldwerk van het onderzoek). Sinds eind 2023 is teruggegaan van twee Algoritme Experts naar één. Deze heeft zowel strategische als operationele taken die beide veel tijd kosten. Gezien de stand van zaken bij de implementatie en de breedte van het takenpakket is dit een beperkte capaciteit.

De afhankelijkheid van deze functionaris maakt de organisatie kwetsbaar. Het kan in de toekomst leiden tot het risico op stagnatie bij de verdere implementatie en doorontwikkeling van de algoritmegovernance. Ook bestaat er een risico op te weinig aandacht voor het beheer en onderhoud van algoritmes.

4 De gemeente heeft nog geen compleet zicht op algoritmes en is nog onvoldoende transparant over het gebruik. Dit is onder andere te verklaren doordat binnen de organisatie nog te weinig bewustzijn is over wat een algoritme is. Ook is het niet duidelijk met welk doel en voor welke doelgroep het algoritmeregister is opgezet. bewustzijn over algoritmes Om te bepalen of een algoritme een hoog-risico algoritme is en of de algoritmegovernance van toepassing is, dient een ARA te worden uitgevoerd. Het toepassen van deze ARA kan alleen als betrokken medewerkers een algoritme herkennen. Het functioneren van de ARA als ‘poort’ tot de algoritmegovernance is dus mede afhankelijk van kennis van medewerkers over algoritmes. In de interne communicatie en documentatie van de gemeente is sinds het najaar van 2023 uniformiteit over wat de gemeente als algoritme beschouwt. Uit het onderzoek blijkt echter dat medewerkers hun eigen producten en processen regelmatig niet herkenden als algoritmes, terwijl die wel aan de definitie van de gemeente voldoen. Deze medewerkers dachten bij het woord algoritme vooral aan complexe en zelflerende systemen. aantal algoritmes Het precieze aantal algoritmes binnen de gemeente Rotterdam dat voldoet aan de eigen definitie is niet bekend. De gemeente heeft met name vanaf het voorjaar van 2023 inspanningen verricht om algoritmes in beeld te brengen.

Dit proces was bij het afronden van het rekenkameronderzoek nog niet voltooid. Op dat moment had de gemeente ongeveer 60 algoritmes geïdentificeerd, maar hiermee is naar inschatting

kleur bekennen

van zowel de gemeente als de rekenkamer nog niet alles in beeld. Ruim de helft van de geïdentificeerde algoritmes is op dit moment opgenomen in een intern register. Het interne register bevatte begin november 2023 in totaal 38 algoritmes. De gemeente beoogt via het interne register een integraal overzicht van alle algoritmes te bieden. Naast een intern register heeft de gemeente ook een extern register waarin negen algoritmes zijn opgenomen. In het externe register worden alleen de hoog-risico algoritmes gepubliceerd. Dit externe register is te vinden op de website van de gemeente en gekoppeld aan een landelijk register. Rotterdam heeft weinig algoritmes extern gepubliceerd in vergelijking tot de andere grote gemeenten.

typen algoritmes De gemeente past zowel rule-based (beslisregels) als case-based (machine learning) algoritmes toe. De meerderheid van de gebruikte algoritmes bestaat uit rule-based beslisregels voor selecties of toekenningen en voor het doen van voorspellingen. Case-based algoritmes worden ingezet voor beeldherkenning, tekst mining en voor voorspellingen. De rekenkamer heeft één case-based algoritme aangetroffen dat gericht is op selectie van personen. Dit is het algoritme ‘heronderzoeken uitkeringsgerechtigden’ waarvan de ontwikkeling medio 2023 is stilgelegd.

Uit het overzicht in het interne register en een aanvullende inventarisatie door de rekenkamer blijkt dat vooral de clusters Dienstverlening, W&I en Stadsontwikkeling gebruik maken van algoritmes. Maatschappelijke Ontwikkeling en Directie Veiligheid maken weinig tot geen gebruik van algoritmes. Dit laatste is opvallend, omdat in deze clusters ook gebruik wordt gemaakt van data voor de uitvoering van beleid. Het is niet bekend in hoeverre in deze clusters rekening wordt gehouden met bijvoorbeeld ethische risico’s bij het gebruik van data. informatie over algoritmes De gemeente beschikt over een intern en een extern algoritmeregister, maar heeft nergens vastgelegd wat het doel van deze registers is. Daarmee blijft bijvoorbeeld onduidelijk op wie de informatie in het register zich richt en wat gecommuniceerd moet worden. Dit is terug te zien in de opgenomen informatie in het externe register. Het idee achter het externe register lijkt het informeren van burgers. De gepresenteerde informatie in het externe algoritmeregister van de gemeente is echter weinig toegankelijk door het technische taalgebruik en heeft daardoor beperkte informatiewaarde voor burgers. De rekenkamer heeft de informatie in het interne algoritmeregister op een aantal momenten in het onderzoek beoordeeld.

In eerste instantie ontbraken richtlijnen over de informatieverstrekking en het up-to-date houden van de informatie. Gedurende de onderzoeksperiode is de kwaliteit van de informatie verbeterd. Niettemin blijft het bij meerdere algoritmes nog steeds lastig om met behulp van de informatie in het interne algoritmeregister een beeld te krijgen van de werking van het algoritme.

kleur bekennen

5 De rekenkamer heeft geen grote risico’s geïdentificeerd bij de onderzochte algoritmes. Wel constateert de rekenkamer verschillende aandachtspunten. Deze zijn veelal te herleiden tot knelpunten in de governance en de implementatie hiervan. De rekenkamer heeft onderzocht hoe de governance in de praktijk doorwerkt in algoritmes die de gemeente gebruikt. Hiervoor zijn vier algoritmes nader onderzocht: • automatische kwijtschelding van gemeentebelastingen; • parkeercontrole; • heronderzoeken uitkeringsgerechtigden; • recht op toekenning bijstandsuitkering (Avola). In het onderzoek ‘Gekleurde technologie’ constateerde de rekenkamer dat het cluster W&I toen gebruik maakte van een algoritme met variabelen die het risico op discriminatie met zich meebrachten. Uit het huidige onderzoek komen geen grote risico’s naar voren. Wel zijn verschillende aandachtspunten geconstateerd. Deze komen hieronder aan de orde. doelstellingen, indicatoren en monitoring Het ontbreekt in drie van de vier casussen aan duidelijke en meetbare doelstellingen waarmee de prestaties van een algoritme inzichtelijk kunnen worden gemaakt. Dit maakt het afwegen van de prestaties tegen de risico’s, zowel bij de ontwikkeling als in de beheerfase, niet goed mogelijk. Het ontbreken van duidelijke doelstellingen is verklaarbaar, omdat hier in de governance geen aandacht voor is.

In het verlengde van ontbrekende doelstellingen is er ook geen structurele aandacht voor duidelijke indicatoren voor de prestaties van algoritmes en de monitoring hiervan. identificeren risico’s algoritme Bij de onderzochte algoritmes is in toenemende mate aandacht voor mogelijke risico’s op bias. Andere risico’s als beperkte transparantie en navolgbaarheid en de gevolgen van onduidelijke communicatie aan burgers over de uitkomsten krijgen echter minder aandacht. Met name bij de onderzochte rule-based algoritmes is er minder bewustwording dat ook hierbij risico’s kunnen optreden. Dit resulteert in te weinig aandacht voor structurele toetsing en monitoring van deze risico’s. Een potentieel risico is onduidelijke communicatie aan burgers over besluiten die mede op basis van een algoritme zijn genomen. Bij één algoritme (automatische kwijtschelding) heeft de rekenkamer opmerkingen over de wijze waarop de burger wordt geïnformeerd. Indien het algoritme de kwijtschelding niet automatisch kan vaststellen, maakt de gemeente onvoldoende duidelijk dat dit mogelijk komt doordat bepaalde informatie niet beschikbaar was. Er kan nog steeds recht op kwijtschelding bestaan. vastleggen rollen en verantwoordelijkheden Bij ieder algoritme zijn binnen de gemeente meerdere personen en disciplines betrokken. Hun betrokkenheid verschilt tussen de ontwikkel- en beheerfase.

In iedere fase moet duidelijk zijn wie betrokken is vanuit welke rol en met welke verantwoordelijkheden. Het vastleggen en actueel houden van rollen en verantwoordelijkheden gebeurt niet systematisch. Bij twee algoritmes kon de gemeente geen beschrijving van rollen en verantwoordelijkheden aanleveren en bij één was deze niet actueel. Een actueel en controleerbaar overzicht van wie wat moet doen, ontbreekt dus in drie van de vier onderzochte casussen.

kleur bekennen

onduidelijkheid over wat het algoritme is De lijn van de gemeente is dat de verschillende samenwerkende algoritmes in een keten of proces als één algoritme worden geregistreerd. De gemeente noemt dit een ‘algoritmetoepassing’. In de praktijk kan dit bij de uitvoering van de algoritmegovernance tot verwarring leiden. In de onderzochte casussen blijkt de gemeente niet consequent alle algoritmes die onderdeel uitmaken van de toepassing mee te nemen in de inventarisatie en uitwerking van de risico’s. Met name de in opzet eenvoudige beslisbomen in gemeentelijke applicaties krijgen relatief weinig aandacht. afhankelijkheid externe leveranciers Bij drie van de vier onderzochte casussen zijn externe leveranciers betrokken. Deze leveranciers hebben een algoritme ontwikkeld, onderhouden het en zijn verantwoordelijk voor de omgang met risico’s. Dit betekent dat de gemeente bij een deel van de algoritmes sterk afhankelijk is van externe leveranciers. Tot op heden zijn afspraken met externe leveranciers zeer verschillend van aard. Hoewel in alle onderzochte casussen afspraken zijn gemaakt, loopt de mate waarin aandacht is voor kwaliteitseisen, deelname aan audits en omgang met risico’s uiteen. Bij risico’s gaat het dan bijvoorbeeld om de aandacht voor toegang door onbevoegden, het tijdig aanpassen aan veranderingen in wet- en regelgeving en de beschikbaarheid van systemen.

Eind 2023 zijn gemeentelijke inkoopvoorwaarden vastgesteld waarmee een aantal van deze afspraken wel standaard is geregeld. Deze voorwaarden gelden echter niet voor de al lopende contracten.

kleur bekennen

3 aanbevelingen De rekenkamer heeft op basis van de conclusies vijf aanbevelingen geformuleerd. 1 Stel een algoritmebeleidskader op waarin is opgenomen welke waarden, normen en principes leidend zijn binnen Rotterdam bij de toepassing van algoritmes. Uit het onderzoek blijkt dat op dit moment de ambtelijke organisatie voor keuzes wordt gesteld over de kaders voor toepassing van algoritmes. Deze keuzes dienen volgens de rekenkamer op politiek-bestuurlijk niveau te worden gemaakt. In een beleidskader kunnen leidende principes duidelijk worden gemaakt voor de organisatie. Het gaat dan bijvoorbeeld om het bepalen welke risico’s onaanvaardbaar zijn, hoe de afweging tussen prestaties en risico’s moet worden gemaakt en in welke gevallen en onder welke randvoorwaarden case-based algoritmes gezien de onvermijdelijke risico’s zijn toegestaan. 2 Handhaaf de huidige criteria voor het vaststellen van het risico van een algoritme. De gemeente houdt in de ‘risk assessment’ voor algoritmes rekening met de potentiële effecten van een algoritme. Daarom vallen ook rule-based algoritmes die tot beslissingen leiden met rechtsgevolgen of die aanzienlijke effecten hebben op burgers, bedrijven of organisaties onder de categorie ‘hoog-risico’. De risico-inschatting kijkt daardoor breder dan alleen naar de complexiteit van de gebruikte techniek. De rekenkamer onderschrijft deze insteek.

Recent heeft besluitvorming plaatsgevonden over de Europese AI-verordening. In de verordening is inperking van de definitie van een algoritme aangebracht. Het belangrijkste verschil is dat met deze aanpassing rule-based algoritmes buiten de scope van de verordening zijn geplaatst en daarmee niet als hoog-risico worden aangemerkt. Vanuit het oogpunt van risicobeheersing is het risicovol de gemeentelijke inzet met verwijzing naar de Europese AI-verordening in te perken. De AI-verordening geeft minimumvereisten weer waaraan overheden dienen te voldoen. De rekenkamer beveelt aan de huidige risico-inschatting met de brede insteek met oog voor de effecten te handhaven. Dit doet het meeste recht aan potentiële gevolgen voor burgers of andere organisaties. 3 Investeer in de verdere implementatie en doorontwikkeling van de algoritmegovernance. Met name in het afgelopen halfjaar heeft de gemeente stappen gezet in het implementeren en aanscherpen van de algoritmegovernance. Tegelijkertijd constateert de rekenkamer met het college dat het nog steeds ‘work in progress’ is. De inventarisatie van aanwezige algoritmes is nog niet afgerond en meerdere knelpunten in de governance en de implementatie ervan dienen te worden opgepakt. Onder

kleur bekennen

andere is aanscherping van het IAMA nodig, moet er een begin worden gemaakt met het betrekken van externe stakeholders en dienen interne rollen als toezicht en de positie van een integraal platform (het Data Usage Board) nog verder te worden geïmplementeerd. Veel van de acties zijn afhankelijk van de inzet van één functionaris: de Algoritme Expert. Dit is in deze fase van implementatie te kwetsbaar. 4 Zorg bij ieder algoritme voor een concrete uitwerking van de doelstellingen, de te verwachten prestaties en de wijze waarop deze worden gemonitord. Start een dergelijke uitwerking met een volledige weergave van het betreffende algoritme of de algoritmes. Zowel bij de ontwikkeling als bij de toepassing van een algoritme is het van belang dat duidelijk is wat het doel van dit algoritme is en op welke wijze de gemeente de prestaties van het algoritme gaat meten. Dit maakt het beter mogelijk beslissingen te nemen over de wenselijkheid van een algoritme bij de ontwikkeling. Ook kan hiermee beter worden gestuurd op de werking en eventuele verbetermogelijkheden gedurende de toepassing. Het helpt daarbij als duidelijk wordt beschreven wat het algoritme is, zodat hiervan een eenduidig beeld bestaat op moment dat toetsing volgens de governance plaatsvindt. Besteed daarbij ook aandacht aan de ogenschijnlijk eenvoudige algoritmes die in de gemeentelijke applicaties draaien.

5 Werk als onderdeel van een algoritmebeleid een communicatiestrategie uit voor algoritmes. Besteed daarbij aandacht aan de wijze waarop zowel burgers als (interne) professionals geïnformeerd worden over de gemeentelijke algoritmes. Onderdeel daarvan is een duidelijke uitwerking van het doel en de doelgroep van zowel het externe als interne algoritmeregister. Transparantie en communicatie over de toepassing van algoritmes zijn op dit moment nog niet gestructureerd opgepakt. Voor burgers is het van belang dat zij transparant worden geïnformeerd over het gebruik van algoritmes op het moment dat zij daar persoonlijk mee te maken krijgen. Het gaat dan bijvoorbeeld om communicatie over de rol van het algoritme in brieven over besluiten of tijdens gesprekken die zij voeren met gemeenteambtenaren. Ook dient voor geïnteresseerde burgers informatie over algoritmes beschikbaar te zijn op de website van de gemeente. Een extern register is hiervoor een goede methode. Hiermee loopt de gemeente bovendien vooruit op eisen die de wetgever hier op termijn aan gaat stellen. De verstrekte informatie dient dan wel toegankelijker en begrijpelijker te zijn opgesteld dan in het huidige externe register. Naast burgers zijn ook medewerkers een doelgroep. Het interne register is in principe een geschikt middel om medewerkers te informeren.

Van belang voor het interne register is dat wordt ingezet op een zo volledig mogelijk en actueel beeld van alle aanwezige algoritmes. Ook dient het register eenvoudig vindbaar en raadpleegbaar te zijn voor medewerkers.

kleur bekennen

4 bestuurlijke reactie Alvorens in te gaan op de conclusies en aanbevelingen zoals deze door u zijn geformuleerd, wil ons college allereerst zijn waardering en dank uitspreken voor de gedegen wijze waarop dit vervolgonderzoek is uitgevoerd. Wij nemen de conclusies en aanbevelingen ter harte, onderschrijven het belang en bieden ruimte voor de uitvoering met aandacht voor de politiek – bestuurlijke rol voor het college en de gemeenteraad. Onderstaand treft u onze bestuurlijke reactie aan. Wij hechten eraan om in algemene zin een aantal zaken te markeren die relevant zijn voor onze reactie en zienswijze met betrekking tot het werken met algoritmes. Algemeen 1 Het werken met algoritmes is een vakgebied dat in ontwikkeling is. Ondanks dat er veel stappen gezet zijn om methoden, beleid en waarborgen uit te werken en in de praktijk toe te passen, ontstaan er lokaal, nationaal en mondiaal nieuwe inzichten waaruit wij putten om onze werkwijze te verbeteren en ook uw rapport draagt daaraan bij. 2 Ons college is zich bewust van de kansen en risico’s die zijn verbonden aan het werken met algoritmes en soortgelijke technieken zoals (generatieve) kunstmatige intelligentie en machine learning. We zijn ons bewust van het politieke, maatschappelijke en wetenschappelijke debat dat hierover wordt gevoerd.

Daarbij zijn we op de hoogte van aanstaande verplichtingen vanuit regelgeving zoals de Europese AI verordening. Dat is de reden waarom wij dit vervolgonderzoek, welke op verzoek van de gemeenteraad is uitgevoerd, verwelkomen. 3 Zoals uit uw onderzoek blijkt, behoeft het instrumentarium verdere bestendiging in onze organisatie. Dit instrumentarium biedt borging waarbij het werken met algoritmes de vereiste zorgvuldigheid, verantwoording en transparantie wordt betracht. De raad zal nader geïnformeerd worden over de wijze waarop wij de vereiste waarborgen verstevigen in onze werkprocessen, hoe de bijbehorende governance wordt aangescherpt en de manier waarop wij het bewustzijn willen vergroten. Reactie op de hoofdconclusies In uw bestuurlijke nota wordt in paragrafen 2-1 en 2-2 een vijftal hoofdconclusies besproken. We voorzien deze puntsgewijs van een reactie. Hoofdconclusie 1. De afgelopen twee jaar heeft de gemeente meer aandacht gekregen voor de risico's van algoritmes en de noodzaak grip te krijgen op de toepassing hiervan. Er is een algoritmegovernance ontwikkeld met instrumenten om risico's van algoritmes inzichtelijk te maken en te beheersen.

kleur bekennen

We hebben de afgelopen jaren hard gewerkt aan het verankeren van verantwoord algoritmegebruik. Het college realiseert zich terdege dat we stappen te zetten hebben om ons ambitieniveau te bereiken. We kijken met gepaste trots naar de stappen die reeds gezet zijn. Hoofdconclusie 2. Het ontbreekt aan een politiek-bestuurlijk kader dat duidelijk maakt welke normen en principes leidend zijn bij de ontwikkeling en het gebruik van algoritmes. Dit heeft als effect dat belangrijke besluiten over bijvoorbeeld wenselijkheid, haalbaarheid, transparantie en bias bij de ambtelijke organisatie komen te liggen. Deze besluiten vragen echter om politieke afwegingen. Het college herkent uw conclusie en omarmt de bijbehorende aanbeveling (zie ook aanbeveling 1). Hierbij is het belangrijk om aan te geven dat politieke afwegingen een basis hebben in het staande coalitieakkoord en vervolgens verdere invulling per portefeuille krijgen. Daarbij geldt de wethouder met portefeuille Organisatie als stelselverantwoordelijk voor de algoritmegovernance. De portefeuille Digitale Inclusie ligt in het verlengde van deze algoritmegovernance, maar maakt hier geen direct onderdeel van uit. Vakwethouders blijven bestuurlijk verantwoordelijk voor de algoritmetoepassingen in hun portefeuille. Hoofdconclusie 3.

In hoofdlijnen bieden de instrumenten en initiatieven uit de governance voldoende basis voor een verantwoorde omgang met algoritmes. In de praktijk loopt de gemeente bij de implementatie wel aan tegen verschillende knelpunten in de opzet, uitvoering en capaciteit. Knelpunten in de opzet, uitvoering en capaciteit zijn door de gemeente reeds onderkend in haar eigen interne evaluatie. Wij zien net als u dat verdere uitwerking nodig is op de door u genoemde onderdelen (zie ook aanbeveling 3). Hoofdconclusie 4. De gemeente heeft nog geen compleet zicht op algoritmen en is nog onvoldoende transparant over het gebruik. Dit is onder andere te verklaren doordat binnen de organisatie nog te weinig bewustzijn is over wat een algoritme is. Ook is het niet duidelijk met welk doel en voor welke doelgroep het algoritmeregister is opgezet. Wij zien net als u het belang om ons zicht op algoritmen compleet te maken en erkennen dat aandacht nodig blijft op de door u benoemde onderdelen (zie ook onze reactie op aanbeveling 5). Hoofdconclusie 5. De rekenkamer heeft geen grote risico's geïdentificeerd bij de onderzochte algoritmes. Wel constateert de rekenkamer verschillende aandachtspunten. Deze zijn veelal te herleiden tot knelpunten in de governance en de implementatie hiervan.

Wij herkennen ons in de genoemde knelpunten in de governance en de implementatie hiervan en zien kansen voor verbetering op deze knelpunten (zie onze reactie op aanbeveling 4).

kleur bekennen

Reactie op de aanbevelingen In uw bestuurlijke nota formuleert u naar aanleiding van voornoemde hoofdconclusies in hoofdstuk 3 een vijftal aanbevelingen. Deze voorzien we hieronder puntsgewijs van een reactie. In algemene zin kan gezegd worden dat alle aanbevelingen overgenomen zullen worden. Aanbeveling 1. Stel een algoritmebeleidskader op waarin is opgenomen welke waarden, normen en principes leidend zijn binnen Rotterdam bij de toepassing van algoritmes. Het college vindt brede aandacht voor de risico’s en kansen van algoritmes erg belangrijk. We erkennen dat risico’s verder gaan dan enkel bias. Onder andere transparantie, uitlegbaarheid en navolgbaarheid zijn ook van belang. Het college heeft daarom ook de ambitie om politiek-bestuurlijke afwegingen explicieter te maken en hierover transparanter te communiceren. Er zal de komende periode gewerkt worden aan een door de gemeenteraad vast te stellen beleidskader welke gebonden is aan een periode. Definities, principes en normen voor wat betreft kwaliteit- en prestatie-eisen kunnen hier eveneens een plek in vinden. Aanvullend wordt de gemeente ook (on)gevraagd geadviseerd door de Algoritmeadviesraad, welke bijvoorbeeld geadviseerd heeft om breder te kijken dan enkel persoonsgegevens voor impact. Deze adviezen blijven we actief opvolgen. Aanbeveling 2.

Handhaaf de huidige criteria voor het vaststellen van het risico van een algoritme. De huidige insteek en scope van de definitie blijven gehandhaafd. De toelichting en formulering van de achterliggende vragen worden verder aangescherpt met de tijd. Aanbeveling 3. Investeer in de verdere implementatie en doorontwikkeling van de algoritmegovernance. Het college onderkent het belang van de verdere investering ten behoeve van de implementatie en doorontwikkeling. Dit ook met het oog op de aanstaande AI verordening en de daar bijhorende wettelijke verplichtingen. We gaan hieronder hier puntsgewijs op in. Overzicht actuele governance Een integraal overzicht van de geldende algoritmegovernance zal worden opgesteld met een periodieke herziening. De aanpassingen die wij maken op basis van uw aanbevelingen zullen hier ook hun plaats in vinden. We erkennen eveneens dat er nog verbetering mogelijk is in het bij elkaar brengen van de verschillende governances. We blijven hierin investeren. IAMA Het Impact Assessment Mensenrechten en Algoritmes (IAMA) vindt bij hoog risico algoritmetoepassingen plaats op vaste momenten in de algoritmelevenscyclus alsmede bij grote wijzigingen. U concludeert dat er onvoldoende toetsing is op de opvolging van actiepunten en beheersmaatregelen die uit de IAMA voortkomen. Dit

kleur bekennen

hebben wij ook in onze interne evaluatie geconstateerd. Voor bestaande algoritmetoepassingen wordt hierom per toepassing expliciet een termijn bij de maatregelen opgenomen. Voor nieuwe algoritmetoepassingen is dit standaard voorafgaand aan ingebruikname. Verder geeft u in hoofdconclusie 3 aan dat een concreet go/no go moment ontbreekt wanneer een (mogelijke) algoritmetoepassing ethisch en mensenrechtelijk besproken wordt. We gaan onderzoeken hoe en waar we deze keuze het beste integreren, expliciteren en vastleggen in het proces. Hierbij is het van belang om dit go/no go moment in samenhang met de andere compliancy-disciplines te beschouwen. Hier wordt een escalatielijn naar de verantwoordelijk vakwethouder voorzien. Betrekken externe stakeholders Stakeholders kunnen betrokken worden door proceseigenaren tijdens een IAMA. Dit is tot op heden nog niet gebeurd. We zullen onderzoeken hoe we hen, waar mogelijk, beter kunnen betrekken bij de ontwikkeling van algoritmetoepassingen en welke rol het Civic AI Lab hier al dan niet bij kan spelen. In zijn algemeenheid gaat de voorkeur van het college uit naar institutionele vertegenwoordigers vanwege representativiteit. Toezicht We zullen gaan onderzoeken welke inrichting van het toezicht passend is en deze inrichting vervolgens realiseren.

Afhankelijkheid algoritme expert De kwetsbaarheid van de algoritme expert door beperkte capaciteit bij een functionaris is een bekend probleem. We herprioriteren, mede op basis van de uitwerking van de aanbevelingen, de werkzaamheden van de algoritme expert. Aanbeveling 4. Zorg bij ieder algoritme voor een concrete uitwerking van de doelstellingen, de te verwachten prestaties en de wijze waarop deze worden gemonitord. Start een dergelijke uitwerking met een volledige weergave van het betreffende algoritme of algoritmes. We nemen het expliciteren van doelstellingen, indicatoren en monitoring mee bij het opstellen van het integraal governancedocument zodat dit een passende plaats krijgt in de algoritmelevenscyclus. Een actueel overzicht van rollen en verantwoordelijkheden is hier onderdeel van. Waar mogelijk sluiten we aan bij landelijke ontwikkelingen. Aanbeveling 5. Werk als onderdeel van een algoritmebeleid een communicatiestrategie uit voor algoritmes. Besteed daarbij aandacht aan de wijze waarop zowel burgers als (interne) professionals geïnformeerd worden over de gemeentelijke algoritmes. Onderdeel daarvan is een duidelijke uitwerking van het doel en de doelgroep van zowel het externe als het interne algoritmeregister. Het college onderkent het belang van een gedegen communicatie-strategie voor een complex onderwerp als ‘algoritmen’.

Hierbij is eveneens een duidelijke uitwerking van het doel en de doelgroep - ook extern - nodig. In 2023 is een bijdrage geleverd aan een landelijk doelgroepenonderzoek voor het algoritmeregister en is een gebruikerservaringstoets uitgevoerd om onze externe communicatie in zowel het landelijke als Rotterdamse register beter aan te sluiten op de juiste doelgroep. Deze onderzoeken in achtnemend is onze ambitie om de boodschap op de doelgroep af te

kleur bekennen

stemmen in duidelijke taal (B1-niveau). We onderschrijven dat het taalgebruik in het externe algoritmeregister nog verbetering behoeft. Voor de interne communicatie loopt er een interne bewustwordingscampagne. Zo is er op de rand van uw onderzoeksperiode een e-learning opgeleverd. Een belangrijk onderdeel van deze bewustwordingscampagne is het uitdragen van een eenduidige definitie voor ‘algoritmetoepassing’. We verwachten dat dit tot verhoging van het bewustzijn zal leiden. De vruchten van bewustwordingscampagne zijn echter pas naar langere tijd te verwachten, gezien de omvang van de organisatie. Het bewustzijnsniveau heeft onze blijvende aandacht. Tot slot, onderkennen het college ook het belang om een zo volledig mogelijk en actueel beeld te hebben van de algoritmetoepassingen die we als gemeente inzetten. We blijven bezig om de inventarisatie te finaliseren én doorlopend aan te sluiten bij nieuw te ontwikkelen/in te kopen algoritmetoepassingen. We zijn, in het kader van transparantie, voornemens om alle in gebruik zijnde algoritmetoepassingen te identificeren, registreren en publiceren conform de algoritmegovernance.

kleur bekennen

5 nawoord: aandachtspunten gemeenteraad Op 23 april 2023 ontving de rekenkamer de bestuurlijke reactie van het college op dit rapport. Tabel 5-1 geeft de reactie van het college weer op de vijf aanbevelingen van de rekenkamer. tabel 5-1: collegereactie aanbevelingen aanbeveling

reactie college