21bb12093 Raadsbesluit Rapport RR ‘Gekleurde technologie; verkenning ethisch gebruik algoritmes’

21bb12093 Rapport Rekenkamer algoritmes’

Rotterdam

De Raad van d e gemeente gelezen het voorstel

‘Gekleurde

technologie;

ethisch gebruik

Rotterdam,

van het Presidium van 23 september

gelet op de Gemeentewet

verkenning

2021 (voorstel nr. 21bb10446);

en op artikel 12 van de Verordening

Rekenkamer

Rotterdam.

gehoord de beraadslagingen in de commissie Majeure Projecten, Organisatie van donderdag 16 september 2021 .

en Financiën

besluit: I) De navolgende hoofdconclusies van het rapport ‘Gekleurde ethisch gebruik algoritmes’ te onderschrijven: 1-2- 1

concernbrede

technologie;

verkenning

aandacht voor ethiek algoritmes

1 In het gemeentelijke programma Datagedreven Werken bestaat terechte aandacht voor de noodzakelijke borging van de kwaliteit e n ethiek van algoritmes. 2 Voor een goede borging van de ethiek en kwaliteit van algoritmes is zicht op het gebruik van algoritmes en de aard van deze algoritmes noodzakelijk, mede omdat bestaande AVG-wetgeving niet toereikend is. De eerste versie van een algoritmeregister biedt dit zicht nog niet voldoende. Hierdoor is er geen beeld van waar welke ethische risico’s liggen e n welke bijpassende beheersmaatregelen getroffen dienen te worden. De aard van de algoritmes bepaalt namelijk de zwaarte van de beheersmaatregelen. 3 Ten aanzien van algoritmes is er geen centrale regisseur en integraal eindverantwoordelijke. Dit leidt tot onduidelijkheid binnen de organisatie wie voor welk onderdeel verantwoordelijk is. Er vindt beperkt afstemming plaats tussen relevante partijen (zoals ontwikkelaars e n gebruikers). Hierdoor is ook de verantwoordelijkheid voor de ethische principes niet goed belegd, met het risico dat deze ethische principes verwaarloosd worden. 4 De kans daarop is des te groter, omdat in het algemeen van ethische risico’s niet heel wijdverbreid lijkt. 1-2-2

binnen het concern het besef

ethiek specifiek algoritme

5 Dat de ethiek rondom algoritmes onvoldoende gewaarborgd is in de organisatie, wordt geïllustreerd door de onderzochte casus, het ‘project analytics uitkeringsfraude’. Allereerst is de verantwoordelijkheid niet goed georganiseerd. Hierdoor is er onvoldoende aandacht voor de ethiek van het algoritme in zijn algemeen en voor de transparantie en eerlijkheid in het bijzonder. 6 De te beperkte aandacht voor transparantie blijkt uit de bevinding dat gemaakte keuzes rondom ethische vraagstukken niet navolgbaar zijn. Verder is het voor de burger vrijwel onmogelijk o m goed inzicht te krijgen in de manier waarop het algoritme een rol speelt in het selecteren van uitkeringsgerechtigden voor een heronderzoek.

raadsvergadering van:

30 september 2021

raadsstuk 21bb12093

pagina 1

7 Bovendien is er te weinig nagedacht over eerlijkheid. De impact die het algoritme heeft op de burger, wordt onvoldoende serieus genomen. Op verschillende plekken in het algoritme is er een kans op vooringenomen uitkomsten en hiertegen zijn onvoldoende maatregelen getroffen. 1-2-3

evaluatie van algoritmes

8 Op organisatieniveau zijn er geen richtlijnen voor de evaluatie van algoritmes en het bepalen van een ‘ondergrens’ voor de prestaties van een algoritme. Hoewel het algoritme ‘analytics uitkeringsfraude’ in toenemende mate is ingebed in de lopende processen, is het sinds 2017 een pilot. Dit is een mogelijke verklaring voor de beperkte aandacht voor de impact en ethische risico’s ervan en voor het feit dat de gemeente niet heeft beoordeeld of het algoritme beter presteert dan de ‘oudere’ methoden. II ) De aanbevelingen van het rapport' Gekleurde technologie; algoritmes’ van de Rekenkamer Rotterdam, over te nemen:

verkenning

ethisch gebruik

1 Beleg de eindverantwoordelijkheid voor het (toezicht op) ontwikkeling e n (ethische) gebruik van algoritmes bij één centraal punt in de ambtelijke organisatie, die a zorg dient te dragen voor continue afstemming tussen gebruikers e n ontwikkelaars van algoritmes; b uiteindelijk aanspreekbaar is o p (ongewenste) ethische implicaties van de ontwikkeling e n toepassing van algoritmes; c verantwoordelijk is voor een systematisch management van de beheersing van de ethische risico’s van algoritmes. 2 Draag spoedig zorg voor een concernbrede inventarisatie van algoritmes die in gebruik zijn bij de gemeente Rotterdam. Beperk dit tot de types en definitie van algoritmes die in dit onderzoek zijn beschreven. 3 Draag zorg voor een algoritmeregister, waarin ten minste is opgenomen: a de bij de gemeente in gebruik zijnde algoritmes (conform de definitie in aanbeveling 2); b een typering van het doel of doelen van het algoritme (beschrijvend, diagnostisch, voorspellend of voorschrijvend); c een beschrijving van de gevolgen/impact van het algoritme voor de burger en van de mogelijke ethische risico’s; d de functionaris en organisatieonderdeel die verantwoordelijk zijn voor de technische ontwikkeling e n respectievelijk de toepassing van het algoritme.

4 Beoordeel per algoritme welke ethische risico’s aan het algoritme zijn verbonden (in het bijzonder vanuit het perspectief van de burger), in termen van verantwoordelijkheid, transparantie en eerlijkheid, e n neem bijpassende beheersmaatregelen o m deze risico’s te mitigeren. 5 Formuleer daarnaast voor alle algoritmes regels, richtlijnen en instructies, die waarborgen dat: a e r onderlinge afstemming is tussen en daarmee draagvlak bij zowel de gebruikers de ontwikkelaars van het algoritme. b er een eenduidig e n helder eigenaarschap is van het algoritme (verantwoordelijkheid); c de werking van het algoritme voor de gemeente helder e n navolgbaar is en uitlegbaar is voor de betrokken burger, o p een voor hem of haar toegankelijke manier (transparantie); raadsvergadering van:

30 september 2021

raadsstuk 21bb12093

pagina 2

als

d er strikte controle is op de kwaliteit van de data en de eventuele impliciete e n onbedoelde discriminerende bias van de data (eerlijkheid); e e r systematische beoordeling plaatsvindt van de afweging tussen enerzijds de risico’s en anderzijds d e inhoudelijke toegevoegde waarde van het algoritme ten opzichte van andere methoden. Voor het inrichten van een dergelijk kader kan gebruik worden gemaakt van het beoordelingskader dat de rekenkamer in de verkenning heeft gebruikt. 6 Maak ontwikkelaars e n gebruikers van algoritmes actief bewust van mogelijke ethische risico’s van algoritmes, bijvoorbeeld door handreikingen e n trainingen.

III ) Het college van burgemeester en wethouders op te dragen de aan het college gerichte aanbevelingen uit te voeren en daarover uiterlijk over een halfjaar aan de raad te rapporteren. Aldus vastgesteld

in de openbare

vergadering

van 30 september 2021. De voo

raadsvergadering van:

30 september 2021

raadsstuk 21bb12093

pagina 3