21bb10446 Raadsvoorstel presidium over rapport Gekleurde technologie; verkenning ethisch gebruik algoritmen van de Rekenkamer Rotterdam

21bb10446

Rotterdam, 23 september 2021

Aan: de gemeenteraad

Onderwerp: Rapport Rekenkamer algoritmes’.

Rotterdam

‘Gekleurde

technologie;

verkenning ethisch gebruik

Gevraagd besluit: Samenvattend stellen wij uw raad voor om de conclusies van het rapport 'Gekleurde technologie; verkenning ethisch gebruik algoritmes’ van de Rekenkamer Rotterdam te onderschrijven en de aanbevelingen aan het college over te nemen. Tevens vragen wij u het college op te dragen uitvoering te geven aan de aanbevelingen uiterlijk over een halfjaar de raad over de uitvoering daarvan te informeren.

en

Waarom dit voorstel? Op 15 april jl. heeft de Rekenkamer Rotterdam het rapport ‘Gekleurde technologie; verkenning ethisch gebruik algoritmes’ gepresenteerd. Conform de verordening Rekenkamer Rotterdam art.12 lid 4 behandelt de raad een rapport binnen drie maanden na ontvangst. In verband met de overvolle agenda van de commissie MPOF voorjaar 2021 is de behandeling van dit rapport uitgesteld tot na het zomerreces. Doel- en vraagstelling Rekenkamerrapport De centrale onderzoeksvraag luidt als volgt: Op welke manier maakt de gemeente Rotterdam gebruik van voorspellende en voorschrijvende algoritmes en hoe beheerst zij de ethische risico’s van deze algoritmes? De centrale vraag is uitgewerkt in de volgende deelvragen: - Heeft de gemeente een duidelijk overzicht van de voorspellende en voorschrijvende algoritmes die worden gebruikt in organisatorische processen en met welke doelen deze worden gebruikt? - Welke stakeholders zijn er betrokken bij de ontwikkeling en het gebruik van voorspellende en voorschrijvende algoritmes binnen de gemeente e n welke rol hebben zij bij het beheersen van ethische risico’s? - Op welke manier organiseert de gemeente de verantwoordelijkheid omtrent de voorspellende e n voorschrijvende algoritmes die zij gebruikt? - Op welke manier regelt de gemeente de transparantie van de voorspellende en voorschrijvende algoritmes die zij gebruikt? - Op welke manier

waarborgt de gemeente de eerlijkheid van de voorspellende en voorschrijvende algoritmes die zij gebruikt?

Portefeuillehouder van Gils Steller: V.A.M. Lorijn, 2673831

raadsvergadering 30 september 2021 raadsstuk nummer 21bb10446 pagina 1

- In welke mate sluit de beheersing van de ethische risico’s aan bij de momenteel geldende professionele richtlijnen omtrent de eerlijkheid, verantwoordelijkheid e n transparantie van algoritmes? Hoofdconclusies 1-2- 1

in het rapport zijn:

concernbrede

aandacht voor ethiek algoritmes

1 In het gemeentelijke programma Datagedreven Werken bestaat terechte aandacht voor de noodzakelijke borging van de kwaliteit en ethiek van algoritmes. 2 Voor een goede borging van de ethiek en kwaliteit van algoritmes is zicht op het gebruik van algoritmes en de aard van deze algoritmes noodzakelijk, mede omdat bestaande AVG-wetgeving niet toereikend is. De eerste versie van een algoritmeregister biedt dit zicht nog niet voldoende. Hierdoor is er geen beeld van waar welke ethische risico’s liggen e n welke bijpassende beheersmaatregelen getroffen dienen te worden. De aard van de algoritmes bepaalt namelijk de zwaarte van de beheersmaatregelen. 3 Ten aanzien van algoritmes is er geen centrale regisseur en integraal eindverantwoordelijke. Dit leidt tot onduidelijkheid binnen de organisatie wie voor welk onderdeel verantwoordelijk is. Er vindt beperkt afstemming plaats tussen relevante partijen (zoals ontwikkelaars en gebruikers). Hierdoor is ook de verantwoordelijkheid voor de ethische principes niet goed belegd, met het risico dat deze ethische principes verwaarloosd worden. 4 De kans daarop is des te groter, omdat in het algemeen binnen het concern het besef van ethische risico’s niet heel wijdverbreid lijkt. 1 -2-2

ethiek specifiek algoritme

5 Dat de ethiek rondom algoritmes onvoldoende gewaarborgd is in de organisatie, wordt geïllustreerd door de onderzochte casus, het ‘project analytics uitkeringsfraude’. Allereerst is de verantwoordelijkheid niet goed georganiseerd. Hierdoor is er onvoldoende aandacht voor de ethiek van het algoritme in zijn algemeen en voor de transparantie e n eerlijkheid in het bijzonder. 6 De te beperkte aandacht voor transparantie blijkt uit de bevinding dat gemaakte keuzes rondom ethische vraagstukken niet navolgbaar zijn. Verder is het voor de burger vrijwel onmogelijk om goed inzicht te krijgen in de manier waarop het algoritme een rol speelt in het selecteren van uitkeringsgerechtigden voor een heronderzoek. 7 Bovendien is er te weinig nagedacht over eerlijkheid. De impact die het algoritme heeft op de burger, wordt onvoldoende serieus genomen. Op verschillende plekken in het algoritme is er een kans op vooringenomen uitkomsten en hiertegen zijn onvoldoende maatregelen getroffen. 1-2-3

evaluatie van algoritmes

8 Op organisatieniveau zijn er geen richtlijnen voor de evaluatie van algoritmes e n het bepalen van een ‘ondergrens’ voor de prestaties van een algoritme. Hoewel het algoritme ‘analytics uitkeringsfraude’ in toenemende mate is ingebed in de lopende processen, is het sinds 2017 een pilot. Dit is een mogelijke verklaring voor de beperkte aandacht voor de impact en ethische risico’s ervan e n voor het feit dat de gemeente niet heeft beoordeeld of het algoritme beter presteert dan de ‘oudere’ methoden.

Portefeuillehouder van Gils Steller: V.A.M. Lorijn, 2673831

raadsvergadering 30 september 2021 raadsstuk nummer 21bb10446 pagina 2

Tenslotte heeft de rekenkamer de volgende aanbevelingen aan het college gericht: 1 Beleg de eindverantwoordelijkheid voor het (toezicht op) ontwikkeling en (ethische) gebruik van algoritmes bij één centraal punt in de ambtelijke organisatie, die zorg dient te dragen voor continue afstemming tussen gebruikers en ontwikkelaars a van algoritmes; b uiteindelijk aanspreekbaar is op (ongewenste) ethische implicaties van de ontwikkeling en toepassing van algoritmes; verantwoordelijk is voor een systematisch management van de beheersing van de c ethische risico’s van algoritmes. 2 Draag spoedig zorg voor een concernbrede inventarisatie van algoritmes die in gebruik zijn bij de gemeente Rotterdam. Beperk dit tot de types en definitie van algoritmes die in dit onderzoek zijn beschreven. 3 Draag zorg voor een algoritmeregister, waarin ten minste is opgenomen: a de bij de gemeente in gebruik zijnde algoritmes (conform de definitie in aanbeveling 2); een typering van het doel of doelen van het algoritme (beschrijvend, diagnostisch, b voorspellend of voorschrijvend); een beschrijving van de gevolgen/impact van het algoritme voor de burger en van de c mogelijke ethische risico’s; d de functionaris en organisatieonderdeel die verantwoordelijk zijn voor de technische ontwikkeling en respectievelijk de toepassing van het algoritme.

4 Beoordeel per algoritme welke ethische risico’s aan het algoritme zijn verbonden (in het bijzonder vanuit het perspectief van de burger), in termen van verantwoordelijkheid, transparantie en eerlijkheid, en neem bijpassende beheersmaatregelen om deze risico’s te mitigeren. 5 Formuleer daarnaast voor alle algoritmes regels, richtlijnen en instructies, die waarborgen dat: er onderlinge afstemming is tussen en daarmee draagvlak bij zowel de gebruikers als a de ontwikkelaars van het algoritme. er een eenduidig en helder eigenaarschap is van het algoritme b (verantwoordelijkheid); de werking van het algoritme voor de gemeente helder en navolgbaar is en c uitlegbaar is voor de betrokken burger, op een voor hem of haar toegankelijke manier (transparantie); er strikte controle is op de kwaliteit van de data en de eventuele impliciete en d onbedoelde discriminerende bias van de data (eerlijkheid); er systematische beoordeling plaatsvindt van de afweging tussen enerzijds de e risico’s en anderzijds de inhoudelijke toegevoegde waarde van het algoritme ten opzichte van andere methoden. Voor het inrichten van een dergelijk kader kan gebruik worden gemaakt van het beoordelingskader dat de rekenkamer in de verkenning heeft gebruikt. 6 Maak ontwikkelaars en gebruikers van algoritmes actief bewust van mogelijke ethische risico’s van algoritmes, bijvoorbeeld door handreikingen en trainingen.

Portefeuillehouder van Gils Steller: V.A.M. Lorijn, 2673831

raadsvergadering 30 september 2021 raadsstuk nummer 21bb10446 pagina 3

Collegereactie

Op bladzijde 13 t/m 18 van de bestuurlijke nota leest U de collegereactie op het rapport en het nawoord van de Rekenkamer. Het college onderschrijft de conclusies grotendeels met her en der een opmerking en neemt alle aanbevelingen over. Advies commissie

MPOF

De commissie MPOF heeft het rapport besproken in de overlegvergadering van 16 september 2021 en geadviseerd het rapport als C-punt te agenderen in de raad op 30 september 2021. De fracties van PVDA, PW, PvdD, WD en 50 Plus waren niet aanwezig bij de bespreking. De aanwezige fracties adviseren de conclusies van het rapport te onderschrijven en de aanbevelingen over te nemen.

Het presidium van de gemeenteraad,

De voorzitter,

A. Aboutaleb

Portefeuillehouder van Gils Steller: V.A.M. Lorijn, 2673831

raadsvergadering 30 september 2021 raadsstuk nummer 21bb10446 pagina 4

Ontwerpbesluit:

De Raad van de gemeente

Rotterdam;

gelezen het rapport ‘Gekleurde Rekenkamer Rotterdam, gelet op de Gemeentewet

technologie;

verkenning

ethisch gebruik algoritmes’ van de

en op artikel 12 van de Verordening

gehoord de beraadslagingen in de commissie van donderdag 16 september 2021,

Rekenkamer

Majeure Projecten, Organisatie

Rotterdam, e n Financiën

besluit: I) De navolgende hoofdconclusies van het rapport ‘Gekleurde ethisch gebruik algoritmes’ te onderschrijven: 1-2-1

concernbrede

technologie;

verkenning

aandacht voor ethiek algoritmes

1 In het gemeentelijke programma Datagedreven Werken bestaat terechte aandacht voor de noodzakelijke borging van de kwaliteit e n ethiek van algoritmes. 2 Voor een goede borging van de ethiek en kwaliteit van algoritmes is zicht op het gebruik van algoritmes en de aard van deze algoritmes noodzakelijk, mede omdat bestaande AVG-wetgeving niet toereikend is. De eerste versie van een algoritmeregister biedt dit zicht nog niet voldoende. Hierdoor is er geen beeld van waar welke ethische risico’s liggen e n welke bijpassende beheersmaatregelen getroffen dienen te worden. De aard van de algoritmes bepaalt namelijk de zwaarte van de beheersmaatregelen. 3 Ten aanzien van algoritmes is er geen centrale regisseur e n integraal eindverantwoordelijke. Dit leidt tot onduidelijkheid binnen de organisatie wie voor welk onderdeel verantwoordelijk is. Er vindt beperkt afstemming plaats tussen relevante partijen (zoals ontwikkelaars e n gebruikers). Hierdoor is ook de verantwoordelijkheid voor de ethische principes niet goed belegd, met het risico dat deze ethische principes verwaarloosd worden. 4 De kans daarop is des te groter, omdat in het algemeen van ethische risico’s niet heel wijdverbreid lijkt. 1-2-2

binnen het concern het besef

ethiek specifiek algoritme

5 Dat de ethiek rondom algoritmes onvoldoende gewaarborgd is in de organisatie, wordt geïllustreerd door de onderzochte casus, het ‘project analytics uitkeringsfraude’. Allereerst is de verantwoordelijkheid niet goed georganiseerd. Hierdoor is er onvoldoende aandacht voor de ethiek van het algoritme in zijn algemeen e n voor de transparantie en eerlijkheid in het bijzonder. 6 De te beperkte aandacht voor transparantie blijkt uit de bevinding dat gemaakte keuzes rondom ethische vraagstukken niet navolgbaar zijn. Verder is het voor de burger vrijwel onmogelijk om goed inzicht te krijgen in de manier waarop het algoritme een rol speelt in het selecteren van uitkeringsgerechtigden voor een heronderzoek.

Portefeuillehouder van Gils Steller: V.A.M. Lorijn, 2673831

raadsvergadering 30 september 2021 raadsstuk nummer 21bb10446 pagina 5

7 Bovendien is er te weinig nagedacht over eerlijkheid. De impact die het algoritme heeft op de burger, wordt onvoldoende serieus genomen. Op verschillende plekken in het algoritme is er een kans op vooringenomen uitkomsten en hiertegen zijn onvoldoende maatregelen getroffen. 1-2-3

evaluatie van algoritmes

8 Op organisatieniveau zijn er geen richtlijnen voor de evaluatie van algoritmes en het bepalen van een ‘ondergrens’ voor de prestaties van een algoritme. Hoewel het algoritme ‘analytics uitkeringsfraude’ in toenemende mate is ingebed in de lopende processen, is het sinds 2017 een pilot. Dit is een mogelijke verklaring voor de beperkte aandacht voor de impact en ethische risico’s ervan en voor het feit dat de gemeente niet heeft beoordeeld of het algoritme beter presteert dan de ‘oudere’ methoden. II ) De aanbevelingen van het rapport 1 Gekleurde technologie; algoritmes’ van de Rekenkamer Rotterdam, over te nemen:

verkenning ethisch gebruik

1 Beleg de eindverantwoordelijkheid voor het (toezicht op) ontwikkeling e n (ethische) gebruik van algoritmes bij één centraal punt in de ambtelijke organisatie, die a zorg dient te dragen voor continue afstemming tussen gebruikers e n ontwikkelaars van algoritmes; b uiteindelijk aanspreekbaar is op (ongewenste) ethische implicaties van d e ontwikkeling e n toepassing van algoritmes; c verantwoordelijk is voor een systematisch management van de beheersing van de ethische risico’s van algoritmes. 2 Draag spoedig zorg voor een concernbrede inventarisatie van algoritmes die in gebruik zijn bij de gemeente Rotterdam. Beperk dit tot de types en definitie van algoritmes die in dit onderzoek zijn beschreven. 3 Draag zorg voor een algoritmeregister, waarin ten minste is opgenomen: a de bij de gemeente in gebruik zijnde algoritmes (conform de definitie in aanbeveling 2): b een typering van het doel of doelen van het algoritme (beschrijvend, diagnostisch, voorspellend of voorschrijvend); c een beschrijving van d e gevolgen/impact van het algoritme voor d e burger e n van de mogelijke ethische risico’s; d de functionaris en organisatieonderdeel die verantwoordelijk zijn voor de technische ontwikkeling e n respectievelijk d e toepassing van het algoritme.

4 Beoordeel per algoritme welke ethische risico’s aan het algoritme zijn verbonden (in het bijzonder vanuit het perspectief van de burger), in termen van verantwoordelijkheid, transparantie en eerlijkheid, e n neem bijpassende beheersmaatregelen o m deze risico’s te mitigeren. 5 Formuleer daarnaast voor alle algoritmes regels, richtlijnen e n instructies, die waarborgen dat: a er onderlinge afstemming is tussen e n daarmee draagvlak bij zowel de gebruikers als de ontwikkelaars van het algoritme. b er een eenduidig e n helder eigenaarschap is van het algoritme (verantwoordelijkheid);

Portefeuillehouder van Gils Steller: V.A.M. Lorijn, 2673831

raadsvergadering 30 september 2021 raadsstuk nummer 21bb10446 pagina 6

d e werking van het algoritme voor de gemeente helder en navolgbaar is en c uitlegbaar is voor de betrokken burger, o p een voor hem of haar toegankelijke manier (transparantie); er strikte controle is o p de kwaliteit van d e data e n de eventuele impliciete e n d onbedoelde discriminerende bias van de data (eerlijkheid); er systematische beoordeling plaatsvindt van d e afweging tussen enerzijds de e risico’s e n anderzijds d e inhoudelijke toegevoegde waarde van het algoritme ten opzichte van andere methoden. Voor het inrichten van een dergelijk kader kan gebruik worden gemaakt van het beoordelingskader dat de rekenkamer in de verkenning heeft gebruikt. Maak ontwikkelaars e n gebruikers van algoritmes actief bewust van mogelijke 6 ethische risico’s van algoritmes, bijvoorbeeld door handreikingen e n trainingen.

III ) Het college van burgemeester en wethouders o p te dragen de aan het college gerichte aanbevelingen uit te voeren e n daarover uiterlijk over een halfjaar aan de raad te rapporteren.

Aldus vastgesteld in de openbare vergadering

van 30 september

2021, De voorzitter,

De griffier,

Portefeuillehouder van Gils Steller: V.A.M. Lorijn, 2673831

raadsvergadering 30 september 2021 raadsstuk nummer 21bb10446 pagina 7