Concept Raadsvoorstel RR rapport Gekleurde technologie
Tekst van het document
Rotterdam, 23 september 2021
21bb10446
Aan: de gemeenteraad
Onderwerp: Rapport Rekenkamer Rotterdam ‘Gekleurde technologie; verkenning ethisch gebruik algoritmes’. Gevraagd besluit: Samenvattend stellen wij uw raad voor om de conclusies van het rapport ‘Gekleurde technologie; verkenning ethisch gebruik algoritmes’ van de Rekenkamer Rotterdam te onderschrijven en de aanbevelingen aan het college over te nemen. Tevens vragen wij u het college op te dragen uitvoering te geven aan de aanbevelingen en uiterlijk over een half jaar de raad over de uitvoering daarvan te informeren. Waarom dit voorstel? Op 15 april jl. heeft de Rekenkamer Rotterdam het rapport ‘Gekleurde technologie; verkenning ethisch gebruik algoritmes’ gepresenteerd. Conform de verordening Rekenkamer Rotterdam art.12 lid 4 behandelt de raad een rapport binnen drie maanden na ontvangst. In verband met de overvolle agenda van de commissie MPOF voorjaar 2021 is de behandeling van dit rapport uitgesteld tot na het zomerreces.
Doel- en vraagstelling Rekenkamerrapport De centrale onderzoeksvraag luidt als volgt: Op welke manier maakt de gemeente Rotterdam gebruik van voorspellende en voorschrijvende algoritmes en hoe beheerst zij de ethische risico’s van deze algoritmes? De centrale vraag is uitgewerkt in de volgende deelvragen: - Heeft de gemeente een duidelijk overzicht van de voorspellende en voorschrijvende algoritmes die worden gebruikt in organisatorische processen en met welke doelen deze worden gebruikt? - Welke stakeholders zijn er betrokken bij de ontwikkeling en het gebruik van voorspellende en voorschrijvende algoritmes binnen de gemeente en welke rol hebben zij bij het beheersen van ethische risico’s? - Op welke manier organiseert de gemeente de verantwoordelijkheid omtrent de voorspellende en voorschrijvende algoritmes die zij gebruikt? - Op welke manier regelt de gemeente de transparantie van de voorspellende en voorschrijvende algoritmes die zij gebruikt? - Op welke manier waarborgt de gemeente de eerlijkheid van de voorspellende en voorschrijvende algoritmes die zij gebruikt? Portefeuillehouder van Gils
raadsvergadering 30 september 2021
Steller: V.A.M. Lorijn, 2673831 pagina 1
raadsstuk nummer 21bb10446
- In welke mate sluit de beheersing van de ethische risico’s aan bij de momenteel geldende professionele richtlijnen omtrent de eerlijkheid, verantwoordelijkheid en transparantie van algoritmes? Hoofdconclusies in het rapport zijn: 1-2-1 concernbrede aandacht voor ethiek algoritmes 1 In het gemeentelijke programma Datagedreven Werken bestaat terechte aandacht voor de noodzakelijke borging van de kwaliteit en ethiek van algoritmes. 2 Voor een goede borging van de ethiek en kwaliteit van algoritmes is zicht op het gebruik van algoritmes en de aard van deze algoritmes noodzakelijk, mede omdat bestaande AVG-wetgeving niet toereikend is. De eerste versie van een algoritmeregister biedt dit zicht nog niet voldoende. Hierdoor is er geen beeld van waar welke ethische risico’s liggen en welke bijpassende beheersmaatregelen getroffen dienen te worden. De aard van de algoritmes bepaalt namelijk de zwaarte van de beheersmaatregelen. 3 Ten aanzien van algoritmes is er geen centrale regisseur en integraal eindverantwoordelijke. Dit leidt tot onduidelijkheid binnen de organisatie wie voor welk onderdeel verantwoordelijk is. Er vindt beperkt afstemming plaats tussen relevante partijen (zoals ontwikkelaars en gebruikers). Hierdoor is ook de verantwoordelijkheid voor de ethische principes niet goed belegd, met het risico dat deze ethische principes verwaarloosd worden.
4 De kans daarop is des te groter, omdat in het algemeen binnen het concern het besef van ethische risico’s niet heel wijdverbreid lijkt. 1-2-2 ethiek specifiek algoritme 5 Dat de ethiek rondom algoritmes onvoldoende gewaarborgd is in de organisatie, wordt geïllustreerd door de onderzochte casus, het ‘project analytics uitkeringsfraude’. Allereerst is de verantwoordelijkheid niet goed georganiseerd. Hierdoor is er onvoldoende aandacht voor de ethiek van het algoritme in zijn algemeen en voor de transparantie en eerlijkheid in het bijzonder. 6 De te beperkte aandacht voor transparantie blijkt uit de bevinding dat gemaakte keuzes rondom ethische vraagstukken niet navolgbaar zijn. Verder is het voor de burger vrijwel onmogelijk om goed inzicht te krijgen in de manier waarop het algoritme een rol speelt in het selecteren van uitkeringsgerechtigden voor een heronderzoek. 7 Bovendien is er te weinig nagedacht over eerlijkheid. De impact die het algoritme heeft op de burger, wordt onvoldoende serieus genomen. Op verschillende plekken in het algoritme is er een kans op vooringenomen uitkomsten en hiertegen zijn onvoldoende maatregelen getroffen. 1-2-3 evaluatie van algoritmes 8 Op organisatieniveau zijn er geen richtlijnen voor de evaluatie van algoritmes en het bepalen van een ‘ondergrens’ voor de prestaties van een algoritme.
Hoewel het algoritme ‘analytics uitkeringsfraude’ in toenemende mate is ingebed in de lopende processen, is het sinds 2017 een pilot. Dit is een mogelijke verklaring voor de beperkte aandacht voor de impact en ethische risico’s ervan en voor het feit dat de gemeente niet heeft beoordeeld of het algoritme beter presteert dan de ‘oudere’ methoden. Portefeuillehouder van Gils
raadsvergadering 30 september 2021
Steller: V.A.M. Lorijn, 2673831 pagina 2
raadsstuk nummer 21bb10446
Tenslotte heeft de rekenkamer de volgende aanbevelingen aan het college gericht: 1 Beleg de eindverantwoordelijkheid voor het (toezicht op) ontwikkeling en (ethische) gebruik van algoritmes bij één centraal punt in de ambtelijke organisatie, die a zorg dient te dragen voor continue afstemming tussen gebruikers en ontwikkelaars van algoritmes; b uiteindelijk aanspreekbaar is op (ongewenste) ethische implicaties van de ontwikkeling en toepassing van algoritmes; c verantwoordelijk is voor een systematisch management van de beheersing van de ethische risico’s van algoritmes. 2 Draag spoedig zorg voor een concernbrede inventarisatie van algoritmes die in gebruik zijn bij de gemeente Rotterdam. Beperk dit tot de types en definitie van algoritmes die in dit onderzoek zijn beschreven. 3 Draag zorg voor een algoritmeregister, waarin ten minste is opgenomen: a de bij de gemeente in gebruik zijnde algoritmes (conform de definitie in aanbeveling 2); b een typering van het doel of doelen van het algoritme (beschrijvend, diagnostisch, voorspellend of voorschrijvend); c een beschrijving van de gevolgen/impact van het algoritme voor de burger en van de mogelijke ethische risico’s; d de functionaris en organisatieonderdeel die verantwoordelijk zijn voor de technische ontwikkeling en respectievelijk de toepassing van het algoritme.
4 Beoordeel per algoritme welke ethische risico’s aan het algoritme zijn verbonden (in het bijzonder vanuit het perspectief van de burger), in termen van verantwoordelijkheid, transparantie en eerlijkheid, en neem bijpassende beheersmaatregelen om deze risico’s te mitigeren. 5 Formuleer daarnaast voor alle algoritmes regels, richtlijnen en instructies, die waarborgen dat: a er onderlinge afstemming is tussen en daarmee draagvlak bij zowel de gebruikers als de ontwikkelaars van het algoritme. b er een eenduidig en helder eigenaarschap is van het algoritme (verantwoordelijkheid); c de werking van het algoritme voor de gemeente helder en navolgbaar is en uitlegbaar is voor de betrokken burger, op een voor hem of haar toegankelijke manier (transparantie); d er strikte controle is op de kwaliteit van de data en de eventuele impliciete en onbedoelde discriminerende bias van de data (eerlijkheid); e er systematische beoordeling plaatsvindt van de afweging tussen enerzijds de risico’s en anderzijds de inhoudelijke toegevoegde waarde van het algoritme ten opzichte van andere methoden. Voor het inrichten van een dergelijk kader kan gebruik worden gemaakt van het beoordelingskader dat de rekenkamer in de verkenning heeft gebruikt. 6 Maak ontwikkelaars en gebruikers van algoritmes actief bewust van mogelijke ethische risico’s van algoritmes, bijvoorbeeld door handreikingen en trainingen.
Portefeuillehouder van Gils
raadsvergadering 30 september 2021
Steller: V.A.M. Lorijn, 2673831 pagina 3
raadsstuk nummer 21bb10446
Collegereactie Op bladzijde 13 t/m 18 van de bestuurlijke nota leest U de collegereactie op het rapport en het nawoord van de Rekenkamer. Het college onderschrijft de conclusies grotendeels met her en der een opmerking en neemt alle aanbevelingen over. Advies commissie MPOF De commissie MPOF heeft het rapport besproken in de overlegvergadering van 16 september 2021 en geadviseerd het rapport als C-punt te agenderen in de raad op 30 september 2021. De fracties van PVDA, PVV, PvdD, VVD en 50 Plus waren niet aanwezig bij de bespreking. De aanwezige fracties adviseren de conclusies van het rapport te onderschrijven en de aanbevelingen over te nemen. Het presidium van de gemeenteraad,
De griffier,
De voorzitter,
I.C.M. Broeders
A. Aboutaleb
Portefeuillehouder van Gils
raadsvergadering 30 september 2021
Steller: V.A.M. Lorijn, 2673831 pagina 4
raadsstuk nummer 21bb10446
Ontwerpbesluit: De Raad van de gemeente Rotterdam; gelezen het rapport ‘Gekleurde technologie; verkenning ethisch gebruik algoritmes’ van de Rekenkamer Rotterdam, gelet op de Gemeentewet en op artikel 12 van de Verordening Rekenkamer Rotterdam, gehoord de beraadslagingen in de commissie Majeure Projecten, Organisatie en Financiën van donderdag 16 september 2021, besluit: I) De navolgende hoofdconclusies van het rapport ‘Gekleurde technologie; verkenning ethisch gebruik algoritmes’ te onderschrijven: 1-2-1 concernbrede aandacht voor ethiek algoritmes 1 In het gemeentelijke programma Datagedreven Werken bestaat terechte aandacht voor de noodzakelijke borging van de kwaliteit en ethiek van algoritmes. 2 Voor een goede borging van de ethiek en kwaliteit van algoritmes is zicht op het gebruik van algoritmes en de aard van deze algoritmes noodzakelijk, mede omdat bestaande AVG-wetgeving niet toereikend is. De eerste versie van een algoritmeregister biedt dit zicht nog niet voldoende. Hierdoor is er geen beeld van waar welke ethische risico’s liggen en welke bijpassende beheersmaatregelen getroffen dienen te worden. De aard van de algoritmes bepaalt namelijk de zwaarte van de beheersmaatregelen. 3 Ten aanzien van algoritmes is er geen centrale regisseur en integraal eindverantwoordelijke. Dit leidt tot onduidelijkheid binnen de organisatie wie voor welk onderdeel verantwoordelijk is.
Er vindt beperkt afstemming plaats tussen relevante partijen (zoals ontwikkelaars en gebruikers). Hierdoor is ook de verantwoordelijkheid voor de ethische principes niet goed belegd, met het risico dat deze ethische principes verwaarloosd worden. 4 De kans daarop is des te groter, omdat in het algemeen binnen het concern het besef van ethische risico’s niet heel wijdverbreid lijkt. 1-2-2 ethiek specifiek algoritme 5 Dat de ethiek rondom algoritmes onvoldoende gewaarborgd is in de organisatie, wordt geïllustreerd door de onderzochte casus, het ‘project analytics uitkeringsfraude’. Allereerst is de verantwoordelijkheid niet goed georganiseerd. Hierdoor is er onvoldoende aandacht voor de ethiek van het algoritme in zijn algemeen en voor de transparantie en eerlijkheid in het bijzonder. 6 De te beperkte aandacht voor transparantie blijkt uit de bevinding dat gemaakte keuzes rondom ethische vraagstukken niet navolgbaar zijn. Verder is het voor de burger vrijwel onmogelijk om goed inzicht te krijgen in de manier waarop het algoritme een rol speelt in het selecteren van uitkeringsgerechtigden voor een heronderzoek. 7 Bovendien is er te weinig nagedacht over eerlijkheid. De impact die het algoritme heeft op de burger, wordt onvoldoende serieus genomen. Op verschillende plekken in het algoritme Portefeuillehouder van Gils
raadsvergadering 30 september 2021
Steller: V.A.M. Lorijn, 2673831 pagina 5
raadsstuk nummer 21bb10446
is er een kans op vooringenomen uitkomsten en hiertegen zijn onvoldoende maatregelen getroffen. 1-2-3 evaluatie van algoritmes 8 Op organisatieniveau zijn er geen richtlijnen voor de evaluatie van algoritmes en het bepalen van een ‘ondergrens’ voor de prestaties van een algoritme. Hoewel het algoritme ‘analytics uitkeringsfraude’ in toenemende mate is ingebed in de lopende processen, is het sinds 2017 een pilot. Dit is een mogelijke verklaring voor de beperkte aandacht voor de impact en ethische risico’s ervan en voor het feit dat de gemeente niet heeft beoordeeld of het algoritme beter presteert dan de ‘oudere’ methoden. II ) De aanbevelingen van het rapport‘ Gekleurde technologie; verkenning ethisch gebruik algoritmes’ van de Rekenkamer Rotterdam, over te nemen: 1 Beleg de eindverantwoordelijkheid voor het (toezicht op) ontwikkeling en (ethische) gebruik van algoritmes bij één centraal punt in de ambtelijke organisatie, die a zorg dient te dragen voor continue afstemming tussen gebruikers en ontwikkelaars van algoritmes; b uiteindelijk aanspreekbaar is op (ongewenste) ethische implicaties van de ontwikkeling en toepassing van algoritmes; c verantwoordelijk is voor een systematisch management van de beheersing van de ethische risico’s van algoritmes. 2 Draag spoedig zorg voor een concernbrede inventarisatie van algoritmes die in gebruik zijn bij de gemeente Rotterdam.
Beperk dit tot de types en definitie van algoritmes die in dit onderzoek zijn beschreven. 3 Draag zorg voor een algoritmeregister, waarin ten minste is opgenomen: a de bij de gemeente in gebruik zijnde algoritmes (conform de definitie in aanbeveling 2); b een typering van het doel of doelen van het algoritme (beschrijvend, diagnostisch, voorspellend of voorschrijvend); c een beschrijving van de gevolgen/impact van het algoritme voor de burger en van de mogelijke ethische risico’s; d de functionaris en organisatieonderdeel die verantwoordelijk zijn voor de technische ontwikkeling en respectievelijk de toepassing van het algoritme. 4 Beoordeel per algoritme welke ethische risico’s aan het algoritme zijn verbonden (in het bijzonder vanuit het perspectief van de burger), in termen van verantwoordelijkheid, transparantie en eerlijkheid, en neem bijpassende beheersmaatregelen om deze risico’s te mitigeren. 5 Formuleer daarnaast voor alle algoritmes regels, richtlijnen en instructies, die waarborgen dat: a er onderlinge afstemming is tussen en daarmee draagvlak bij zowel de gebruikers als de ontwikkelaars van het algoritme.
b er een eenduidig en helder eigenaarschap is van het algoritme (verantwoordelijkheid); c de werking van het algoritme voor de gemeente helder en navolgbaar is en uitlegbaar is voor de betrokken burger, op een voor hem of haar toegankelijke manier (transparantie); d er strikte controle is op de kwaliteit van de data en de eventuele impliciete en onbedoelde discriminerende bias van de data (eerlijkheid); Portefeuillehouder van Gils
raadsvergadering 30 september 2021
Steller: V.A.M. Lorijn, 2673831 pagina 6
raadsstuk nummer 21bb10446
e er systematische beoordeling plaatsvindt van de afweging tussen enerzijds de risico’s en anderzijds de inhoudelijke toegevoegde waarde van het algoritme ten opzichte van andere methoden. Voor het inrichten van een dergelijk kader kan gebruik worden gemaakt van het beoordelingskader dat de rekenkamer in de verkenning heeft gebruikt. 6 Maak ontwikkelaars en gebruikers van algoritmes actief bewust van mogelijke ethische risico’s van algoritmes, bijvoorbeeld door handreikingen en trainingen. III ) Het college van burgemeester en wethouders op te dragen de aan het college gerichte aanbevelingen uit te voeren en daarover uiterlijk over een half jaar aan de raad te rapporteren. Aldus vastgesteld in de openbare vergadering van 30 september 2021, De griffier,
De voorzitter,
Portefeuillehouder van Gils
raadsvergadering 30 september 2021
Steller: V.A.M. Lorijn, 2673831 pagina 7
raadsstuk nummer 21bb10446