[22bb004237] Collegebrief over Algoritmegovernance

Gemeente Rotterdam

Bezoekadres: Stadhuis Coolsingel 40 3011 AD Rotterdam Postadres: Postbus 70012 3000 KP

Rotterdam

Website: www .rotterdam.nl E-mail:. bbg@Rotterdam.nl Inlichtingen: D.Brak Telefoon: 06-13320898 Portefeuillehouder: A.H.P. van Gils

Aan de Gemeenteraad

Cluster: BCO Ons kenmerk: 22bo004032 Datum: B&W 7 juni 2022 Betreft: Algoritmegovernance

Onderwerp: Voortgang implementatie algoritmegovernance en Instelling Algorithm Advisory Board

Op welke gronden deze brief?/Waarom nu voorgelegd? Afgelopen september heeft in uw raad een debat plaatsgevonden over de voorstellen die ons college heeft gedaan met betrekking tot de implementatie van een governance rondom het werken met algoritmes. Uw raad heeft op 15 februari jl. een uitgebreid voortgangsbericht van ons ontvangen over de stand van zaken (22bb1555). Daarbij is aangegeven dat in mei een nieuwe stand van zaken aan uw raad zou worden toegezonden. De voorliggende brief is daarmee complementair aan de brief uit februari en bevat de toegezegde actualisatie. Omdat inmiddels de governance op hoofdlijnen staat en de geïmplementeerde onderdelen ervan in lijn zijn met de opdrachten uit verschillende aangenomen moties, wordt uw raad met de toezending van de voorliggende brief tevens voorgesteld om de nog openstaande moties en toezeggingen over dit onderwerp als afgedaan te beschouwen.

Relatie met het coalitieakkoord/collegewerkprogramma/begroting/eerder aangenomen moties en gedane toezeggingen: Bij het debat op 29 september zijn de volgende moties aangenomen: • •

Algoritmes begrijpelijk voor ambtenaren 21bb12335 - J.P. Postma (GroenLinks) Democracy is watching Big Brother 21bb12344 -C.M. Zeegers (D66)

•

Algoritme & Ethiek functionaris 21bb12353 -B. van Noppen (NIDA)

•

Gemotiveerd en gebalanceerd algoritme gebruik 21bb12354 -B. van Noppen (NIDA)

•

Digital non-harm 21bb12337 -A. van Zevenbergen (SP)

•

Vreemde ogen dwingen 21bb12339-C.M. Zeegers (D66)

•

Proactief over algoritmes communiceren naar burgers 21bb12359 -J.P. Postma (GroenLinks)

Blad:

Datum: Kenmerk:

2/9 07-06-2022 22bo4032

Verder zijn de volgende toezeggingen gedaan: • •

Communicatie over algoritmen 21bb 12002 Toetsing van algoritmen 21bb12003

Toelichting: Begin februari is uw raad met een voortgangsbericht (22bb1555) geïnformeerd over de stand van zaken met betrekking tot de moties die in september 2021 zijn aangenomen bij het debat over het Rekenkamerrapport 'Gekleurde technologie' en de voor het college gedane voorstellen voor een governance inclusief instrumenten waarmee geborgd wordt dat de vereiste zorgvuldigheid wordt betracht bij de toepassing van algoritmes en tevens geborgd wordt dat te allen tijde volledige zicht bestaat op de algoritmes die worden gebruikt en dat de werking ervan ook transparant wordt gemaakt middels opname in een openbaar register. Omdat het begrip Algoritme ruim uitgelegd kan worden, heeft het college eerder al aangegeven een governance te ontwikkelen die ziet op alle algoritmes, maar voor de borging en vastlegging en toetsing te focussen op de algoritmes die in de categorie hoog-risico vallen. Dit is in lijn met de aankomende Europese en nationale wet- en regelgeving en in een eerdere brief aan uw raad toegelicht, evenals hoe en waarom we gebruik maken van algoritmes bij de ontwikkeling en uitvoering van ons beleid en dienstverlening (21bb10819).

Leidend daarbij is het belang van de Rotterdammer en wij hebben onze governance ingericht op basis van de eerder met uw raad gedeelde collegevisie op het werken vanuit de "Menselijke maat", alsook de uitgangspunten zoals opgenomen in de Code Goed Digitaal Openbaar Bestuur (CODIO). Wij hebben het vertrouwen hiermee transparant te zijn over de manier waarop we gegevens en informatie verwerken in onze systemen en gebruiken bij het nemen van besluiten. Vanzelfsprekend toetsen wij continu of wij inderdaad voldoende transparant zijn en volgen wij nauwgezet de juridische en maatschappelijke ontwikkelingen op dit gebied, alsook signalen die wij bijvoorbeeld ontvangen van de ombudsman of de Algemene Bezwaarschriftencommissie. Stand van zaken In de voornoemde voortgangsbrief uit februari hebben we aangegeven wat toen al gerealiseerd was en wat nog work in progress was. Hierna volgt de actuele stand van zaken, waarbij de reeds gerealiseerde zaken wel benoemd, maar alleen kort toegelicht, worden (zie onze brief met kenmerk 22bb1555 voor een meer uitgebreide toelichting). 1. Eerder gerealiseerd 1. 1 Inventarisatie hoog-risico algoritmes De eerste inventarisatie is eerder dit jaar afgerond, maar dit is een continu proces, waarbij alle algoritmes, van laag tot hoog risico, zijn of worden geïnventariseerd en vastgelegd.

Alle algoritmes worden opgenomen in het algoritmeregister, inclusief technische documentatie. Maar uitsluitend de algoritmes in de categorie

Blad: Datum: Kenmerk:

3/9 07-06-2022 22bo4032

hoog-risico worden met het openbare algoritmeregister ontsloten. Zie verder ook de toelichting onder 1.2 1.2 Algoritmeregister Dit is begin dit jaar gerealiseerd en gevuld met de hoog-risico algoritmes en openbaar ontsloten. Het register is te vinden op www.rotterdam.nl/algoritmeregister en bevat, zoals gezegd, in het openbaar ontsloten deel (alleen) de hoog-risico algoritmes en is daarmee een deelverzameling van een groter register waarin ook algoritmes zijn (of worden) opgenomen die een andere classificatie hebben. De reden daarvoor is dat bepaalde classificaties in de loop der tijd kunnen wijzigen omdat we periodiek de Algorithm Risk Assessments (ARA's) en/of de Impact Assessment Mensenrechten en algoritmes (IAMA's; zie voor een toelichting hierop de eerdere brieven) herhalen en de uitkomsten daarvan aanleiding kunnen zijn voor een andere classificatie. Ook worden algoritmes soms doorontwikkeld, wat ook kan leiden tot een gewijzigde classificatie. Doordat de ingevulde ARA's van alle algoritmes worden vastgelegd in het algoritmeregister, is ook geborgd dat later de gemaakte afweging terug te vinden is. 2. Gerealiseerd sinds februari 2. 1 Algoritme Expert Door uw raad is gevraagd om de functie van Algoritme-expert te realiseren.

Dit is de gemeentelijke specialist op het gebied van algoritmes en die ook kennis heeft van de verschillende relevante perspectieven (ethisch, technisch/wiskundig, juridisch, informatiekundig) bij het onderwerp algoritmes. De Algoritme-expert is ook de eerste inhoudelijke sparringpartner voor de externe adviesraad (zie 2.2). Wij kunnen u melden dat sinds 1 maart jl. een algoritme-expert is ingehuurd die voldoet aan het door ons opgestelde profiel. Naast de taken zoals geschetst in onze brief uit februari heeft de Algoritme-expert ook als opdracht om kwartier te maken voor de definitieve invulling van de functie na de zomer. 2.2 Algorithm Advisory Board Op 7 juni heeft ons college het instellingsbesluit vastgesteld voor de Algorithm Advisory Board (AAB). Deze externe adviescommissie is een zogeheten artikel 84 (Gemeentewet) commissie en rapporteert aan het college van B&W. Parallel aan de voorbereiding van het instellingsbesluit voor de AAB zijn ook de leden geworven en op 7 juni door ons college voor 4 jaar benoemd: Albert Meijer (voorzitter) Marlies van Eck Maaike Harbers Roel Dobbe Michael Klenk

Blad: Datum: Kenmerk:

4/9 07-06-2022 22bo4032 I

Voor een verdere toelichting op de AAB wordt kortheidshalve verwezen naar het raadsvoorstel dat uw raad tegelijk met de voorliggende brief bereikt. 2.3 Uitvoeren IAMA's voor de categorie Hoog-risico algoritmes In onze brief uit februari hebben wij ervoor gekozen om voor het bepalen van de impact die een algoritme kan hebben, gebruik te gaan maken van de methodiek die in opdracht van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties is ontwikkeld door de Universiteit van Utrecht, het Impact Assessment Mensenrechten en Algoritmes (IAMA; de brief uit februari bevat een toelichting op dit instrument). Met behulp van de IAMA wordt in een aantal sessies een afgewogen discussie gevoerd tussen de relevante partijen bij de afweging om wel of niet een algoritmische toepassing te gaan ontwikkelen en vervolgens ook over de wijze waarop het algoritme gaat werken. Het is daarmee een verplicht onderdeel van de ontwikkeling en implementatie: het IAMA helpt om de gekozen ontwikkeling en implementatie op een verantwoorde wijze te doen doordat verbanden worden gelegd met relevante regels, instrumenten en toetskaders op het gebied van algoritmes. Het geeft daarmee antwoord op de vraag of de risico's opwegen tegen het doel waarvoor het hoog-risico algoritme eventueel gaat worden ingezet en welke beheersmaatregelen of aanpassingen in het algoritme mogelijk zijn. Betrokkenheid externe.

stakeholders bij het IAMA

Uw raad heeft bij motie ons college verzocht om ook relevante externe stakeholders (zoals bijvoorbeeld een cliëntenraad) te betrekken bij de ontwikkeling van algoritmes. Omdat het IAMA een proces is, waarbij op basis van een dialoog tussen professionals die werken aan de ontwikkeling of de inzet van een algoritmisch systeem gekomen wordt tot resultaten, kiezen wij ervoor om relevante externe stakeholders in één van de IAMA-sessies te betrekken bij het afwegingsproces. Omdat de opdrachtgever (proceseigenaar) uit de organisatie verantwoordelijk is voor het (laten) uitvoeren van het IAMA, is ook hij/zij verantwoordelijk voor het betrekken van (een) relevante en representatieve vertegenwoordiger(s) van de doelgroep die te maken (kan) krijgen met de. uitkomsten van het algoritme. Als college hechten wij sterk aan de factor 'representativiteit'. Daarom zullen in principe zoveel mogelijk 'institutionele' vertegenwoordigers worden betrokken, zoals cliëntenraden of gebruikerspanels. Per algoritme en dus per uit te voeren IAMA zal dit maatwerk zijn, omdat, zoals deeerste inventarisatie voor het algoritmeregister al laat zien, de domeinen en het soort algoritme sterk variëren. Op deze manier hopen wij te borgen dat alle relevante aandachtspunten en stakeholders bij de inzet van algoritmes tijdig en gestructureerd aan bod komen.

Ook wordt zo voorkomen dat algoritmes gebruikt worden waarvan de consequenties niet duidelijk zijn en worden de risico's op onzorgvuldigheid, ineffectiviteit of inbreuken op de rechten van burgers geminimaliseerd. Overigens benadrukken wij hierbij nogmaals dat computers en algoritmes niet eigenstandig beslissingen nemen in onze gemeentelijke

Blad: Datum: Kenmerk:

5/9 07-06-2022 22bo4032

werkprocessen. Ons uitgangspunt is dat een menselijke toets altijd onderdeel is van het werkproces waarin het algoritme wordt ingezet. 2.4 Awareness Werken en handelen vanuit de menselijke maat en met gevoel voor de (mogelijke) impact van instrumenten en gedrag van de individuele medewerker en/of een onderdeel van de organisatie is een belangrijk element in het werken met de uitkomsten van met behulp van algoritmes tot stand gekomen adviezen of beslissingen. Dat betekent dat we aan de voorkant van het proces met behulp van de ARA en de IAMA zorgvuldig analyseren of, hoe en waar een algoritme risico's bevat en hoe die gemitigeerd moeten worden. Hierbij zijn relevante actoren betrokken (zie 2.3) maar uiteindelijk vanzelfsprekend niet altijd alle eindgebruikers die werken met de resultaten van een algoritme. Daarom richt ons college zich ook op het vergroten van de awareness bij de medewerkers die het betreft. Op dit moment gebeurt dit door het houden van presentaties waarin aan afdelingen en teams wordt toegelicht wat algoritmes zijn, hoe en waar we ze toepassen, welke risico's er zijn bij het gebruik ervan en welke waarborgen we ingebouwd hebben. Uiteraard is er bij deze presentaties voldoende gelegenheid voor het stellen van vragen en het voeren van discussie.

Aanvullend op deze presentaties worden ook zogenaamde ronde tafel bijeenkomsten georganiseerd, waarbij een groepje medewerkers aan de hand van stellingen kan discussiëren over ethische dilemma's in de praktijk. 3. Moties en toezeggingen Zoals in de inleiding van deze brief al is aangegeven zijn in 2021 verschillende moties aangenomen en toezeggingen gedaan die betrekking hebben op het werken met algoritmes. Met de in de voorliggende brief geschetste aanpak hebben wij het vertrouwen dat wij in lijn met onze eerder geformuleerde zienswijze op het werken met algoritmes, de gewenste transparantie, oog voor de menselijke maat en het inbouwen van checks en balances in het proces een governance hebben 'staan' die ook voldoet aan de door de raad gewenste standaarden. De verschillende opdrachten uit de moties zijn in de voorgaande tekst en in de eerdere 'februaribrief' verwerkt, maar wij zullen de belangrijkste elementen hierna langslopen. Deze exercitie is reeds in de voornoemde brief in februari ook gedaan maar wordt hier herhaald en op onderdelen geactualiseerd: 1. Algoritmes begrijpelijk voor ambtenaren 21bb12335 -J.P. Postma (GroenLinks) Verzoekt het college te borgen dat ambtenaren die werken met hoog-risico algoritmen begrijpen op basis waarvan een algoritme tot een advies of besluit is gekomen en geen niet-uitlegbare hoog-risico algoritmen te gebruiken.

Reactie: met deze motie heeft uw raad verzocht om een traject te starten om de medewerkers die met (de resultaten van) algoritmes werken bewust te maken van de logica en de werking van algoritmes, de ethische aandachtspunten en de wijze waarop deze resultaten worden omgezet in besluiten of adviezen.

Blad: Datum: Kenmerk:

6/9 07-06-2022 22bo4032

Op deze wijze zal het bewustzijn moeten worden versterkt dat niet procedures, regels en machines leidend zijn, maar altijd het belang van de Rotterdammer voorop moet staan. Het organiseren en faciliteren van een intern awarenesstraject is één van de taken voor de nieuwe Algoritme Expert. Ook zal het deelnemen aan sessies in het kader van een /AMA bijdragen aan het begrip van de werking van een algoritme. De vraag of (de werking van) een algoritme uitlegbaar is, is expliciet onderdeel van de ARA. In paragraaf 2.4 is toegelicht op welke wijze het awarensstraject inmiddels een invulling krijgt. Dit zal de komende tijd nog aan de hand van de behoefte en de eerste ervaringen kunnen worden aangepast. 2.

Democracy is watching big brother 21bb12344- C.M. Zeegers (D66) Verzoekt het College onder andere de verslagen van de Algorithm Advisory Board direct na vaststelling naar de Raad te doen komen en de rekenkamer een vervolgonderzoek te laten doen.

Reactie: inmiddels is de AAB geinstalleerd. Zoals in paragraaf 2.2 is aangegeven is een werkwijze op hoofdlijnen vastgelegd die ook voorziet in de lijn tussen de AAB en de raad. De precieze werkwijze wordt in juni vastgelegd in het constituerend beraad, uiteraard binnen de begrenzingen van hetgeen in het Instellingsbesluit van de commissie is geformuleerd. Daarin is in ieder geval vastgelegd dat de Adviesraad jaarlijks een verslag aan de raad zal doen toekomen. Dit verslag zal altijd zijn voorzien van een reflectie door het college. De Rekenkamer heeft een vervolgonderzoek naar het werken met algoritmes in haar jaarplanning voor 2022 opgenomen. 3.

Algoritme & Ethiek functionaris 21bb12353 -B. van Noppen (NIDA) Verzoekt het college een algoritme & ethiek functionaris aan te stellen die continue toezicht moet houden op de algoritmes en het gebruik daarvan. Daarnaast wordt het college verzocht alle algoritmen waarvan onbekend is of ze ethische principes schenden of wat de gevolgen zijn te stoppen tot deze functionaris van deze algoritmen een beeld heeft geschetst.

Reactie: zoals in paragraaf 2. 1 is aangegeven is deze functionaris inmiddels geworven en sinds 1 maartjl. aan de slag. In de februaribrief hebben wij reeds aangegeven dat onze inventarisatie van de algoritmes geen algoritmes heeft opgeleverd die ethische principes schenden. Ook nadien zijn er geen algoritmes gevonden waar dit het geval is. 4.

Gemotiveerd en gebalanceerd algoritme gebruik 21bb12354-B. van Noppen

(NIDA) Verzoekt het college om het algoritmeregister uit te breiden met een motivatie en belangenafweging.

Reactie: het algoritmeregister zoals nu is ontsloten wordt nog verder ontwikkeld en uitgebouwd in lijn met de landelijke afspraken en (eventuele toekomstige)

Blad: Datum: Kenmerk:

7/9 07-06-2022 22b04032

verplichtingen die er zullen komen voor wat betreft de soort informatie die erin wordt opgenomen. De door u gevraagde informatie zal daar ook onderdeel van uitmaken (en afkomstig zijn uit de IAMA-sessies). 5. Digital non-harm 21bb12337 -A. van Zevenbergen (SP) Roept het college op te verzekeren dat burgers op geen enkele manier mogen worden geschaad via digitale wegen en dit te borgen in de dienstverlening naar de burger middels beroepsregels voor ambtenaren. Reactie: wij onderschrijven dat burgers op geen enkele manier mogen worden geschaad via digitale wegen. Dit hebben wij ook in onze brief uit september 2021 (21bb10819) aangegeven: de menselijke maat en de uitgangspunten zoals opgenomen in de Code Goed Digitaal Openbaar Bestuur, waarin opgenomen is welke waarden relevant zijn bij digitalisering voor het openbaar bestuur en waarop burgers overheidsorganisaties kunnen aanspreken, zijn leidende principes voor ons. 6. Vreemde ogen dwingen 21bb12339 -C.M. Zeegers {D66) Verzoekt het college te borgen dat bestaande structuren zoals cliëntenraden worden betrokken bij de ARA's. Reactie: bij de beschrijving van de ARA en de JAMA hebben we in de voorliggende brief geschetst hoe we aan deze betrokkenheid invulling willen geven.

Zoals in paragraaf 2.3 aangegeven is dit per algoritme maatwerk, aangezien zowel het (beleids)domein, het doel van het algoritme en het type informatie dat verwerkt wordt met behulp van het algoritme vaak zal variëren en dus ook per algoritme om een specifieke betrokkenheid van stakeholders uit de maatschappij vraagt. Daarbij zullen we steeds een relevante en representatieve (en idealiter ook geïnstitu'tionaliseerde) afvaardiging betrekken bij de IAMA's. 7. Proactief over algoritmes communiceren naar burgers 21bb12359- J.P. Postma (GroenLinks) Verzoekt het college burgers proactief te informeren wanneer een hen treffend besluit berust op een hoog-risico algoritme en hierbij in begrijpelijke taal de werking van het algoritme uit te leggen. Reactie: Bij het gebruik van algoritmes is het op grond van het motiveringsbeginsel een voorwaarde om transparant te zijn. Er zijn een aantal zaken welke openbaar gemaakt moeten worden. Denk hierbij aan de gebruikte gegevens en de gemaakte keuzes. Om deze reden is het algoritmeregister in gebruik genomen. In het algoritmeregister wordt in begrijpelijke taal de werking van het algoritme uitgelegd.

Blad: Datum: Kenmerk:

8/9 07-06-2022 22bo4032

Toezeggingen: 8. Communicatie over algoritmen 21bb12002 (16-9-2021) De wethouder zegt toe om de communicatie over algoritmen o.a. op de website voor de burger zo toegankelijk mogelijk te maken. Reactie: hierin is voorzien met de publicatie van het algoritmeregister. 9. Toetsing van algoritmen 21bb12003 De wethouder zegt toe bij de toetsing van algoritmen ook mensen met een 'andere bril' mee te laten kijken Reactie: hierin is voorzien in de procesinrichting van de !AMA. Zie ook de toelichting bij motie 21bb12339 (punt 6) hiervoor. Daarnaast is natuurlijk precies voor dit doel ook de AAB ingesteld. Deze heeft zelf ook de ruimte om desgewenst nog andere expertise in te huren.

Resumé Zoals hiervoor geschetst is de governance en het bijbehorende instrumentarium inclusief een externe adviesraad inmiddels grotendeels gerealiseerd. Het algoritmedossier is hiermee nog niet af, maar de governance staat op hoofdlijnen. De governance en de bijbehorende instrumenten blijven deels nog work in progress omdat een aantal kaders nog in beweging is: de Europese regelgeving moet nog definitief in werking treden en ook landelijk wordt nog gewerkt aan een aantal generieke instrumenten en richtlijnen. Ook zal de Autoriteit Persoonsgegevens, die in het regeerakkoord de rol van formele toezichthouder op dit domein toegewezen heeft gekregen, naar verwachting op termijn mogelijk nog met aanvullende kaders komen. Vanzelfsprekend is in de wijze waarop de governance nu is vormgegeven hierop al wel gepreludeerd en nauw afgestemd met de verschillende partijen (waaronder het ministerie van Binnenlandse Zaken en Koninkrijksrelaties, de VNG, de G4 en een aantal grote uitvoeringsorganisaties zoals de SVB, het UWV, de politie en het Kadaster) die hier op landelijk en Europees niveau mee bezig zijn. Rotterdam heeft een actieve rol in het landelijk programma Sturing op het werken met algoritmes. Ook zullen de adviezen van de AAB en het vervolgonderzoek van de Rekenkamer mogelijk weer nieuwe aandachtspunten met zich meebrengen.

Als college hebben wij het vertrouwen dat met hetgeen nu gerealiseerd en geimplementeerd is recht wordt gedaan aan de aanbevelingen van de Rekenkamer, de zorgen in uw raad en onze eigen opdracht om transparant en met de menselijke maat als uitgangspunt en leidend principe. Wij stellen u dan ook voor om met de toezending van deze brief en de eerdere brief uit februari (22bb1555) de openstaande moties en toezeggingen als afgedaan te beschouwen.

Blad: Datum: Kenmerk:

9/9 07-06-2022 22bo4032

Financiële en juridische consequenties/aspecten: De in de voorliggende brief geschetste aanpak en instrumenten kunnen in beginsel worden ingepast in de huidige begroting. Afhankelijk van de ontwikkelingen, bijvoorbeeld op technologisch gebied, en nieuwe vereisten vanuit wet- en regelgeving en/of adviezen van bijvoorbeeld de Algorithm Advisory Board, kan het zo zijn dat in de toekomst meer of andere inzet en/of capaciteit nodig is. Burgemeester en Wethouders van Rotterdam,

Bijlage(n):