[23bb005643] Bijlage 10 behorende bij 23bb5665 - Evaluatie Rapport Algoritme governance 2023

Het punt van menselijke tussenkomst is eveneens een zorgpunt van een andere respondent. Hierbij gaf deze aan dat: Als mensen slaafs de suggesties van de algoritmetoepassing volgen is het geen menselijke tussenkomst. Ondanks dat de ARA’s worden ingevuld in afstemming met de algoritme-expert, is de gedachtegang later niet te reconstrueren. Een voorbeeld hiervan is de beoordeling van de algoritmetoepassing ‘rechten voor Rotterdammers’. Hier is geen sprake van een besluit, het is een hulpmiddel voor de Rotterdammer om een aanvraag voor financiële hulp in te dienen. De menselijke tussenkomst zou je kunnen zien in het invullen van de vragenlijst door de Rotterdammer, de Rotterdammer die daadwerkelijk al dan niet een aanvraag doet (rechtstreeks menselijke tussenkomst tussen uitkomst algoritmetoepassing en effect) of in de ambtenaar die de daadwerkelijke aanvraag goed- of afkeurt (tussenkomst tussen het advies van de algoritmetoepassing en het besluit) óf je zou het kunnen zien als geen tussenkomst, omdat er geen ander persoon dan de invuller van de vragen meer tussen het invullen en de uitkomst van de vragenlijst zit. Ook blijkt dat in de praktijk de algoritmeexpert nog niet altijd betrokken is bij het invullen van de ARA – dit speelde zeker aan de start van de governance.

In de casus heronderzoeken is de ARA uitgevoerd door een data scientist van W&I, de adviseur data en ethiek en de projectleider. Dit is een punt van aandacht voor de algoritme-experts, om te zorgen dat zij goed gevonden worden. Onderdeel van dit probleem is de instabiliteit in de functie van algoritme-expert. Zo geeft een respondent aan dat er veel wijzigingen zijn geweest in het team en dat hij daardoor onzeker is over wat de algoritme-expert voor hem kan betekenen. Dit punt wordt verder

27

uitgewerkt in Taken, rollen en verantwoordelijkheden. Verder zijn er wisselende belevingen van de ARA in concreetheid en gebruiksgemak. Een respondent geeft aan dat het voor hem een helder en concreet instrument was, maar dat hij zich voor kan stellen dat het bij andere algoritmetoepassingen minder goed werkt. In de werkpraktijk zien de algoritme-experts en de adviseur data en ethiek, aan de hand van vragen die ze krijgen en knelpunten die zij zelf observeren, dat het voor andere situaties inderdaad soms minder werkbaar is.27 Zo worden er met regelmaat verduidelijkende vragen gesteld over de ARAvragen aan de algoritme-experts.

5.2.3 Conclusies en advies De ARA is in opzet aanwezig en in bestaan staat het grotendeels op poten. De werking is nog niet op het gewenste niveau, onder andere vanwege de interpretatieruimte die er aanwezig is. Concreet volgen er drie adviezen uit het voorgaande. Allereerst is het advies om de ARA-vragen aan te scherpen (bijv. betekenisvolle menselijke tussenkomst). Ten tweede is het van belang dat de redenatie achter de beantwoording beknopt vastgelegd wordt i.v.m. de overdraagbaarheid van de resultaten en de reconstructie van de beoordeling. Tot slot zou er voorzien kunnen worden in een kleine handleiding welke helpt om de vragen beter in te vullen/te duiden (bijv. wat wordt bedoeld met ‘de gemiddelde Rotterdammer’). De combinatie van de eerste en derde maatregel zou op termijn de afhankelijkheid van de adviseur data en ethiek (wiens functie op termijn verdwijnt, zie Taken, rollen en verantwoordelijkheden) verminderen, waardoor een ARA idealiter uitgevoerd kan worden door de algoritme-expert en de proceseigenaar.

O.a. werkoverleggen, mailverkeer e.d.

Vraagstelling nieuwe algoritmetoepassing – Hoofdstuk 5

29

6 Gegevens Voor het element ‘gegevens’ verbindt de governance zich met de privacygovernance en de gegevensmakelaars, DUBs en het SPIDER-framework (de datagovernance). Hieronder lichten we deze verbanden toe en evalueren we deze.

6.1

Connectie en rol privacy officers en functionaris gegevensbescherming

De algoritmegovernance is bedoeld als aanvullend op de bestaande governances, waaronder de privacygovernance (zie Huidige algoritmegovernance). Dit is echter niet overal expliciet gecommuniceerd en kan verwarring oproepen over de samenhang met, bijvoorbeeld, de privacygovernance. Dit zien we ook terug in de interviews, waarin aangegeven wordt dat niet altijd duidelijk is wat de rol van de privacy officer is wanneer er een algoritmetoepassing in het spel is.

6.1.1 PRA en DPIA In de interviews wordt aangegeven dat het doorlopen van een Privacy Risk Assessment (PRA) en een Data Protection Impact Assessment (DPIA) voor de privacy geleding een heel ander soort proces is dan gebruikelijk, wanneer het betrekking heeft op een algoritmetoepassing. Deze afwijking van de standaard wordt gemarkeerd door drie elementen: 1) Algoritmes zijn lastig te herkennen omdat ze verborgen zitten in bredere toepassingen; 2) De ontwikkeling van een algoritmetoepassing vraagt om een ander soort betrokkenheid van de FG en de privacy officers; 3) Er is onvoldoende kennis over het onderwerp en men is onvoldoende op de hoogte van de mogelijke ondersteuning door de algoritme-experts.

30

Gegevens - Hoofdstuk 6

Hieronder bespreken we deze elementen wat uitgebreider. Ten eerste het kunnen herkennen van algoritmes. Hierbij geven interviewees uit de privacygeleding aan dat er naar hen toe goed gecommuniceerd dient te worden of een voorliggende casus een algoritme dan wel een algoritmetoepassing betreft. Ook wordt er voorgesteld om een expliciete vraag toe te voegen aan de PRA of het een algoritme of algoritmetoepassing betreft. Dit is reeds onder handen bij de algoritme-experts. Dit probleem beperkt zich echter niet tot de privacy officers, maar wordt getypeerd als een waterbedprobleem van enerzijds de gevolgen van onvoldoende awareness in de gehele organisatie, anderzijds van de experimentele ontwikkeling van algoritmetoepassingen. Een respondent schetst: We snappen het niet en vinden het daardoor vaak eng. Het probleem begint ermee, dat in de DPIA de opstellers het al niet snappen. Daardoor schatten zij de risico’s niet goed in. (…) De mensen die de algoritmen ontwikkelen hebben geen idee van de implicaties omdat ze nog aan het puzzelen zijn met de gegevens die ze nodig hebben, enzovoort. Daarbij wordt ook aangegeven door de respondenten dat naar hun beleving de nul-optie (geen algoritmetoepassing) niet altijd grondig onderzocht is. Dit werkt door in een vraagstelling aan de ontwikkelaars en uiteindelijk in de algoritmetoepassing die ontwikkeld wordt.

De vraag moet ook niet zijn: wat voor soort algoritme? Het moet ook een optie zijn om niet voor een algoritme te kiezen.

Dat er een algoritme moet komen is vaak al bedacht. (…) De gekozen oplossing is vaak niet geschikt. Systemen worden vaak voor het een gebouwd en gebruikt voor het ander. Ik vraag me vaak af, waarom wordt er voor een algoritme gekozen? De nul-optie en waarom daar niet voor gekozen is, is vaak onduidelijk. En pas veel later kom je aan de vraag toe: werkt het algoritme wel goed? Ten tweede wordt door respondenten benoemt dat de ontwikkeling van algoritmetoepassingen een ander soort betrokkenheid vragen van de privacy-geleding, normaliter voeren zij een systeemtoets uit en houden zij zich niet bezig met de ontwikkeling. Dit vraagt een ander soort verhouding ten opzichte van de materie. Bij de ontwikkeling van algoritmetoepassingen wordt er een actievere bijdrage verwacht van de privacy officers. Waar er voorheen volstaan kon worden met een systeemcheck, wordt de privacy officer nu soms betrokken in de ontwikkeling om al doende vorm te helpen geven aan een algoritmetoepassing. De vorm en inhoud van het werk verandert daardoor ten dele. Ten derde wordt er aangegeven dat de privacygeleding nog onvoldoende kennis bezit om met vertrouwen over algoritmetoepassingen, waarin persoonsgegevens gebruikt worden, te adviseren. Daarbij wordt ook aangegeven dat de algoritme-experts nog niet bekend zijn bij de privacy officers en daardoor onvoldoende gevonden worden.

De privacy officers van de clusters hebben meer informatie nodig over het hoe/wat van algoritmetoepassingen als zij een DPIA op een van deze toepassingen uitvoeren. Een andere respondent geeft hierover aan dat zij zich voldoende comfortabel voelt om advies uit te brengen over algoritmes, zij heeft zich het onderwerp eigen gemaakt. Aanwezige kennis lijkt dus sterk persoonsafhankelijk en is nog niet breed gedragen aanwezig in de privacygeleding. Een algemene training voor de privacy officers met uitleg over begrippen en het proces

van ophalen van de gegevens tot modelontwikkeling en output, is hierbij wenselijk.

6.1.2 Derde lijn voor algoritmetoepassingen met persoonsgegevens Tot slot wordt er in de interviews aangegeven dat het wenselijk is om de derde lijnsfunctie van de FG expliciet te benoemen in de algoritmegovernance (voor algoritmetoepassingen waarin persooonsgegevens gebruikt worden). Dit kan de verbinding met de privacygovernance explicieter maken.

6.1.3 Conclusies en advies In opzet is duidelijk gemaakt dat de privacygovernance onverminderd van kracht is en blijft wanneer er algoritmetoepassingen in het spel zijn. Het bestaan hiervan wordt echter niet op alle plaatsen in de privacy-geleding geeffectueerd. Daardoor is de werking ook nog niet op het gewenste niveau. Aan de experimentele aspecten van de ontwikkeling van algoritmetoepassingen is wellicht weinig winst te behalen op het vlak van een gestroomlijnder PRA/DPIA-proces. Wel is er veel winst te boeken op het vlak van awareness en de herkenning van algoritmes en algoritmetoepassingen en hun mogelijke risico’s. Dit kan ook de onderbouwing voor het afwijken ten opzichte van de nul-optie vergemakkelijken. Ook dienen de privacy officers beter ondersteund te worden in hun rol door de algoritme-expert. Deels kan hier gedacht worden aan een (periodieke) training en kennisoverdracht, anderzijds kan er ook een slag gemaakt worden bij het aanleveren van een beknopte handreiking voor de privacy officers over algoritmetoepassingen. Daarnaast is het belangrijk om de verandering van de betrokkenheid van de privacy officers bij de

Gegevens – Hoofdstuk 6

31

ontwikkeling van algoritmetoepassingen te monitoren en waar noodzakelijk te ondersteunen en te formaliseren. Dit laatste vereist naar verwachting echter een hogere volwassenheid en geoefendheid dan momenteel gerealiseerd is op dit thema. Op termijn zal dit wel realiseerbaar zijn. Er worden door sommige respondenten wensen geuit om de verschillende governances (datagovernance, algoritmegovernance, privacygovernance) steviger te integreren. Dit zou de derde lijnsfunctie van de FG ten goede komen voor wat betreft algoritmetoepassingen waar persoonsgegevens een rol spelen. Vooralsnog is de algoritmegovernance complementair bedoeld aan de andere governances. Op papier is de rol van de FG voor algoritmetoepassingen met persoonsgegevens als derde lijn dus belegd. Wel kan een explicietere benoeming hiervan in de algoritmegovernance, met verdere verwijzing naar de privacygovernance, gezien het volwassenheids- en bewustwordingsniveau in de privacy-geleding, helpen om de urgentie van dit thema verder onder de aandacht te brengen en sterker te verankeren. Wanneer de huidige complementaire opzet gehandhaafd wordt, zou overwogen kunnen worden om explicieter te verwijzen naar de privacygovernance en de rol van de FG hierin, wanneer er gesproken wordt over de derde lijn van de algoritmegovernance.

Vanuit een respondent uit de privacy-geleding wordt aangegeven dat het onduidelijk is welk algoritmespecifiek kader er binnen Rotterdam gehanteerd wordt. De AVG is een parapluwetgeving met open normen, maar hierbij is zij zoekende naar specifiekere normen. Ook het privacyframework voor datagedreven werken is hierbij te abstract. Een vastgesteld beleidskader voor de gemeente Rotterdam zou hierbij helpen. Door deze respondent wordt tevens benoemd dat er sprake is van onvoldoende duidelijkheid over verantwoordelijkheden,

32

Gegevens - Hoofdstuk 6

waardoor eigenaarschap ontbreekt. Hierdoor is het lastig de juiste mensen te spreken bij de diverse organisatieonderdelen. De implementatie van het DUB (Data Usage Board) zou hierin een oplossing kunnen bieden, dit zou een mooi beginpunt zijn om alle adviezen op te halen en te bepalen wie waarvan is, om goede afspraken te maken. Ook zou de AAR mogelijk een rol kunnen spelen bij toekomstige hoogrisico algoritmes, om hierover te adviseren vanuit een extern perspectief.

6.2

Connectie en rol gegevensmakelaars en DUB

Binnen de organisatie spelen gegevensmakelaars een grote rol in het bij elkaar brengen van de relevante expertises bij nieuwe datatoepassingen en het hergebruik van data. De disciplines worden bij elkaar gebracht in een eerdergenoemd Data Usage Board (DUB). Een DUB is een adviesorgaan waarin alle partijen bij elkaar gebracht worden, die iets moeten vinden van een gegevenslevering en gegevensverwerking. Deze partijen worden omschreven met het acroniem SPIDER (Security, Privacy, Informatiebeheer, Datamanagement, Ethiek (en algoritmes), Rotterdam). Voor het stuk wat van toepassing is op algoritmetoepassingen, kan de algoritme-expert betrokken worden. De adviezen van een DUB worden gedocumenteerd. De proceseigenaar kan ervoor kiezen om deze adviezen wel of niet op te volgen, maar dit moet wel vastgelegd worden. Ook worden de adviezen van het DUB vastgelegd in de gegevensleveringsovereenkomst (GLO). De implementatie van de DUB-werkwijze is op niet-invasieve wijze verlopen. De respondenten geven aan dat deze daarom niet overal even sterk gevolgd wordt, ook doordat het DUB ‘zich nog niet heeft bewezen’. Voor de algoritmegovernance is met name relevant dat de gegevensmakelaars en de DUBs op moment van de evaluatie weinig bekendheid genieten bij team AA, waar veel algoritmes ontwikkeld

worden. Begin juli 2023 is er een kennissessie gepland bij team AA om dit onder de aandacht te brengen. Momenteel zijn er via de DUBs enkele algoritmetoepassingen opgespoord. De verwachting is dat wanneer er meer volwassenheid is rondom de DUBs, dit wel het geval kan zijn. Ook zijn er mogelijkheden om op de intersectie algoritmetoepassingen/datatoepassingen en datahergebruik op te trekken met de gegevensmakelaars om de bewustwording en bekendheid in de organisatie samen te verhogen.

6.2.1 Gegevensleveringsovereenkomst (GLO) De gegevensmakelaar geeft aan dat er weinig informatie opgenomen is over algoritmetoepassingen. Er is enkel een open veld en het vereist

over wat een algoritmetoepassing inhoudt, hoe deze te herkennen zijn en welke mensen in de algemeenheid (veelal) vragen kunnen beantwoorden over een algoritmetoepassing. Idealiter nemen we de registratie van (basis)informatie meteen mee in de formulieren t.b.v. de latere registratie in het algoritmeregister. Door een betrokken respondent wordt tevens aangegeven dat er de mogelijkheid bestaat om algoritmetoepassingen in de gegevenscatalogus op te nemen (al dan niet met een doorverwijzing naar het algoritmeregister). Er zal verkend moeten worden of dit een nuttige toevoeging is om algoritmetoepassingen inzichtelijker te krijgen in de organisatie, zeker met oog op eventueel hergebruik.

veel interpretatie van de gegevensmakelaar om te doorgronden of er sprake is van een algoritmetoepassing. Tevens wordt er een op de governance afwijkende definitie van ‘algoritme’ gehanteerd, welke aangepast dient te worden. Binnen de GLO zijn de ARA-vragen opgenomen, bij een herziening van de ARA dient ook deze geüpdatet te worden.

6.2.2 Conclusies en advies In opzet zijn de DUBs een enorm belangrijk knooppunt om algoritmetoepassingen op te sporen en te beheersen. Qua bestaan wisselt het sterk in hoeverre de DUBs uitgevoerd worden per plaats in de organisatie. Daarmee is de werking ook nog beperkt voor de algoritmegovernance, omdat belangrijke spelers, zoals team AA, hier nog weinig mee doen. Hier worden reeds stappen in gezet om dit te verbeteren. De gehanteerde definitie in het GLO-formulier moet gesynchroniseerd worden met de geldende definitie vanuit de governance, ditzelfde geldt voor een herziening van de ARA-vragen. Daarnaast is het wenselijk om een korte toelichting aan te leveren aan de gegevensmakelaars

Gegevens – Hoofdstuk 6

33

7 Algoritme Gegevens staan niet op zichzelf binnen een algoritmetoepassing. Ze worden door een algoritme gebruikt om een bepaald resultaat met een mogelijke impact te genereren. Als we het hebben over de inrichting van het algoritme en mogelijk noodzakelijke mitigerende maatregelen vaststellen zijn twee instrumenten van belang in de aanpak van de gemeente Rotterdam: het IAMA (Impact Assessment Mensenrechte en Algoritmen) en DEDA (De Ethische Data Assistent).

7.1

IAMA

Het Impact Assessment Mensenrechten en Algoritmen is een in opdracht van het Ministerie van Binnenlandse Zaken door de Universiteit Utrecht ontwikkelde tool. De tool faciliteert een gedegen gesprek over de risico’s van algoritmegebruik ten opzichte van fundamentele rechten. Binnen Rotterdam is het IAMA verplicht bij hoog-risico algoritmetoepassingen.

7.1.1 Hoe gaat het op papier? Het IAMA is gekozen ter invulling van de in de algoritmegovernance beschreven AIA (Artificial Intelligence Assessment). Een IAMA wordt doorlopen als uit de ARA blijkt dat er sprake is van een hoog-risico algoritmetoepassing (zie afbeelding 2.). De eisen aan de AIA werden destijds als volgt omschreven:28 Inhoud: Voor nu geldt dat een AIA tenminste uit de volgende onderdelen bestaat (opzet in lijn met DPIA): 1. Een omschrijving van de algoritmetoepassing

28

Wierenga, Wubbo, Verbeek, Wouter, Al-Saqaff, Mariam (Berenschot) Governance voor de verantwoorde toepassing van hoogrisico-algoritmen in de gemeente Rotterdam. Juli 2021.

34

Algoritme - Hoofdstuk 7

aan de hand van het onderscheid tussen gegevens, algoritme, resultaat en impact. 2. Een omschrijving van de precieze risico’s aan de hand van het onderscheid tussen gegevens, algoritme, resultaat en impact (een verdieping van de ARA). 3. Een overzicht van beheersmaatregelen op basis van de risico’s. 4. Een planning van de maatregelen. Proces: De AIA vormt de kern van de aanvullende governance voor hoog-risico-algoritmetoepassingen. Belangrijk is dat de AIA voor iedere hoog-risico-algoritmetoepassing een eigen risicoanalyse en beheersmaatregelen bevat. Daarmee wordt de AIA gericht op de specifieke risico’s van een algoritmetoepassing. De aanvullende governance van hoog-risico-algoritmetoepassing is daarmee nooit een ‘one size fits all’-benadering, maar steeds gericht op de specifieke risico’s van een toepassing. Een belangrijk kenmerk van de beheersmaatregelen in de AIA is dat ze een cyclisch karakter hebben, waardoor een algoritmegovernance-cyclus ontstaat. Voor de hand ligt om op basis van de risico’s en beheersmaatregelen het controlestelsel van de gemeente Rotterdam te hanteren (pagina 32 van de kadernota Sturen en Verantwoorden 2020). In het algoritmeregister wordt geregeld dat er automatisch een signaal uitgaat wanneer een algoritmetoepassing opnieuw beoordeeld moet worden.

De IAMA volgt niet de Rotterdamse verdeling in

licht is aansluiting bij een landelijk instrument

gegevens, algoritme, resultaat en impact. Er vol-

ook zeer waardevol.

gen wel acties en beheersmaatregelen uit het doorlopen van de IAMA, maar deze zijn niet (vanuit de tool zelf) risico-gebaseerd en gaan volgens respondenten ook niet altijd even diep in op de Rotterdamse vierdeling van een algoritmetoepassing. Wel is het zo dat de IAMA een fundamenteel aspect is voor de governance van hoog-risico algoritmetoepassingen in Rotterdam. Het IAMA richt zich specifiek op risico’s in licht van fundamentele- en mensenrechten. Daarmee is het, mogelijk, een specifiekere interpretatie van de identificatie van mogelijke risico’s. Tevens biedt de IAMA impliciet een brede blik op de algoritmetoepassing, omdat het breder kijkt naar o.a. de data, het algoritme, de toepassing en de vraagstelling. De verschillende onderdelen van de

7.1.2 Hoe gaat het in de praktijk? Het instrument wordt als positief ervaren, het belicht diverse onderdelen en de sessies worden professioneel begeleid. In een van de interviews wordt door een deelnemer aangegeven dat door de IAMA bewuster naar het eigen proces gekeken wordt en dat de kritische vragen vanuit de IAMA welkom zijn. Door een facilitator wordt aangegeven dat er meer vertrouwen is in de ontwikkeling van een ethische algoritmetoepassing wanneer alle actiepunten uit een IAMA verwerkt zijn: Het is nooit perfect, maar dan heb je je afwegingen in elk geval vastgelegd. Het kan later altijd veranderen, maar dan weet je in elk geval wat toen de gedachtegang was.

IAMA zijn: -

Waarom? o Beoogde effecten; o Doelstellingen; o Randvoorwaarden;

-

Wat? o Data – input o Algoritme – throughput;

-

Hoe? o o

-

Implementatie; Gebruik en toezicht – output;

Mensenrechten.29

Tot slot is IAMA één van de landelijke standaardinstrumenten geworden om dit thema te bespreken, daar het ook aangereikt wordt vanuit BZK. Zoals een respondent aangeeft: ‘je doet het Rotterdam-specifiek als het er landelijk nog niet

Er zit per casus een groot verschil in hoe serieus de IAMA genomen wordt. Bij één van de geïnterviewden was de IAMA overgekomen als een uitgebreid, vrijblijvend interview waarbij de nadruk vooral lag op het hebben van een gezellig gesprek. In andere gevallen wordt de IAMA juist ervaren als een ‘moetje’, zeker wanneer er tijdsdruk staat om een algoritmetoepassing op te leveren, al bleek ook zulke gevallen uiteindelijk veel toegevoegde waarde te zitten in de IAMA aldus respondenten. Voor ontwikkelaars is de toegevoegde waarde van de tool vaak sneller zichtbaar, zeker wanneer zij geen goed gevoel hebben over een algoritmetoepassing. Zo merken respondenten op dat het hen helpt om te onderbouwen waarom ze wel of niet door kunnen gaan met de ontwikkeling van een algoritme:

is. Je wil liever landelijk, of zelfs Europees’. In dit

29

IAMA.

Algoritme – Hoofdstuk 7

35

Afbeelding 2. Governance t.o.v. het IAMA en DEDA.30

30

Programma DGW. Governance van hoog risico algoritmetoepassingen. Februari 2022.

minimaal ervaren. Voor de onderdelen die te[Het is] belangrijk om met z’n allen, dus alle stakeholders, vast te stellen waar ethische vraagstukken zitten en met elkaar te beslissen: willen we die nemen met de genoemde maatregelen. De conflicten moeten duidelijk naar voren komen en de uiteindelijke keuzes met onderbouwing en acties moeten erin staan. Voor anderen kan het soms als een ‘check’ op een afvinklijstje voelen. Ook werd in een van de interviews benoemd dat er veel diverse interpretaties mogelijk zijn van de IAMA-vragen, dat het soms, net als de wet, een grijs gebied is. Dit vereist een goede begeleiding. Zo schetst een respondent: Er moet iemand meekijken die inhoudelijk kritisch kan zijn met meer een audit rol. Dit hoeft niet tijdens de IAMA te zijn, maar mag ook bijvoorbeeld los achteraf gebeuren. Dit wordt ook onderstreept door andere respondenten die betrokken zijn geweest bij IAMA sessies: “Niet elk antwoord is goed”. Zo is er onder respondenten bijvoorbeeld de wens dat de algoritme-expert of de AAR een beoordelende rol krijgt op de invulling van de IAMA. Voor wat betreft de samenstelling van de groep deelnemers voor een IAMA wordt er door een begeleider opgemerkt dat de proceseigenaar veelal ontbreekt en slechts vertegenwoordigd wordt door bijvoorbeeld een projectleider.

Een respondent geeft aan dat de aanwezigheid van de opdrachtgever erg belangrijk is bij het IAMA. De gebruikers van een toepassing worden meestal ook vertegenwoordigd, bijvoorbeeld

vens voorkomen in de DPIA kan vanuit de privacy officer worden doorgevraagd vanuit het expertisegebied. De FG kan eventueel aansluiten, maar in de meeste gevallen is dit niet nodig, aangezien er bij persoonsgegevens ook al een DPIA gedaan wordt. Een respondent die deelnam aan een IAMA-sessie gaf aan dat er in diens sessie een gebrek was aan ontwikkelaars onder de deelnemers: “Zonder mensen die technisch kunnen meepraten voelt de IAMA meer als interview waarin het perspectief van bijvoorbeeld de projectleider wordt gevraagd”. De inbedding van IAMA in het ontwikkel- en implementatieproces schuurt soms met de vorm voor wat betreft concrete actiepunten. Een facilitator zegt hierover: Bij de IAMA zit een standaard actielijst er nog niet in. Bij de IAMA is er ook nog niet een acceptatieproces bij dat de openstaande actiepunten of geaccepteerd worden als risico of afgerond. Dit zou geïntegreerd kunnen worden in een ready-for-service DUB, maar die zijn nog niet georganiseerd. Dan wordt er gecheckt of alles wat uitstaat is opgelost en afgevinkt. Vanuit respondenten wordt aangegeven dat het tegenstrijdig voelt om in een vastleggingsdocument acties vast te leggen. Zij zien wel mogelijkheden om de verwerkte acties hierin op te nemen, zodat er tussentijdse updates aan de IAMA plaatsvinden.

Het gebrek hieraan maakte dat het voor deze respondenten voelde als een invuloefening “omdat het moet”. De acties worden wel bescheven, maar krijgen onvoldoende opvolging in het project.

door een teamleider, maar zijn zelf veelal niet aanwezig. “Dat is niet altijd nodig, maar soms mis je ze [de gebruikers] wel echt”. Door de privacygeleding wordt de rol tijdens het IAMA als

Naast (mogelijke) tussentijdse updates aan de IAMA voor het verwerken van afgeronde acties is er ook sprake van een periodieke herziening

Algoritme – Hoofdstuk 7

37

van de IAMA. Dit wordt gekoppeld aan de standaard check vanuit het algoritmeregister. De ambitie is om hiervoor automatische herinneringen te realiseren, dat is momenteel nog niet het geval.

eisen (de AIA) zijn niet geheel sluitend. Tevens zijn er enkele verbeterpunten, bijvoorbeeld het beter borgen van de uitkomsten van een actielijst. Het IAMA is niet geheel conform de initiële wen-

Tot nu toe wordt de IAMA met name gebruikt voor algoritmetoepassingen die reeds in gebruik zijn. Een IAMA begeleider geeft aan dat er inmiddels een IAMA loopt bij een algoritmetoepassing welke in ontwikkeling is, “dat is hoe het zou moeten”. Het is inmiddels ook bij twee inkoopprocessen meegenomen, maar dit is nog geen standaard. Momenteel wordt er gewerkt aan inkoopvoorwaarden voor algoritmetoepassingen waarin voor hoog-risico algoritmetoepassingen medewerking aan de IAMA tevens verplicht gesteld wordt.

senlijst vanuit de AIA. Wel is het nu een landelijk

De timing van de IAMA bij inkoop is nog wel een punt van aandacht, volgens een IAMA begeleider:

een als een hoepel voelt waar ze doorheen moeten springen in plaats van een vitaal onderdeel van verantwoord algoritmegebruik. Hier valt

veelgebruikt instrument wat overwegend als positief en helpend ervaren wordt. Het helpt om kritischer naar algoritmetoepassingen te kijken, knelpunten te identificeren en te mitigeren. Daarmee is er wellicht enige mismatch tussen opzet (AIA) en bestaan (IAMA), maar is er wel (grotendeels) de beoogde werking die uitgaat van het ingezette instrument. Wel zien we dat er verschillende attitudes leven onder de deelnemers, waarbij het soms voor de

wellicht nog een verbetering te maken in de Bij inkoop is het wel lastig of het IAMA het beste voor of na de aanbesteding/inkoop kan worden uitgevoerd. Is het slim om het bij het opstellen van een programma van eisen op te nemen (is dat dan alleen ‘wees bereid om een IAMA te doen’, of is er een IAMA bij elke leverancier voordat je kiest voor één)? De ene optie is heel tijdrovend. Bij de andere optie zit je misschien vast aan iets wat misschien al hele fundamentele keuzes maakt. Het proces van IAMA bij inkoop en wanneer dat in de tijd passend is, moet nog echt goed uitgezocht worden. En men herkent dus ook niet altijd dat er een algoritme in het spel is. Hier zal nader onderzocht moeten worden wat hierin pragmatisch en wenselijk is.

7.1.3 Conclusies en advies Het IAMA is in opzet en uitvoering gerealiseerd. De werking ervan ten opzichte van de originele

38

Algoritme - Hoofdstuk 7

communicatie. Er is behoefte aan een ‘check’ op de IAMA. Wellicht zou dit belegd kunnen worden bij de algoritme-expert als tweede lijn, of bij een in te richten derde lijn. De AAR is door respondenten ook geopperd, maar heeft geen toezichthoudende taak. Een continu aandachtspunt bij het organiseren van IAMA-sessies is om de goede set aan deelnemers te creëren. Een bijzondere uitdaging hierbij is het betrekken van de proceseigenaren. Wellicht kan er gedacht worden aan het opstellen van een minimale set aan deelnemers voor een IAMA-sessie, zodat dit geformaliseerd kan worden. Het hoe om te gaan met het opnemen van (verwerkte) acties in de IAMA verdient meer aandacht. De algoritme-experts kunnen samen met

de adviseur data en ethiek hierbij eventueel een voorzet maken voor een werkwijze waarop dit in goede banen geleid kan worden. Er wordt nu handmatig voorzien in een periodieke herziening van de IAMA bij algoritmetoepassingen, de ambitie is om dit op termijn automatisch in herinnering te brengen middels automatsering in het algoritmeregister. Dit dient nog gerealiseerd te worden. Tot slot moet er door de algoritme-experts samen met Inkoop gekeken worden naar de positie van IAMA in de tijd bij inkoopprocessen van algoritmetoepassingen. Dit is reeds onder handen bij de algoritme-experts.

7.2

DEDA

De Ethische Data Assistent is een gesprekstool, ontwikkeld door de Utrecht Data School, om op gestructureerde wijze een gesprek over ethisch datagebruik te voeren. Binnen Rotterdam wordt de DEDA gebruikt bij datatoepassingen met (mogelijke) ethische knelpunten en in een voorkomend geval bij laag-risico algoritmetoepassingen.

7.2.1 Hoe gaat het op papier? Na het uitvoeren van de ARA kan er bij laag-risico algoritmen gekozen worden om eventueel een DEDA te doen. Dit staat beschreven in de algoritmegovernance (zie ook afbeelding 2.)

7.2.2 Hoe gaat het in de praktijk? DEDA wordt meestal niet toegepast bij algoritmetoepassingen. Er zijn echter wel uitzonderingen op de regel, aldus een DEDA- en IAMA begeleider: Toevallig heb ik gisteren een gesprek met iemand gevoerd over algoritmetijdsreeksen. Het is geen hoog-risico algoritme. Het gaat geen besluiten nemen. Er

zitten geen persoonsgegevens in, maar voor de zekerheid willen ze wel graag een DEDA. Het is hier voor de extra, extra, zekerheid. Dit cluster heeft veel commotie meegemaakt rondom algoritmetoepassingen en ze willen heel graag een extra toetsing, meer ter geruststelling. DEDA wordt ervaren als een praktische tool. Zo noemt een begeleider het erg prettig dat het bijvoorbeeld een actielijst genereert aan het eind van de tool, waardoor het erg makkelijk werkt voor de betrokkenen omdat er concrete vervolgstappen naar voren komen.

7.2.3 Conclusies en advies Er wordt voor de DEDA bij algoritme-toepassingen het gangbare proces voor DEDAs in het kader van dataprojecten gevolgd. Dit proces is opgezet, bestaat en werkt goed. Voor het stukje algoritmetoepassing bij de DEDAs wordt er aangegeven dat het soms lastig te bepalen is of er sprake is van een algoritmetoepassing en wanneer er dus een DEDA of een IAMA gedaan kan worden. Een aanscherping van de definitie kan hierbij helpen volgens een betrokken DEDA- en IAMA begeleider: Het is een complexe definitie. We moeten breed zijn. Maar het moet niet zo breed zijn dat we over alles gaan twijfelen. Exclusies kunnen helpen maar dat is soms ook lastig. Het is gewoon soms lastig te herkennen vanuit communicatiedoeleinden: hoe kunnen we mensen laten herkennen wat een algoritmetoepassing is? Deze aanscherping (aan het begin van deze evaluatie uiteengezet) is inmiddels onder handen bij de algoritme-experts, daarover wordt gezegd dat een scherpere afbakening van wat wel/niet onder algoritmetoepassingen valt, helpt om de toepasselijkheid van verschillende tools beter in te kunnen schatten. De algoritme-experts nemen

Algoritme – Hoofdstuk 7

39

dit mee. Een aangescherpte definitie is in mei vastgesteld door de stuurgroep algoritmen.

40

Algoritme - Hoofdstuk 7

8 Resultaat Het is belangrijk om helder te hebben wat de meerwaarde van een algoritmetoepassing is. De resultaten en de doelstelling spelen hier een grote rol bij, samen met de impact. Rotterdam wil transparant zijn over waarom zij algoritmetoepassingen inzet, hiervoor maakt zij gebruik van een algoritmeregister. De registraties in het register worden periodiek geëvalueerd. Daarnaast roept de ambitie van transparante en verantwoorde omgang met algoritmetoepassingen ook vragen over de inkoop van algoritmetoepassingen op. In dit onderdeel besteden we daarom aandacht aan het algoritmeregister, het beheer en de evaluatie van de registraties en aan de inkoop van algoritmetoepassingen.

8.1

Algoritmeregister

De gemeente Rotterdam streeft ernaar om haar algoritmetoepassingen vast te leggen in een algoritmeregister. Zij loopt hiermee voor op de aankomende landelijke verplichting. In Rotterdam is er sprake van twee soorten algoritmeregisters: een intern register waar alle algoritmetoepassingen in opgenomen worden en een extern register waar vanuit de governance oorspronkelijk alleen hoog-risico algoritmetoepassingen in gepubliceerd (zouden) worden. Deze laatste categorie wordt ook opgenomen in het landelijke algoritmeregister. Hierbij gelden de volgende twee opmerkingen: in het verleden zijn er ook enkele laag-risico algoritmetoepassingen extern gepubliceerd. In een doorkijk naar de toekomst is er ook de toezegging gedaan om ook laag-risico algoritmetoepassingen te publiceren in het externe register (Q4 2023).31

8.1.1 Intern en extern register Momenteel zijn er 33 (incomplete) registraties in het algoritmeregister. In één geval bleek het na registratie niet om een algoritmetoepassing te gaan. Van deze 33 zijn er 6 in het externe register gepubliceerd. Van deze extern gepubliceerde algoritmetoepassingen is er 1 hoog-risico. De overige registraties in het externe register betreffen laag-risico algoritmetoepassingen.

8.1.2 Registratie De start van de registratie vindt plaats als er geconstateerd wordt dat er sprake is van een algoritmetoepassing. Dit is echter wel een uitdaging omdat de organisatie nog beperkt bewustzijn heeft van algoritmetoepassingen (zie ook Awareness). Immers, als men niet weet dat ze met algoritmetoepassingen werken, zullen ze deze ook niet melden en worden ze niet geregistreerd. Hier ligt een bredere taak voor de gemeente Rotterdam. Een kans om hierin te voorzien is om aan te sluiten bij de Data Academie binnen het programma DGW om het algoritmebewustzijn in de organisatie te verhogen. De beperkte awareness is ook terug te zien in de allereerste uitvraag. Deze werd uitgezet bij onder andere de SIA’s en zocht naar ‘slimme algoritmes’. Deze leverde beperkt resultaat (ca 20 algoritmetoepassingen) op, maar de precieze hoeveelheid is niet terug te vinden in de documentatie. De gedeelde verwachting onder de algoritme-experts is dat we momenteel veel algoritmetoepassingen missen (bijvoorbeeld ingekochte algoritmetoepassingen, decision trees e.d.). Momenteel worden er twee sporen bewandeld door de algoritme-experts om

31

Toezegging M2211-845. 11 april 2023.

Resultaat – Hoofdstuk 8

41

algoritmetoepassingen in beeld te krijgen. Enerzijds worden bestaande algoritme(toepassinge)n uitgevraagd op verschillende plekken in de operatie. Hier wordt momenteel een uitvraag gedaan, dan wel aangehaakt bij: - Het register van verwerkingen; - De gegevensmakelaars; - Advanced analytics; - De strategisch informatieadviseurs. Tevens wordt er vergeleken ten opzichte van een voorbeeldenbibliotheek en het landelijke register of er geen gelijksoortige algoritmetoepassingen missen in de Rotterdamse context. Tegelijkertijd wordt gekeken hoe algoritmetoepassingen structureel in een vroeg stadium op de radar komen. Hiervoor worden momenteel gesprekken gevoerd en afspraken gemaakt met inkoop voor wat betreft binnenkomende algoritmetoepassingen en inkoopvoorwaarden. Tevens zijn er gesprekken met de gegevensmakelaars om aan te haken bij de DUBs en eveneens gesprekken om bij demand en supply aan te sluiten. In juli 2023 is dit alles – met uitzondering van de inkoopvoorwaarden – gerealiseerd. Er is dus enerzijds sprake van een inhaalslag bij de inventarisatie middels een uitvraag en tegelijkertijd beweging om structureler algoritmetoepassingen in beeld te kunnen krijgen. Wanneer een (idee voor een) algoritmetoepassing in beeld is wordt er een ARA uitgevoerd, welke een risico-inschatting geeft (laag of hoog).

Het algoritme wordt dan opgenomen in het interne register (laag/nog in ontwikkeling) of beide registers (hoog/in gebruik) door de algoritme-expert. Hiervoor worden de relevante velden op eenduidige wijze ingevuld in het register zodat de juiste informatie beschikbaar is. Er is hierbij in het verleden gekozen om ook de laagrisico algoritmen op te nemen in het interne register, enerzijds om een geheugen op te bouwen in de organisatie (en dus niet telkens opnieuw

32

42

Toezegging M2211-845. 11 april 2023.

Resultaat - Hoofdstuk 8

dezelfde laag-risico algoritmen opnieuw te classificeren), anderzijds omdat men zich realiseert dat algoritmetoepassingen over tijd kunnen verschuiven (bijvoorbeeld van idee tot daadwerkelijke realisatie). Inmiddels is er ook een toezegging gedaan dat laag-risico algoritmetoepassingen ook gepubliceerd zullen gaan worden in het externe register.32 Een geregistreerde algoritmetoepassing wordt periodiek geëvalueerd (zie Beheer en herevalueren). Als een algoritmetoepassing een jaar niet wordt gebruikt, wordt deze uit het externe register verwijderd, deze blijft wel in het interne register staan. Dit is echter de ideaalsituatie, nog niet de praktijk. Verderop lichten we deze verschillen toe. Eerst gaan we verder in op wat er momenteel concreet op papier staat.

8.1.3 Hoe gaat het op papier? Er is veel gedaan, maar er is nog weinig vastgelegd voor wat betreft procedures e.d.. Er is bijvoorbeeld een gedeeltelijke autorisatisatiematrix waarin beschreven staat wie waar toegang tot heeft, maar dit behoeft stroomlijning en formalisatie per rol. De ambitie is om toe te werken naar role-based access. De aanpak-mentaliteit heeft ons een relatief snelle eerste vulling gebracht, maar weinig documentatie en handvatten. Deze worden momenteel al doende opgesteld.

8.1.4 Hoe gaat het in de praktijk? De ARA voorziet in principe enkel in de categorieën ‘hoog’ of ‘laag risico’. In de praktijk wordt er in het algoritmeregister nu ook ‘beperkt-risico’ gebruikt. Deze categorie wordt met name gebruikt voor algoritmetoepassingen waarvan cruciale informatie ontbreekt, er is bijvoorbeeld nog geen DPIA uitgevoerd. Er is dan te weinig informatie aanwezig om een gedegen risico-inschatting te maken.

In de praktijk zijn veel velden niet ingevuld bij geregistreerde algoritmetoepassingen. De algoritme-expert die zich bezighoudt met het vullen van het algoritmeregister geeft hierbij aan dat niet alle velden even relevant zijn naar gelang de risico-inschatting van de algoritmetoepassing en/of de onderliggende techniek, ook zit er dubbeling in de velden. Velden die wel gevuld zijn worden niet (altijd) eenduidig ingevuld. Hierbij wordt aangegeven dat er veel ruimte is voor interpretatie. Ook worden conceptalgoritmetoepassingen nu (nog) niet geregistreerd. Dit is wel een levende ambitie. Verwijdering uit het externe register gebeurt momenteel nog niet consequent, omdat er veel belangstelling is voor enkele oude algoritmetoepassingen, zoals die van heronderzoeken binnen Werk en Inkomen, wat veel in de belangstelling heeft gestaan. Hierbij rijst de vraag of het niet zuiverder is om een archief op te nemen in het externe register.

8.1.5 Conclusies en advies In opzet is het algoritmeregister gerealiseerd. Er staan momenteel 33 algoritmetoepassingen in, dat is naar verwachting een hele beperkte set van de toepassingen die daadwerkelijk in gebruik zijn. Qua bestaan is er dus in de registratie nog een behoorlijke slag te maken, zowel terugkijkend als richting de toekomst. Qua werking is er nog een volwassenheidsslag te maken. Velden dienen ontdubbeld te worden en de kwaliteit van de registratie kan hoger. Dit is reeds onder handen bij de algoritme-experts. Het is de vraag of het wenselijk is om bij ontbrekende informatie de categorie ‘beperkt-risico’ te gebruiken, omdat dit het beeld geeft dat er een inschatting gemaakt is. Wellicht is het beter om hiervoor een aparte categorie aan te maken voor algoritmetoepassingen waarover ‘onvoldoende

33

Algoritmes. (4-7-2023) ‘Een half jaar Algoritmeregister in feiten en cijfers’ Pleio. https://algoritmes.pleio.nl/news/view/107e790c-

informatie’ beschikbaar is. Zo blijven de risicocategorieën zuiver. Er ontbreken richtlijnen voor wat wel/niet ingevuld moet worden, onder welke omstandigheden. Hiervoor dient een richtlijn opgesteld te worden met de minimaal in te vullen velden. Voor laag-risico algoritmetoepassingen moeten deze velden genoeg zijn, over een hoogrisico algoritmetoepassing dient aanvullende informatie opgenomen te worden. Dit is momenteel onder handen bij de algoritme-experts. Hierbij speelt tevens dat momenteel er nog geen definitieve publicatiestandaard is voor het landelijke algoritmeregister (momenteel is deze in versie 0.4).33 De verwachting is dat deze binnenkort opgeleverd wordt. Daarna kan dit verder toegepast worden in Rotterdam. De tijdlijn van registratie en publicatie in het externe register dient versterkt en beter gecommuniceerd te worden. Er dient een correcte registratie van algoritmetoepassingen te zijn voordat ze in gebruik genomen worden. Op moment van in gebruik nemen dienen (hoog-risico) algoritmetoepassingen ook extern gepubliceerd te worden. Vanaf Q4 geldt dit ook voor laag-risico algoritmetoepassingen.34

8.2

Beheer en herevalueren algoritmetoepassingen

Nadat de algoritmetoepassingen in het register zijn opgenomen moeten ze beheerd en periodiek geëvalueerd worden. In dit onderdeel evalueren we deze aspecten.

8.2.1 Hoe gaat het op papier? Conform de algoritmegovernance worden algoritmetoepassingen na ontwikkeling in beheer genomen. Dit is belegd bij functioneel beheer.

c170-4917-857d-b6636782bb9c/een-half-jaar-algoritmeregisterin-feiten-en-cijfers (Geraadpleegd op 18-7-2023). 34 Toezegging M2211-845. 11 april 2023.

Resultaat – Hoofdstuk 8

43

Naast het beheer van de algoritmetoepassing speelt tevens het beheer van de registratie van de algoritmetoepassing in het algoritmeregister. Primair is de proceseigenaar verantwoordelijk voor de (eventuele) herziening en aanvulling van de registratie, de algoritme-expert ondersteunt hierbij.

8.2.2 Hoe gaat het in de praktijk? Vooralsnog zijn er voor de in het register opgenomen algoritmetoepassingen geen functioneel beheerders bekend bij de algoritme-experts. Voor wat betreft de periodieke evaluatie van registraties was tijdens het interview bij de uitvoerende onbekend of hier reeds een procedure voor is. Inmiddels is er in de stuurgroep het besluit genomen dat hoog-risico algoritmetoepassingen in het register halfjaarlijks gecontroleerd dienen te worden en laag-risico algoritmetoepassingen jaarlijks. Dit dient nog ingeregeld te worden. Bij laag-risico algoritmetoepassingen wordt expliciet uitgevraagd of er geen wijzigingen zijn die leiden tot een herevaluatie. Hiervoor is uiteindelijk een automatisering van berichtgeving voor controle en herinnering nodig. Daarnaast dienen de rollen en autorisaties in het register beter ingeregeld te worden.35

Deels zou dit bijvoorbeeld door een automatische mail na een x aantal maanden kunnen, richting de verantwoordelijke proceseigenaar. Na een non-response van een x aantal weken zou hier vervolgens een automatisch signaal naar de algoritme-experts gestuurd kunnen worden, die vervolgens zelf contact opnemen met de proceseigenaar en alsnog zorgdragen voor de periodieke evaluatie van de registratie. Hier zijn echter nog technische aanpassingen en een grotere volwassenheid voor wat betreft autorisaties en technische inrichting van het register voor nodig. Tevens dient er in een volgende evaluatie van de governance extra aandacht te zijn voor de rol van functioneel beheer. Na verdere uitvraag van bestaande algoritmetoepassingen is de verwachting dat we meer toepassingen zullen vinden waar dit wel al een rol speelt.

8.3

Inkoop

Niet elk(e) algoritme(toepassing) wordt door de gemeente zelf ontwikkeld. In sommige gevallen is er sprake van inkoop. Hieronder gaan we hier kort op in.

8.3.1 Hoe gaat het op papier? 8.2.3 Conclusies en advies

Er zijn momenteel geen algoritme-specifieke in-

De opzet voor beheer en periodieke evaluatie begint zich nu langzaam te vormen. Na een jaaranderhalf jaar werken onder de governance, begint dit vraagstuk nu geleidelijk te spelen omdat nieuw ontwikkelde algoritmetoepassingen langzaam overgaan in de beheerfase. Bestaan en werking moet zich nog verder gaan uitwijzen.

koopvoorwaarden in gebruik. Wel wordt er ge-

Er zijn zorgen over het onderhoud van de registraties in het algoritmeregister. Hierbij wordt er aangegeven door de betreffende algoritme-expert dat er een volwassenheidsslag te slaan is bij het periodiek evalueren van de registraties.

35

44

Notulen stuurgroep Algoritmen 7 april 2023.

Resultaat - Hoofdstuk 8

werkt met de GIBIT en de IT-overeenkomst.

8.3.2 Hoe gaat het in de praktijk? De gemeente Rotterdam heeft een bijdrage geleverd aan het consortium Publieke Controle op Algoritmen. Binnen dit consortium zijn inkoopvoorwaarden voor algoritmen opgesteld. Deze worden momenteel nog niet gebruikt.

8.3.3 Conclusies en adviezen In opzet ontbreekt dit momenteel nog, al is er een aanzet gedaan in het consortium Publieke Controle op Algoritmen. De algoritme-experts zijn sinds deze constatering bezig om de op Rotterdam aangepaste inkoopvoorwaarden voor algoritmen een plek te geven in het inkoopproces. Hierbij wordt er bijvoorbeeld opgenomen dat er (eventueel) een IAMA uitgevoerd moet kunnen worden. Tevens wordt bijvoorbeeld uitgezocht of er mogelijkheden zijn om eventueel de broncode openbaar te maken.

Resultaat – Hoofdstuk 8

45

9 Impact Algoritmetoepassingen hebben effecten binnen en buiten de organisatie. In dit onderdeel bespreken we de golfbewegingen die daardoor ontstaan: Woo-verzoeken en raadsvragen, moties en toezeggingen.

9.1

Woo

De gemeente krijgt steeds vaker Woo-verzoeken over algoritmetoepassingen of algoritmes. Hieronder evalueren we de omgang met algoritme-gerelateerde Woo-verzoeken. We willen daarbij alvast aangeven dat er veel geleerd is op basis van de eerste van deze verzoeken. We pogen hier een systematische bundeling van de geleerde lessen weer te geven vanuit de verschillende perspectieven.

9.1.1 Hoe gaat het op papier? Binnen de ambtelijke organisatie bestaat een algemeen proces voor Woo-verzoeken. In dit proces zijn geen aparte vragen opgenomen als het gaat over algoritmes of algoritmetoepassingen. Het Woo-team adviseert juridisch, maar de vakafdeling (cluster) beslist wat er gedeeld wordt. Bij algoritmetoepassingen gaat dit veelal langs de directeur. Bij Woo-verzoeken over gevoeliger onderwerpen worden de betrokken wethouders gekend. Deze gevoeligheden moeten door het cluster zelf opgespoord worden, zij zijn hier als eigenaar immers het beste van op de hoogte en dit is als verantwoordelijkheid dan ook bij hen belegd. Voor het beslissen van wat wel/niet openbaar gemaakt wordt, wordt ook op de expertise van de inhoudelijk experts geleund. Zij brengen de risico’s van openbaarmaking in kaart en aan de hand daarvan wordt de grond voor het wel/niet verstrekken bepaald.

46

Impact - Hoofdstuk 9

9.1.2 Hoe gaat het in de praktijk? Het Woo-team heeft volgens een betrokken leidinggevende onvoldoende expertise en kennis in huis wanneer het op verzoeken aankomt die betrekking hebben op algoritmes of algoritmetoepassingen. Momenteel wordt er geleund op de expertise van de data scientists, die hiermee veel tijd kwijt zijn. Aanvullend geeft een respondent aan dat afhandeling van Woo-verzoeken op dit moment veel tijd vergt van data scientists, waardoor de ontwikkeling van nieuwe algoritmen wordt vertraagd. Eenzelfde probleem speelt eveneens bij de clusters volgens een andere respondent. Binnen de clusters is er een gebrek aan kennis waardoor zij angstig zijn en terughoudend met publiceren. Zij missen een richtlijn in wat wel/niet gepubliceerd kan worden en op welke manier (bijv. onder welke voorwaarden kun je mensen op locatie uitnodigen om het systeem te demonstreren). Deze beide problemen worden versterkt doordat de algoritme-expert nog niet altijd goed gevonden wordt wanneer het op Woo-verzoeken met een algoritmische component aankomt. Proceseigenaren hebben bij een specifiek Woo-traject rondom algoritmen ervaren dat er onduidelijkheid was, zowel vanuit de verzoeker als vanuit de organisatie. Hierbij waren verantwoordelijkheden niet altijd helder en dat voelde beperkend. Hierbij was behoefte aan meer begeleiding. Advies vanuit algoritme-expert zou hierbij helpen.

Bij niet-algoritmegerelateerde Woo-verzoeken wordt door de medewerkers zelf bepaald wat er wel/niet gedeeld kan worden. Dit ligt anders bij Woo-verzoeken rondom algoritmetoepassingen. Bij deze verzoeken worden de te delen stukken vaak voorgelegd aan de directie in verband met

de gevoeligheid. Dit is echter niet opgenomen in het Woo-proces. Tevens voorziet het huidige proces niet in duidelijkheid over of/wanneer een algoritmeexpert aangehaakt kan of moet worden. Ten dele komt dat omdat soms nog niet helder is of er een algoritmetoepassing speelt. De algoritme-expert geeft daarbij aan dat wanneer dit wel duidelijk is, er informatie over de toepassing wordt opgevraagd vanuit het algoritmeregister. In een voorliggende casus was deze toepassing nog niet geregistreerd.

9.1.3 Conclusies en advies In opzet volgt een Woo-verzoek het standaard Woo-proces. In de praktijk wordt er echter bemerkt dat wanneer het om een Woo-verzoek over een algoritmetoepassing gaat er toch veel problemen ervaren worden, die grotendeels samenhangen met de nieuwigheid van het thema, de onbekendheid van de organisatie ermee en de behoefte een volwassener aanpak in te regelen voor verzoeken over algoritmetoepassingen, qua rollen en mogelijkheden (bijv. richtlijnen voor delen van code, uitnodigen voor demonstraties e.d.). De vraag is of de aanspraak op de beperkte en kostbare capaciteit van de data scientists hiervoor gewenst is, of dat er beter zoveel mogelijk afgevangen kan worden door een tweede lijn, zoals de algoritme-expert. Er is, hoe dan ook, extra ondersteuning en expertise gewenst door hen. Hierbij wordt door een respondent tevens opgemerkt dat het belangrijk is om ‘dezelfde taal’ te leren spreken. Nu is er veel tijd nodig om telkens vanaf het begin weer opnieuw te starten (‘wat is een algoritme’). Er ligt een opgave voor de algoritmegovernance om in voorlichting en bewustwording te voorzien om de angst rondom algoritmegerelateerde Woo-verzoeken bij clusters te verminderen. Tevens dient er, in samenspraak met team Woo, een richtlijn opgesteld te worden

om onduidelijkheid en uitzoekwerk in het moment zelf te voorkomen. Voor wat betreft het aanhaken van de algoritmeexpert in het Woo-proces is het advies om deze zo vroeg mogelijk te betrekken. Om dit te bewerkstelligen kan dit in de eerdergenoemde richtlijn voor de afhandeling van Woo-verzoeken met een algoritmische component worden opgenomen. Daarnaast ligt er een opgave bij de algoritme-experts om henzelf kenbaarder te maken bij het Woo-team, bijvoorbeeld door (periodiek) voorlichting te geven. Door een combinatie van bovenstaande factoren is de tijdige beantwoording van verzoeken met een algoritmische component lastig. Een extra factor die hierbij speelt is dat de verantwoordelijkheden niet altijd duidelijk belegd zijn en dat door angst men wellicht geen verantwoordelijkheid durft te nemen. Zo is het aan de start van een Woo-traject niet altijd duidelijk wie waarvoor benaderd kan worden, maar is er tegelijkertijd ook veel afhankelijkheid. De oplossing hierbij is tweeërlei: enerzijds moeten de verantwoordelijkheden duidelijk benoemd en beschreven worden. Zo geven verschillende respondenten aan dat het belangrijk is dat het Woo-team het proces bewaakt (bijv. bewaking deadlines), en de proceseigenaar diens verantwoordelijkheid voor de inhoud neemt. De algoritme-expert kan adviseren op de consequenties/risico’s van openbaarmaking en kan een stukje duiding verzorgen.

Anderzijds vraagt, volgens een van de respondenten, het durven nemen van verantwoordelijkheden hierin kennis, expertise én een cultuur waarin we lerend met verantwoord algoritmegebruik omgaan. Onderdeel van een dergelijke cultuuromslag rust in het proactiever delen van informatie over algoritmetoepassingen. In de toekomst kan dit (onder andere) gedaan worden door een volwassener inzet van het algoritmeregister. Het algoritmeregister (zie ook hierboven) is nu nog te beperkt om de bron van beantwoording voor Woo-verzoeken te zijn en is ook nog niet van dien aard dat het Woo-

Impact – Hoofdstuk 9

47

verzoeken naar verwachting kan voorkomen. In de toekomst wordt de rol van het algoritmeregister hierin groter, wanneer er een grotere volwassenheid is in de vulling en het gebruik van het register. Tevens zijn er in samenspel tussen het Woo-team en de algoritme-experts nog praktische stappen te zetten. Hierbij valt onder andere te denken aan het opstellen van een richtlijn wanneer er wel/niet code gedeeld wordt of een partij uitgenodigd wordt om de toepassing op locatie te bekijken (onder vaste voorwaarden), enzovoort. Hieronder valt ook het opstellen van goede modelantwoorden zodat er niet lang gezocht hoeft te worden naar de juiste bewoording. Dit is reeds onder handen bij de algoritmeexperts en het Woo-team.

9.2

Raadsvragen, moties en toezeggin-

-

-

De inhoudelijk wethouder (bijv. wethouder armoedebestrijding); De wethouder financiën, organisatie, dienstverlening en grote projecten (verantwoordelijk voor de algoritmegovernance en het algoritmeregister); De wethouder digitale inclusie (verantwoordelijk voor de maatschappelijke impact van algoritmetoepassingen).

9.2.2 Hoe gaat het in de praktijk? De meeste vragen omtrent algoritmetoepassingen worden besproken in de raadscommissie Bestuur, Organisatie, Financiën & Veiligheid (BOFV). Bij de beantwoording van vragen over algoritmetoepassingen wordt er veelal gedelegeerd door de proceseigenaren, onder andere naar de algoritme-expert. Daardoor ontstaat (het risico van) ruis in de verdeling van verantwoordelijkheden. Een respondent vertelt:

gen Politiek is er veel aandacht voor het thema van algoritmetoepassingen. Er komen dan ook met regelmaat raadsvragen, moties en toezeggingen langs op het vlak van algoritmetoepassingen. Hieronder evalueren we de beantwoording dan wel invulling van deze vragen/toezeggingen/moties in licht van de algoritmegovernance.

9.2.1 Hoe gaat het op papier? Voor wat betreft de vragen/moties/toezeggingen rondom algoritmetoepassingen wordt altijd een route via het college behandeld. Beantwoording van de vragen ligt primair bij de proceseigenaar, de algoritme-expert is als tweede lijn raadpleegbaar.36 De algoritme-expert en de raadsleden hebben geen direct contact met elkaar. Binnen het college kan het zijn dat er meerdere wethouders betrokken zijn, naar gelang de situatie. Het gaat hier dan om de volgende wethouders:

36

48

Zie ook Kadernota sturen en verantwoorden

Impact - Hoofdstuk 9

Tussentijds worden er wel allerlei vragen gesteld, hierbij is de ambtelijk opdrachtgever verantwoordelijk. Beantwoording van vragen wordt veelal gedelegeerd naar de algoritme-expert. Het is soms onduidelijk wie uiteindelijk de knoop doorhakt bij de beantwoording, omdat het een relatief nieuw onderwerp is en ambtenaren nog onzeker zijn, hierdoor blijft het soms lang in de lucht hangen. Soms ontstaat er angst om nog algoritmen te gebruiken of ontwikkelen.

9.2.3 Conclusies en advies In opzet is de beantwoording/invulling van vragen/toezeggingen en moties helder. In de praktijk is er echter soms sprake van ruis in verantwoordelijkheden, zeker bij onbekendheid met het thema. Concreet liggen hier drie problemen aan ten grondslag. Allereerst een gebrek aan awareness

‘in de lijn’ over algoritmetoepassingen, waardoor onzekerheid ontstaat bij vragen hierover (zie ook het onderdeel awareness) en de lijn zich wellicht niet altijd in staat gesteld voelt om haar verantwoordelijkheid te pakken. Uiteindelijk blijft de proceseigenaar immers verantwoordelijk. De algoritme-expert is als tweede lijn enkel adviserend en ondersteunend. Om de proceseigenaar in staat te kunnen stellen om diens verantwoordelijkheid ook ten volle te kunnen nemen is het echter van belang om de gevoelens van onzekerheid weg te kunnen nemen door hen afdoende kennis en awareness mee te geven op dit thema. Bewustwordingsactiviteiten kunnen helpen om dit te mitigeren.

ambassadeurs ondersteunen om veel van dit ‘onzichtbare werk’ van verantwoorde algoritmetoepassingen in een politiek daglicht te zetten.

Ten tweede speelt er door het gebrek aan awareness ook een ander probleem: dat van onzichtbaarheid van algoritmetoepassingen. De algoritme-experts zijn als tweede lijn grotendeels afhankelijk van het signaleren van algoritmetoepassingen door anderen. Als verbeterpunt wordt dan ook genoemd in het kader van het proces rondom raadsvragen m.b.t. algoritmetoepassingen dat dit bij voorkeur in afstemming met IIFO gaat, want “soms zijn mensen zich niet bewust dat software algoritmen bevatten”. Doordat deze niet opgemerkt worden, wordt IIFO niet altijd betrokken. Vanuit de interviews komt de suggestie om algoritmetoepassingen standaard te laten adresseren door de griffie bij IIFO. Op deze manier voorkomen we toezeggingen over algoritmetoepassingen die buiten het blikveld van IIFO blijven. Tot slot wordt er door de respondenten opgemerkt dat er nu veel focus ligt op ex post verantwoording en damage control. Dat is uiteraard van belang waar noodzakelijk. Echter ligt hier het gevaar van het aanwakkeren van meer organisatorische angst voor algoritmetoepassingen in plaats van vertrouwen in verantwoord gebruik ervan. Liever zijn we ex ante bezig om problemen te mitigeren en positieve aspecten te versterken. Wellicht kunnen hooggeplaatste

Impact – Hoofdstuk 9

49

10 Taken, rollen en verantwoordelijkheden Hieronder gaan we in op de taken, rollen en verantwoordelijkheden van de verschillende partijen in het kader van de algoritmegovernance.

10.1 Hoe gaat het op papier? De algoritmegovernance maakt onderscheid tussen verantwoordelijkheden voor de keten waarin de algoritmetoepassing gebruikt wordt enerzijds en anderzijds de functionele en technische verantwoordelijkheden die samenhangen met het algoritme (zie herhaalde tabel 1). Niveau

Bestuurlijk niveau Beleidsniveau Uitvoeringsniveau

Controleniveau

Communicatieniveau

Ten opzichte van bovenstaande verdeling is de kanttekening te maken dat in het originele document gesproken wordt over Financial Audit in plaats van Concern Audit.37 Dat is in deze tabel na uitvraag bij de betrokken partijen gecorrigeerd. Voor de ketenverantwoordelijkheid voor de algoritmetoepassing is de bestuurlijke borging belegd bij de inhoudelijk verantwoordelijke wethouder, deze is bestuurlijk opdrachtgever. Op beleidsniveau ligt de verantwoordelijkheid bij

Verantwoordelijk voor gehele keten van toepassing algoritme Wethouder inhoudelijk (bestuurlijk opdrachtgever) Directeur cluster Proceseigenaar (opdrachtgever)

In lijn met de kadernota sturen en verantwoorden Tweede lijn: Algoritme Expert Derde lijn: Concern Audit en Algoritmeadviesraad (AAR, voorheen Algorithm Advisory Board, AAB) Proceseigenaar

(Leveranciers)verantwoordelijk voor algoritme (functionele en technische aspecten) Wethouder verantwoordelijk voor BCO / IIFO Directeur IIFO Ontwikkelfase: operationeel verantwoordelijke voor algoritmeontwikkeling binnen de gemeente (ook bij externe leverancier) Beheerfase: functioneel beheerder In lijn met de kadernota sturen en verantwoorden Tweede lijn: Algoritme Expert Derde lijn: Concern Audit en Algoritmeadviesraad (AAR, voorheen Algorithm Advisory Board, AAB)

Proceseigenaar

Tabel 1. Verantwoordelijkheden op de verschillende niveaus

37

50

Programma DGW. Governance van hoog risico algoritme-toepassingen. Februari 2022.

Taken, rollen en verantwoordelijkheden - Hoofdstuk 10

de directeur van het betreffende cluster, welke het delegeert aan de proceseigenaar. Voor wat betreft het algoritme ligt de bestuurlijke verantwoordelijkheid bij de wethouder die verantwoordelijk is voor BCO/IIFO. Op beleidsniveau is dit belegd bij de directeur IIFO. In de ontwikkelfase van het algoritme ligt de verantwoordelijkheid voor de uitvoering bij de operationeel verantwoordelijke voor de ontwikkeling. Na implementatie ligt dit bij functioneel beheer. In beide gevallen is er op controleniveau een tweede lijn in de vorm van de algoritme-expert, en een derde lijn voorzien in de vorm van de AAR (adviserend) en Concern Audit (controlerend). In deze evaluatie richten we ons met name op de proceseigenaren, IIFO, functioneel beheer, de algoritme-experts, de adviseur data en ethiek (ondersteunend bij DEDAs, IAMAs en ARAs), de AAR en Concern Audit. De bestuurlijke en het beleidsniveau laten we hier (grotendeels) buiten beschouwing, aangezien dit standaardroutes van verantwoording en verantwoordelijkheid zijn.