[23bb005643] Bijlage 10 behorende bij 23bb5665 - Evaluatie Rapport Algoritme governance 2023

10.1.1 Proceseigenaren De primaire verantwoordelijkheden liggen bij de clusters. Binnen deze clusters ligt het bij de proceseigenaren van het proces waarbinnen een algoritmetoepassing gebruikt wordt, zij vormen de eerste line of defense. 38 De redenatie voor de belegging van de verantwoordelijkheid in ‘de lijn’ is omdat deze dichter bij de bedoeling, maar ook de vakinhoudelijke wethouder en de inwoner zitten. Daarmee zitten zij in de beste positie om een afweging te maken tussen risico’s en opbrengsten.

38

Wierenga, Wubbo, Verbeek, Wouter, Al-Saqaff, Mariam (Berenschot) Governance voor de verantwoorde toepassing van hoogrisico-algoritmen in de gemeente Rotterdam. Juli 2021.

10.1.2 IIFO IIFO ziet toe op de functionele en technische aspecten van de algoritmes. Bestuurlijk ligt hierbij de verantwoordelijkheid bij de directeur IIFO. In de operatie ligt dit bij ontwikkelaars (tijdens de ontwikkeling) dan wel bij functioneel beheer (tijdens het beheren van de toepassing).

10.1.3 Algoritme-experts Binnen de gemeente is de rol van algoritme-expert gecreëerd om te fungeren als tweede line of defense voor wat betreft de algoritmegovernance. Deze algoritme-expert is enerzijds operationeel bezig (bijv. vullen algoritmeregister, uitvoeren IAMA’s) en anderzijds opereert deze op beleid- en governanceniveau. De algoritme-expert is verantwoordelijk voor: - Het algoritmeregister; - Risico-analyses en ethische toetsing van algoritmetoepassingen; - Advisering bij nieuwe algoritmetoepassingen; - Ondersteuning van proceseigenaren; - Advisering over naderende wetgeving; - Het organiseren van de communicatie en educatie rondom algoritmetoepassingen binnen de gemeente; - De bewaking op normen bij langdurig gebruikte algoritmetoepassingen; - Het vervullen van een expertrol bij de communicatie over algoritmetoepassingen (bijv. bij persvragen); - Het verhelderen van vragen richting de AAR en het in ontvangst nemen en verwerken van hun adviezen.39

10.1.4 Adviseur data en ethiek Er is geen functieprofiel bekend voor de adviseur ethiek. Binnenkort verdwijnt deze functie en wordt deze – naar verwachting - vervangen voor de portefeuillehouder compliance binnen het Data Office. De taken van deze portefeuillehouder zijn het volgen van ontwikkelingen,

39

Vacature algoritme-expert concept

Taken, rollen en verantwoordelijkheden – Hoofdstuk 10 51

organiseren van en bijdragen aan kennisdeling, participeren in samenwerkingsverbanden, uitdragen van en bijdragen aan ontwikkeling van standaarden, coördineren van het beleidvormingsproces en het opbouwen van advies voor te nemen beslissingen in de Data Board. De portefeuillehouders zoeken de samenwerking op met de vakinhoudelijke experts binnen de afdelingen van IIFO en de clusters. Deze vakinhoudelijke experts houden zich vaak al bezig met de beleidsontwikkeling en uitvoering van de onderwerpen. Een betrokken respondent schetst dat de algoritmegovernance straks binnen het Data Office onder de portefeuillehouder compliance zal vallen, inclusief afstemming met de tweede lijn (algoritme expert) en de derde lijn (AAR en concern audit).

10.1.5 AAR De Algoritmeadviesraad (AAR, voorheen: Algorithm Advisory Board, AAB) is een externe adviescommissie, welke sinds 7 juni 2022 in het leven geroepen is. Zij rapporteert aan het college en adviseert de organisatie gevraagd en ongevraagd. De AAR bestaat uit verschillende leden met praktijk- en wetenschappelijke ervaring op het vlak van verantwoord algoritmegebruik. Indien noodzakelijk kan de AAR aanvullende expertise inwinnen voor het uitvoeren van haar taak.

3) In hoeverre er witte vlekken zijn en wat er aan de governanceprocessen moet worden aangepast. In haar constituerende vergadering wordt de adviesrol van de AAR benadrukt. Tevens wordt hierin besproken dat de AAR niet alle ARA’s en IAMA’s zal controleren, maar steekproefsgewijs.40 Daarmee is de AAR niet minder waardevol binnen de gemeente Rotterdam, maar wijkt haar positie wel af van de in de governance beoogde, meer controlerende, positie.

10.1.6 Concern Audit Zoals eerder vermeld wordt er abusievelijk gesproken over Financial Audit als derde lijn.41 Na uitvraag bij Financial Audit blijkt dat dit Concern Audit moet zijn, maar dat dit niet gecorrigeerd is in de governance. Volgens de governance is de taak en verantwoordelijkheid van deze derde line of defense om vast te stellen of de eerste en tweede lijn gezamenlijk zodanig hebben gefunctioneerd dat doelstellingen doelmatig en doeltreffend zijn gerealiseerd en dat informatie betrouwbaar en rechtmatig is.42

10.2 Hoe gaat het in de praktijk? Hierboven zijn de taken, rollen en verantwoordelijkheden in opzet beschreven. Hieronder bespreken we de ervaringen in de praktijk.

10.2.1 Proceseigenaren De governance omschrijft dat de AAR één of twee keer per jaar een analyse uitvoert waarbij ze algoritmetoepassingen onderzoeken en controleren: 1) Of de governanceprocessen gevolgd zijn; 2) Wat de kwaliteit van de AIA (IAMAs) is;

Proceseigenaren geven aan dat er weinig kennis over algoritmen aanwezig is in de organisatie, waardoor het voor de proceseigenaar lastig is om verantwoordelijkheid te durven nemen. Ook zijn proceseigenaren momenteel niet (altijd) op de hoogte van de algoritmegovernance. In

40

42

41

52

Notulen AAR 29 augustus 2022. Wierenga, Wubbo, Verbeek, Wouter, Al-Saqaff, Mariam (Berenschot) Governance voor de verantwoorde toepassing van hoogrisico-algoritmen in de gemeente Rotterdam. Juli 2021.

Taken, rollen en verantwoordelijkheden - Hoofdstuk 10

Wierenga, Wubbo, Verbeek, Wouter, Al-Saqaff, Mariam (Berenschot) Governance voor de verantwoorde toepassing van hoogrisico-algoritmen in de gemeente Rotterdam. Juli 2021.

principe is dat niet erg, volgens een van betrokken respondenten: [De governance] verandert steeds. Wij, vanuit IIFO, moeten dit blijvend onder de aandacht brengen. Als primair proces verantwoordelijke kan je niet het overzicht hebben op alle kaders, als ze zien ‘ik heb een belangrijk algoritme’ dan gaan ze zich laten informeren. Dus ze willen ook beter begrijpen wat er gebeurt, maar er is een grote kennisachterstand. Zolang de proceseigenaar op de hoogte is van het gebruik van een algoritme(toepassing) en vervolgens de tweede lijn kan inschakelen om de juiste stappen conform de governance te doorlopen, is het ontbreken van diepgravende kennis van de algoritmegovernance geen probleem. Gezien het huidige niveau van awareness is echter de verwachting dat er in de praktijk veel gemist wordt omdat algoritme(toepassingen) niet afdoende herkend worden.

10.2.2 IIFO In de praktijk worden de verantwoordelijkheden als ingewikkeld ervaren. Men is onvoldoende op de hoogte wie waarvan is. Zo geven respondenten die betrokken zijn bij de ontwikkeling aan dat zij een klein beetje weten van de governance en hun taken en verantwoordelijkheden maar er ook verder weinig zicht op hebben. De business bepaalt wat er nodig is en waarop gestuurd wordt en dit wordt technisch uitgewerkt door de betrokkenen vanuit IIFO: Vooraf vraag je aan de business [om kaders]. Als er geen hard antwoord komt, kijk je wat er wel uitkomt. Nu bijvoorbeeld: het móet ethisch, dan kijken we of het goed genoeg presteert. Minimaal

beter dan random. Maar waarop baseer je ‘goed genoeg’? De hoeveelheid geld dat het kost, inbreuk die je maakt tegenover opbrengst…? (…) Het is écht de beslissing van de business om het wel of niet te gebruiken, vinden ze lastig van tevoren. Zij moeten de kaders hebben, maar ze kunnen het antwoord vaak niet geven. Om de verantwoordelijkheden voor een verantwoord algoritme te kunnen nemen dient de proceseigenaar dan ook diens verantwoordelijkheid te nemen voor het stellen van kaders voor een ‘goed algoritme’ binnen de bredere toepassing. Wel is hierbij de verantwoordelijkheid van IIFO, omdat de business niet weet wat er, bijvoorbeeld, allemaal unfair kan zijn aan een algoritme, om dergelijke problemen aan te kaarten. Respondenten geven aan dat er dan idealiter een dialoog ontstaat. Nu moeten zij vaak aangeven wat er moet gebeuren omdat dit door de business onvoldoende ingeschat kan worden. De data scientists van team AA zijn daarin nog bezig met standaardisatie van testing. Wellicht kan hierbij ter inspiratie nog gekeken worden naar de verschillende mogelijkheden voor fairness testing die beschreven zijn in het Fairness Handbook wat de gemeente Amsterdam ontwikkeld heeft.43

10.2.3 Functioneel beheer Vanuit de algoritme-experts zijn er geen betrokken functioneel beheerders bekend. Hun rol in de praktijk is daarmee ook niet verder onderzocht.

10.2.4 Algoritme-experts De gemeente Rotterdam heeft een (externe) algoritme-expert aangesteld in maart 2022. Begin 2023 is deze algoritme-expert vervangen door

43

Muhammad, S. (2022) The Fairness Handbook. Gemeente Amsterdam. https://amsterdamintelligence.com/resources/thefairness-handbook (Geraadpleegd op 26-4-2023).

Taken, rollen en verantwoordelijkheden – Hoofdstuk 10 53

twee nieuwe algoritme-experts (beiden extern) tot eind 2023. De ambitie is om deze functie op korte termijn intern te beleggen. Momenteel wordt er opnieuw een werving gestart. Ditmaal wil men de functie intern vervullen met één persoon (1 fte). De functie wordt momenteel vervuld door twee externen met beiden ± een 0,6 fte omvang. De huidige verdeling van het takenpakket is als volgt. De operationele algoritme-expert is verantwoordelijk voor: - Het algoritmeregister; - Risico-analyses van algoritmetoepassingen; - Advisering bij nieuwe algoritmetoepassingen; - Ondersteuning van proceseigenaren; - De bewaking op normen bij langdurig gebruikte algoritmetoepassingen; - Het vervullen van een expertrol bij de communicatie over algoritmetoepassingen (bijv. bij persvragen); - Het verhelderen van vragen richting de AAR en het in ontvangst nemen en verwerken van hun adviezen. De governancegerichte algoritme-expert is verantwoordelijk voor: - Jaarlijkse governance-evaluatie en verbeterplan; - Inbedding/verbeteren governance; - Advisering over naderende wetgeving; - Het organiseren van de communicatie en educatie rondom algoritmetoepassingen binnen de gemeente; - Het vervullen van een expertrol bij de communicatie over algoritmetoepassingen (bijv. bij persvragen); - Het verhelderen van vragen richting de AAR en het in ontvangst nemen en verwerken van hun adviezen.

Een van de respondenten geeft aan dat in de werving van de algoritme-experts bleek dat een kandidaat vinden die het hele pallet van de functie kan vervullen bijzonder lastig is. Het is momenteel een breed gesteld functieprofiel. Op het

44

54

Adviezen AAR.

Taken, rollen en verantwoordelijkheden - Hoofdstuk 10

moment wordt de functie door twee personen vervuld, waarbij er gekozen is voor een operationele algoritme-expert die zich bezighoudt met de vulling van het algoritmeregister en een beleidsgerichte algoritme-expert die meer op governanceniveau opereert. Een betrokken respondent geeft hierbij aan dat in de toekomst, als de algoritmegovernance eenmaal staat, de algoritme-expert minder tijd hoeft te besteden aan dit governanceonderdeel, waardoor de rollen samengevoegd kunnen worden. Dit zal echter tijd kosten om te realiseren, de respondent schat dit in op ± 2 à 3 jaar. Een andere leidinggevende geeft aan dat er op dit moment onvoldoende capaciteit is van mensen met kennis over algoritmen, waaronder algoritme-experts. Er zijn zorgen geuit over de afhankelijkheid van enkele mensen met kennis over algoritmen in de organisatie. Een projectleider voegt hieraan toe dat het onvoldoende duidelijk is wat men kan verwachten van de functie algoritme-expert. De communicatie over de algoritme governance en de rol van de algoritmeexpert zouden kunnen worden verhelderd. Een respondent betrokken bij de werving van de algoritme-experts geeft aan dat het niet de intentie was om twee mensen in te huren om de rol van algoritme-expert in te vullen, “maar wel een goede zet”. Het is, bijvoorbeeld, handig dat de algoritme-experts met elkaar kunnen sparren en elkaar kunnen vervangen indien nodig.

Ook worden er meer theoretische discussies gevoerd. De AAR wijst er in haar advies tevens op dat de positie van algoritme-expert kwetsbaar is als deze aan één persoon hangt.44 Het is te overwegen om een vergelijkbare constructie met (al dan niet) twee deeltijdaanstellingen te continueren.

10.2.5 Adviseur data en ethiek De adviseur ethiek is in de uitvoering van de algoritmegovernance verantwoordelijk voor het uitvoeren en begeleiden van de DEDAs en de IAMAs. De adviseur ethiek wordt ondersteund door enkele vrijwilligers, dit zijn ambtenaren binnen de organisatie die een opleiding DEDA hebben gedaan. Voor IAMA is er niet zo’n pool beschikbaar. Daarmee is de invulling van de begeleiding van IAMA’s kwetsbaar. Er is momenteel nog beschikking over externe capaciteit vanuit de Utrecht Data School, maar dit zal t.z.t. vervallen. DEDAs worden uitgevoerd voor dashboards en informatieproducten, in een voorkomend geval waar behoefte is aan extra zekerheid ook bij laag-risico algoritmetoepassingen. IAMAs bij hoog-risico algoritmetoepassingen.

communicatie ook een factor: op de website van de gemeente werd de AAR onterecht genoemd als toezichthouder.46 Dit is inmiddels gerectificeerd op de website.47 De AAR zegt hierover, bij monde van de voorzitter: Wat wij belangrijk vinden, dat kwam ook voort uit het gesprek met de gemeenteraad, dat wij adviserend zijn en geen toezichthouder. Dat roept ook vragen op van wie is dan wel de toezichthouder is, dat maakt het lastig. Deze verwarring is waarschijnlijk ontstaan door de positionering van de AAR binnen de derde line of defense, welke traditioneel controlerend van aard is. Na het voorleggen hiervan is de reactie van de AAR, bij monde van de voorzitter: Wij denken wel dat dit herpositioneerd moet worden. Die three lines is echt meer een strijdmetafoor om te verdedigen en te controleren. Wij controleren niet op de eerste en tweede lijn. Wij passen meer in een leermetafoor. Dus een Three Lines of Learning of Three Lines of Quality Control. Dan zouden we prima in de derde lijn passen. (…) De adviezen van de AAR zijn niet vrijblijvend, en worden ook openbaar, etc. Dus daarmee zou het wel in zo’n Three Lines of Learning/Quality Control passen als forum.

10.2.6 AAR De gemeente brengt vragen en casi in waar de AAR een advies over kan vormen. Dit zijn (idealiter) casi waarin er naast specifieke vragen ook generieke vragen spelen. Een voorbeeld hiervan is het vraagstuk hoe men het beste kan omgaan met algoritmetoepassingen die door het Rijk verplicht gesteld zijn in relatie tot het algoritmeregister. Dit speelt in een voorkomend geval, maar natuurlijk ook breder in de organisatie. De voorzitter van de AAR geeft hierbij aan dat de wisselwerking tussen abstractere vraagstukken en concrete casi goed werkt voor de AAR. Na een viertal bijeenkomsten is er inmiddels ook een goede balans van gedeeld materiaal en informatieverstrekking gevonden. Er ontstaat soms verwarring over de adviserende rol van de AAR. In sommige gevallen wordt de commissie onterecht aangezien voor toezichthouder.45 Hier speelt inconsistente

In de bijlage is een overzicht te zien van de acties die de gemeente heeft ondernomen naar aanleiding van de adviezen van de AAR. Hierbij is nog op te merken dat de AAR, bij monde van de voorzitter, aangeeft dat er bij een terugkoppeling op 17 april bleek dat de ambtelijke interpretatie niet altijd strookte met de intentie van de AAR. Een regelmatige terugkoppeling kan hierbij helpen om mogelijke ruis weg te nemen.

45

47

46

Bijv. notulen AAR 20 maart; Kennismaking AAR/raadsleden Notulen AAR 20 maart

Notulen AAR 17 april

Taken, rollen en verantwoordelijkheden – Hoofdstuk 10 55

Verder geeft de AAR aan dat het haar ook noodzakelijk is dat de gemeente ook ruimte kan nemen om een advies te parkeren voor later of kan zeggen “dit is nu even niet passend bij dit proces”. De AAR, bij monde van de voorzitter, voelt dat de adviezen momenteel meer als opdracht gezien worden dan als advies. Tot slot is afgesproken dat de adviezen van de AAR gepubliceerd zullen worden. Er wordt momenteel onderzocht waar dit het beste geplaatst kan worden.

10.2.7 Concern Audit Voorafgaand aan de implementatie van de algoritmegovernance, eind 2020-begin 2021, is er door Concern Audit een onderzoek gedaan naar een algoritmetoepassing. Nadien is er geen onderzoek of controle meer geweest op algoritmetoepassingen, los van diegenen die in de jaarrekeningcontrole een rol spelen. Een respondent welke betrokken is bij de controle van algoritmetoepassingen geeft aan: Het belangrijkste document hierbij is de presentatie algoritmegovernance. Wat daar staat is een eerste aanzet geweest. Met de notie: dit moet nog verder uitgewerkt worden. Dat is nog niet concreet gebeurd. Dat wil zeggen, de derdelijnsfunctie van CA is wel benoemd maar niet geconcretiseerd of vormgegeven. Wel geeft CA aan dat áls zij kijken naar algoritmetoepassingen, dan doen zij dat vooral in het kader van een voorliggende algoritmetoepassing. Het samenspel tussen de eerste en tweede lijn (bijv. operatie en algoritme-experts) valt daar (grotendeels) buiten. De respondenten vanuit CA geven daarbij ook aan dat Concern Audit gevraagd wordt voor onderzoek. Alleen bij grote risico’s zullen zij zelf in actie komen. “Het is geen vaste prik dat wij naar algoritmes kijken. Alleen bij de ENSIA is er vaste prik.” Momenteel is er dus nog geen

56

Taken, rollen en verantwoordelijkheden - Hoofdstuk 10

controle geweest vanuit de derde lijn en er is ook geen structurele controle afgesproken dan wel afspraken gemaakt over wanneer een algoritmetoepassing gecontroleerd dient te worden door CA. Voor wat betreft de mogelijkheden om een audit te doen op algoritmetoepassingen, wordt er door de auditor onderscheid gemaakt tussen AI en niet-AI toepassingen. Daarbij merkt deze op dat er voor de niet-AI algoritmetoepassingen (bijv. decision trees) gebruikt gemaakt kan worden van de standaard controle- en auditinstrumenten. Voor AI is dat lastiger. Hiervoor zijn de IT-auditors (RE) van belang, deze zijn ook aanwezig bij CA.

10.3 Adviezen en conclusies Proceseigenaren zijn niet altijd op de hoogte van de algoritmegovernance en geven aan dat er onvoldoende kennis is binnen de organisatie over algoritmen. Binnen IIFO is deze kennis wel aanwezig, echter ervaren zij een (te) sturende rol bij het stellen van kaders en het maken van beslissingen over algoritmen, terwijl dit bij de proceseigenaar zou moeten liggen. Hier is een mismatch zichtbaar tussen de theorie van de algoritmegovernance en de praktijk, als het gaat om de taken en verantwoordelijkheden van de proceseigenaren en IIFO. Met het vergroten van de awareness en kennis onder proceseigenaren kan dit beter in balans gebracht worden. Qua taakstelling van de algoritme-expert valt op te merken dat het (periodiek) evalueren van een jonge governance nog niet in de nieuw-te-vervullen functie van de algoritme-expert is opgenomen, net als de inbedding/het verbeteren van de governance op algoritmetoepassingen door bijvoorbeeld (proces)afspraken te maken met

verschillende afdelingen.48 In de praktijk is het daar nu wel belegd.49 Het jaarlijks evalueren van de algoritmegovernance is tevens toegezegd aan de raad. Het is dan ook logisch dat dit een formele belegging krijgt in de organisatie (bij de algoritme-expert of elders). Gezien de kadernota sturen en verantwoorden is het niet logisch dat de tweede lijn (algoritme-expert) diens eigen samenspel evalueert (welke onderdeel is van de werking van de governance). Het is dan ook wenselijk dat er een inhoudelijk-georiënteerde derde lijnsfunctie hierop toeziet. De belegging van de taken om DEDAs en IAMAs te begeleiden ligt momenteel met name bij de adviseur data en ethiek. Deze wordt op papier ondersteund door een vrijwilligerspool (bij de DEDA, voor IAMA is dit nog nauwelijks gerealiseerd), maar er is een grote vrijblijvendheid voor deze vrijwilligers, waardoor het geen betrouwbare pool is waaruit geput kan worden. Met het veranderen van de functie van de adviseur data en ethiek agenderen respondenten ook een vraagstuk over hoe de operationele doorgang van de DEDAs en de IAMAs geborgd moeten worden. Om DEDA en IAMA-begeleiders te kunnen garanderen kan er wellicht gedacht worden aan een formalisatieslag van deze pool.

Zo wordt door een van de respondenten voorgesteld om clusters DEDA- en IAMA-begeleiding uit te laten wisselen (dwz, je kan er pas één laten begeleiden als je er zelf ook een begeleid hebt). Een andere mogelijkheid is om een kleine hoeveelheid FTE beschikbaar te stellen in elk cluster voor het begeleiden van DEDAs en IAMAs en deze capaciteit periodiek te evalueren naar gelang de vraag (zie ook de Mogelijke oplossingsrichtingen voor een scenario waarin dit door decentrale taakaccenthouders opgepakt kan worden).

48

Vacature algoritme-expert concept. Opdracht algoritme-expert; Wierenga, Wubbo, Verbeek, Wouter, Al-Saqaff, Mariam (Berenschot) Governance voor de

49

Een inhoudelijk-georiënteerde derde lijn die toeziet op het samenspel tussen de eerste en tweede lijn ontbreekt momenteel. De AAR is gepositioneerd als adviserend orgaan. CA geeft aan binnen een onderzoek in principe alleen naar specifieke casi te kijken, niet naar de gehele governance. Al is CA wel bereid om mee te denken over de inrichting van de (derde lijn van de) governance. De adviserende rol van de AAR dient beter gecommuniceerd te worden om verwarring in de toekomst te voorkomen. Er kan, zoals de voorzitter voorstelt, bijvoorbeeld gedacht worden aan een parallelle Three Lines, niet verdedigings- en controle-georiënteerd, maar veel meer met een lerende, waardegedreven insteek. Verder geeft de AAR aan dat het voor hen soms onduidelijk is wie of wat ‘de interface’ is met de gemeente. Wellicht is het hiervoor prettig om een ‘smoelenboek’ samen te stellen wat de rol van de betrokkenen en hun verwachte bijdrage duidelijk maakt en een gezicht geeft. Voor wat betreft Concern Audit: haar rol is op dit moment nog niet verder ingevuld verder dan de benoeming ervan. Hier moeten concretere afspraken voor gemaakt worden om dit verder uit te werken. Door CA is hier reeds een verkenning op toegezegd. In de huidige algoritmegovernance is (nog) geen plaats is toegewezen aan de functionaris gegevensbescherming (FG).

Deze speelt echter wel een rol voor algoritmetoepassingen waar persoonsgegevens in verwerkt worden. De algoritmegovernance is momenteel ingestoken als aanvullend op de bestaande governances (AVG, data, IB). Tegelijkertijd zien we dat de POs en de FG zoekend zijn in hun rol als er algoritmetoepassingen in het spel zijn. Het is te overwegen om de positie van de FG meer te benadrukken in de governance, met een expliciete verwijzing

verantwoorde toepassing van hoog-risico-algoritmen in de gemeente Rotterdam. Juli 2021.

Taken, rollen en verantwoordelijkheden – Hoofdstuk 10 57

naar de privacygovernance voor verdere invulling ervan. Er wordt gesproken over de mogelijke invulling van een toezichthoudende/controlerende rol van IT-auditors.50 In de toekomst is het niet ondenkbaar dat er een groeiende positie komt voor IT-auditors in de evaluatie van algoritmetoepassingen. Momenteel ontbreken universele en geaccepteerde normenkaders – hoewel er binnen de Rijksoverheid inmiddels wel twee kaders liggen vanuit de Algemene Rekenkamer en de Auditdienst Rijk.51 De verwachting is dat (zeker na de effectuering van de AI Act) er een breed gedragen, internationale auditnorm gehanteerd kan worden in de toekomst. Zo wordt er momenteel gewerkt aan een ISO norm voor algoritmes. Met dergelijke geconsolideerde normenkaders wordt onafhankelijke auditing een levensvatbaardere mogelijke ‘vierde lijn’ in voorkomende gevallen.

De Data Board (voorheen: stuurgroep datastrategie) stelt de kaders vast, in de Data Board zit een vertegenwoordiging van de clusters, de CDO en de directeuren. De Data Office is een staforgaan wat de Data Board ondersteunt, het is coördinerend en adviserend maar heeft geen mandaat.

Tot slot valt op te merken dat er een Stuurgroep Algoritmen is opgericht waarin momenteel het afdelingshoofd OBI, afdelingshoofd Strategie & Ondersteuning en de programmamanager DGW zitting hebben. Deze stuurgroep is (nog) niet opgenomen in de governance. In de ontwikkelende fase speelt de Stuurgroep Algoritmen een rol in de belsuitvorming. Naarmate de governance volwassener wordt moet de rol van deze stuurgroep geëvalueerd worden. Hierbij wordt door een betrokkene aangegeven dat de Data Board mogelijk een rol kan gaan spelen als escalatielijn voor de algoritmegovernance. Totdat besluitvorming in de lijn wordt belegd kan de stuurgroep Algoritmen helpen bij besluitvorming en bij het verder brengen binnen de organisatie.

50 51

58

Kennismaking AAR/raadsleden. Auditdienst Rijk. (2023) Onderzoekskader Algoritmes. https://open.overheid.nl/documenten/61b54381-d331-40ed-8fceb2883b195f25/file; Algemene Rekenkamer (2021) Aandacht voor algoritmes. https://www.rekenkamer.nl/binaries/rekenkamer/documenten/rapporten/2021/01/26/aandacht-voor-

Taken, rollen en verantwoordelijkheden - Hoofdstuk 10

algoritmes/Aandacht+voor+algoritmes.pdf; Algemene Rekenkamer (2022) Algoritmes getoetst. https://www.rekenkamer.nl/binaries/rekenkamer/documenten/rapporten/2022/05/18/algoritmesgetoetst/108+AR+rapport+Algoritmes+II+DEF+220516.pdf

11 Aansluiting landelijke en Europese ontwikkelingen In dit laatste inhoudelijke onderdeel van de evaluatie staan we stil bij de conformatie van de algoritmegovernance binnen de landelijke en Europese ontwikkelingen en kaders.

11.1 Landelijke ontwikkelingen Rotterdam heeft een sterke traditie in het niet alleen volgen, maar ook vormen van de landelijke ontwikkelingen voor wat betreft verantwoord algoritmegebruik. In het verleden is de gemeente aangesloten bij het Consortium Publieke Controle op Algoritmen. Binnen dit Consortium zijn praktische instrumenten ontwikkeld om grip op algoritmetoepassingen te houden (bijv. eerste versie algoritmeregister en inkoopvoorwaarden). Momenteel zit er vertegenwoordiging van de gemeente Rotterdam bij de ontwikkeling van het Implementatiekader (lead: BZK) en de ontwikkeling van een publicatiestandaard voor het algoritmeregister (lead: BZK/ICTU). Daarmee zijn de lijntjes naar de landelijke ontwikkelingen op dit vlak kort en kan Rotterdam haar zorg- en aandachtspunten ook inbrengen voor eventuele opname in een standaard. Het Implementatiekader zal de eisen voor verantwoorde inzet van algoritmetoepassingen in kaart brengen.52 Een eerste concept van het Implementatiekader is eind juni naar de Tweede Kamer verstuurd.53

52

Digitale Overheid. (2023) Algoritmes. https://www.digitaleoverheid.nl/overzicht-van-alle-onderwerpen/algoritmes/. Geraadpleegd op 25-4-2023. 53 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. (2023) Implementatiekader ‘Verantwoorde inzet van algoritmen’. https://open.overheid.nl/documenten/9b7b55fd-1762-499bb089-2b7132c12402/file 54 Digitale Overheid (2023) Algoritmeregister. https://www.digitaleoverheid.nl/overzicht-van-alle-onderwerpen/algoritmes/algoritmeregister/ Geraadpleegd op 25-4-2023; Github (2023) Algoritmeregister/schema.json.

De publicatiestandaard omschrijft welke velden er opgenomen worden in het algoritmeregister en hoe ze gevuld dienden te worden.54 De standaard wordt naar verwachting binnenkort opgeleverd. Na vaststelling hiervan moet het Rotterdamse register in lijn gebracht worden met de standaard. Tevens is er sinds januari 2023 een toezichthouder voor algoritmes ingericht bij de Autoriteit Persoonsgegevens. Deze toezichthouder signaleert en analyseert risico’s en effecten over alle sectoren en domeinen van de samenleving heen. Hierbij heeft zij bijzondere aandacht voor transparantie, discriminatie en willekeur. De toezichthouder wil (bestaande) samenwerkingen tussen colleges optimaliseren en tot een gezamenlijke normuitleg komen en overzicht scheppen in wettelijke en andere kaders. De toezichthouder richt zich niet alleen op het technische algoritme, maar beschouwt de gehele context waarin algoritmes gebruikt worden. Momenteel wordt er binnen de gemeente op verzoek van de AP een onderzoek verricht naar de oude heronderzoeken algoritmetoepassing. Vanaf 2024 zal de toezichthouder ook een voorlichtingsfunctie en kennisoverdrachtsrol op zich nemen.55 Voor Rotterdam is het van belang om de ontwikkelingen voor wat betreft normuitleg te blijven volgen. Dit kan naar verwachting via de VNG (bijv. meet-ups).56 Aandacht voor risico’s van algoritmetoepassingen op het vlak van

https://github.com/MinBZK/Algoritmeregister/blob/main/schema.json. Geraadpleegd op 25-4-2023; Algoritmeregister. (2023) Dutch Algorithmic Transparency Standard. https://standaard.algoritmeregister.org/ . Geraadpleegd op 254-2023. 55 Staatssecretaris Van Huffelen. Ministerie van Binnelandse Zaken en Koninkrijksrelaties (22 december 2022) Inrichtingsnota algoritmetoezichthouder. https://open.overheid.nl/documenten/ronl-f06bda396eb995839765314c6ee4a872c49cad10/pdf (Geraadpleegd op 25-4-2023). 56 Bijv. Meetup VNG Algoritmeregister. 19-4-2023.

Aansluiting landelijke en Europese ontwikkelingen – Hoofdstuk 11

59

transparantie, discriminatie en willekeur zijn binnen Rotterdam vormgegeven door de implementatie van het algoritmeregister en de toepassing van het IAMA bij hoog-risico algoritmetoepassingen. De Rotterdamse governance op algoritmetoepassing in plaats van enkel algoritmes leent zich ook goed voor de beoogde aanpak van de toezichthouder. Vanaf 2024 kan Rotterdam gebruik maken van de voorlichting en kennisdeling van de toezichthouder. De Algemene Rekenkamer heeft in 2021 een toetsingskader ontwikkeld voor het gebruik van algoritmes. Dit toetsingskader is gepresenteerd in het rapport Aandacht voor algoritmes.57 Later is dit kader gebruikt om negen verschillende algoritmetoepassingen te toetsen.58 Het toetsingskader van de AR bestaat uit vier verschillende perspectieven: - Sturing en verantwoording; - Model en data; - Privacy; - IT-beheer; - Ethiek. Hierbij is ethiek voor de AR inherent verweven met de andere aspecten uit het toetsingskader. Specifiek wordt er bij ethiek gekeken naar respect voor de menselijke autonomie, het voorkomen van schade, fairness en verklaarbaarheid en transparantie.59 De Rotterdamse SPIDE’R aanpak in de DUBs leent zich uitstekend om invulling te geven aan de verschillende perspectieven die in dit toetsingskader naar voren komen.

Bij nieuw data(her)gebruik worden er immers adviezen gevraagd aan informatiebeveiligingsspecialisten, de privacygeleding, informatiebeheer,

57

Algemene Rekenkamer (26-1-2023) Aandacht voor Algoritmes. https://open.overheid.nl/documenten/ronlf06bda396eb995839765314c6ee4a872c49cad10/pdf 58 Algemene Rekenkamer. (18-5-2022) Algoritmes getoetst. https://open.overheid.nl/documenten/ronlf06bda396eb995839765314c6ee4a872c49cad10/pdf 59 Ibid. 60 Dassen, L. et al. (28-10-2021) Motie van het lid Dassen c.s. over het gebruik van het algoritmeregister voor overheden verplicht stellen. Kenmerk 35925-VII-26.

60

Aansluiting landelijke en Europese ontwikkelingen Hoofdstuk 11

datamanagement en is er aandacht voor ethiek en algoritmen (zie ook het eerdere onderdeel over de connectie en rol van de gevensmakelaars voor meer over de werking van de DUBs). Het stuk ethiek krijgt binnen Rotterdam verdere invulling door middel van de IAMA bij hoog-risico algoritmetoepassingen. Verder speelt het algoritmeregister ook een rol voor wat betreft transparantie. Met het algoritmeregister loopt Rotterdam tevens vooruit op de aangenomen motie Dassen, waarbij het voorstel is om het gebruik van het algoritmeregister voor overheden verplicht te stellen.60 Ook geeft Rotterdam reeds gehoor aan de motie Bouchallikh en Dekker-Abdulaziz over verplichte impactassessments voorafgaand aan het inzetten van algoritmen voor evaluaties van of beslissingen over mensen door de inzet van het IAMA bij hoog-risico algoritmetoepassingen.61

11.2 Europese ontwikkelingen Op Europees vlak wordt er gewerkt aan de AI Act en aan de Convention on AI, Human Rights, Democracy and the Rule of Law. Daarnaast worden de inkoopvoorwaarden uit het consortium Publieke Controle op Algoritmen op Europees niveau doorontwikkeld. Hieronder bespreken we hoe de Rotterdamse algoritmegovernance zich verhoudt tot deze ontwikkelingen. De Artificial Intelligence Act is momenteel twee jaar in ontwikkeling binnen de Europese Commissie. Momenteel ligt de voorgestelde wet bij het Europees Parlement ter discussie. De AI Act heeft tot doel om algoritmetoepassingen te

https://www.tweedekamer.nl/kamerstukken/moties/detail?id=2021Z18926&did=2021D40605 (Geraadpleegd op 26-42023). 61 Bouchallikh, K. en Dekker-Abdulaziz, H. (29-3-2022) Motie van de leden Bouchallikh en Dekker-Abdulaziz over verplichte impactassessments voorafgaand aan het inzetten van algoritmen voor evaluaties van of beslissingen over mensen. Kenmerk: 26643835. https://www.tweedekamer.nl/kamerstukken/moties/detail?id=2022Z06024&did=2022D12329 (Geraadpleegd 26-42023).

reguleren. Een belangrijke kanttekening bij dit wetsvoorstel is dat de definitie van ‘AI’ bijzonder breed is, namelijk:

levensduur van de algoritmetoepassing aan risicobeheer gedaan worden. Hierbij moeten de volgende stappen doorlopen worden:

Software die is ontwikkeld aan de hand van een of meer van de technieken en benaderingen die zijn opgenomen in de lijst van bijlage I en die voor een bepaalde reeks door mensen gedefinieerde doelstellingen output kan genereren, zoals inhoud, voorspellingen, aanbevelingen of beslissingen die van invloed zijn op de omgeving waarmee wordt geïnteracteerd.62

(a) het vaststellen en analyseren van de bekende en te voorziene risico’s die gepaard gaan met elk AI-systeem met een hoog risico; (b) het inschatten en evalueren van de risico’s die zich kunnen voordoen wanneer het AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan en in een situatie van redelijkerwijs te voorzien misbruik; (c) een evaluatie van andere risico’s die zich kunnen voordoen op basis van de analyse van de data die zijn verzameld door het systeem voor monitoring na het in de handel brengen als bedoeld in artikel 61; (d) het vaststellen van geschikte risicobeheersingsmaatregelen in overeenstemming met de bepalingen van de volgende leden.63

Binnen de Bijlage wordt momenteel gesproken over machine learning, deep learning, op logica en kennis gebaseerde systemen en statistische benaderingen. Dit omvat dus feitelijk alles van beslisboom tot neuraal netwerk. Binnen de Rotterdamse context is dit vormgegeven door de definitie van algoritmetoepassing. De Rotterdamse werkdefinitie is techniek agnostisch en naar verwachting goed werkbaar/dan wel zonder veel problemen te vervangen wanneer de AI Act van kracht zou worden. De AI Act is risico-gebaseerd. In het kort onderschrijft de conceptwet drie categorieën van algoritmetoepassingen (‘AI’): - Verboden toepassingen (bijv. social credit-achtige systemen); - Hoog-risico toepassingen (bijv. beoordelingen voor het in aanmerking komen van uitkeringen); - Laag of minimaal risico toepassingen (bijv. spamfilters). Hierbij geldt dat hoog-risico toepassingen zijn toegestaan, maar hier wel strengere eisen aan gesteld worden. Er moet dan door de gehele

62

Europese Commissie. (2021) Voorstel voor een Verordening van het Europees Parlement en de Raad tot Vaststelling van Geharmoniseerde Regels betreffende Artificële Intelligentie (Wet op de Artificiële Intelligentie) en tot wijziging van de bepaalde wetgevngshandelingen van de Unie. https://eur-lex.europa.eu/legal-

Vervolgens moet er aan risicomitigatie gedaan worden om risico’s te beperken binnen het ontwerp. Risico’s die niet uitgesloten kunnen worden, dienen te worden gemonitord. Er wordt gecommuniceerd over de risico’s en gebruikers van systemen worden voorzien van training. Daarnaast dienen de systemen goed getest te worden.64 De algoritmegovernance is in ontwerp ontwikkeld met de aandachtspunten die uit de AI Act naar voren komen. Binnen Rotterdam wordt de risico-gebaseerde aanpak geoperationaliseerd middels de ARA. Na invulling van een ARA krijgt de algoritmetoepassing een classificatie (hoog

content/NL/TXT/HTML/?uri=CELEX:52021PC0206 (Geraadpleegd op 25-4-2023). 63 Ibid. 64 Ibid.

Aansluiting landelijke en Europese ontwikkelingen – Hoofdstuk 11

61

of laag risico). Verboden categorieën algoritmetoepassingen mogen niet ontwikkeld worden. Het risicobeheer leunt grotendeels op de IAMA en het periodiek evalueren van de registraties in het register. Hierbij is de grootste rol weggelegd voor het IAMA wat verplicht gesteld is voor hoog-risico algoritmetoepassingen binnen de gemeente. Uit het IAMA volgen actiepunten en mitigerende maatregelen welke uitgevoerd dienen te worden (Zie ook de evaluatie van de IAMA). Naast de AI Act wordt er door de Raad van Europa op Europees niveau ook gewerkt aan de Convention on AI, Human Rights, Democracy and the Rule of Law.65 Dit mensenrechtenverdrag is sinds 2019 in ontwikkeling. De verwachting is dat de onderhandelingen over het verdrag eind dit jaar afgerond worden. De tekst is nog volop in ontwikkeling dus er kunnen nog geen definitieve conclusies verbonden worden aan het gepubliceerde ‘nuldocument’. Wel is bekend dat Nederland onderhandelt voor een risico-gebaseerde aanpak met een vereiste risicoanalyse. Tevens wil Nederland graag dat het verdrag informatieverplichtingen in begrijpelijke taal opneemt over algoritmetoepassingen.66 Het verdrag is nog verre van uitonderhandeld, dus Rotterdam zal in de gaten moeten blijven houden of haar aanpak in lijn ligt met het verdrag.

Vooralsnog zet de Nederlandse overheid in op congruentie met de AI Act en de risicogebaseerde aanpak daarin, welke ook in Rotterdam gebruikt wordt. Ook is Rotterdam in toenemende mate bezig met de communicatie over algoritmetoepassingen middels haar register.

65

Council of Europe. Committee on Artificial Intelligence (CAI). (61-2023) Revised Zero Draft [Framework] Convention on Artificial Intelligence, Human Rights, Democracy and the Rule Of Law. https://open.overheid.nl/documenten/ronlaa2450bf687eceef9d27de1cef32193a69cac9f7/pdf (Geraadpleegd 25-4-2023). 66 Staatsecretaris Van Huffelen, Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. (6 maart 2023) Kamerbrief over Raad

62

Aansluiting landelijke en Europese ontwikkelingen Hoofdstuk 11

Tot slot worden er ook praktische instrumenten in Europees verband (door)ontwikkeld. De inkoopvoorwaarden die binnen het consortium Publieke Controle op Algoritmen zijn ontwikkeld worden momenteel op Europees niveau verder doorontwikkeld.67 Er wordt momenteel gewerkt aan de implementatie van de inkoopvoorwaarden voor algoritmetoepassingen. Wanneer de Europese variant is uitontwikkeld kan de Rotterdamse variant geëvalueerd worden. Dit kan bijvoorbeeld in een volgende evaluatie als expliciet aandachtspunt meegenomen worden.

11.3 Adviezen en conclusies Over het geheel genomen past de algoritmegovernance op hoofdlijnen goed binnen de gestelde kaders. Wel valt hierbij op te merken dat er nog geen eenduidige definitie gehanteerd wordt in de verschillende kaders en door de betrokken organisaties én zijn veel van de kaders nog in ontwikkeling. De verwachting is dat de AI Act hier een belangrijke rol in gaat spelen. De Rotterdamse definitie is echter breed genoeg om de verschillende definities te includeren. De Rotterdamse integrale (SPIDE’R) en risico-gebaseerde aanpak sluit op papier goed aan bij de reeds ontwikkelde en de verwachte kaders. Wel is hierbij de kanttekening te maken dat er in bestaan en werking van de aanpak zeker nog stappen te maken zijn voordat dit in de praktijk ook afdoende sluiting biedt (zie hiervoor voorgaande hoofdstukken).

van Europa verdrag over AI, mensenrechten, democratie en de rechtsstaat. https://open.overheid.nl/documenten/ronl74b14ef12c71b4a90b235272a31e13b4cdcb204f/pdf (Geraadpleegd 25-4-2023). 67 Living in EU. (2023) AI Procurement. https://livingin.eu/groups/solutions/ai-procurement (Geraadpleegd op 25-42023).

12 Afsluitende woorden Rotterdam is een van de landelijke koplopers onder gemeenten op het vlak van de algoritmegovernance. Met deze koploperpositie hebben we de lat voor onszelf hoog gelegd. We hebben grote ambities, maar dat betekent ook dat we veel moeten uitzoeken en uitproberen. Al doende leren we en soms betekent dat dingen bijstellen. De algoritmegovernance in Rotterdam is nog relatief jong. Daarmee is een lange lijst van verbeter- en aandachtspunten bij deze evaluatie niet onverwacht. Tezelfdertijd is het van belang om ook de stappen die er de afgelopen tijd gezet zijn in de richting van verantwoorde algoritmetoepassingen niet over het hoofd te zien. Er is veel werk verzet waarop verder voortgebouwd kan worden de komende tijd.

In een evaluatie ligt de focus veelal op ‘wat kan er beter’. In deze afsluitende woorden willen we ook graag aandacht vragen voor de stappen die er – ondanks de mogelijke verbeterpunten – al gezet zijn. Hoewel we onze ambities nog niet geheel bereikt hebben, dienen we niet te vergeten dat we desalniettemin in korte tijd veel bereikt en als koploper ook uitgezocht hebben voor andere gemeenten. Deze stappen zijn niet mogelijk zonder het werk en inspanning van eenieder die met of aan de algoritmegovernance gewerkt heeft of het gevolgd heeft in de praktijk. Een speciaal woord van dank ook aan de respondenten van deze evaluatie zonder wie deze uitvoerige evaluatie niet tot stand gekomen was. De verbeteren discussiepunten zijn niet zuinig, tegelijkertijd betekent dat ook dat dit onderwerp leeft en mensen na aan het hart ligt. Voor de toekomst lijkt ons dat in elk geval een prachtig vertrekpunt om verder op voort te bouwen.

Afsluitende woorden – Hoofdstuk 12

63

Lijst van afkortingen AA – Team Advanced Analytics AAB – Algorithm Advisory Board (nu AAR) AAR – Algoritmeadviesraad AIA – Algorithm Impact Assessment (dit is de IAMA geworden) API – Application Programming Interface AR – Algemene Rekenkamer ARA – Algorithm Risk Assessment BCO – Bestuurs en Concernondersteuning BZK – Ministerie van Binnenlandse Zaken CA – Concern Audit CDO – Chief Data Officer CPO – Concern Privacy Officer DEDA – De Ethische Data Assistent DGW – Datagedreven werken DPIA – Data Protection Impact Assessment DUB – Data Usage Board ENSIA – Eenduidige Normatiek Single Information Audit FG – Functionaris gegevensbescherming GLO – Gegevensleveringsovereenkomst IAMA – Impact Assement Mensenrechten en Algoritmen IB - Informatiebeveiliging IIFO – Innovatie, Informatie, Facilitair en Onderzoek OBI – Onderzoek en Business Intelligence PO – Privacy Officer PRA – Privacy Risk Assessment RACI – RACI-model, staat voor verschillende rollen: Responsible, Accountable, Consulted, Informed SPIDE’R - Security, Privacy, Informatiebeheer, Datamanagement, Ethiek (en algoritmes) Rotterdam WOO – Wet Open Overheid

64

Lijst van afkortingen - Hoofdstuk 0

Opvolging adviezen AAR Onderstaand volgt een overzicht van de opvolging van de adviezen van de AAR. Deze bijlage is gebaseerd het overzicht wat als agendastuk voor de AAR vergadering van 17 april is verzonden. De nieuwe adviezen en herinterpretaties van de oude adviezen die uit de terugkoppeling voortkwam nog niet (verder) opgevolgd.

Verwerkte adviezen Heldere presentatie procedures in flowchart De AAR beveelt de gemeente aan om een manier te zoeken om alle verschillende procedures, werkwijzen, processen, etc. duidelijker te presenteren. Een flow chart kan hiervoor een goede manier zijn. In de flowchart kan staan wat de trigger is om een algoritme mee te nemen in de governance, en op welke punten tijdens de ontwikkeling en de inzet van het algoritme welke acties moeten plaatsvinden. Ook kunnen verantwoordelijkheden helder worden vastgelegd en mogelijke gaps geïdentificeerd. Zowel in de interne als in de externe communicatie kan dit verhelderend werken. Flow chart opgesteld en evaluatieronde gedaan met data scientists. Reactie AAR bij terugkoppeling op 17 april: Verzoek om deze te delen (actiepunt) en de vraag is of hij nu ingebed is in het werkproces. Dat laatste is nog niet het geval. Dit onderwerp komt ook in de evaluatie van de governance naar boven. Er is veel, maar nog niet goed vindbaar/ uitgedragen.

Bijlegger bij toesturen stukken aan AAR De AAR verzoekt de gemeente om bij de stukken die worden besproken in de vergadering steeds een bijlegger bij te voegen die helder aangeeft hoe deze stukken passen binnen het beleid van

de gemeente, wat de status van de stukken is, hoe verdere ontwikkelingen zullen verlopen, etc. Deze contextinformatie stelt de AAR in staat de stukken beter te duiden en daarmee een beter advies te kunnen geven aan de gemeente. Oplegger format is opgesteld en reeds in gebruik. Reactie AAR bij terugkoppeling op 17 april: De gehanteerde bijlegger werkt prima. Punt is klaar.

Rectificatie tekst AAR op rotterdam.nl/algoritmeregister De AAR werd hierbij onterecht door Ombudsman als toezichthouder gezien. De rol als adviesorgaan is uitgebreid uitgelegd. Gesignaleerd is dat de tekst op de website daar mogelijk aanleiding voor is. Dringend verzoek deze tekst aan te passen en te rectificeren. Aangepaste tekst is op deze website geplaatst inclusief rectifcatie: rotterdam.nl/algoritmeregister Reactie AAR bij terugkoppeling op 17 april: Uitgevoerd zoals afgestemd

Onder handen adviezen Value-based design De AAR beveelt aan bij de ontwikkeling van algoritmen niet alleen in een later stadium te kijken naar risico’s voor inbreuk op publieke waarden (wat nu de dominante oriëntatie is), maar ook in een vroeg stadium al te kijken naar de mogelijkheid om juist publieke waarden te realiseren. Methoden van value-based design kunnen hierbij bruikbaar zijn.

Opvolging adviezen AAR – Hoofdstuk 0

65

Maaike Harbers op de agenda van AAR- op 17 april. Vervolgacties n.a.v. presentatie vaststellen. Reactie AAR bij terugkoppeling op 17 april: Verplaatsen naar onderhanden adviezen, want is nog niet klaar na de bijeenkomst van vandaag.

Verminder afhankelijk van één expert De AAR beveelt de gemeente aan om te zorgen dat de afhankelijkheid van de rol Algoritme-expert – nu uitgevoerd door Frank – niet te groot wordt in het ontwerp van de uiteindelijke governance-aanpak. In de huidige aanpak liggen er veel taken bij de algoritme-expert en dat creëert kwetsbaarheid. Belangrijk is om ervoor te zorgen dat de kennis die Frank heeft opgedaan wordt gecodificeerd en vertaald naar een robuuste organisatieaanpak waarbij meerdere rollen en personen de ontstane verantwoordelijkheden en taken kunnen dragen. Op dit moment 2 algoritme-expert betrokken. Interne vacature wordt nog uitgezet. Er is nog geen invulling gevonden voor de afstudeeropdracht, mogelijk deze zomer een kandidaat. Naast de afstudeeropdracht, wordt er door de werkgroep gewerkt aan organisatiebrede communicatie over de algoritme governance. Kennissessies worden georganiseerd aan de hand van relevante use cases, bijvoorbeeld aan Juridische Zaken.

Begin bij een brede definitie van algoritmen De AAR is van mening dat beginnen bij een technologisch brede definitie van algoritmen de voorkeur verdient. Het risico en de maatschappelijke impact is namelijk niet gebonden aan de technologische complexiteit en wordt vaker bepaald door de context van uitvoering. De gemeente kan juist breed beginnen en dan op basis van een risico-analyse bekijken welke algoritmen verder dienen te worden onderzocht op impact en benodigde maatregelen. Daarna

66

Opvolging adviezen AAR - Hoofdstuk 0

bekeken worden of er voor het systeem voldoende checks en balances bestaan binnen de organisatie of dat het ‘zwaardere regime’ van algoritmen moet worden gekozen. We zijn ons er van bewust dat dit een brede definitie is en we met elkaar dit moeten (blijven) aanscherpen. Maranke Wieringa deelt in diens beschouwing waarom we moeten zoeken naar betere handvaten voor een volledig, maar niet overbodige registratie van 'algoritmen'. In mei wordt de definitie van ‘algoritmetoepassing’ vastgesteld.

Robuuste en consistente werkwijzen De AAR benadrukt het belang van werkwijzen die robuust en consistent zijn. Nu kan de toepassing van bepaalde stappen nog, zo lijkt het, afhankelijk zijn van de persoon die deze uitvoert, bijvoorbeeld de risicoclassificatie. Belangrijk is dat heel helder is hoe alle stappen worden doorlopen. Ook dient de onderbouwing van deze stappen beschikbaar te zijn zodat willekeur in besluitvorming en ontwerp van algoritmes kunnen worden verminderd. Zie hoofstuk 10 van het Data Compliance Kader, waar de ARA-handleiding integraal in is opgenomen. RACI is onderdeel van Way of Working en is in nadere uitwerking in de evaluatie van de governance. Reactie AAR bij terugkoppeling op 17 april: De AAR geeft aan dat het van belang is dat het proces centraal staat en dat de onderdelen reproduceerbaar zijn en dan tot dezelfde uitkomsten leiden.

Centrale rol DUB in leerproces. De AAR onderkent dat de vormgeving van governance of algorithms een lerend proces is. Zij geeft aan dat de DUB in dit proces een centrale rol speelt. Belangrijk is dat de DUB niet alleen een dossier zorgvuldig beoordeelt maar dat ze

ook uit deze beoordeling algemene lessen trekt die bijdragen aan het verder verbeteren van de huidige praktijken. Vanuit de werkgroep wordt continu contact gehouden met gegevensmakelaars. Daarnaast wordt actief gewerkt aan vindbaarheid, awareness en een verbeterde aansluiting op het DUB_proces en Demand&Supply-proces (D&S).

User-centered perspective De AAR beveelt aan om gebruikers en doelgroepen van algoritmen – burgers – een duidelijkere rol te geven in het ontwerp van het algoritme en uitwerking van praktijken rondom algoritmen en het beheer. Methoden van user-centered design kunnen hierin een belangrijke rol spelen. Tevens kan in de assessment van algoritmes nadrukkelijker met verschillende stakeholdergroepen worden gewerkt om risico’s en kansen tastbaarder te maken. Hier wordt ook bij andere overheidsorganisaties mee geëxperimenteerd. We zien dit als doorlopend aandachtspunt. Hiervoor is onder andere aandacht gegeven in de motie ‘inzicht in impact van technologie’. Dit document beschrijft de acties die nodig zijn om deze vragen te beantwoorden, inclusief een eerste inhoudelijke uitwerking voor op de website van Rotterdam. We kiezen in eerste instantie twee technologieën waarover wij inzicht en uitleg geven aan Rotterdammers, te weten Algoritmen en Sensoren. Uitwerking aan de hand van betrekken van/toetsing bij burgers en borging moet nog nader opgepakt worden. Voordat we de burger betrekken en openbaar communiceren moet de awareness van medewerkers ook op een hoger niveau komen.

Leg de procedures rondom het interne register goed vast Er zijn geen duidelijke procedures vastgelegd over het gebruik van het interne algoritmeregister terwijl dit een centrale rol speelt in de

governance. Wie heeft welke gebruiksrechten? Wie is waarvoor verantwoordelijk? In een document dient dit helder te worden aangegeven (zie ook punt 1 en 2). De AAR raad aan hierbij een lerende aanpak te kiezen om komende jaren te verkennen hoe het register op betekenisvolle en wetenschappelijk sluitende manier kan bijdragen aan de verbeteren van transparantie en verantwoording over besluiten die met hulp van algoritmes worden genomen Rollen, taken en verantwoordelijkheden rondom het algoritmeregister worden nader beschrijven als onderdeel van de RACI, zie 2.3. Ook voor AAR-voorzitter en medewerker kan een rol gedefinieerd worden om de informatie over de toepassingen in het (interne) register te bekijken.

Meerwaarde algoritme moet helder zijn Een zeer algemeen punt bij het gebruik van een algoritme is dat helder moet zijn op welke manier het gebruik van het algoritme het werk van de gemeente Rotterdam verbetert. Welk probleem lost dit gebruik op? Welke verbetering ontstaat er in het proces? Welke data laten zien dat het algoritme daadwerkelijk bijdraagt aan een verbetering? Ook dient er duidelijkheid te zijn over de vraag of en welke ongewenste effecten het algoritme met zich mee brengt. Een algoritme levert altijd ook risico’s op. Een duidelijk beeld van de beoogde voordelen van het algoritme is dus noodzakelijk voor een goed oordeel over het wel of niet invoeren van de algoritme. Ook dit is een doorlopend aandachtspunt. Focus moet liggen op verantwoord gebruik maken van de technologische mogelijkheden.

Transparantie over het algoritme (broncode, trainingsdata) Wanneer met een bedrijf wordt gewerkt, moet dat bedrijf voldoen aan de vereisten van transparantie. Zo moeten de broncode en de

Opvolging adviezen AAR – Hoofdstuk 0

67

trainingsdata van het algoritme openbaar worden gemaakt of in ieder geval kunnen worden gecontroleerd door een onafhankelijke toezichthouder. Ook moet het bedrijf helder maken welke fundamentele keuzes en calibratie het heeft toegepast in het ontwerp, o.a. wat de threshold is voor het vaststellen of een bepaalde score van het herkenningsmodel een match oplevert of niet (YES/NO).

verantwoording hierover aan de gemeenteraad. Daarin laat de gemeente zien op welke manier het algoritme wordt gebruikt, welke bias er optreedt, in hoeverre die toelaatbaar is en wat wordt gedaan om bias te verminderen en goed gebruik van algoritmen te borgen

Dit punt wordt meegenomen in de interne evaluatie van de algoritme governance. Daarnaast is de transparantie onderdeel van de inkoopvoorwaarden voor algoritmen.

Productbeheerder voor elk algoritme bij de

Monitoren van bias Bias in statistische modellen is onoverkomelijk, en bij een bepaalde mate of in een bepaalde context ook strikt onwenselijk. Een bias bij een systeem kan vooraf bestaan (bijv, in trainingsdata) en daar moet op worden gecheckt. Een bias kan echter ook in het ontwerpen opkomen door verkeerde ontwerpkeuzes. Tevens kan bias tijdens gebruik ontstaan, bijvoorbeeld doordat er bepaalde gebruikspatronen ontstaan die ongewenste vooringenomenheid in de hand spelen. Daarom is het belangrijk dat er bij een dergelijk systeem wordt bijgehouden welke bias er is en dat hierover periodiek wordt gerapporteerd. Ook is het hierbij belangrijk dat er een lerende aanpak ontstaat waarbij vergelijkingen tussen gemeenten worden gemaakt zodat eventuele bias zichtbaar kan worden. Op dit moment loopt er een juridisch onderzoek of factoren voor het monitoren van bias op potentiële discriminatoire factoren gebruikt mogen worden voor toetsing van bias in de input en de resultaten van algoritmen.

Dit wordt opgepakt als onderdeel van de registratie van algoritmetoepassingen.

gemeente Belangrijk is dat de verantwoordelijkheid voor elk algoritme – dus ook algoritmen die van het rijk komen – helder is belegd binnen de organisatie. Duidelijk moet zijn wie de productbeheerder is en wie dus ook enerzijds het gebruik in de gemeente Rotterdam monitort en anderzijds de afspraken met het rijk in de gaten houdt. Centraal onderdeel van de algoritme governance evaluatie.

Overzicht van algoritmen binnen de gemeenten is van groot belang Via een WOO-verzoek is duidelijk geworden dat in dit proces een algoritme werd gebruikt. Het is belangrijk dat de gemeente Rotterdam een goed overzicht heeft van alle algoritmen die worden gebruikt. Wij begrijpen dat de algoritme-experts hiermee bezig zijn en we onderstrepen het belang hiervan. Op dit moment lopen meerdere inventarisaties om een completer beeld te krijgen van de algoritmetoepassingen in gebruik en wordt aansluiting gezocht bij belangrijke knooppunten om structureel op de hoogte te zien van nieuwe toepassingen.

Verantwoording afleggen over het gebruik van algoritmen Informatie over het gebruik van het algoritme vormt de basis voor het afleggen van

68

Opvolging adviezen AAR - Hoofdstuk 0

Toekomstige opvolging Helaas kunnen we niet aan alle adviezen tegelijk werken. In deze paragraaf zijn de adviezen

opgenomen waar op een later moment acties voor gestart gaan worden.

Leren van modellen van risk governance De AAR suggereert de gemeente om bij de invulling van modellen van risk governance ook goed te kijken naar modellen die voor andere praktijken zijn ontwikkeld (denk bijvoorbeeld aan de Milieu Effect Rapportage) en ook van assessments die al voor andere technologieën zijn ontwikkeld. SPIDE’R is grotendeels risicogebaseerde aanpak. Acties definiëren om nadere opvolging te geven aan een risicogebaseerde aanpak. Minimaal op te nemen in de langetermijnvisie op verantwoord inzetten van algoritmen.

Uitwerken notie 'uitlegbaarheid’ De AAR beveelt aan om de notie van uitlegbaarheid verder uit te werken. Deze heeft namelijk verschillende functie en kan, afhankelijk van de context en de actoren die uitleg behoeven, om een verschillende uitwerking vragen. Kader uitlegbaarheid zal opgesteld moeten worden. Dit is geparkeerd tot na de governance evaluatie.

Algoritmetraining van ambtenaren is belangrijk Om de kritische rol ten aanzien van algoritmen in te kunnen nemen, dienen ambtenaren goed te worden getraind. Dit zal enerzijds gaan om een algemene gevoeligheid voor algoritmen bij het inwerkprogramma van nieuwe ambtenaren van de gemeente. Welke waarde heeft het oordeel van een algoritme? Hoe komt dit tot stand? Anderzijds gaat het om een specifieke gevoeligheid voor algoritmen waar ze mee werken in hun taak. In het geval van de gezichtsherkenning zou dit kunnen worden belegd in een specifieke training door de Nederlandse Vereniging voor

Burgerzaken (NVVB). Voor het opleidingstraject voor RNI-gemeenten dienen dus ook heldere afspraken te worden gemaakt over de algoritmetraining. Nadere uitwerking van awareness en trainingsaanpak wordt opgepakt na de interne governance evaluatie. Dit doen we zodat communicatie richting medewerkers vanuit een goede basis op te stellen is en trainingen kunnen aansluiten op de juiste inhoud.

Kijk breed naar risico’s van discriminatie. De AAR beveelt aan om breed te kijken naar risico’s van discriminatie. Nu wordt in het externe algoritmeregister sterk de band gelegd tussen persoonsgegevens en discriminatie. Echter ook systemen die geen gebruik maken van persoonsgegevens maar bijvoorbeeld gebiedsgericht werken kunnen discriminerend werken. In algemenere zin kan via het gebruik van niet-sociale proxy-variabelen (bijv. postcode) toch discriminatie ontstaan op het niveau van sociale eigenschappen (bijv. afkomst). Onderdeel van SPIDERA trainingsmateriaal maken voor organisatiebrede bewustwording. Nadere uitwerking 'A' met algoritme experts in trainingsmateriaal moet nog worden opgepakt. In de huidige governance wordt voor elk ‘hoog risico’-algoritmetoepassing een IAMA uitgevoerd, in deze assessment wordt ook aandacht besteed aan de risico’s op discriminatie. Reactie AAR bij terugkoppeling op 17 april: Dit gaat niet alleen over verantwoording, maar juist ook in het gebruik. De gemeente Rotterdam zet in op een periodieke check (half) jaarlijks gebaseerd op classificatie van het algoritme.

Opvolging adviezen AAR – Hoofdstuk 0

69

Auteurs Maranke Wieringa is algoritme-expert (extern) bij Bestuurs- en Concernondersteuning bij de gemeente Rotterdam. Eef Elschot is adviseur data en ethiek bij Bestuurs- en Concernondersteuning bij de gemeente Rotterdam. Tara Cohen is adviseur data en analyse bij Werk en Inkomen in de gemeente Rotterdam. Leonie Peters is product owner data science bij Werk en Inkomen in de gemeente Rotterdam.

70

Opvolging adviezen AAR - Hoofdstuk 0