[23bb005643] Bijlage 10 behorende bij 23bb5665 - Evaluatie Rapport Algoritme governance 2023

1.

Werken aan verantwoorde algoritmisering Evaluatie algoritme-governance 2023

Nacho Kamenov & Humans in the Loop / Better Images of AI / Data annotators labeling data / CC-BY 4.0

1

Colofon Gemeente Rotterdam Datum: Auteur(s):

25 juli 2023 Maranke Wieringa, Eef Elschot, Tara Cohen, Leonie Peters

Vragen:

algoritmeexpert@rotterdam.nl

2

Samenvatting De jonge algoritmegovernance heeft hard aan de weg getimmerd. Dit is met name terug te zien in het inregelen van de opzet van de verschillende aspecten van de governance. Het fundament is gelegd, nu komt het aan op een volwassenheidsslag en verdere ontwikkeling. Wie het hoofd boven het algoritme-maaiveld wil steken

In deze evaluatie gaan we de verschillende assen van de

moet moedig zijn. Rotterdam heeft als koploper grote

algoritmegovernance langs en inventariseren we de op-

ambities voor verantwoord algoritmegebruik en hoewel

zet, bestaan en werking ervan. Tevens bespreken we de

we van ver gekomen zijn, zijn we ons er ook bewust van

taken, rollen en verantwoordelijkheden van de betrokke-

dat we er nog lang niet zijn, zeker omdat landelijke en

nen en ijken we de governance in licht van de landelijk

Europese kaders nog in ontwikkeling zijn. Het Rotter-

en Europese ontwikkelingen. Hieronder lichten we

damse ‘niet lullen maar poetsen’ heeft een hoop in opzet

puntsgewijs de belangrijkste uitkomsten toe.

opgeleverd. In de toekomst kunnen we voortbouwen op dit fundament en verdere volwassenheidsslagen maken.

Belangrijkste constateringen: •

De awareness in de organisatie is nog van onvoldoende niveau, hier ligt een grote opgave omdat vrijwel alle elementen van de governance hierop voortborduren.

•

Er is veel gedaan maar nog weinig vastgelegd. Hier buigen de algoritme-experts zich momenteel al over.

•

De derde lijn dient beter gepositioneerd en uitgewerkt te worden. De rol van Concern Audit dient uitgewerkt te worden. De AAR is in de huidige algoritmegovernance in de derde lijn geplaatst, maar deze plek past haar niet.

•

De positie van de algoritme-expert is kwetsbaar. Momenteel zijn er twee experts ingehuurd en is de ambitie om er één voor intern te werven. De verwachting is dat dit onvoldoende is om de organisatie te ondersteunen, zeker gezien de grote slagen die nog gemaakt moeten worden op het vlak van awareness, de inhaalslag bij het registreren van algoritmetoepassingen en het uit te voeren verbeterplan, welke uit deze evaluatie zal volgen.

•

De taken van de adviseur data en ethiek v.w.b. het begeleiden van DEDAs en IAMAs zijn onvoldoende robuust belegd wanneer deze functie omgevormd wordt en de vraag, naar verwachting bij grotere awareness, toeneemt.

•

De IAMAs zijn nog te vrijblijvend ingericht en ook de acties die er uit volgen dienen strakkere opvolging te krijgen.

•

Er is veel afhankelijkheid van de DUBs in het opsporen van nieuwe algoritmetoepassingen, maar de DUBs genieten niet overal gelijke bekendheid vanwege hun niet-invasieve implementatie.

Rens Dimmendaal / Better Images of AI / Man / CC-BY 4.0

3

Overzicht evaluatie in opzet, bestaan en werking Hieronder zijn de verschillende assen van de algoritmegovernance overzichtelijk weergegeven voor wat betreft hun opzet, bestaan en werking. Onderdeel Awareness

ARA

PRA en DPIA

DUBs

IAMA

DEDA

Algoritmeregister

4

Opzet

Bestaan

Werking

Toelichting Er is wel trainingsmateriaal aanwezig, maar het is nog niet geland in de organisatie en niet gebruikt of onvoldoende bezocht. Er dient een breder (generiek) communicatie-, bewustwordingsplan en (specifieke) trainingsplannen voor opgesteld te worden en te worden uitgevoerd. De ARA wordt gebruikt maar er is nog te veel ruimte voor interpretatie. Een aanscherping zou helpen evenals het beter documenteren van de redenatie achter de beantwoording van de vragen. In opzet is duidelijk gemaakt dat de privacygovernance onverminderd van kracht is en blijft wanneer er algoritmetoepassingen in het spel zijn. Onder de privacygeleding is er behoefte aan meer bewustwording, training en ondersteuning om algoritmetoepassingen beter te kunnen herkennen en duiden. DUBs zijn opgezet en worden ook uitgevoerd, maar genieten door niet-invasieve implementatie niet overal gelijke bekendheid waardoor algoritmetoepassingen niet overal opgespoord worden middels DUBs. Opgezet en wordt uitgevoerd. Niet geheel conform de originele eisenlijst (AIA). Enkele verbeterpunten in de werking. Komt weinig voor, maar kan voor gekozen worden bij laag-risico algoritmetoepassingen waar twijfels over zijn. Dit werkt prima. Het algoritmeregister is in een ontwikkelende fase. Er dient een volwassenheidsslag gemaakt te worden in de kwaliteit van de in

Beheer en herevaluatie

Inkoop

Woo

Raadsvragen, moties en toezeggingen

te vullen velden. Dit is reeds onder handen bij de algoritme-experts. Beheer en herevaluatie begint na 1-1,5 jaar werken onder de algoritmegovernance zichtbaar te worden. Dit is echter nog onvoldoende in beeld en behoeft verdere uitwerking. Het onderwerp is onder handen bij de algoritme-experts, inmiddels zijn hier ook al besluiten over genomen in de stuurgroep. Rotterdam was partij bij het Consortium Publieke Controle op Algoritmen die Inkoopvoorwaarden ontwikkeld hebben voor algoritmetoepassingen. Ten tijde van de evaluatie waren deze nog niet geïmplementeerd. Dit is inmiddels onder handen bij de algoritme-experts en Inkoop. In principe volgt een Woo-verzoek over een algoritmetoepassing het standaardproces. In opzet is het dus duidelijk. Wel is er in de praktijk veel onduidelijkheid en onzekerheid wanneer er een Woo-verzoek binnenkomt over een algoritmetoepassing. Daardoor zijn bestaan en werking nog niet optimaal. Werkwijze is helder in opzet, maar in de praktijk is het soms lastig. Dit hangt samen met een gebrek aan awareness, de onzichtbaarheid van sommige algoritmetoepassingen en angst in de organisatie.

5

Inhoudsopgave 1

2

3

4

5

6

7

8

9

6

Inleiding

9

1.1

Aanleiding evaluatie

9

1.2

Opdrachtbeschrijving

9

1.3

Definitie algoritme(toepassing)

9

De algoritmegovernance

12

2.1

Aanleiding

12

2.2

Overzicht opzet huidige governance

12

2.3

Korte samenvatting in cijfers

13

2.4

Doelgroep

14

Deze evaluatie

16

3.1

Doelgroep

16

3.2

Onderzoeksmethoden

16

3.3

Inleiding/leeswijzer rapport

16

Constateringen, vervolgstappen, mogelijke oplossingsrichtingen

18

4.1

Constateringen

18

4.2

Vervolgstappen

19

4.3

Mogelijke oplossingsrichtingen

23

4.4

Voorstel herziening rollen, taken en verantwoordelijkheden algoritme- governance

25

Vraagstelling nieuwe algoritmetoepassing

27

5.1

Awareness

27

5.2

ARA

28

Gegevens

30

6.1

Connectie en rol privacy officers en functionaris gegevensbescherming

30

6.2

Connectie en rol gegevensmakelaars en DUB

32

Algoritme

34

7.1

IAMA

34

7.2

DEDA

39

Resultaat

41

8.1

Algoritmeregister

41

8.2

Beheer en herevalueren algoritmetoepassingen

43

8.3

Inkoop

44

Impact

46

9.1

Woo

46

9.2

Raadsvragen, moties en toezeggingen

48

10 Taken, rollen en verantwoordelijkheden

50

10.1 Hoe gaat het op papier?

50

10.2 Hoe gaat het in de praktijk?

52

10.3 Adviezen en conclusies

56

11 Aansluiting landelijke en Europese ontwikkelingen

59

11.1 Landelijke ontwikkelingen

59

11.2 Europese ontwikkelingen

60

11.3 Adviezen en conclusies

62

12 Afsluitende woorden

63

Lijst van afkortingen

64

Opvolging adviezen AAR

65

Verwerkte adviezen

65

Onder handen adviezen

65

Toekomstige opvolging

68

7

8

Inleiding - Hoofdstuk 1

1 Inleiding Voor u ligt het evaluatierapport rondom de governance van algoritmetoepassingen in de gemeente Rotterdam.

1.1

Aanleiding evaluatie

De gemeente Rotterdam is een van de koplopergemeentes in Nederland als het gaat om de inzet en de governance van algoritmetoepassingen.

door bijvoorbeeld Rotterdamse bedrijven worden ingezet buiten de gemeentelijke organisatie vallen hierbuiten. We dienen dus een onderscheid te maken tussen een organisatorische toepassing van algoritmes en geografische toepassingen. Deze governance richt zich op het eerste.

Dat betekent ook dat Rotterdam, net als veel an-

1.3.1 Definitie algoritme

dere gemeentes, lerend is als het aankomt op de verantwoorde inzet van en controle op algorit-

Er werden door de gemeente en aan de gemeente gelieerde organen op verschillende momenten verschillende definities aangehouden voor ‘algoritmes’. Zo wordt de definitie van het ministerie van Justitie en Veiligheid aangehouden in de beantwoording van één van de Wooverzoeken, maar is dit een andere definitie dan die de Rekenkamer Rotterdam hanteerde in haar rapport Gekleurde technologie, en weer anders dan welke in de algoritmegovernance is opgenomen.

metoepassingen. Het voorliggende rapport past in de lerende houding en evalueert de algoritmegovernance binnen de gemeente.

1.2

Opdrachtbeschrijving

De opdrachtgever van dit evaluatierapport is het afdelingshoofd Strategie en Ondersteuning. De opdracht omvat een evaluatierapport voor de stuurgroep algoritmes, de Algoritmeadviesraad (AAR; voorheen Algorithm Advisory Board, AAB) en de wethouder Financiën, Organisatie, Dienstverlening en Grote Projecten.

1.3

Definitie algoritme(toepassing)

Alles staat of valt uiteindelijk met een definitie. In de governance van algoritmetoepassingen staan twee begrippen centraal: algoritme en algoritmetoepassing. Hieronder bespreken we beide definities. Wat belangrijk is om op te merken is dat de algoritmegovernance zich beperkt tot algoritmetoepassingen die gebruikt worden door de gemeente Rotterdam en de met haar vervlochten partijen (bijv. leveranciers). Toepassingen die

1

Rekenkamer Rotterdam. Gekleurde technologie: verkenning ethisch gebruik algoritmes. April 2021

Definitie Rekenkamer Rotterdam: Een algoritme is een set instructies die wordt uitgevoerd om een bepaald doel te bereiken.1 Definitie Ministerie van Justitie en Veiligheid: Een wiskundige formule of model, dat wordt uitgevoerd middels een computer, om een probleem op te lossen, een vraag te beantwoorden, een voorspelling te doen, een beslissing te nemen of die te ondersteunen.2 Definitie algoritmegovernance: Een algoritme is software die data-analyse, statistiek of logica kan uitvoeren. Dit kan variëren van een simpele

2

Ministerie van Justitie en Veiligheid. Richtlijnen voor het toepassen van algoritmen door overheden en publieksvoorlichting over data-analyses. Maart 2021.

Inleiding – Hoofdstuk 1

9

regels tot niet-lineaire modellen die doen denken aan neurale netwerken.3

Digitaliseren en de AI act) waarbij specifieke de-

In de basis zijn deze definities grotendeels vergelijkbaar, met de kanttekening dat die van het Ministerie van J&V en die uit de algoritmegovernance specifiek melding maken van computationele algoritmes. In de communicatie binnen de organisatie en naar de inwoner toe is het echter wenselijk om een eenduidige definitie te hanteren. Hierbij is recent gekozen om de definitie van het Ministerie van J&V aan te wijzen als de nieuwe vigerende definitie om op deze manier aan te sluiten bij de landelijke ontwikkelingen.4

Tegelijkertijd moet het uitvoerbaar en herken-

1.3.2 Definitie algoritmetoepassing In de gehanteerde werkdefinitie wordt rechtgedaan aan de pluriforme verschijningsvormen van algoritmes: van beslisboom tot neuraal netwerk. We willen daarbij tevens voorsorteren op een ‘triage’: want niet elk algoritme is in gebruik even risicovol en behoeft eenzelfde uitvoerige set beheersmaatregelen en/of prioritering voor publicatie in bijvoorbeeld het algoritmeregister. Tezelfdertijd concluderen we dat een overkoepelende, vigerende definitie momenteel nog ontbreekt. Zodra deze (wettelijke) definities ontwikkeld zijn is het belangrijk om deze te adopteren om bij deze standaard aan te sluiten. Voor nu is het noodzakelijk om de werkdefinitie flexibel maar werkbaar te maken. Dat wil zeggen: het moet aan kunnen sluiten op reeds bestaande definities (zoals hierboven enkele reeds genoemd zijn) en anderzijds aan kunnen sluiten bij toekomstige wet- en regelgeving (zie bijvoorbeeld de werkagenda Waardegedreven

finities nog in ontwikkeling zijn.5

baar zijn voor de operationele praktijk. Om dit alles te rijmen wordt binnen de huidige algoritmegovernance geen detaildefinitie gehanteerd, maar veeleer een definitie die recht doet aan hoe we algoritmes in de werkpraktijk van de gemeente tegenkomen: niet als abstracte instructies om van A naar B te komen los van enige implementatie, maar als (socio-technische) algoritmetoepassingen. Wat bedoelen we hiermee? In de governance voor een verantwoorde toepassing van hoog-risico-algoritmen wordt dit gedefinieerd als bestaand uit vier onderdelen: 1) het gebruik van gegevens; 2) de werking van een algoritme; 3) een resultaat (adviezen, voorspellingen, besluiten); 4) impact op de eigen organisatie, burgers, bedrijven, maatschappelijke organisaties en medeoverheden. Als er van alle vier deze onderdelen sprake is, spreken we van een algoritmetoepassing.6 In de praktijk betekent dit dat bij het tegenkomen van een algoritme (dat wil zeggen ‘een wiskundige formule of model, dat wordt uitgevoerd middels een computer, om een probleem op te lossen, een vraag te beantwoorden, een voorspelling te doen, een beslissing te nemen of die te ondersteunen’) er getoetst moet worden of dit algoritme onderdeel is van een algoritmetoepassing. Daar is sprake van als er bij de verwerking een specifieke, vooraf vastgestelde set van gegevens wordt ingevoerd, op basis waarvan een

3

Programma DGW. Governance van hoog risico algoritmetoepassingen. Februari 2022. Notulen stuurgroep algoritmes, 4 mei 2023. 5 Rijksoverheid. Werkagenda Waardegedreven digitaliseren. November 2022; Europese commissie. Proposal for a ‘Regulation Of The European Parliament And Of The Council Laying Down 4

10

Inleiding - Hoofdstuk 1

6

Harmonised Rules On Artificial Intelligence (Artificial Intelligence Act) And Amending Certain Union Legislative Acts’. 2021. Wierenga, Wubbo, Verbeek, Wouter, Al-Saqaff, Mariam (Berenschot) Governance voor de verantwoorde toepassing van hoogrisico-algoritmen in de gemeente Rotterdam. Juli 2021.

telkens vooraf vastgestelde soorten resultaten volgen, die impact hebben. Om dit verder te illustreren: − ‘Excel’ als applicatie valt hierbuiten: er wordt op applicatieniveau immers geen eenduidige gegevensverwerking gedaan volgens eenduidige stappen met vergelijkbare soorten uitkomsten. De ene keer wordt Excel gebruikt om een rekenmodel op te stellen voor bijv. prioritering van de energietoeslag, de andere keer om een begroting voor een project op te stellen. Excel is daarmee geen algoritmetoepassing maar een applicatie. Een rekenmodel binnen Excel (bijv. voor prioritering energietoeslag) kan wel een algoritmetoepassing zijn. Dit rekenmodel geeft immers op basis van eenduidige gegevens (bijv. specifieke karakteristieken) voor alle betrokkenen een suggestie van prioritering (eenzelfde resultaat). − De parkeerscanauto’s zijn wel een algoritmetoepassing. Er is hier sprake van eenduidige gegevens (beeldherkenning van kentekens) die op eenzelfde wijze verwerkt worden, een besluit ondersteunen en vervolgens direct of indirect impact hebben (bijv. naheffing).

Inleiding – Hoofdstuk 1

11

2 De algoritmegovernance Alvorens we dieper ingaan op de evaluatie van de algoritmegovernance lichten we eerst de opzet ervan beknopt toe.

2.1

Aanleiding

Binnen OBI is in 2019 formeel begonnen met data science. Dit is destijds in korte tijd centraal georganiseerd nadat er rond 2017-2018 eerst 5 á 6 data scientists binnen de clusters instroomden. Het begon als een klein team van zes mensen en is de afgelopen 4 jaar flink in omvang toegenomen. Ondertussen liep er een onderzoek van de Rekenkamer Rotterdam naar een algoritmetoepassing waaruit veel aanbevelingen volgden voor een algoritmegovernance. Bureau Berenschot is vervolgens gevraagd om een ontwerp voor een algoritmegovernance te maken, welke vrijwel ongewijzigd geïmplementeerd is in Rotterdam.7

De algoritmegovernance is vormgegeven als additionele governance. Dat wil zeggen dat aanverwante governances (bijv. de data- en privacygovernance) geldend zijn en blijven. Enkel voor het stukje algoritmetoepassingen wordt de algoritmegovernance hieraan toegevoegd. Binnen deze algoritmegovernance wordt er onderscheid gemaakt tussen de ontwikkelgovernance en beheersgovernance.

2.2

Overzicht opzet huidige governance

Eind 2021-begin 2022 is de huidige algoritmegovernance vastgelegd. Deze is getiteld: de governance van hoog-risico algoritmetoepassingen. Hieronder bespreken we kort wat er is vastgelegd.8 De algoritmegovernance richt zich op algoritmetoepassingen (zie hoofdstuk 1). De governance

Afbeelding 1. Verantwoordelijkheidsverdeling clusters en IIFO

7

12

Wierenga, Wubbo, Verbeek, Wouter, Al-Saqaff, Mariam (Berenschot) Governance voor de verantwoorde toepassing van hoogrisico-algoritmen in de gemeente Rotterdam. Juli 2021.

De algoritmegovernance - Hoofdstuk 2

8

Ibid.

onderscheidt drie Lines of Defense. De verantwoordelijkheid over de algoritmetoepassing ligt bij de proceseigenaar en het cluster. De verantwoordelijkheid voor het algoritme ligt primair de leverancier en/of IIFO (zie afbeelding en tabel 1).9 De eerste lijn (cluster) is verantwoordelijk voor het gebruik van de algoritmetoepassing. De tweede lijn, in de vorm van de algoritme-experts en de adviseur Data en Ethiek, ondersteunt de eerste lijn hierbij. De derde lijn wordt in de governance benoemd in de vorm van de Algoritmeadviesraad (AAR, adviserend) en Concern Audit. Concreet zien we de volgende verdeling van verantwoordelijkheden op de verschillende niveaus (tabel 1).10 Niveau

Bestuurlijk niveau Beleidsniveau Uitvoeringsniveau

Controleniveau

Communicatieniveau

2.3

Korte samenvatting in cijfers

Sinds 1 januari 2022 is er veel gebeurd. Hieronder is dit cijfermatig uitgedrukt, de cijfers weerspiegelen de stand van zaken van de tweede helft van juli 2023. Algoritmeregister Er staan momenteel 33 algoritmetoepassingen in het interne register, waarvan 6 buiten werking. 6 algoritmetoepassingen zijn gepubliceerd in het externe register, waarvan 1 buiten werking. 6 algoritmetoepassingen worden naar verwachting spoedig in het externe register gepubliceerd (zie grafiek 1).

Verantwoordelijk voor gehele keten van toepassing algoritme Wethouder inhoudelijk (bestuurlijk opdrachtgever) Directeur cluster Proceseigenaar (opdrachtgever)

In lijn met de kadernota sturen en verantwoorden Tweede lijn: Algoritme Expert Derde lijn: Concern Audit en Algoritmeadviesraad (AAR, voorheen Algorithm Advisory Board, AAB) Proceseigenaar

(Leveranciers)verantwoordelijk voor algoritme (functionele en technische aspecten) Wethouder verantwoordelijk voor BCO / IIFO Directeur IIFO Ontwikkelfase: operationeel verantwoordelijke voor algoritmeontwikkeling binnen de gemeente (ook bij externe leverancier) Beheerfase: functioneel beheerder In lijn met de kadernota sturen en verantwoorden Tweede lijn: Algoritme Expert Derde lijn: Concern Audit en Algoritmeadviesraad (AAR, voorheen Algorithm Advisory Board, AAB)

Proceseigenaar

Tabel 1. Verantwoordelijkheden op de verschillende niveaus

9

Programma DGW. Governance van hoog risico algoritmetoepassingen. Februari 2022.

10

Programma DGW. Governance van hoog risico algoritmetoepassingen. Februari 2022.

De algoritmegovernance – Hoofdstuk 2

13

Assistent) uitgevoerd (zie grafiek 3). NB: er worden meer DEDA’s uitgevoerd dan enkel voor algoritmetoepassingen, de telling hier betreft degenen die vanuit de algoritmegovernance uitgevoerd worden.

30 20 10 0 Interne register In gebruik

Externe register

Spoedige publicatie

Buiten werking

Grafiek 1. Verdeling algoritmetoepassingen in het algoritmeregister.

ARA Er zijn 34 ARA’s (Algorithm Risk Assesment) uitgevoerd. Momenteel moet er 1 ARA nog ingepland worden. Risico Momenteel zijn er 18 laag-risico algoritmetoepassingen in het algoritmeregister. 7 toepassingen zijn hoog-risico. Over 4 toepassingen is er nog onvoldoende bekend om een risico-inschatting te maken. Momenteel wordt dit aangeduid als ‘beperkt risico’ of ‘nader te bepalen’ (zie grafiek 2). De overige vier toepassingen zijn een jaar of langer niet meer in gebruik en zijn gearchiveerd. Deze zijn niet opgenomen in onderstaand overzicht. In het externe register zijn 5 laag-risico algoritmetoepassingen opgenomen en 1 hoog-risico toepassing. 30 20 10 0

10 8 6 4 2 0 IAMA Uitgevoerd

DEDA In uitvoering

Grafiek 3. Status IAMAs en DEDAs

PRA en DPIA De Privacy Risk Assessment (PRA) is een preDPIA check om te kijken of een DPIA (Data Protection Impact Assessment) nodig is. Er zijn momenteel 6 PRAs uitgevoerd. In 3 van deze gevallen was ook een DPIA noodzakelijk, in de overige gevallen niet. Er worden momenteel 3 PRAs gepland. Er zijn 7 DPIA’s bekend voor de bekende algoritmetoepassingen (zie grafiek 5). Twee hiervan zijn DPIAs die aangeleverd zijn door externe organisaties. Ook zijn er twee DPIAs die op applicatieniveau zijn uitgevoerd, maar niet op de toepassing zelf. In één geval was er überhaupt geen sprake van persoonsgegevens en is er geen PRA of DPIA gedaan. 10

Interne register Laag

Hoog

Externe register Onvoldoende informatie

Grafiek 2. Verdeling risicoclassificaties van algoritmetoepassing in het register.

5 0 PRA

IAMA en DEDA Er zijn 4 Impact Assesment Mensenrechten en Algoritmen (IAMA) al volledig uitgevoerd. Momenteel worden er 2 uitgevoerd, in één geval is de ontwikkeling van de algoritmetoepassing afgebroken en zal de IAMA niet tot een einde gebracht worden. Daarnaast staat er nog 4 IAMAs op de planning. Er is 1 DEDA (De Ethische Data

14

Gepland

De algoritmegovernance - Hoofdstuk 2

Uitgevoerd

DPIA Gepland

Grafiek 5. Status PRAs en DPIAs.

2.4

Doelgroep

De doelgroep voor de algoritmegovernance moet volgens één van de geïnterviewden ‘iedereen die betrokken is bij een algoritme, van

ontwikkeling tot gebruiker’ omvatten. Dit is ook conform de beschreven taken en verantwoordelijkheden in de opzet van de governance.11 We onderscheiden groepen die in het algemeen op de hoogte moeten zijn van (bepaalde delen van) de governance. Dat gaat om: Proceseigenaren, idealiter moeten zij weten welke verantwoordelijkheden gepaard gaan met de inzet van een algoritmetoepassing. Dat houdt in dat zij moeten weten dát er algoritmetoepassingen gebruikt zijn, op welke wijze deze tot stand zijn gekomen en welke risico’s hierbij kunnen spelen en hoe deze toegepast worden. Minimaal dienen zij te weten dat er een algoritmegovernance bestaat en dat deze van toepassing is op algoritmetoepassingen in hun processen. Projectleiders/aanvragers, zij moeten weten welke stappen gezet moeten worden in het ontwikkelproces van algoritmes en waar deze stappen toe dienen. Inkoop, zij moeten weten hoe zij een algoritmetoepassing herkennen, zodat zij weten wanneer hier extra voorwaarden van toepassing zijn. Beleidsmakers, zij moeten weten wanneer zij een algoritmetoepassing gebruiken om hun beleid te formuleren en met welke algemene voordelen en risico’s dit gebruik gepaard kan gaan.

een verantwoord algoritme en hoe zij daarin begeleid worden. Functioneel beheer zij moeten weten welke beheersmaatregelen er gelden voor de toepassing en ondersteunen bij de herevaluatie. Compliance (SPIDE’R) specialisten en gegevensmakelaars, zij moeten weten hoe het proces tot de ontwikkeling van een verantwoord algoritme eruitziet en wat er wanneer van hen verwacht wordt. In Rotterdam wordt compliance integraal aangepakt door middel van SPIDE’R. SPIDE’R staat voor Security, Privacy, Informatiebeheer, Datamanagement, Ethiek en algoritmes, Rotterdam. Woo-adviseurs, zij moeten weten hoe het proces tot de ontwikkeling van een verantwoord algoritme eruitziet, zodat zij vanuit hun specialisme kunnen aangeven wat hiervan openbaar gemaakt kan en moet worden. Derde lijn, zij moeten weten hoe de governance ingericht is en waar de uitvoering belegd is, zodat zij hun controlerende dan wel adviserende taak goed kunnen uitvoeren. Daarnaast onderkennen we het feit dat bij het gebruik van een specifieke algoritmetoepassing inderdaad alle betrokkenen op de hoogte moeten zijn van het feit dát er sprake is van een algoritmetoepassing en hoe deze globaal werkt.

Gebruikers, zij moeten weten wanneer zij een algoritmetoepassing gebruiken om hun werk uit te voeren en wat de algemene voordelen en risico’s zijn van het gebruik van algoritmes. Ontwikkelaars, zij moeten weten welke stappen er gevolgd moeten worden om te komen tot

11

Programma DGW. Governance van hoog risico algoritmetoepassingen. Februari 2022.

De algoritmegovernance – Hoofdstuk 2

15

3 Deze evaluatie Alvorens over te gaan tot de inhoudelijke evaluatie lichten we graag de doelgroep van deze evaluatie en de totstandkoming van de evaluatie toe. We baseren ons op een breed palet van interviews, communicatie en documenten. We eindigen deze sectie met een leeswijzer voor het rapport.

3.1

Doelgroep

Deze governance-evaluatie wordt allereerst voorgelegd aan de stuurgroep algoritmes, die in het leven is geroepen naar aanleiding van de implementatie van de eerste versie van de governance. Na input van deze stuurgroep zal de governance-evaluatie worden voorgelegd aan het MT IIFO. Hierna gaat het naar het college. Na instemming van het college gaat het naar de raad. Daarnaast zal deze evaluatie worden voorgelegd aan de Algoritmeadviesraad, die naar aanleiding van het vaststellen van de eerste versie van de governance is aangesteld.

3.2

Onderzoeksmethoden

Voor de samenstelling van deze evaluatie hebben wij verschillende personen binnen en buiten de organisatie geïnterviewd om hun ervaringen met de algoritmegovernance te inventariseren vanuit de verschillende relevante disciplines en functies. We hebben in totaal gesproken met 22 individuen. Gezien het tijdsbestek waarin deze evaluatie uitgevoerd moest worden is het niet mogelijk geweest om de interviews op te nemen en woordelijk uit te werken. We hebben er hierbij voor gekozen om in plaats daarvan meer mensen te spreken en aantekeningen te maken van de antwoorden tijdens het gesprek. Interviewees die hierom gevraagd hebben kregen de mogelijkheid om het stuk te reviewen. Gezien de korte doorloop van deze evaluatie was het niet mogelijk om de inhoud proactief

16

Deze evaluatie - Hoofdstuk 3

aan te bieden aan alle interviewees. Om deze reden is ervoor gekozen om de uitspraken van de respondenten niet herleidbaar te maken in deze evaluatie. De interviews hebben plaatsgevonden via Teams en duurden in de regel een half uur tot en een uur. De operationeel algoritme-expert is in twee sessies geïnterviewd gezien de breedte van de uitvraag. Daarnaast baseren wij ons op communicatie (bijv. mailwisselingen) en documenten.

3.3

Inleiding/leeswijzer rapport

Er is ontzettend rijke input opgehaald bij de respondenten, tevens is de opdrachtstelling omvangrijk geweest. Daarmee ligt er een lijvige evaluatie op tafel. Om het behapbaar te maken, beginnen we met de Constateringen, vervolgstappen en mogelijke oplossingsrichtingen die naar voren kwamen uit de evaluatie. Daarna bespreken we de inhoudelijke onderdelen en eindigen we met enkele afsluitende woorden. Inhoudelijk is dit rapport rondom de verschillende elementen van algoritmetoepassingen als volgt gestructureerd: gegevens, algoritme, resultaat, impact. Hieraan voegen we nog ‘vraagstelling’ toe als een startpunt. Na de verschillende componenten besproken te hebben die bij de algoritmetoepassingen naar boven komen, bespreken we de taken, rollen en verantwoordelijkheden. Hierna bespreken we de verhouding van de governance ten opzichte van de lopende landelijke en Europese ontwikkelingen op dit vlak (bijv. de AI act). Het merendeel van de onderdelen volgt de volgende opbouw: - Hoe werkt het op papier? - Hoe werkt het in de praktijk? - Conclusies en adviezen Hierdoor is het voor geïnteresseerden in deelonderwerpen mogelijk om de specifieke onderdelen gemakkelijk op te zoeken.

Deze evaluatie – Hoofdstuk 3

17

4 Constateringen, vervolgstappen, mogelijke oplossingsrichtingen Om de evaluatie en haar implicaties hanteerbaar te maken bespreken we op hoofdlijnen de belangrijkste constateringen, vervolgstappen en mogelijke oplossingsrichtingen. Bij de vervolgstappen en oplossingsrichtingen geven we middels dit symbool, rechts van de tekst, aan wanneer er sprake is van een beslispunt – dat wil zeggen waarover in de toekomst een besluit genomen dient te worden nadat de betreffende onderwerpen verder uitgewerkt zijn:

4.1

Constateringen

De deelconclusies en adviezen zijn verderop in dit rapport te lezen bij de verschillende onderdelen. In dit deel vatten wij de belangrijkste constateringen samen. Onvoldoende awareness en kennis Door de hele organisatie is er onvoldoende awareness. Dit geldt voor het bewustzijn over algoritmes en algoritmetoepassingen in het algemeen maar ook bewustzijn over de algoritmegovernance. Ook zien we dat er onvoldoende kennis en bewustzijn is in specifieke contexten van algoritmetoepassingen en bij specifieke groepen die van belang zijn voor de uitvoering van de algoritmegovernance (bijv. gegevensmakelaars, privacy-officers, Woo-juristen). Veel gedaan, weinig vastgelegd en geconsolideerd Gemeente Rotterdam is zeer voortvarend van wal gestoken met grip krijgen op haar algoritmetoepassingen. Daarbij is er veel gedaan aan het opzetten van verschillende aspecten van de governance. Er is nog een hoop winst te behalen in het verbeteren, voortbouwen, vastleggen en

18

Constateringen, vervolgstappen, mogelijke oplossingsrichtingen - Hoofdstuk 4

consolideren van de werkwijzen en inspanningen. Denk hierbij bijvoorbeeld aan een kwaliteitsslag in het algoritmeregister en het implementeren van de reeds ontwikkelde inkoopvoorwaarden. De derde lijn is momenteel (op papier) ontoereikend en niet-passend ingericht De derde lijn is momenteel niet dekkend en passend. Concern Audit geeft aan dat haar rol nog verder uitgewerkt moet worden. De AAR adviseert en controleert niet. Zij controleert het samenspel van de eerste en tweede lijn dus, net als Concern Audit, niet. Dit onderdeel is nog niet belegd in de derde lijn. Daarnaast geeft de AAR aan dat haar positie in de three lines of defense niet passend is omdat zij een adviserend en niet een controlerend orgaan is. De algoritme-expert is kwetsbaar Momenteel wordt de functie van algoritme-expert ingevuld door twee externen die gezamenlijk ruim meer dan fulltime werken. De wens ligt er om één interne algoritme-expert te gaan werven . Personele stabiliteit is erg gewenst op dit dossier, daarom is een interne algoritme-expert erg belangrijk voor de gemeente Rotterdam. Echter, gezien de taakomvang van de algoritmeexpert/s en de slagen die nog gemaakt moeten worden in het kader van een verbeterplan, is zeer de vraag of één persoon/1 FTE afdoende capaciteit biedt om hier invulling aan te geven.

Daarnaast onderstreept de AAR in haar advies ook dat de afhankelijkheid van één expert niet de voorkeur verdient omdat het de governance kwetsbaar maakt. De taken rondom de IAMA en de DEDA zijn niet robuust belegd

Momenteel staat of valt de uitvoering van de DEDAs en de IAMAs met de adviseur data en ethiek. De verwachting is dat deze functie omgevormd zal worden, waarmee deze taken onvoldoende belegd zijn. Voor DEDA is er een vrijwilligerspool in de organisatie, maar er is geen verplichting voor deelnemers om DEDAs te begeleiden. Voor IAMAs is er een zeer minimale pool van vrijwilligers, dit moet nog worden opgezet. Het is de vraag of een vrijwilligerspool bij grotere vraag, die bij een hogere bewustwording waarschijnlijk gaat spelen, afdoende robuustheid heeft om in de benodigde begeleiding van de instrumenten te kunnen voorzien. De IAMA is te vrijblijvend in gebruik De IAMA wordt ervaren als een zinvolle exercitie, maar tegelijkertijd wordt er ook gewaarschuwd dat het soms te vrijblijvend is. ‘Niet elk antwoord is goed’, wijst een van de respondenten ons op. Tevens wordt er niet afdoende gecontroleerd op het uitvoeren van de acties die voortkomen uit de IAMA. Afhankelijkheid DUBs De algoritmegovernance is complementair aan de privacy-, informatiebeveiliging- en datagovernance. Binnen de DUBs komen al de aanverwante disciplines samen om een integraal advies te geven over (her)gebruik van data. Deze disciplines komen samen onder de noemer SPIDE’R. Het perspectief van algoritmen en ethiek speelt hierin ook een rol. De invoering van de DUBs is niet-invasief vormgegeven.

Daarbij mogen de verschillende onderdelen van de organisatie zelf aangeven of een DUB passend is voor hen. Hierdoor zijn er verscheidene onderdelen die nog geen DUBs uitvoeren maar (mogelijk) wel algoritmetoepassingen gebruiken. Deze zijn via de DUBs nog onvoldoende in beeld. Aangezien het DUB een belangrijk knooppunt is om nieuwe algoritmetoepassingen op te sporen, maakt dat de werking van de governance kwetsbaar. Tezelfdertijd liggen er grote kansen in ontdubbeling en

stroomlijning van werk wanneer de DUBs volwassener zijn en beter gevonden worden.

4.2

Vervolgstappen

De specifieke invulling van de vervolgstappen die uit deze evaluatie volgen, zal in de praktijk gezocht moeten worden. Wel willen we alvast een ruwe volgordelijkheid schetsen welke gehanteerd kan worden. Verder realiseren randvoorwaarden De governance behoeft enkele randvoorwaarden om werkbaar te zijn in de praktijk. Hiervoor dienen de volgende taken, rollen, verantwoordelijkheden en de daarmee samenhangende capaciteit in lijn gebracht te worden met de bijhorende opgave.

Te realiseren: - Volwassenheid van de DUBs; - Afdoende capaciteit bij algoritme-expert; - Robuuste belegging taken rondom DEDA en IAMA. Awareness op één De bewustwording in de organisatie is een spil binnen de algoritmegovernance. Als men niet weet dat ze met een algoritme(toepassing) werken, dan kunnen ze hier ook niet bewust en verantwoord mee aan de slag gaan. Communicatie, bewustwording en trainingen in de organisatie over algoritmetoepassingen zijn daarmee onontbeerlijk voor het succes van verantwoord algoritmegebruik.

Benodigd: - Afdoende capaciteit algoritme-expert/s. - Analyse naar in het verleden gedane interventies en hun werking. - Richtlijn ontwikkelen samen met Woo-team voor algemene handelingswijzen bij publicatie gerelateerd aan algoritmetoepassingen.

Constateringen, vervolgstappen, mogelijke oplossingsrichtingen – Hoofdstuk 4

19

Te realiseren: - Trainingen voor gebruikers van algoritmetoepassingen met uitleg over wat een algoritme is, hoe dit algoritme werkt en wat aandachtspunten bij gebruik zijn; Reeds onder handen: - Aangescherpte ARA vragen; - Stroomlijning definities over documenten en formulieren heen (bijv. GLO); - Eigenaarschap, rollen en verantwoordelijkheden expliciteren voor wat betreft Woo-verzoeken over algoritmetoepassingen; - Verkenning mogelijkheden intensivering externe communicatie naar inwoners; - Trainingen voor ketenpartners (bijv. privacy-officers, gegevensmakelaars, Wooteam) voor awareness v.w.b. algoritmetoepassingen; - Praktische en toegespitste handvatten voor ketenpartners (bijv. privacy-officers, Woo-team, gegevensmakelaars) ter ondersteuning van het herkennen van een algoritmetoepassing en een overzicht met de te nemen stappen en in te schakelen ondersteuning; - Generieke trainingen over wat algoritmes en algoritmetoepasingen zijn, wat de definitie is van een algoritme en algoritmetoepassing en hoe die ontwikkeld worden, kunnen nog verder ontwikkeld worden; - Zichtbaarheid en vindbaarheid van de algoritmegovernance vergroten. Hiervoor is de RIO-pagina reeds herzien worden en gaat men momenteel langs te gaan bij de verschillende onderdelen in de organisatie om laagdrempelig iets te vertellen over de algoritmegovernance.

20

Constateringen, vervolgstappen, mogelijke oplossingsrichtingen - Hoofdstuk 4

Reeds afgerond: - Aangescherpte definitie algoritme/algoritmetoepassing. Herziening derde lijn Parallel aan de communicatie en het verhogen van bewustzijn binnen de organisatie kan er nagedacht worden over de inrichting van de derde lijn. Er spelen momenteel vier kwesties voor wat betreft de inrichting van de derde lijn. Hieronder bespreken wij de daarmee samenhangende vervolgstappen kort.

Uitwerken rol Concern Audit De rol van Concern Audit dient verder uitgewerkt te worden. Het hoofd Concern Audit heeft hiervoor een verkenning toegezegd. Benodigd: - Verkenning vanuit Concern Audit. Te realiseren: - Inrichting derde lijnsrol Concern Audit. Herpositionering AAR De AAR is momenteel gepositioneerd in de three lines of defense. Gezien haar adviserende functie is dit geen goede positionering. De AAR, bij monde van de voorzitter, geeft hierbij ook aan dat zij niet meewerken aan de verdediging of de controle, ze adviseren enkel. Te realiseren: - Verwerking nieuwe positie AAR in nieuwe governance. Reeds afgerond: - Verkenning voor mogelijke herpositionering AAR (zie bijvoorbeeld onder Mogelijke oplossingsrichtingen). Bij de bespreking hiervan is besloten dat er geen aparte third line wordt ingericht rondom de AAR. Wel wordt de AAR uit de third line of defense gehaald en beter

gecommuniceerd dat het hier een extern adviesorgaan betreft.12 Overwegen benoemen van rol FG De FG is nog niet in beeld in de huidige governance. Deze heeft wel een derdelijnsfunctie voor wat betreft algoritmetoepassingen waar persoonsgegevens bij betrokken zijn. Hiervoor is de privacygovernance vigerend. Inhoudelijk verandert dit niets aan de privacygovernance of aan de algoritmegovernance, maar het advies is om te overwegen de plaats van de FG voor algoritmetoepassingen waarbij persoonsgegevens betrokken zijn te benoemen in een herziening van de algoritmegovernance. De twee governances worden daardoor beter gestroomlijnd en de aanvulling van de algoritmegovernance op bestaande governances wordt er duidelijker van. Tevens kan een uitgebreidere benoeming en doorverwijzing de positie van de privacy-geleding versterken. In de eerste bespreking van dit rapport is vastgesteld dat de positie van de FG afdoende benoemd is gezien het aanvullende karakter van de algoritmegovernance.13 Eventueel: inventarisatie en mitigatie gaps In lijn met de kadernota sturen en verantwoorden is het wellicht logischer om de algoritmegovernance-evaluatie bij een derde lijn te beleggen dan bij de tweede lijn zelf.14 Het gaat hier immers om het vast stellen of het samenspel van de eerste en tweede lijn goed functioneert.

Er is echter op dit moment geen logische derde lijn waar deze verantwoordelijkheid belegd kan worden. De AAR is een, extern, adviserend orgaan, de rol van Concern Audit is naast de benoeming ervan nog niet verder uitgewerkt, maar zij geven voorlopig aan dat zij vooral naar specifieke algoritmetoepassingen kijken, niet naar de bredere werking van de governance. Afhankelijk van de invulling van de rol van CA kan het zijn dat deze binnen de momenteel benoemde derde

12 13

Notulen stuurgroep algoritmen 20 juni 2023. Ibid.

lijn niet belegd zal worden. Er moet hierbij gekeken worden naar waar dit toezicht en de evaluatie belegd kan worden. In de eerste verkenning kwam terug dat dit bij het Data Office/de Chief Data Officer belegd kan worden.15 Te realiseren: - Beleggen toezicht op eerste en tweede lijn bij Data Office/Chief Data Officer. Kwaliteitsslag algoritmeregister Naast de inrichting van de derde lijn optimaliseren kan er tussentijds door de operationeel algoritme-expert gewerkt worden aan een kwaliteitsslag in het algoritmeregister.

Benodigd: - Handreiking voor het invullen van de velden in het register; Te realiseren: - Realisatie archieffunctie; - Realisatie automatisering van berichtgeving van benodigde herevaluatie en bijhorend escalatiepad. Reeds onder handen: - Register in lijn brengen met de publicatiestandaard; - Kwaliteitscontrole registraties; - Autorisatiematrix algoritmeregister; - Aansluiting op de te realiseren API van het landelijk register; - Ontdubbeling van velden. Reeds afgerond: - Verkenning automatisering van berichtgeving van benodigde herevaluatie; - Verkenning archivering in het externe register.

14 15

Kadernota sturen en verantwoorden Notulen stuurgroep algoritmen 20 juni 2023.

Constateringen, vervolgstappen, mogelijke oplossingsrichtingen – Hoofdstuk 4

21

Onvrijblijvendheid IAMA Momenteel wordt er niet toegezien op de naleving van de actiepunten uit het de IAMA. Ook wordt er in de begeleiding soms nog te veel uitgegaan van ‘er zijn geen foute antwoorden’ terwijl we als organisatie wel degelijk bepaalde waarden en beleid na willen streven. Het is daarom belangrijk om structurele controle op de IAMAs in te richten en om met de begeleiding dieper door proberen te vragen naar bijvoorbeeld proportionaliteit. De controle van de IAMAs lag in de opzet van de governance belegd bij de AAR. In haar constituerende vergadering gaf deze aan dat zij dit hoogstens steekproefsgewijs zullen doen. Er ontbreekt nog een structurele vinger aan de pols, zowel bij de beantwoording van de vragen uit de IAMA als bij de controle op de opvolging van de actiepunten, voor een algoritmetoepassing in gebruik genomen wordt.

Te realiseren: - Aanvullende handreiking/training/instructie voor IAMA-begeleiders; - Belegging van controle op de IAMAs. Reeds afgerond: - Verkenning belegging van controle op IAMAs (zie Mogelijke oplossingsrichtingen voor een eventueel scenario waarin dit bij de algoritme-expert belegd kan worden). Vanuit deze verkenning kwam voort dat de Chief Data Officer een voorstel dient op te stellen voor het beleggen van de controle op de IAMAs.16

Ex post en ex ante vulling van het register Een doorlopend punt van actie wat langer duurt is het achteraf opsporen en het vooraf aansluiten bij algoritmetoepassingen in de organisatie ten behoeve van de registratie.

Benodigd: - Grotere awareness in de organisatie; - Breed gedragen DUBs. Reeds onder handen: - Kwaliteitsslag algoritmeregister; - Waardenkader tbv gesubsidieerde algoritmetoepassingen. Data Office is in de lead; - Inkoopvoorwaarden voor algoritmetoepassingen; - Ex ante inrichting en aansluiting bij de belangrijke ‘knooppunten’ vooraan in de keten (bijv. DUBs, Demand & Supply, Inkoop, sprints team AA e.d.); - Ex post inhaalslag. Reeds afgerond: - Verkenning voor wat betreft de noodzaak van registratie/voorwaarden bij subsidies voor de ontwikkeling van algoritmetoepassingen. Uit deze verkenning kwam dat er met name behoefte is aan een waardekader o.i.d. waar gesubsidieerde algoritmetoepassingen zich aan dienen te houden. De Data Office gaat dit opstellen.17 Zicht op algoritmetoepassingen bij raadsvragen, moties en toezeggingen verbeteren De algoritmegovernance zelf valt onder de commissie Bestuur, Organisatie, Financiën en Veiligheid (BOFV). Digitale Inclusie, een thema wat veelvuldig raakt aan verantwoord algoritmegebruik, valt onder de commissie Werk en

16

22

Notulen stuurgroep algoritmen 20 juni 2023.

Constateringen, vervolgstappen, mogelijke oplossingsrichtingen - Hoofdstuk 4

17

Ibid.

Inkomen, Onderwijs, Samenleven, Schuldhulpverlening, Armoedebestrijding en NPRZ (WIOSSAN). Daarnaast worden algoritmetoepassingen ook besproken in andere commissies, bijvoorbeeld als het gaat om algoritmetoepassingen in het kader van Zorg (Commissie Zorg, Welzijn, Cultuur en Sport (ZWCS)). Het is van belang dat vragen, toezeggingen en moties over algoritmetoepassingen als zodanig herkend en gecommuniceerd worden, zodat de juiste wethouders bij de behandeling betrokken worden en er over portefeuilles heen afgestemd kan worden op dit thema. Afhankelijk van het specifieke vraagstuk kan dit samenwerking vereisen van twee of drie wethouders: de wethouder verantwoordelijk voor BCO/IIFO, de wethouder verantwoordelijk voor Digitale Inclusie, en de inhoudelijk betrokken wethouder (bijv. Werk en Inkomen). In het ambtenarenapparaat dient de ambtelijk opdrachtgever IIFO, middels de directie-adviseur/secretaris AAR, betrokken te worden in dit proces. Rol Functioneel Beheer beter in beeld krijgen Functioneel Beheer is in de algoritmegovernance betrokken in de beheerfase van algoritmetoepassingen. Momenteel is bij de algoritmeexperts nog geen betrokkenheid van Functioneel Beheer bekend. Dat wil niet zeggen dat het bij (nog niet-geregistreerde) algoritmetoepassingen niet gebeurt.

Hun betrokkenheid willen we dan ook meegeven als aandachtspunt voor een volgende evaluatie en als iets om mee te nemen tijdens de ex post inventarisatie.

Benodigd: - Completere registratie van algoritmetoepassingen. Te realiseren: - Evaluatie van de rol van Functioneel Beheer (aandachtspunt voor de volgende evaluatie).

Stroomlijnen ketenprocessen en documentatie Tot slot ligt er op de lange termijn een opgave in het stroomlijnen van ketenprocessen en gelieerde documentatie. Hierbij moet in de praktijk ervaren worden hoe (bepaalde) algoritme-experts, privacy officers, gegevensmakelaars, etc. zich (kunnen) verhouden tot het ethische data- en algoritmevakgebied. Hierbij valt te denken aan vragen waar zij wel of niet over mogen dan wel kunnen adviseren. In de Mogelijke oplossingsrichtingen wordt er een invulling hiervoor voorgesteld. Daarnaast komt er met de algoritmegovernance een extra documentatielast voor de organisatie bij. Er kan op de lange termijn (samen met partners, bijv. de VNG) onderzocht worden of er integraties mogelijk zijn tussen verschillende instrumenten (bijv. de DPIA en de IAMA).

Benodigd: - Grotere awareness in de organisatie; - Zicht op de (mogelijke) overlap tussen processen en tools. Te realiseren: - Verkenning integratie verschillende tools.

4.3

Mogelijke oplossingsrichtingen

Als afsluiting van onze adviezen en de te nemen stappen trekken we de lijn graag door naar enkele mogelijke oplossingsrichtingen. Als algemeen punt van aandacht geven we hierbij graag mee dat in het verleden is gebleken dat een niet-invasieve aanpak betekent dat er veel buiten beeld blijft (zie evaluatie van de DUBs in het kader van algoritmetoepassingen). Algoritmetoepassingen zijn een groot maatschappelijk thema waar veel zorg over bestaat. We dienen hierbij idealiter een balans te vinden tussen een niet té zachte heelmeester te zijn en pas houden met de operatie. Bij het doorvoeren van aanpassingen aan de governance is het

Constateringen, vervolgstappen, mogelijke oplossingsrichtingen – Hoofdstuk 4

23

advies dan ook om niet te rigoureus aan de slag te gaan, maar ook zeker niet te voorzichtig. Hieronder bespreken we enkele mogelijke oplossingsrichtingen. Omdat de ontwikkelingen niet stil staan zijn er naar aanleiding van een eerste bespreking van dit rapport al stappen gezet en enkele beslissingen genomen.18 Niet alle geschetste oplossingsrichtingen bleken wenselijk. Voor de volledigheid nemen we deze wel op en geven we in deze gevallen aan wat hierbij de status is. Centrale algoritme-experts, decentrale taakaccenthouders algoritmen Het gebrek aan awareness, de algoritme-experts die slecht gevonden worden, taken, verantwoordelijkheden en eigenaarschap die slecht in beeld zijn of gevoeld worden, het zijn veelal problemen in de eerste lijn. Een laagdrempelige interventie kan zijn om naast de huidige centrale algoritme-expert/s decentrale taakaccenthouders algoritmen aan te wijzen. In veel gevallen lopen er binnen de verschillende onderdelen van de organisatie al algorithm savvy individuen rond. Deze personen hebben uiteenlopende functies (bijv. Woo-jurist, adviseur, privacy-officer, data scientist) maar hebben als gemene deler dat ze het thema belangrijk vinden en agenderen in hun organisatieonderdeel.

Zij kunnen fungeren als een laagdrempelig eerste aanspreekpunt voor hun collega’s, kunnen demandoverleggen binnen hun clusters bijwonen en adviseren hierbij, kunnen ondersteunen bij een eerste vulling in het register van de algoritmetoepassingen in hun organisatieonderdeel en bij de facilitering van DEDAs en IAMAs.

Deze aanpak heeft als voordeel dat de betrokkenen binnen de organisatieonderdelen herkend en erkend worden voor de belangrijke ambassadeursfunctie die ze in veel gevallen nu al

18 19

24

Notulen stuurgroep algoritmen 20 juni 2023. Ibid..

Constateringen, vervolgstappen, mogelijke oplossingsrichtingen - Hoofdstuk 4

vervullen. Bovendien kan er bij formalisering hiervan ook meteen invulling gegeven worden aan de formalisatie van de belegging van DEDAen IAMA-begeleiding, zonder dat dit op enkel vrijwilligers rust. Met een formalisatie krijgen deze personen in hun takenpakket ook daadwerkelijk de ruimte en de verwachting om deze taken op te pakken. Uit een eerste bespreking van dit rapport volgde dat wanneer er gekeken wordt naar decentrale taakaccenthouders als mogelijke oplossingsrichtingen er kennis en expertise aangereikt moet worden. Dit kan worden meegenomen in de opgave Digitale Transformatie, waar ook een onderdeel in is opgenomen over kundige & slagvaardige medewerkers.19 Naast de rol van de decentrale taakaccenthouders blijft de huidige positionering van de algoritme-experts van belang. Hierbij is de suggestie om voorlopig in elk geval twee (al dan niet parttime) algoritme-experts centraal te beleggen. De huidige functiescheiding onder de algoritme-experts, tussen governance en operationeel, werkt volgens de respondenten goed en kan wellicht in een interne vorm gecontinueerd worden. In de eerste bespreking van dit rapport is daarbij het belang van de uitbreiding van de capaciteit van de algoritme-experts onderstreept.

Hierbij dient er gezocht te worden naar een oplossing gezien de huidige krimpopgave in het ambtenarenapparaat.20 Three lines of defense & three lines of learning De AAR geeft aan dat hun adviserende positie niet goed past binnen de verdedigingsmetafoor van de three lines of defense. Alternatief zou er daarom gedacht kunnen worden aan een paralelle lijn van leren: three lines of learning.

20

Ibid.

Centraal hierin staat een lerend perspectief van rekenschap bij algoritmetoepassingen.21 Een dergelijk perspectief zou passend zijn, gezien de AAR net zo goed als rekenschapsforum dienst doet, maar met een andere insteek dan bijvoorbeeld een Concern Audit. Als forum winnen zij net zo goed informatie in, vellen zij een oordeel en hun adviezen zijn niet vrijblijvend en worden geopenbaard.22 Een herpositionering in een lerende lijn zou meer recht doen aan de invulling van de AAR. Hierbij verandert er in de praktijk weinig, maar wordt er mogelijke verwarring over de rol van de AAR voorkomen en wordt hun toegevoegde waarde voor de gemeente beter erkend. In de eerste bespreking van dit rapport is besloten om de AAR geheel buiten de three lines te plaatsen omdat zij een externe adviescommissie is.23 Toezicht samenspel eerste en tweede lijn Qua rolzuiverheid zou het wenselijk zijn om een aparte C-functie te creëren voor algoritmetoepassingen met een vergelijkbare positie als een CISO/FG/CDO. Gezien de huidige krimpopgave en de volwassenheid van de algoritmegovernance is het zeer de vraag of dit momenteel realistisch is. Alternatief zou dit als taak belegd kunnen worden bij de Chief Data Officer dan wel de portefeuillehouder Compliance welke binnen de Data Office geplaatst wordt.

Als onderdeel van de toezichthoudende taak zou idealiter ook de evaluatie van de algoritmegovernance vallen aangezien dit grotendeels staat of valt met het samenspel van de eerste en tweede lijn. Uit de eerste bespreking van dit rapport volgde dat de inrichting van de derde lijn bij het Data Office belegd wordt.24

21

Zie bijv. Bovens, M. (2007) Analysing and Assessing Accountability: A Conceptual Framework. European Law Journal. Vol. 13:4. pp. 447-468; Wieringa, M.A. (2020) What to acount for when accounting for algorithms: a systematic literature review on

Nauwere aansluiting Data Academie Voor de te ontwikkelen trainingen kan eventueel gekeken worden naar een nauwere aansluiting bij de Data Academie. De algoritme-experts zijn inmiddels naar aanleiding van de bevindingen voor wat betreft bewustwording bezig om binnen de Data Academie training te ontwikkelen voor SPIDE’R specialisten. Daarnaast wordt er onderzocht of er ook winter- en summerschools georganiseerd kunnen worden.

4.4

Voorstel herziening rollen, taken en verantwoordelijkheden algoritmegovernance

Naar aanleiding van de constateringen, vervolgstappen en een eerste bespreking van de mogelijke oplossingsrichtingen zullen er aanpassingen gedaan moeten worden aan de governance. Op de volgende pagina treft u een samenvattend overzicht van een voorstel hiervoor ten opzichte van de huidige governance. Dit zal in meer detail uitgewerkt moeten worden voorafgaand aan implementatie (tabel 2). Gezien de bevindingen worden er momenteel geen wijzigingen in de positionering van de eerste en tweede lijn geadviseerd. Wel moet de derde lijn herzien worden. Daarbij moet de Algoritmeadviesraad buiten de derde lijn gezien worden en als externe adviesraad (h)erkend worden. Binnen de derde lijn zou de CDO/het DO toegevoegd kunnen worden om toezicht te houden op het samenspel van de eerste en tweede lijn.

algorithmic accountability. ACM Conference on Fairness, Accountability, and Transparency (FAT*). 22 Ibid, voor de definitie van rekenschap. 23 Notulen stuurgroep algoritmen 20 juni 2023. 24 Ibid.

Constateringen, vervolgstappen, mogelijke oplossingsrichtingen – Hoofdstuk 4

25

HUIDIGE GOVERNANCE Verantwoordelijk voor de gehele keten van algoritmetoepassing

Eerste lijn

Bestuurlijk niveau

Wethouder inhoudelijk (bestuurlijk opdrachtgever)

(Leveranciers)verantwoordelijk voor algoritme (functionele en technische aspecten) Wethouder verantwoordelijk voor BCO/IIFO

Beleidsniveau

Directeur cluster

Directeur IIFO

Uitvoeringsniveau

Proceseigenaar

Tweede lijn Derde lijn Extern

Ontwikkelfase: operationeel verantwoordelijke voor algoritme-ontwikkeling binnen de gemeente (ook bij externe leverancier) Beheerfase: Functioneel Beheer Algoritme-expert/s Concern Audit* Algoritmeadviesraad (AAR)

Adviescommissie

VOORSTEL HERZIENING GOVERNANCE Verantwoordelijk voor de gehele keten van algoritmetoepassing Vakwethouder/portefeuillehouder (bestuurlijk opdrachtgever) Directeur cluster Proceseigenaar

(Leveranciers)verantwoordelijk voor algoritme (functionele en technische aspecten) Wethouder organisatie

Directeur IIFO

Ontwikkelfase: operationeel verantwoordelijke voor algoritme-ontwikkeling binnen de gemeente (ook bij externe leverancier) Beheerfase: Functioneel Beheer Algoritme-expert/s

Concern Audit* Chief Data Officer/Data Office* Algoritmeadviesraad (AAR)

Tabel 2. Voorstel aanpassing rollen, taken en verantwoordelijkheden tbv herziening algoritmegovernance.

* Zowel de rollen, taken en verantwoordelijkheden Concern Audit als de belegging van het toezicht op het samenspel van de 1e en 2e lijn door de CDO/het DO moeten nog uitgekristalliseerd worden in de uitwerking/implementatie van de herziening.

5 Vraagstelling nieuwe algoritmetoepassing Een algoritmetoepassing wordt niet gebruikt in een vacuüm. Er zijn elementen die voorafgaan aan de algoritmetoepassing. In dit onderdeel staan we stil bij de vertrekpunten die nodig zijn voor verantwoord algoritmegebruik: awareness en de Algorithm Risk Assessment (ARA).

en 7 ronde tafels georganiseerd. Bij die laatste ontbraken echter veel van de genodigden. Belangrijk is om te achterhalen waarom deze onvoldoende bezocht werden, zodat hier lering uit getrokken kan worden voor de toekomst.

5.1.1 Conclusies en advies 5.1

Awareness

Een terugkerend thema door de gehele evaluatie en de interviews is het gebrek aan awareness onder verschillende partijen. Men weet niet dat men met algoritmes werkt,25 of men weet niet hoe ze te herkennen. De risico’s worden ook niet altijd goed ingeschat. Gezien de governance de verantwoordelijkheid (grotendeels) in de lijn plaatst, heeft onvoldoende awareness grote gevolgen voor de mate waarin de verantwoordelijkheden herkend, gevoeld en gedragen kunnen worden. Een van de respondenten benoemt:

In opzet is er voor het verhogen van de awareness al wel iets gedaan (bijv. het opzetten van een training, het organiseren van rondetafelgesprekken). Als we kijken naar het bestaan van deze interventies, zien we echter dat de training niet gegeven is en de ronde tafels slecht bezocht werden. Tevens zien we dat de awareness in de gehele organisatie nog van onvoldoende niveau is. De werking van de bewustwording is daarmee onvoldoende.

Er ligt een grote opgave in het beter communiceren over algoritmetoepassingen en de training van medewerkers van de organisatie op dit onderwerp. Er zijn in het verleden al enkele pogingen gedaan om trainingen op te zetten en rondetafelgesprekken voor specifieke doelgroepen te organiseren, maar deze werden niet/slecht bezocht. Uiteindelijk zijn er 0 trainingen gegeven

Voor toekomstige bewustwordingsplannen is het van belang dat er een generiek aanbod ontwikkeld wordt wat in het algemeen medewerkers informatiebewuster maakt van algoritmes, algoritmetoepassingen, hun mogelijke risico’s en de manier waarop Rotterdam hiermee om wil gaan. Anderzijds is het van belang dat er ook specifieke trainingen komen voor medewerkers die met algoritmetoepassingen werken. Bijvoorbeeld bij de gezichtsherkenning van niet-ingezetenen, waarbij het van belang is dat medewerkers weten wat deze toepassing wel en niet kan en waarvoor ze het kunnen inzetten of juist niet, en een ruw idee hebben van hoe het systeem werkt.26 Er bestaat reeds een breder opleidingsprogramma voor Datagedreven Werken: de Data academie. Idealiter kan hierbij aangesloten worden voor (elementen van) een bewustwordingsplan.

25

26

Er is veel training nodig van proceseigenaar (waar ben ik verantwoordelijk voor en wat zijn de risico’s?) tot burger. Hoe werkt het algoritme en waar gaan we het voor inzetten? Er is behoefte aan zowel algemene training als specifieke training voor een specifieke toepassing of doelgroep.

Notulen AAR 20 maart.

Zie ook de adviezen van de AAR d.d. 20 maart 2023.

Vraagstelling nieuwe algoritmetoepassing – Hoofdstuk 5

27

Daarnaast is ook van belang dat mensen de algoritmegovernance weten te vinden. Dit gebeurt nog onvoldoende. Het vinden van de algoritmegovernance is heel lastig voor mensen. De communicatie daarover moet beter. Mensen weten niet dat de governance bestaat of dat ze algoritmetoepassingen gebruiken. Als de DUBs beter gevonden worden zal dit al een stuk schelen, maar vooralsnog is dit echt een groot zorgpunt volgens respondenten. Naast de afhankelijkheid van de DUBs ligt er tevens een grote opgave in betere communicatie naar de organisatie. Hiervoor is het van belang dat er o.a. samen met de afdeling communicatie een integraal plan gemaakt wordt en dat de (verouderde) informatie op de verschillende informatiekanalen (bijv. RIO, de website, interne formulieren) geüpdatet en gesynchroniseerd wordt. Dit is reeds onder handen bij de algoritme-experts.

5.2

ARA

Om een risicogebaseerde aanpak van de algoritmegovernance te faciliteren is er een Algorithm Risk Assessment (ARA) in het leven geroepen. De ARA bestaat uit drie vragen waarin er met de projecteigenaar een snelle check op het risico van de algoritmetoepassing gedaan wordt. Het functioneert als een ‘pre-IAMA’, omdat een categorisatie als ‘hoog risico’ een IAMA vereist. De drie vragen van de ARA zijn gemodelleerd op de elementen van de algoritmetoepassing. Een vraag over gegevens ontbreekt, omdat dit onderdeel afgedekt wordt met de PRA en, indien noodzakelijk, de DPIA. De drie vragen luiden als volgt: -

-

28

Algoritme: Is de werking van het algoritme niet volledig én beknopt uit te leggen aan een gemiddelde Rotterdammer? Resultaat: Ontbreekt er een menselijke beoordeling voordat de uitkomst van het algoritme in de praktijk wordt gebracht

Vraagstelling nieuwe algoritmetoepassing - Hoofdstuk 5

-

door middel van een concrete handeling van de gemeente? Impact: Is het voorstelbaar dat de algoritmetoepassing uitmondt in een onrechtvaardige handeling van de gemeente tegen burgers of bedrijven?

Indien er op één of meer van de drie vragen met ‘ja’ geantwoord wordt, dan is er sprake van een hoog-risico algoritmetoepassing en dient er een IAMA gedaan te worden.

5.2.1 Hoe gaat het op papier? In de ideale situatie wordt de ARA uitgevoerd door de proceseigenaar, de adviseur data en ethiek en de algoritme-expert. Daarbij kijkt de algoritme-expert of er inderdaad sprake is van een algoritme en een algoritmetoepassing. De algoritme-expert neemt, als er sprake is van een algoritmetoepassing, de uitkomst op in het algoritmeregister. Indien er sprake is van een hoogrisico algoritmetoepassing (één of meer keer ‘ja’ geantwoord bij de ARA) dan wordt er door de adviseur data en ethiek een IAMA-traject opgestart.

5.2.2 Hoe gaat het in de praktijk? Er is ruimte voor interpretatie bij de beantwoording van de drie ARA vragen. Hier spelen verschillende problemen. Allereerst zijn de vragen niet concreet genoeg. Een betrokken respondent noemt hierbij enkele problemen: Wat is de gemiddelde Rotterdammer? Ik weet dat niet. Wat moet je precies uitleggen? Dat is ook onduidelijk. Wat is mogelijke negatieve impact? Dat kun je altijd doordenken. Menselijke tussenkomst is geen betekenisvolle menselijke tussenkomst. Waar moet die menselijke tussenkomst inzitten en wanneer moet die er zijn?