Advies gebruik algoritmeregister

Memorandum

Advies gebruik algoritmeregister De overheid maakt steeds meer gebruik van algoritmes om haar werk uit te voeren. Het meer modelmatig werken beschermt de burger tegen willekeur van individuele ambtenaren, zorgt voor efficiëntie en het voorkomt risico’s. Zowel maatschappelijk als vanuit de politiek is er veel aandacht voor algoritmes. Het ministerie van Binnenlandse Zaken heeft een algoritmeregister opgezet en de verwachting is dat het gebruiken van het algoritmeregister verplicht wordt (maar dat is het nog niet). Het register past in het manifest ‘Wij zijn Open en Weerbaar’ dat de gemeente Nijmegen ondertekend heeft en de opgave om met de Wet open overheid meer actieve transparantie te betrachten. Er zijn echter veel vraagtekens over de impact van het register op de uitvoeringskracht van de gemeente Nijmegen. Geadviseerd wordt: 1. De inzet van algoritmes gefaseerd vast te leggen in het algoritmeregister om zicht te houden op mogelijke risico’s in het gebruik ervan. 2. Bestuurlijke ambities te bepalen over de mate waarin we willen gaan sturen op de inzet van algoritmes en AI, hiervoor advies in te winnen bij de Digitale ethische commissie en dit mee te nemen in het koersdocument voor 2025 ev. 3.

In 2024 te starten met een pilot van 5 vormen van gebruik van algoritmes, om een scherper beeld te krijgen van de impact ervan en de uitkomsten ervan mee te nemen in een bredere ambitiebepaling voor het koersdocument voor 2025.

Wat registeren en waarom? Er is nog geen algemeen geaccepteerde definitie van een algoritme of een algoritmisch systeem. In dit advies wordt de volgende werkdefinitie van algoritme gehanteerd: “een set aan logische regels en instructies gericht op het oplossen van een probleem of bereiken van een doel, door interpretatie en vertaling van data.” Een algoritme is simpelweg een recept om ergens te komen, een "logisch model". Een strakke werkprocedure voor ambtenaren onder specifieke wetgeving en toezicht is daarmee ook een algoritme. Hoe een organisatie omgaat met de verschillende algoritmes die er bestaan en de impact ervan is daarmee minstens zo belangrijk als de opzet van de algoritmes zelf. Een gebruik van een algoritme heeft pas effect als er gegevens-invoer plaats vindt, het uitgevoerd wordt (door mensen en/of in software) en de uitkomst omgezet wordt in (rechts)handelingen.

Datagebruik

Logica / software

Besluitvorming

Omgang met impact

Het algoritme

Gebruik van algoritmes Naast de aanstaande verplichting vanuit het Rijk zijn er een aantal redenen waarom de gemeente Nijmegen haar gebruik van algoritmes wil vastleggen en publiceren: • Transparantie over de (gedeeltelijke) automatisering van overheidstaken; • Meer overzicht en grip op automatisering van overheidstaken voor onszelf; • Voorkomen van excessen en risico’s door automatisering van overheidstaken. Wat zijn deze mogelijke risico’s en excessen dan? Met de toenemende inzet van algoritmes ontstaan een aantal risico’s:

Memorandum

•

•

•

Algoritmes en de modellen waar ze op gebaseerd zijn kunnen impliciete aannames, fouten en vooroordelen bevatten. De fouten die hierdoor kunnen ontstaan hebben een veel bredere invloed dan fouten van individuele ambtenaren, doordat ze de besluitvorming en handelen van de organisatie als geheel beïnvloeden en zelfs van invloed kunnen zijn op andere organisaties. Er ontstaat een zichzelf versterkend proces van vertrouwen in algoritmes en het verlies van contact met de buitenwereld: fouten in algoritmes worden hierdoor niet snel opgemerkt. Bestaande sociale verhoudingen, vooroordelen en aannames lijken bevestigd te worden door het algoritme. Door hierop te handelen kunnen deze zelfs verergeren. Het standaardiseren van de werkelijkheid in de logica van algoritmes zorgt voor een slechtere omgang met uitzonderingen (maatwerk), nog los van het feit dat uitzonderingen minder snel worden opgemerkt. Dit kan ertoe leiden dat individueel afwijkende gevallen niet op een legitieme manier behandeld worden. Het kan er ook toe leiden dat inwoners zich niet gehoord of gezien voelen, wat tot een toename van bezwaren en protesten tegen besluiten kan leiden.

Het algoritmeregister gaat aan deze risico’s niets doen, althans niet in directe zin. We kunnen ermee laten zien wat we (denken dat we het) goed doen. Transparantie erover zal het gesprek erover stimuleren, ook over de risico’s ervan. Het algoritmeregister heeft daardoor een (zelf)reinigende werking.

Gefaseerde aanpak We hoeven (voorlopig) niet de algoritmes zelf inhoudelijk vast te leggen en te publiceren, maar wel te registreren welke algoritmes we gebruiken en met welk doel. In het landelijke register zijn daarom maar een beperkt aantal gegevens verplicht: naam, organisatie, afdeling, korte omschrijving, contactpersoon. Daarnaast stellen we voor een aantal van de optionele gegevens vast te leggen: thema, doel en impact, besluitvormingsproces, uitgebreide omschrijving, gebruik brondata, menselijke tussenkomst, de wettelijke grondslag en een verwijzing naar onze bezwaarprocedure tegen het besluit waarmee algoritmes worden ingezet. Er is daarmee al op inhoudelijk niveau sprake van een gefaseerde aanpak. Daarnaast is het verstandig ook niet al het algoritmegebruik te registeren en publiceren. Gemiddelde software bevat honderden of meer uitvoeringen van algoritmes. De gemeente Nijmegen voert honderden processen met bijbehorende werkinstructies uit. Bijna ieder apparaat dat de gemeente Nijmegen gebruikt bevat algoritmes. Dat maakt het ondoenlijk ieder algoritme te beschrijven dat de gemeente Nijmegen gebruikt. Welk gebruik zouden we (in ieder geval als eerste) moeten beschrijven? 1.

2.

3.

4.

Een veel gebruikt criterium is de impact op burgers en bedrijven. Hiermee vallen bedrijfsvoeringalgoritmes af, zoals het algoritme voor de gebouwverlichting. Impact kan overigens verdeeld worden in bereik en effect. Ook al is het effect relatief laag, als bijna alle Nijmegenaren er mee te maken hebben, dan heeft een gebruik van een algoritme impact. Omdat impact relevant is dient een gebruik van algoritmes eerder opgenomen te worden als het gebruikt wordt en leidt tot besluitvorming. Een gebruik van algoritmes voor statistische beleidsanalyse zal minder snel opgenomen moeten worden dan het gebruik van algoritmes bij de beoordeling van aanvragen om een vergunning of een verkeersregelinstallatie. In de digitale wereld hebben algoritmes veel meer impact, omdat er veel meer gegevens met het algoritme verwerkt kunnen worden. De grootte van de omvang en de gevoeligheid van de (persoons)gegevensverwerking zijn belangrijke indicatoren om het gebruik te gaan beschrijven. Algoritmes die vooral gebruikt worden voor proceslogistiek zullen daardoor minder snel beschreven hoeven te worden. Een laatste criterium hangt samen met de risico’s rond het gebruik van algoritmes en wijst naar de mate van geslotenheid van het algoritme. Strakke werkinstructies zijn geslotener dan procesbeschrijvingen op hoofdlijnen, zelflerende algoritmes zijn geslotener dan een “als dan, dan dat”-algoritme. En omdat

2

Memorandum

automatiseren altijd leidt tot meer gesloten algoritmes, zal het gebruik van door systemen gebruikte algoritmes eerder beschreven dienen te worden. Met landelijke eisen en de bovenstaande criteria is een gefaseerde aanpak mogelijk, waarbij we beginnen met het meest kritische algoritmegebruik (op basis van de bovenstaande criteria) en het register langzaam uitbreiden. Gelet op de continue politieke en bestuurlijke ontwikkelingen rond dit thema op Europees en landelijk niveau lijkt een voorzichtige aanpak (niet te ver voor de troepen vooruitlopen) voorlopig verstandig.

Impact van het algoritmeregister Om een algoritmeregister te gebruiken zijn een aantal activiteiten nodig: 1. Inrichten gebruik software voor vastlegging en publicatie algoritmes Het ministerie van Binnenlandse Zaken heeft een laagdrempelig model gemaakt voor het publiceren van algoritmische toepassingen met zeer weinig verplichte gegevens. Er is ook een landelijk portaal waarop gratis gepubliceerd kan worden. Er zijn meer mogelijkheden om gegevens vast te leggen over algoritmes, maar dat zal later onderzocht moeten worden. 2. Bepalen algoritmegebruik voor opname in het register Zoals eerder beschreven willen en kunnen we niet al het algoritmegebruik gaan beschrijven en hebben daarvoor een aantal criteria opgesteld. Op basis van een eerste beoordeling van verwerkingen in het verwerkingenregister voor de criteria “gevoeligheid” en “besluitvormend” komen 26 vormen van algoritmegebruik naar voren die nader onderzocht dienen te worden om te bepalen of we ze op willen/kunnen nemen (zie bijlage). 3. Organiseren beheer algoritmeregister Ook als het algoritmeregister gevuld is zal er door de verantwoordelijke afdelingen en PIF uitgevoerd en gecoördineerd moeten worden om te zorgen dat het register actueel blijft en in werking.

De applicatie waarin we het register bijhouden ondersteunt in dit proces en een gefaseerde aanpak beperkt de druk op capaciteit, maar de capaciteit is hiervoor nu niet beschikbaar. Bij de betrokken afdelingen levert het algoritmeregister ook een administratieve last op, deze is vooral afhankelijk van de hoeveelheid vragen vanuit burgers en pers én van de bestuurlijke ambities (zie volgend punt). 4. Organiseren van transparantie door het register Met het algoritmeregister wordt een eerste stap gezet naar transparantie over algoritmes. Maatschappelijke organisaties en pers staan al klaar om veel meer informatie op te vragen over de gebruikte algoritmes. Omdat er ook maatschappelijk veel onduidelijkheid is over wat een algoritme is, zullen lang niet alle vragen beantwoord kunnen worden. Zo kan de gemeente Nijmegen geen softwarecode publiceren van de meeste software (alleen bij open source software). Het is denkbaar dat we meerdere verzoeken op grond van de Wet open overheid over het algoritmeregister of over het gebruik van algoritmes. Per algoritmegebruik zal een verantwoordelijke afdeling en contactpersoon aangewezen dienen te worden. Deze persoon behandelt een eventueel Woo-verzoek.

De gemeente Nijmegen kan ook in haar communicatie uitingen (brieven, websites) kunnen gaan verwijzen naar het algoritmeregister, wanneer een besluit op basis van algoritmegebruik tot stand is gekomen. Al de bovenstaande acties dienen organisatorisch ingebed te worden, maar gaan nog gepaard met een hoge mate van onzekerheid. Het is op dit moment bijvoorbeeld onduidelijk hoeveel Woo-verzoeken en andere vragen het algoritmeregister zal gaan opleveren en of deze vragen continu zullen binnenkomen. Ook landelijke ontwikkelingen rond het algoritmebeleid en het algoritmeregister zijn nog onzeker. Dat maakt het lastig de organisatorische randvoorwaarden op voorhand te regelen.

3

Memorandum

Bestuurlijke ambities rond algoritmes en AI Achter het opzetten van een algoritmeregister schuilt een mogelijkheid om erop te gaan sturen en daarmee actief de beschreven risico’s van algoritmegebruik gaan minimaliseren. Dit betekent dat we kaders kunnen gaan stellen aan de manier waarop we algoritmes inzetten, bijv. rond menselijk toezicht, het omgaan met uitzonderingen of het voorkomen van ingebouwde vooringenomenheid (“bias”). Hoe meer maatschappelijke discussie hierover ontstaat, hoe groter de druk zal ontstaan om dit te gaan doen. Het opzetten en bijhouden van een register en het coördineren ervan kost een zekere hoeveelheid capaciteit en zal in eerste instantie gericht zijn op transparantie. De technische randvoorwaarden lijken mee te vallen en de impact wordt beperkt met een gefaseerde impact, maar het zal capaciteit vergen die we nu niet vrij beschikbaar hebben. Er is de verwachting dat het algoritmeregister verplicht gaat worden, maar dat is het nog niet en er is ook nog geen concrete datum hiervoor. Dat de Autoriteit Persoonsgegevens hierop gaat toezien geeft een beeld dat de mate van verplichting vrij streng zal zijn, maar waarschijnlijk niet voor ieder algoritme (alleen de hoog risico-algoritmes).

Er is een bestuurlijke ambitiebepaling nodig om te bepalen hoe we algoritmes willen gebruiken, hoe open en transparant we hierover willen zijn en welke financiële en organisatorische mogelijkheden we willen creëren om deze ambities te ondersteunen. Vanuit de opgave digitale transformatie kan dit ambitiebepalingsproces ondersteund worden (thema AI en algoritmes). Eventuele impact kunnen we meenemen in het koersdocument voor de begroting van 2025. Ook de Digitale ethische commissie kan hierbij ondersteunen met een advies. Deze kaders kunnen vervolgens vertaald worden naar meetbare criteria waarop periodieke controles uitgevoerd kunnen worden. Als basis voor controles kan de Impact Assessment Mensenrechten en Algoritmes (IAMA) gebruikt worden. Op basis van eigen ambities en kaders zal echter specifieker gestuurd en gecontroleerd kunnen worden.

Pilot om van te leren Om een scherper beeld te krijgen van de impact van het publiceren van een algoritme-toepassing – en de financiële en organisatorische randvoorwaarden die nodig zijn - is het verstandig te starten met een pilot van 5 toepassingen. Dit past binnen de voorgestelde gefaseerde aanpak, waarbij de pilot als een eerste fase gezien kan worden. De pilots hebben als doel te leren van een eerste implementatie. Dit leren zal gericht zijn op de volgende aspecten: A. Hoeveelheid tijd kost het om een algoritmebeschrijving te maken en te publiceren? B. Welke werkwijze neemt het minste tijd in beslag en levert de meeste kwaliteit op? C. Hoeveelheid tijd kost het om een algoritmebeschrijving actueel te houden? D. Hoeveel wordt het algoritmeregister bekeken door Nijmegenaren? E. In hoeverre neemt het aantal externe informatieverzoeken toe of af na publicatie? Welke vijf vormen van algoritmegebruik stellen we voor? Naast de al genoemde punten als impact en gevoeligheid lijkt het goed om wat diversiteit mee te nemen in soorten van algoritmegebruik, om het leereffect zo groot mogelijk te maken. Dus een pilot met vijf verschillende afdelingen, vijf soorten van algoritmegebruik (van AI- tot werkinstructie-gedreven) en met diversiteit in complexiteit.

Op basis van de eerste inventarisatie (zie bijlage) stellen we de volgende vormen van algoritmegebruik voor om een pilot op te nemen: Naam algoritmegebruik

Afdeling

College van B&W

Handhaven parkeren (scanauto’s)

Stadsbeheer (SB)

Cilia Daemen

Handhaven adresfraude

Publiekszaken (PU)

Hubert Bruls

Registreren en afhandelen informatieverzoeken Woo

Veiligheid, Juridische Zaken, Bestuursondersteuning (VJB)

Hubert Bruls

Leveren Wmo-ondersteuning

Inkomen, Zorg en Leerrecht (IZL)

Grete Visser 4

Memorandum

Invorderen gemeentebelastingen

Financiën (FA)

Tobias van Elferen

Iedere pilot doorloopt een aantal stappen: Activiteit 1. Bespreken benodigde informatie vanuit het algoritmeregister met betrokken medewerkers en proceseigenaar, delen van voorbeelden van andere gemeenten. 2. Opstellen voorzet voor beschrijving algoritmegebruik in de verschillende velden die nodig zijn om te vullen (hiervoor gebruiken we een exceldocument). 3.

Inhoudelijke redactie door proceseigenaar en bredere groep medewerkers, aanleveren specifieke informatie

4. 5. 6.

Verwerken van aanvullingen en commentaar Technische redactie en evt. aanpassen aan B1-leesniveau Informeren van betrokken wethouders over teksten, schriftelijk of via PO

7.

Kopiëren van teksten in formulier website en publiceren op landelijk algoritmeregister

8.

Evalueren punt A en B (opstellen evaluatiedocument)

9.

Na 3 maanden: evalueren punt C, D en E (aanvullen evaluatiedocument)

Rol(len) Strategisch adviseur I&A Allen Kwaliteitsmedewerker / procesanalist Parkeren: heffingsambtenaar Functioneel beheerder Business adviseur I&A Proceseigenaar GMT / MT Betrokken medewerkers Juridisch adviseur Strategisch adviseur I&A Kwaliteitsmedewerker / procesanalist Communicatieadviseur / team online Proceseigenaar GMT / MT Bestuursadviseur Kwaliteitsmedewerker / procesanalist Strategisch adviseur I&A Kwaliteitsmedewerker / procesanalist Functioneel beheerder Business adviseur I&A Strategisch adviseur I&A Kwaliteitsmedewerker / procesanalist Functioneel beheerder Business adviseur I&A

5

Memorandum

Bijlage: te onderzoeken algoritmegebruik voor mogelijke opname (+pilot) Selectie op basis van gebruik persoonsgegevens (gevoeligheid) en impact (rechts- of feitelijk gevolg)

Naam algoritmegebruik

Afdeling

Verlenen subsidie

Stadsbeheer (SB), Maatschappelijke Ontwikkeling (MO), Financiën (FA), etc.

Handhaven parkeren

Stadsbeheer (SB)

Verlenen parkeerrechten

Stadsbeheer (SB)

Regelen verkeersdoorstroming

Stadsbeheer (SB)

Behandelen meldingen openbare ruimte

Stadsbeheer (SB)

Handhaven openbare ruimte

Stadsbeheer (SB)

Registreren personen in de BRP

Publiekszaken (PU)

Verwerken naturalisatieverzoeken

Publiekszaken (PU)

Handhaven adresfraude

Publiekszaken (PU)

Aanbieden collectieve zorgverzekering

Personeel, Informatie en Facilitair (PIF)

Verlenen jeugdzorg

Maatschappelijke Ontwikkeling (MO), Inkomen, Zorg en Leerrecht (IZL)

Opleggen verplichte gezondheidszorg

Maatschappelijke Ontwikkeling (MO)

Verstrekken subsidies in het kader van de Wet Kinderopvang

Maatschappelijke Ontwikkeling (MO)

Handhaven leerplicht

Inkomen, Zorg en Leerrecht (IZL)

Handhaven uitkeringsverstrekking

Inkomen, Zorg en Leerrecht (IZL)

Leveren inkomensondersteuning

Inkomen, Zorg en Leerrecht (IZL)

Verstrekken wmo-voorziening

Inkomen, Zorg en Leerrecht (IZL)

Bekostigen leerlingenvervoer

Inkomen, Zorg en Leerrecht (IZL)

Controleren recht op dagbesteding

Inkomen, Zorg en Leerrecht (IZL)

Behandelen verzoek tot onderzoek en behandeling jeugdzorg

Inkomen, Zorg en Leerrecht (IZL)

Invorderen gemeentebelastingen

Financiën (FA)

Begeleiden van (Europese) aanbestedingen

Financiën (FA)

Registreren en terugmelden AVG-verzoeken

Veiligheid, Juridische Zaken, Bestuursondersteuning (VJB)

Verlenen jeugdhulp in strafrechtelijk kader

Veiligheid, Juridische Zaken, Bestuursondersteuning (VJB)

Afhandelen bezwaar en beroepsprocedures

Veiligheid, Juridische Zaken, Bestuursondersteuning (VJB)

Registreren en afhandelen informatieverzoeken Woo

Veiligheid, Juridische Zaken, Bestuursondersteuning (VJB)

6