D15RKCHTInventarisatie algoritmen 12 aug 22

Onderzoeksvoorstel Inventarisatie & risicoanalyse Algoritmen Augustus 2022 Nel Verhoeven

Inleiding en aanleiding Er is een grote opmars gaande van (het gebruik van) algoritmen door gemeenten. Veel mensen denken dat het hierbij alleen gaat om profielen die op internet worden aangemaakt. Een algoritme is echter meer dan dat: heel algemeen is het een set regels die werk- en keuzeprocessen ondersteunt. Behalve cookies op de website en dataprofielen, kan een algoritme ook de beslisboom zijn die de ambtenaar gebruikt om te bepalen of iemand in aanmerking komt voor een uitkering en hoe hoog deze dan moet zijn, of een hulpmiddel bij het bepalen van een efficiënte route voor de vuilniswagen. Het is niet altijd goed bekend hoe dit gebruik van algoritmen in de praktijk voor burgers uitpakt en hoe het is gesteld met de privacy van deze burgers. Dat geldt vooral wanneer algoritmen worden gekoppeld. Wanneer algoritmen worden ingezet in het sociaal domein ontstaan vragen over eventuele consequenties voor risicogroepen zoals mensen die langdurige zorg nodig hebben of schulden hebben, mensen in de bijstand of statushouders. Daarnaast zijn er ook binnen het gemeentelijk apparaat nog veel vragen over functie, procedure en toepassing van algoritmen.

Om op deze vragen een antwoord te vinden wil de RKCHT een exploratief onderzoek uitvoeren naar het gebruik van algoritmen bij de gemeenten Hulst en Terneuzen, naar de procedures die daarbij worden gehanteerd en wil de RKCHT de modellen en data evalueren aan de hand van het landelijk toetsingskader voor algoritmen bij decentrale overheden. Hoofdvraag en deelvragen De probleemstelling voor dit onderzoek luidt: In welke mate worden in de gemeenten Hulst en Terneuzen algoritmen ingezet om problemen op te lossen of keuzes te maken, en welke procedures hanteren zij bij het inzetten ervan? De deelvragen hierbij zijn: 1. Op welke wijze en met welk doel worden algoritmen ingezet? 2. Wat is de functie van de algoritmen en welke procedures worden gevolgd? 3. In welke mate voldoen de algoritmen aan de criteria die in het toetsingskader algoritmen zijn opgesteld? 4. In welke mate zijn bezwaarprocedures ingesteld voor burgers bij gebruik van algoritmen? 5. Welke risico’s zijn aan het gebruik van algoritmes verbonden en zijn deze voldoende in beeld? 6.

In hoeverre worden - in de samenwerking met externe instanties – gegevens aangeleverd die voortkomen uit algoritmen en die binnen de gemeente worden ingezet? Doel van dit onderzoek is het creëren van transparantie ten aanzien van de inzet van algoritmen door de beide gemeenten, de zichtbaarheid van de procedures en de eventuele risico’s voor de burgers in beide gemeenten. Met de resultaten van dit onderzoek wil de RKCHT adviseren over het op heldere

en betrouwbare wijze inzetten van algoritmen, onder andere door gebruik van een algoritme(toetsings)kader en een routekaart (Dingemans et al., 20211). Mochten uit het onderzoek bepaalde risico’s blijken, dan wil de RKCHT een voorstel doen voor een verdiepend onderzoek. Afbakening en populatie Onder algoritmen verstaan wij een aantal stappen of regels die de gemeente gebruikt om een probleem op te lossen of een keuze te maken waarbij informatie van/over burgers wordt gebruikt. Het onderzoek richt zich op het inventariseren van algoritmen die bij beide gemeenten worden gebruikt, op het nalopen van de functie en procedure van deze algoritmen en op het evalueren ervan aan de hand van het Toetsingskader Algoritmes dat in 2021 door de Algemene Rekenkamer2, 3 is ontwikkeld. Populatie in het onderzoek is het ambtelijk apparaat bij beide gemeenten. Onderzoeksmethode De nadruk van dit onderzoek ligt op een globale inventarisatie en risicoanalyse van gebruik en functie van algoritmen in beide gemeenten. Om een antwoord op de bovengenoemde vragen te (kunnen) krijgen worden verschillende methoden ingezet, zowel kwalitatief als kwantitatief van aard. Het onderzoek bestaat uit twee delen, te weten een inventarisatie en een risicoanalyse. Daarmee worden de deelvragen 1 tot en met 6 op de volgende wijze beantwoord: 1.

Ter voorbereiding op de inventarisatie en de inventarisatie van de risico’s worden (online) gesprekken met de gemeentesecretaris, hoofd ICT en de Functionaris Gegevensverwerking gevoerd. 2. Er wordt een (korte, kwantitatieve) enquête onder ambtenaren bij beide gemeenten gehouden. Hiermee worden deelvraag 1 en 2, en deels deelvraag 4, 5 en 6 beantwoord. 3. Voor de in gebruik zijnde algoritmen worden de modellen en procedures opgevraagd. Aan de hand van het Toetsingskader Algoritmes dat door de Algemene Rekenkamer is ontwikkeld wordt een (kwalitatieve) risicoanalyse uitgevoerd. Dit leidt tot beantwoording van deelvragen 2, 3, 5 en 6. Rapportage en evaluatie De analyse van de gegevens mondt uit in een z.g. nota van bevindingen, die voor hoor- en wederhoor wordt voorgelegd aan de ambtelijke organisaties van Hulst en Terneuzen ter controle op feitelijke onjuistheden. Na het hoor- en wederhoor wordt de rapportage afgerond met conclusies en aanbevelingen, die vervolgens voor bestuurlijk voor wederhoor aan beide colleges van B & W zullen worden voorgelegd. Afhankelijk hiervan zal er wel of geen naschrift door de RKCHT worden geformuleerd en de rapportage worden afgerond en worden aangeboden aan beide gemeenteraden. In het rapport wordt verslag gedaan van het onderzoek en wordt een aantal (beleids)aanbevelingen gedaan.

De RKCHT verwacht aan de hand van dit exploratieve onderzoek te kunnen aangeven waar een eventueel vervolgonderzoek de verdieping kan geven op een bepaald domein waar algoritmen worden gebruikt. 1 Dingemans, E., Bijster, F., Smulders, M. & Van Dalen, B. (2021, september). Informatiebehoeften van burgers

over de inzet van algoritmes door overheden. PON | Telos. 2 Algemene Rekenkamer (2021, 26 januari). Aandacht voor algoritmes. Verkregen op 15 februari 2022 via

https://www.rekenkamer.nl/publicaties/rapporten/2021/01/26/aandacht-voor-algoritmes. 3 https://www.rekenkamer.nl/onderwerpen/algoritmes-digitaal-toetsingskader.

Mogelijk vervolgonderzoek Het is mogelijk dat uit de inventarisatie en risicoanalyse risicogebieden of -domeinen komen met betrekking tot het gebruik van gegevens over de burgers in Hulst en Terneuzen. Dit kan leiden tot een voorstel voor een verdiepend onderzoek in 2023, waarbij op een of enkele algoritmen wordt ingezoomd. In dat geval zullen we voorstellen de bijbehorende procedures, modellen en vooral ook data aan een nader onderzoek te onderwerpen om zodoende te kunnen adviseren over gebruik van deze algoritmes. Onderzoeksperiode Het onderzoek zal worden uitgevoerd tussen december 2022 en mei 2023. Het onderzoek is crosssectioneel van aard (dat betekent dat er informatie wordt verzameld op/over één moment in de tijd). Verwachte aantal uren Verwacht wordt dat in totaal 165 uren nodig zijn voor het uitvoeren en de verslaglegging. Voor de begroting komt dat neer op 165 uur á € 95,-- = € 15.675,-- (exclusief te verrekenen B.T.W.). Deze uren zijn als volgt verdeeld:

Onderdeel

Sub

Onderzoeksopzet Vooronderzoek Normenkader Bronnenonderzoek Interviews Enquête ambtenaren Bureauonderzoek: Risicoanalyse toetsingskader4 Nota van bevindingen Definitief rapport Eindredactie/onvoorzien etc. Totaal

Uren 4 10 40 25 20 20 30 8 8 165

4 https://www.rekenkamer.nl/onderwerpen/algoritmes-digitaal-toetsingskader.