Onderzoek naar algoritmes in het Groene Hart - Eindrapport gemeente Waddinxveen v.10-11

Daarnaast betekent aanschaf van een applicatie niet dat deze applicatie ook daadwerkelijk voldoende gebruikt zal worden om de kosten hiervan te rechtvaardigen.

4.2

Octobox

De onderstaande usecase beschrijft de ervaringen van de gemeente Waddinxveen met de inzet van Octobox: •

Beschrijving usecase: applicatie voor het anonimiseren van documenten die gepubliceerd worden in het kader van de WOO.

•

Status van usecase: eerste ambtenaren hebben kennisgemaakt met de applicatie maar de uitrol over de gehele organisatie moet nog gaan plaatsvinden

Onderzoek naar algoritmes in gemeente Waddinxveen

25

•

Reflectie op usecase: hoewel in theorie een redelijk risicovrije toepassing, kan de applicatie leiden tot het verwateren van het bekende vierogen controle principe

usecase

Octobox Octobox is een applicatie die wordt gebruikt door ambtenaren van de gemeenten Waddinxveen en Gouda. De dienst kan gebruikt worden voor het anonimiseren van documenten die gepubliceerd worden in het kader van de WOO, bijvoorbeeld het zwartlakken van namen, BSN-nummers, mailadressen of NAWgegevens. Octobox maakt gebruik van een speciaal voor dit doel ontwikkeld algoritme op basis van Natural Language Processing (NLP) wat teksten kan classificeren. De software kan automatisch de gegevens vinden die weggelakt moeten worden, conform de Algemene Verordening Gegevensbescherming (AVG). Door toekomstige koppeling met zaaksysteem Djuma kan een ambtelijk medewerker met slechts één handeling een document anonimiseren. Gebruikers kunnen daarbij ook zelf termen toevoegen waar het algoritme, naast de standaard termen, bij een volgende zoekopdracht naar zoekt. Verder kan men zelf ook instellen welke andere gegevens – naast de wettelijk verplichte - automatisch geanonimiseerd moeten worden, de reden dat deze geanonimiseerd moeten worden en in welke delen van het document dit moet gebeuren. De gemeente Waddinxveen heeft recent besloten Octobox in te zetten na marktonderzoek naar verschillende applicaties die het mogelijk maken om de WOO efficiënt en effectief uit te voeren binnen de kaders van de AVG.

ER heeft inmiddels een pilot plaatsgevonden en Octobox wordt op het moment (juni 2023) nog uitgerold binnen de gemeente en ambtenaren zullen nog getraind worden in het gebruik van Octobox. De onderlinge afspraak is dat bewerkingen op documenten door Octobox altijd gecontroleerd worden door een ambtenaar.

Besluitvorming voor ingebruikname Octobox is één van de applicaties die op de markt is om te kunnen voldoen aan zowel de juridische eisen van de AVG en de functionele eisen van de WOO. Deze twee bijten elkaar, aangezien vanuit de WOO iedereen recht heeft om bepaalde documenten in te zien, terwijl de AVG voorschrijft dat privacygevoelige gegevens afgeschermd moeten worden. De gemeente Waddinxveen wil Octobox gaan gebruiken om het hele proces van gegevens anonimiseren efficiënter te maken door een groot gedeelte te automatiseren. Informatiemanagers van de gemeente Waddinxveen hebben in het informatiebeleidsplan 2019 aangegeven dat er een automatische applicatie nodig is voor het anonimiseren van privacygevoelige gegevens. Vervolgens heeft het managementteam na marktonderzoek besloten om Octobox hiervoor te gaan gebruiken, in navolging van verschillende andere gemeenten binnen Nederland. Op het moment zijn nog voornamelijk de informatiemanager, de privacybeheerder en de adviseur informatiebeheer vanuit de gemeente betrokken bij de uitrol van Octobox, maar in de toekomst zal Octobox ingezet gaan worden door alle ambtenaren binnen de gemeente die werken met de WOO. Sommige ambtenaren zijn hiervan ook al op de hoogte, maar de echte trainingen en implementatie staan gepland voor in de nabije toekomst.

De combinatie van het gebruik van een algoritme met controle door een mens, maken dat deze applicatie betrouwbaarder, efficiënter en effectiever zou moeten zijn dan puur handmatige aanpak

Onderzoek naar algoritmes in gemeente Waddinxveen

26

voor anonimiseren. Verder draagt het gebruik van Octobox bij aan een veiligere dataverwerking en -opslag, omdat alle documenten op één punt verzameld worden, i.p.v. op verschillende harde schijven van verschillende ambtenaren. Aangezien Octobox helpt om te voldoen aan wet- en regelgeving in het belang van de burger en het geen besluiten neemt met directe invloed op de situatie van de burger, heeft de gemeente geen DPIA of andere toets uitgevoerd. De gemeente is nog wel van plan een pilot uit te voeren om te kijken of de applicatie inderdaad doet wat verwacht wordt. Aangezien in andere gemeenten Octobox al zonder problemen gebruikt wordt, verwacht de gemeente geen grote obstakels.

Informatievoorziening en toezicht gemeente tijdens gebruik De gemeente Waddinxveen zal in de toekomst alle ambtenaren binnen de gemeente die Octobox gaan gebruiken een training geven. Aangezien de applicatie nog niet gebruikt wordt, zijn binnen de gemeente veel mensen nog niet op de hoogte van Octobox en hoe de applicatie werkt. De personen betrokken bij de uitrol van Octobox hebben ook beperkt inzicht in hoe het algoritme achter Octobox precies werkt. Ze weten dat Octobox gebruik maakt van een zelflerend AI-systeem, waar je ook termen aan kan toevoegen die de applicatie in de toekomst ook moet herkennen in documenten en waarom. Aangezien Octobox werkt in het belang van de burger en verder niet betrokken is bij bijvoorbeeld het verstrekken van subsidies, is de prioriteit van het achterhalen hoe Octobox precies werkt ook minder hoog dan voor algoritmes die hier wel mee te maken hebben. Octobox zorgt enkel voor het anonimiseren van documenten en haalt hieruit geen data voor verder gebruik. Vanuit andere gemeenten en een paar kleine tests is ook al gebleken dat het anonimiseren van gegevens door Octobox niet altijd geheel feilloos is, dus controle van de uitkomsten is zeer belangrijk.

Daarom is de interne afspraak dat wanneer Octobox wordt gebruikt om documenten te anonimiseren, er altijd een handmatige check door een ambtenaar uitgevoerd zal gaan worden om te controleren of alles klopt.

Reflectie op usecase Octobox behoort tot de categorie algoritmetoepassingen die – mits onderworpen aan grondig toezicht – als onderdeel van documenthandling van gemeenten een redelijk risicovrije toepassing zijn. In principe zou de correcte inzet van de applicatie, waarbij een menselijke en automatische check elkaar aanvullen, kunnen leiden tot een beter resultaat. Tegelijkertijd mag de extra automatische check niet ten koste gaan van het vierogenprincipe. Daarnaast kunnen automatische checks er ook voor zorgen dat ambtenaren te veel gaan vertrouwen op de correctheid van deze systemen en minder alert worden in het waarnemen van fouten tijdens hun handmatige checks. Hoewel Octobox aan de informatieveiligheidseisen voldoet, kan de inzet van zulk soort tools de drempel verlagend werken voor ambtenaren om ook andere AI-tools in te zetten, uit onder andere de familie van ChatGPT, die niet aan deze informatieveiligheidseisen voldoen. Waakzaamheid hierop dient betracht te worden aangezien er wereldwijd al enkele gevallen bekend waarin criminelen door ambtelijke medewerkers gewiste data via dit soort AI-applicaties wisten te verzamelen en analyseren.

Onderzoek naar algoritmes in gemeente Waddinxveen

27

Bijlage A Onderzoeksaanpak De aanpak van het onderzoek is gestructureerd in zeven werkpakketten (WP’s). In de Figuur 9 geven we een schematisch overzicht van de aanpak. We begonnen met een startbijeenkomst waarbij alle gemeenten aanwezig waren. In deze bijeenkomst zijn de definitie van algoritmes, de kaders en het plan van aanpak verder besproken. Vervolgens is via deskstudie, interviews en enquêtes data verzameld die vervolgens samen kwam in de analyse en rapportage. Op basis van deze databronnen hebben we over de gehele linie een breed beeld kunnen schetsen van waar de gemeente staat met algoritmes met op de usecases een verdieping van een specifieke toepassing van een algoritme. Figuur 9

Schematisch overzicht van de voorgestelde aanpak

Bron: Technopolis Group, 2022

A.1

WP1: Deskstudie van beleidsdocumenten

In dit WP hebben we een deskstudie uitgevoerd op basis waarvan we eerste antwoorden op de onderzoeksvragen hebben geformuleerd. We hebben zowel een handmatige als een geautomatiseerde analyse uitgevoerd. A.1.1

WP1 deskstudie

De deskstudie zijn we gestart met een handmatige analyse van relevante documenten. Voor de handmatige deskstudie gebruikten wij de volgende bronnen: •

Door gemeente Waddinxveen aangeleverde documenten zoals documenten over digitale strategie, DPIA’s, FG-verslagen en documenten over de usecases

•

Wetenschappelijke en grijze literatuur over algoritmegebruik door gemeenten (beknopt);

•

Relevante beleidsdocumenten van (semi-) publieke instanties;

•

Documenten over algoritmes in de praktijk. Uitkomsten van breed gedragen initiatieven zoals het innovatieprogramma ‘Publieke controle op algoritmes’ en de Datawerkplaats.

Onderzoek naar algoritmes in gemeente Waddinxveen

28

A.1.2

WP1.2 Geautomatiseerde tekstanalyse

Naast de handmatige deskstudie voerden we aanvullend een geautomatiseerde deskstudie uit. Hierbij gaat het om tekstuele data uit bijvoorbeeld raadsstukken, de gemeentewebsites, uitgezette tenders en de door Gemeente Waddinxveen aangeleverde documenten. We hebben door middel van geautomatiseerde tekstanalyses op een gestructureerde wijze de referenties over de inzet van algoritmes binnen de gemeente inzichtelijk gemaakt. We hebben terugkerende woorden en thema’s geanalyseerd, en een sentimentanalyse toegepast: dit geeft inzicht in of algoritmes in een positieve of negatieve context besproken worden in deze documenten. Door wijzigingen in de toegang tot een van de onderliggende dataplatformen voor deze analyse, hebben we uiteindelijk slechts beperkt kunnen putten uit de geautomatiseerde deskstudie.

A.2

WP2: Enquête naar begrip en gebruik onder ambtenaren

Het doel van de enquête was om het perspectief en de kennis van de ambtenaren op het gebied van bewustzijn, besluitvorming en toezicht op algoritmes te verzamelen. In de enquête waren voornamelijk gesloten vragen opgenomen, om de tijdsbelasting en barrière om de enquête te beantwoorden beperkt te houden. Voor de volledige vragenlijst verwijzen wij u naar Bijlage B. Tussen 18 januari en 8 juni hebben ambtenaren de enquête kunnen invullen. Een e-mail met uitleg over het onderzoek en een verzoek om de enquête in te vullen is door de gemeentelijke contactpersoon gedeeld met de organisatie. Tevens zijn deze contactpersonen gevraagd een tweetal reminders te versturen. In totaal hebben in de gemeente Waddinxveen 42 personen de enquête voltooid. Circa 33% van de respondenten heeft een rol als ambtelijke ondersteuning en/of beleidsadvisering. Ongeveer 35% van de respondenten heeft uitvoerende taken en 21% is werkzaam in de gemeenteraad. 5% is werkzaam in het College van B&W, eveneens 5% ondersteund de raad en/of griffe en 2% is gemeentesecretaris. 3 personen hebben een andere functie binnen de gemeente. 41% van de respondenten werkt in het sociaal domein, ongeveer 21% bij burgerzaken, 17% in de bedrijfsvoering en respectievelijk 10% en 7% in het ruimtelijk domein en bij bestuurszaken.

In hoeverre de response representatief is voor de gehele gemeenteorganisatie is lastig vast te stellen, al is het aannemelijk dat de enquête eerder een overschatting dan een onderschatting geeft van het bewustzijn over algoritmes. Dit is omdat de response onder ambtenaren met grotere betrokkenheid op dit onderwerp hoger zal liggen. Bij de interpretatie van de enquêteresultaten dient rekening gehouden te worden met de soms beperkte omvang van de steekproef. Hierdoor geeft de enquête inzicht in de grotere trends en is het niet mogelijk om kleinere verschillen statistisch uit te splitsen. Daarnaast is niet uit te sluiten dat ondanks de geboden toelichting op de definitie van algoritmes in de enquête, deze definitie door sommige respondenten op een afwijkende manier gehanteerd kan zijn. De aangeleverde voorbeelden van algoritmes in de antwoorden op de open vragen geven echter geen reden om aan te nemen dat hiervan op grote schaal sprake is geweest.

A.3

WP3: Interviews met verschillende experts in de gemeenten

Het doel van de interviews was om de kennis die is opgedaan tijdens de deskstudie en enquête te verdiepen door middel van interviews met relevante medewerkers van de te onderzoeken gemeenten. We zijn op 23 maart een dag lang bij de gemeente Waddinxveen op bezoek geweest om interviews af te nemen. De lijst van te interviewen personen hebben we opgesteld in samenspraak met de gemeentelijke contactpersoon en de Groene Hart Rekenkamer. In de onderstaande tabel vindt u een overzicht van de personen die wij voor dit onderzoek gesproken hebben. Een aantal mensen kon niet op 23 maart, met hen hebben we nadien een online interview ingepland.

Onderzoek naar algoritmes in gemeente Waddinxveen

29

Tabel 4

Overzicht interviewkandidaten

Categorie

Naam

Functie

College B&W

Evert Jan Nieuwenhuis

Burgemeester

Gemeentesecretaris

Aad Six

Gemeentesecretaris

Domein ambtenaar

Sjon Speelman

Adviseur proces en kwaliteit dienstverlening

Domein ambtenaar

Elfrida Visser

Teamverantwoordelijke Sociaal Team

Domein ambtenaar

Maike Girdhari

Teamleider Frontoffice

Data ambtenaar

John Pape

Informatiemanager en CISO

Data ambtenaar

Pera Rajahkumar

Adviseur BI

Data ambtenaar

Radmer de Vries

FG

Usecase Zonnedakje

Marina van Kampen

Beleidsadviseur Duurzaamheid

Usecase Octobox

Mariette Uittenbogaart, John Pape en Jack Schuemie

Juridisch controller en privacy-beheerder, Informatiemanager en adviseur informatiebeheer bij de gemeente Waddinxveen

De interviews hadden de vorm van semigestructureerde interviews: we maakten gebruik van een vooraf ontwikkelde vragenlijst/interviewleidraad, maar tijdens het interview lieten we ruimte aan de geïnterviewden om ook andere onderwerpen in te brengen. Daarmee zorgden we ervoor dat (onvoorziene) relevante zaken tijdens het gesprek verder uitgediept of verkend konden worden. Aan het begin van het interview deelden we de definitie van een algoritme, zodat de geïnterviewden vanuit hetzelfde begrip antwoorden konden geven op onze vragen. We hebben de notities van de interviews voor goedkeuring teruggelegd bij de geïnterviewden om te kijken of we de strekking van hun antwoorden goed hebben begrepen.

A.4

WP4: Usecases van algoritmes binnen de vier gemeenten

In dit werkpakket gingen we dieper in op een aantal algoritmes in de vorm van casestudies. De GHR stelde als eis dat er verspreid over de gemeenten acht verschillende usecases nader bekeken zouden worden. In overleg met de Groene Hart Rekenkamer selecteerden we voor iedere gemeente twee verschillende typen algoritmes om verder uit te diepen in een usecase. De selectie van usecases heeft een zekere mate aan diversiteit qua toepassingsdomeinen zodat we een breed beeld kunnen presenteren. In de usecases putten we voornamelijk uit publiek gepubliceerde en door gemeenten aangeleverde documenten en interviews met betrokken personen binnen elk van de gemeenten. De usecases van gemeente Waddinxveen kunt u terugvinden in Hoofdstuk 4. Deze usecases zullen daarnaast ook samen met de usecases van de andere drie gemeenten die aangesloten zijn bij de GHR in een apart document worden gepubliceerd.

A.5

WP5: Analyse

Waar in de voorgaande werkpakketten de focus lag op het verzamelen van informatie, richtte dit werkpakket zich op het bij elkaar brengen en analyseren van de informatie uit de verschillende werkpakketten. Hiervoor is eerst een koppeling gemaakt tussen interviewtranscripties, enquêtevragen en deskstudiedocumenten en het normenkader. Hierdoor was er voor iedere norm duidelijk uit welke bronnen we konden putten voor onze rapportage. Na de bestudering van deze verschillende bronnen is er vervolgens een synthese geschreven waarna we op basis van deze synthese ons oordeel bepaalden.

Onderzoek naar algoritmes in gemeente Waddinxveen

30

Bijlage B

Enquêtevragenlijst

Onderzoek naar algoritmes in gemeente Waddinxveen

31

Onderzoek naar algoritmes in gemeente Waddinxveen

32

Onderzoek naar algoritmes in gemeente Waddinxveen

33

Onderzoek naar algoritmes in gemeente Waddinxveen

34

Onderzoek naar algoritmes in gemeente Waddinxveen

35

www.technopolis-group.com

Onderzoek naar algoritmes in gemeente Waddinxveen

36