Algoritmebeleid gemeente Delft

Afbeelding gemaakt met Image Creator (microsoft.com)

Algoritmebeleid gemeente Delft Ambities en richtlijnen voor het ontwikkelen en toepassen van Algoritmen en Artificiële Intelligentie (AI) binnen de Delftse gemeentelijke organisatie.

Algoritmebeleid gemeente Delft

Inhoudsopgave 1 Inleiding 1.1 1.2 1.3

Reden Begrippen Scope

2 Ambities gemeente Delft 2.1 2.2 2.3

Aanmoedigen van ontwikkeling Kennis en ervaring ontwikkelen Verbeteren van de Delftse gemeentelijke dienstverlening

2 2 2 3

4 4 4 5

3 Beginselen

6

4 Richtlijnen

7

4.1 4.2 4.3 4.4 4.5 4.6 4.7

Menselijke controle en menselijk toezicht Technische robuustheid en veiligheid Privacy en datagovernance Transparantie Diversiteit, inclusie, non-discriminatie en rechtvaardigheid Milieu en maatschappelijke waarden Verantwoording

5 Risico’s van gebruik algoritmen 5.1 5.2 5.3 5.4

Objectiviteits- of biasrisico Deskundigheids- of verantwoordingsrisico Aansprakelijkheidsrisico Privacy-risico

6 Controle en verantwoording 6.1

Toetsingscommissie

7 8 8 9 9 10 10

11 11 11 11 12

13 13

1

Algoritmebeleid gemeente Delft

1 Inleiding 1.1 Reden Algoritmes en Artificiële Intelligentie (A.I.) zijn niet meer weg te denken uit onze samenleving. Ook vanuit gemeenten en andere overheidsinstanties is er meer behoefte om met algoritmes en A.I. de processen te verbeteren. Met algoritmes en A.I. kan efficiënter en effectiever met geld en middelen worden omgegaan wat ten goede komt van de burgers. Vanuit de andere kant is er het gevaar dat dit ten koste gaat van privacy en burgers onbedoeld benadeeld worden. De Europese Commissie heeft dit ook onderkend en heeft een Verordening artificiële intelligentie1 opgesteld gericht op A.I en hoog risico verwerkingen. In 2025 zijn de eerste 2 fasen van deze AI-act geactiveerd; d.w.z. dat overheden in Europa verplicht moeten investeren in AI-geletterdheid. Ter voorbereiding hierop heeft het ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) een implementatiekader ‘Verantwoorde inzet van algoritmen’2 (hierna Implementatiekader) vastgesteld. In dit Implementatiekader zijn normen gedefinieerd om overheden te ondersteunen bij de verantwoorde inzet van algoritmen. Dit algoritmebeleid is een vertaling van deze normen naar de praktijk binnen de gemeente Delft.

1.2 Begrippen 1.2.1 Algoritme De definitie die gehanteerd wordt is de definitie zoals gesteld in het Implementatiekader: ‘Een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden’. In de praktijk kan dit variëren van simpele rekenregels tot complexe zelflerende modellen. We hanteren 3 vormen van algoritmes: a. Rekenregels – Deze algoritmes zijn handmatig door mensen gemaakt op basis van wetten, verordeningen of ervaring. b. Zelflerend – Deze algoritmes kunnen zelf verbanden ontdekken in een grote set van data. c. Generatief – Generatieve algoritmes zijn algoritmes die content produceren zoals teksten, documenten, afbeeldingen of video’s. 1.2.2 Artificiële intelligentie (A.I.) Zelflerende algoritmes en generatieve algoritmes zijn algoritmes die vallen onder de noemer Artificiële Intelligentie (A.I.). Als in dit beleid gesproken wordt over algoritmes valt A.I. hier ook onder.

1 2

https://eur-lex.europa.eu/legal-content/NL/TXT/HTML/?uri=CELEX:52021PC0206&from=EN Implementatiekader ‘Verantwoorde inzet van algoritmen’ | Rapport | Rijksoverheid.nl

2

Algoritmebeleid gemeente Delft

1.2.3 Kunstmatige intelligentie (K.I.) Een andere benaming voor artificiële intelligentie. 1.2.4 Bias Bias is een bewuste of onbewuste (doordat het model bijvoorbeeld getraind is met incomplete of incorrecte trainingsdata) vooringenomenheid. In het geval van algoritmes kan dit leiden tot discriminatie of uitsluiting van bepaalde groepen of personen. 1.2.5 Geautomatiseerde besluitvorming Geautomatiseerde besluitvorming is elke vorm van besluitvorming die door digitalisering tot stand komt zonder enige vorm van menselijke tussenkomst. 1.2.6 Profilering Elke vorm van geautomatiseerde verwerking waarbij aan de hand van persoonsgegevens bepaalde persoonlijke aspecten van een natuurlijke persoon worden geëvalueerd, met name met de bedoeling zijn beroepsprestaties, economische situatie, gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid, gedrag, locatie of verplaatsingen te analyseren of te voorspellen.

1.3 Scope Het algoritmebeleid beperkt zich tot algoritmen waarbij persoonsgegevens worden verwerkt of waarbij de uitkomst van het algoritme verwachte (hoge) impact heeft op burgers of medewerkers, dat wil zeggen dat de gegevensverwerking die plaatsvind door gebruik of inzet van de AI, een mogelijk hoog risico inhoudt voor de rechten en vrijheden van natuurlijke personen. (De beoordeling of deze risico’s mogelijk optreden komt voort uit de zgn. IAMA (Impact Assessment Mensenrechten en Algoritmen, uitgevoerd door een CISO of ISO).

3

Algoritmebeleid gemeente Delft

2 Ambities gemeente Delft De stad Delft is tot ver in het buitenland beroemd om haar historie, maar ook om innovatieve kenniscentra als de TU, TNO en Deltares. Het is een stad van monumenten en van experimenteren. Delft leeft vandaag en werkt aan morgen. In dit licht is de gemeente Delft ambitieus en wil op lokaal niveau ontwikkeling van technologie, en de toepassing hiervan, stimuleren. We streven naar het verbeteren van de levens van de Delftse inwoners door de inzet van technologie (en AI als onderdeel daarvan) waar dat waarde toevoegt, en door het waakzaam zijn op de nadelige kanten van deze technologie. Ambities • Als gemeente willen we het leven van Delftse inwoners helpen verbeteren en haar dienstverlening inclusiever maken door middel van de inzet van technologie • Als gemeente willen we lokale ontwikkeling van algoritmes en specifiek AI-technologie en AI-toepassingen stimuleren • Als gemeente willen we zo veel als mogelijk zelf kennis ontwikkelen en ervaring opdoen rondom de ontwikkeling en inzet van AI-toepassingen Om dit te bereiken willen we inzetten op drie actielijnen:

2.1 Aanmoedigen van ontwikkeling We willen de ontwikkeling van algoritmen en AI in het gemeentelijke domein stimuleren. We pakken onze rol in het laten bloeien van lokale AI-bedrijven, door het stimuleren en ondersteunen van samenwerkingsverbanden en communities in de AI-industrie. AI-experimenten of ontwikkelingen doen we zo veel mogelijk samen met lokale partijen zoals bedrijven, kennisinstellingen, universiteiten of hogescholen. Hiertoe investeren we in robuuste ontwikkel- en samenwerkingsverbanden om te komen tot bruikbare AI-toepassingen in het gemeentelijke domein. We willen deze samenwerking stimuleren door bijdragen aan invulling van randvoorwaarden zoals ontwikkeling en beschikbaarheid van data, kennis, capaciteit en ruimte voor experimenten. Zonder data geen AI. Als gemeente willen we investeren in bruikbaarheid, beschikbaarheid en waarde van onze publieke data. Dit gaan we doen door waar mogelijk generieke datasets op bepaalde domeinen publiekelijk beschikbaar te maken, zodat ontwikkelaars van AItoepassingen met deze data kunnen werken. Ten behoeve van het bewaken van publieke waarden is het voornemen om een ambtelijke toetsingscommissie op te zetten (zie par. 6.1). In deze commissie wordt een oordeel gevormd over de ethische, morele en juridische aspecten m.b.t. de inzet en consequenties van AI (en informatievoorziening in zijn algemeenheid).

2.2 Kennis en ervaring ontwikkelen Terwijl we als gemeente de mogelijkheden van algoritmen en AI zo goed mogelijk benutten, moeten we tegelijkertijd de bestaande risico’s zo veel als mogelijk voorkomen. Om dit te 4

Algoritmebeleid gemeente Delft

bereiken willen we als gemeente investeren in het ontwikkelen van kennis en ervaring rondom AI en dit zo veel als mogelijk intern en extern verspreiden. Binnen de gemeentelijke organisatie moet het mogelijk gemaakt worden om op kleinschalige wijze te leren van de inzet van AI, zonder dat dit stuit op procedurele bezwaren. Een voorwaarde zou wel moeten zijn dat de opgedane kennis zo veel mogelijk integraal wordt gedeeld en dat het experiment in een gecontroleerde omgeving wordt begeleid door afdeling Informatie Voorziening (de afdeling die verantwoordelijk is voor vrijwel alle digitale middelen van de gemeente Delft). We stimuleren het delen van data binnen en tussen domeinen, bijvoorbeeld tussen Samenleving en Economie, of tussen de verschillende opgaven en programma’s. Door te experimenteren en innovatie te omarmen ontwikkelen we algoritme en AI competenties en infrastructuur binnen de gemeente Delft: we investeren in datakwaliteit en het eigenaarschap hiervan, en in specifieke vaardigheden en technieken zoals machine learning3.

2.3 Verbeteren van de Delftse gemeentelijke dienstverlening Als gemeente streven we continue naar het verbeteren van onze dienstverlening richting de inwoners van Delft. Met name voor kwetsbare inwoners is het soms moeilijk laveren in het gemeentelijke aanbod. We willen data en technologie gebruiken om onze dienstverlening toegankelijker, inclusiever en beter te maken. Als gemeente willen we bewustwording creëren en kennisdeling faciliteren tussen de verschillende domeinen en clusters. Om dit te bereiken willen we een expertisecentrum 'AI-lab’ opzetten. In dit lab bundelen we de inzet van de gemeente om te leren over AI. Binnen dit lab zetten we een portfolio op van bekende AI-toepassingen en duiden de onderliggende techniek. We volgen en verzamelen mogelijke interne best practises / initiatieven en stellen deze ter beschikking voor bredere inzet. Door middel van een doorlopende campagne wordt de organisatie geïnspireerd met voorbeelden van ontwikkelingen binnen en buiten Delft.

3

Machine learning is een tak van kunstmatige intelligentie waarbij computers leren van gegevens zonder expliciet geprogrammeerd te worden

5

Algoritmebeleid gemeente Delft

3 Beginselen De gemeente Delft volgt de ‘Ethische richtsnoeren voor betrouwbare Kunstmatige Intelligentie’4 die zijn opgesteld door de Europese Commissie in juni 2018 en als basis dienen voor het Implementatiekader. Hierbij hanteert de gemeente Delft de volgende ethische beginselen voor het betrouwbaar inzetten van algoritmes: • Respect voor de menselijke autonomie • Preventie van schade • Rechtvaardigheid • Verantwoording

3.1 Respect voor de menselijk autonomie De inzet van algoritmes mag niet leiden tot het onderwerpen, dwingen, misleiden, manipuleren of conditioneren van mensen. Burgers hebben het recht om niet te worden onderworpen aan besluitvorming zonder menselijke tussenkomst (artikel 22 AVG). Bij de inzet van algoritmes door de gemeente Delft is er sprake van menselijke controle en toezicht.

3.2 Preventie van schade Algoritmes mogen geen schade veroorzaken of vergroten of anderszins negatieve gevolgen hebben voor mensen. Algoritmes moeten technisch robuust zijn en er moet voor gezorgd worden dat ze niet misbruikt kunnen worden. Hierbij dient extra aandacht te zijn voor kwetsbare personen.

3.3 Rechtvaardigheid De inzet van algoritmes mag niet leiden tot uitsluiting of discriminatie van mensen. Hierbij dient extra aandacht te zijn voor onbedoelde historische vertekening door het trainen van algoritmes op basis van historische data. Dergelijke data kan (indirect) leiden tot vooringenomenheid en onbedoelde discriminatie of uitsluiting. De inzet van algoritmes die door burgers zelf gebruikt kunnen worden dient toegankelijk te zijn voor alle burgers ongeacht specifieke beperkingen, vermogens of eigenschappen.

3.4 Verantwoording De werking van het algoritme moet transparant zijn en het moet duidelijk zijn welke data gebruikt zijn om tot het resultaat te komen. Algoritmes die een impact hebben op burgers of waarbij persoonsgegevens worden verwerkt, worden actief openbaar gemaakt. Voor algoritmes waarbij we niet precies weten hoe de technische oplossing werkt, vinden extra controles plaats om deze beginselen te waarborgen. Dit kan bijvoorbeeld gebeuren door de output te evalueren aan de hand van een gegeven input.

4

https://op.europa.eu/s/y99e

6

Algoritmebeleid gemeente Delft

4 Richtlijnen De beginselen zijn als basis gebruikt voor het Implementatiekader voor het opstellen van richtlijnen. Deze normen zijn onderverdeeld in 7 thema’s conform de 7 vereisten uit de ‘Ethische richtsnoeren voor betrouwbare K.I.’.

De richtlijnen in dit hoofdstuk zijn gebaseerd op de normen uit het Implementatiekader en gebundeld tot concrete richtlijnen voor het gebruik van algoritmes door de gemeente Delft.

4.1 Menselijke controle en menselijk toezicht Richtlijn 01: Er wordt geen gebruik gemaakt van volledig geautomatiseerde besluitvorming.

7

Algoritmebeleid gemeente Delft

4.2 Algoritmes worden alleen ingezet ter ondersteuning en advisering. Besluitvorming in het algemeen zonder betekenisvolle menselijke tussenkomst, is niet toegestaan onder de Algemene Verordening gegevensbescherming5. (In artikel 22 lid 1 staat: “De betrokkene heeft het recht niet te worden onderworpen aan een uitsluitend op geautomatiseerde verwerking [...] gebaseerd besluit waaraan voor hem rechtsgevolgen zijn verbonden.")Technische robuustheid en veiligheid Richtlijn 02: De informatiebeveiliging is op orde Toepassingen waarin algoritmes verwerkt zijn moeten voldoen aan de BIO, Baseline Informatiebeveiliging Overheid6 (de Nederlandse standaard voor informatiebeveiliging). Voordat een algoritme wordt ingezet dient eerst een Baselinetoets te zijn uitgevoerd om het juiste beveiligingsniveau en benodigde beveiligingsmaatregelen te bepalen.

Richtlijn 03: Het algoritme dat wordt gebruikt is geschikt voor het doel waarvoor het wordt ingezet en de uitkomsten zijn betrouwbaar en reproduceerbaar In de onderzoeksfase van het algoritme wordt duidelijk vastgelegd wat het beoogde doel is van het algoritme; welke beperkingen er zijn en de benodigde nauwkeurigheid van het algoritme. De gebruikte data voor training, validatie en testen dienen van dusdanige kwaliteit te zijn dat de uitkomsten betrouwbaar zijn en reproduceerbaar. De data die gebruikt worden om te testen zijn niet gelijk aan de data om te trainen of te valideren. Richtlijn 04: Met leveranciers worden afspraken gemaakt over het gebruik van algoritmes in toepassingen Met leveranciers van algoritmes worden bij de inkoop afspraken gemaakt over de werking, gebruik en continuïteit van het algoritme. De leverancier levert een documentatie aan over de werking van het algoritme en aanvullende informatie nodig voor aanlevering aan het Algoritmeregister van de Nederlandse overheid7 (hierna Algoritmeregister).

4.3 Privacy en datagovernance Richtlijn 05: Voor elke algoritme dat een potentieel hoog risico vormt voor personen moet een Data Protection Impact Assessment (DPIA)8 zijn uitgevoerd.

5

Artikel 22 lid 1 van de Algemene Verordening Gegevensverwerking

Baseline Informatiebeveiliging Overheid Cybersecurity - Digitale Overheid Het Algoritmeregister van de Nederlandse overheid 8 Een DPIA is een instrument om de privacyrisico's van een gegevensverwerking in kaart te brengen en maatregelen te nemen om deze risico's te verkleinen 6 7

8

Algoritmebeleid gemeente Delft

Voor elke verwerking die een potentieel hoog risico betekent voor de betrokkenen moet vanuit de Algemene Verordening Gegevensbescherming (AVG) en Wet Politiegegevens (Wpg) een DPIA worden uitgevoerd. Onderdeel van de baselinetoets is bepalen of een DPIA moet worden uitgevoerd. Richtlijn 06: Data moeten voldoen aan gestelde datawaarden Voordat data gebruikt kunnen worden door een algoritme moeten deze getoetst worden of zij voldoen aan gestelde datawaarden9. De datakwaliteit dient op orde te zijn en het dataeigenaarschap dient belegd te zijn. Binnen de Delftse gemeentelijke organisatie valt het bewaken van datawaarden, -kwaliteit en -governance onder de afdeling Gegevensmanagement.

4.4 Transparantie Richtlijn 07: De besluitvorming rond, en de werking van, een algoritme is gedocumenteerd en gearchiveerd Besluitvorming rond de inzet, wijziging of beëindigen van een algoritme is gedocumenteerd en gearchiveerd. Hetzelfde geldt voor de documentatie, testresultaten, testscripts en testplannen. De bewaartermijn voor deze documenten is 10 jaar conform artikel 18 van de Wet op de artificiële intelligentie (EU-verordening 2021/0106) Richtlijn 08: De inzet van een algoritme is gepubliceerd in het Algoritmeregister van de Nederlandse Overheid. Elke algoritme dat valt onder de categorie Hoog-Risico van de AI-verordening, impact heeft op betrokkenen of onderdeel is van het maatschappelijk debat dient vermeld te worden in het Algoritmeregister. Hierbij dient in begrijpelijke taal het algoritme beschreven te zijn inclusief beschrijving, onderbouwing, werking en beschrijving van de gebruikte data.

4.5 Diversiteit, inclusie, non-discriminatie en rechtvaardigheid Richtlijn 09: De inzet van het algoritme mag niet leiden tot ongelijke behandeling in gelijke omstandigheden Elke algoritme dat gebaseerd is op historische data of ervaring kan last hebben van bias. Voordat een algoritme ontwikkeld wordt, moet in kaart zijn gebracht welke vormen van bias er kunnen optreden en hoe deze worden voorkomen bij de ontwikkeling en in het gebruik. Richtlijn 10: Voordat een algoritme gebruikt kan worden moet er eerst een Impact Assessment Mensenrechten en Algoritmen (IAMA) zijn uitgevoerd. Voordat er gestart kan worden met een algoritme moet een IAMA zijn uitgevoerd door een CISO (Chief Information Security Officer) of een ISO (Information Security Officer). De IAMA is een instrument dat is opgenomen in de officiële werkwijze van de Rijksoverheid10. Onderdeel

9

Gemeentelijk Gegevensmodel (GGM) Impact Assessment Mensenrechten en Algoritmes | Rapport | Rijksoverheid.nl

10

9

Algoritmebeleid gemeente Delft

van de IAMA zijn vragen rond mensenrechten, publieke waarden en bias.11 Elke IAMA dient te worden voorgelegd aan de Functionaris Gegevensbescherming ter advies.

4.6 Milieu en maatschappelijke waarden Richtlijn 11: Bewerkstellig duurzaamheid; ook in de ontwikkeling van algoritmen De inzet van zelflerende algoritmes zoals neurale netwerken vergen veel meer energie dan bijvoorbeeld een beslisboom. Daarom wordt de impact op het milieu meegenomen in het bepalen of een algoritme ingezet gaat worden of niet. D.w.z. dat op voorhand een inschatting wordt gemaakt van de benodigde rekenkracht12 en vervolgens wordt bepaald of het bijbehorende energieverbruik verantwoord is in vergelijking tot reguliere applicaties.

4.7 Verantwoording Richtlijn 12: De inzet van elk algoritme wordt beoordeeld en bewaakt door een ambtelijke Toetsingscommissie. Voordat een algoritme wordt ontwikkeld of wordt aangeschaft moet deze eerst voorgelegd worden aan een ambtelijke Toetsingscommissie. Hier wordt bepaald of het algoritme ingezet mag worden of niet. De Toetsingscommissie bewaakt ook of algoritmes nog passend zijn bij het doel en of er geen onbedoelde bias is ingeslopen tijdens de doorontwikkeling van het algoritme of als gebruikte databronnen na verloop van tijd zijn bewerkt of aangepast. In hoofdstuk 6 wordt het proces van beoordeling door een Toetsingscommissie verder uitgewerkt. Nota bene: deze ambtelijke Toetsingscommissie zal naar verwachting in Q2 2026 worden ingericht en geactiveerd.

11 12

Deze vragen zijn overgenomen uit de IAMA (Impact Assessment Mensenrechten en Algoritmen) Bijvoorbeeld via calculators als ChatUI-energy

10

Algoritmebeleid gemeente Delft

5 Risico’s van gebruik algoritmen Algoritmen of AI-toepassingen bieden een scala aan krachtige functionaliteiten die op diverse manieren de gemeente Delft zouden kunnen ondersteunen bij het behalen van haar doelstellingen of het werken aan de gemeentelijke opgaven. Aan de inzet van AI oplossingen kleven echter een aantal specifieke risico’s. Ten behoeve van het handelingsperspectief laten we hier risico’s voortkomend uit misbruik van AI door burgers of derde partijen buiten beschouwing.

5.1 Objectiviteits- of biasrisico AI-modellen of LLM’s (Large Language Models) worden ‘getraind’ om patronen of trends te herkennen uit grote hoeveelheden data, en op basis van deze patronen of trends uitspraken te doen of beslissingen te nemen. Als deze data van slechte kwaliteit zijn (bij voorbeeld door gebrekkige registratie) of een eenzijdig beeld geven (door bijvoorbeeld onvolledige registratie), dan zijn de uitspraken of beslissingen van een AI model waarschijnlijk niet valide (er wordt een onjuiste uitspraak gedaan/verkeerde beslissing genomen) of niet betrouwbaar (er worden in gelijke gevallen, verschillende uitspraken gedaan/beslissingen genomen). Een andere verschijningsvorm van dit soort risico is het Biasrisico. Bias in AI verwijst naar de onbedoelde en onevenredige vooroordelen die kunnen ontstaan in AI-systemen. Deze vooroordelen kunnen voortvloeien uit de gegevens die worden gebruikt om AI-systemen te trainen, de algoritmen die worden gebruikt om patronen te identificeren en de beslissingen die worden genomen op basis van deze patronen.

5.2 Deskundigheids- of verantwoordingsrisico De werking van AI modellen komt voort uit de investeringen in kennis en ontwikkeling die grote bedrijven zoals Meta (Facebook, Instagram) en Google doen in de software. De deskundigheid die komt kijken bij deze ontwikkeling ligt normaliter niet in het bereik van de gemeente Delft. De gemeente Delft heeft feitelijk een kennisachterstand op de werking van AI modellen in relatie tot de leverancier van deze modellen en kan zich dus vooralsnog onvoldoende verklaren/verantwoorden over de consequenties van toepassing van deze technologie.

5.3 Aansprakelijkheidsrisico Voortvloeiend uit het deskundigheids-risico is het voor de gemeente Delft moeilijk in te schatten in welk mate de gemeente aansprakelijk is mocht er uit het gebruik van AI modellen schade ontstaan voor burgers of bedrijven. Het antwoord op de vraag of de ontwikkelaar van de technologie aansprakelijk is, of de gemeente die de technologie heeft ingezet, is niet eenvoudig te geven. Gemeente Delft hanteert bij de inkoop van technologie de zgn. GIBIT voorwaarden. Deze voorwaarden zijn opgesteld door de VNG en worden over als standaard gezien voor inkoopvoorwaarden voor gemeenten in Nederland.(In deze GIBIT voorwaarden is aansprakelijkheid opgenomen in artikel 14) Verder stelt de gemeente een Verwerkersovereenkomst op met een leverancier, daar waar gebruik wordt gemaakt van gegevensverwerking door middel van technologie13. 13

Algemene Verordening Gegevensbescherming: art 28 lid 3

11

Algoritmebeleid gemeente Delft

5.4 Privacy-risico Zoals eerder gezegd maken AI modellen gebruik van grote hoeveelheden data. De gemeente Delft is gebonden aan de AVG en zal dus ten alle tijden moeten kunnen aangeven welke data op welke manier worden gebruikt bij de toepassing van een AI model. De richtlijnen van de AVG zijn hierbij leidend. Als niet helder is op welke manier het model data gebruikt, of als niet helder is waar de data vandaan komen dan kan de gemeente niet voldoen aan de verantwoordingsplicht. Ten behoeve van het voorkomen van optreden van voornoemde risico’s en het creëren van bewustzijn rondom het bestaan van deze risico’s, werkt gemeente Delft vanuit een aantal specifieke beginselen gericht op maatschappelijke impact en het bewaken van maatschappelijke waarden bij gebruik algoritmen en AI binnen het gemeentelijke domein. Op basis van deze beginselen (zie Hoofdstuk 3) zijn de richtlijnen in hoofdstuk 4 opgesteld, die worden gebruikt bij de inzet van algoritmen en AI binnen het gemeentelijke domein.

12

Algoritmebeleid gemeente Delft

6 Controle en verantwoording

De levenscyclus van een algoritme kent een drietal fases14. Berenschot beschrijft deze als volgt: •

Binnen de onderzoeksfase wordt eerst de vraag geformuleerd, en wordt überhaupt de inzet van een algoritme overwogen. Vervolgens wordt de intentie uitgewerkt, hierbij wordt een eerste beschrijving van doel, kaders, acceptatiecriteria, de mogelijke impact en het risico van het algoritme vastgesteld.

•

Tijdens de ontwikkelfase wordt eerst het proces ingericht, waarbij gekeken wordt naar bijvoorbeeld de samenstelling van het team. Tijdens het ontwikkelingsonderdeel vindt de ontwikkeling van het algoritme zelf plaats, dit kan intern gebeuren, maar natuurlijk ook door een commerciële partij. Ook wanneer een bestaand product wordt ingekocht – en de ontwikkelfase feitelijk voorbij is – is aan te raden de ontwikkelfase te onderscheiden van de beheerfase. De laatste stap in de ontwikkelfase is namelijk dat de algoritmetoepassing helemaal geschikt wordt gemaakt voor een specifiek regulier proces in een specifieke overheidsorganisatie en tijdens deze laatste stap kunnen keuzes worden gemaakt die van belang zijn voor de governance van de toepassing.

•

De laatste fase is de beheerfase, hierbij is het algoritme in gebruik. Uiteindelijk wordt het algoritme ook stopgezet en gearchiveerd.

6.1 Toetsingscommissie De Toetsingscommissie is een ambtelijke commissie die de inzet van IV-toepassingen beoordeelt die: 1. impact hebben op meerdere afdelingen of organisaties 2. nieuwe technologieën introduceren 3. bij de inzet ervan significante risico’s met zich meebrengen voor burgers of medewerkers 4. Algoritmen of andere functionaliteiten bevatten waarbij de uitkomst een (hoge) impact heeft op burgers of medewerkers of onderdeel zijn van het maatschappelijk debat.

14

handreiking_governance-voor-een-verantwoorde-toepassing-van-algoritmen.pdf (berenschot.nl)

13

Algoritmebeleid gemeente Delft

Dit hoofdstuk beperkt zicht tot de taken, verantwoordelijkheden, reikwijdte en samenstelling van de commissie in relatie tot algoritmes. De Toetsingscommissie beoordeelt aanvragen en de inzet van algoritmes. Hierbij wordt gekeken naar ethische beginselen voor betrouwbare inzet van algoritmes (zie hoofdstuk 2) en in welke mate er wordt voldaan aan de richtlijnen (hoofdstuk 3). Hierbij heeft de Toetsingscommissie specifiek aandacht voor diversiteit, nondiscriminatie, rechtvaardigheid, privacy en proportionaliteit van de inzet van het algoritme. De Toetsingscommissie beoordeelt hierbij de uitgevoerde IAMA. De Toetsingscommissie voert een check uit tijdens de vijf sleutelmomenten14 in de levenscyclus van een algoritme.

Op elk van deze sleutelmomenten zal het algoritme getoetst worden door de Toetsingscommissie en gekeken of het verantwoord is om het algoritme in te zetten of het gebruik te continueren. Dit betekent dat een algoritme dat in gebruik is en voldoet aan de criteria van de Toetsingscommissie minimaal 1x per jaar opnieuw beoordeeld wordt door de Toetsingscommissie. 6.1.1 Reikwijdte De Toetsingscommissie toetst de inzet van algoritmes waarbij de uitkomst een (hoge) impact heeft op burgers of medewerkers of onderdeel zijn van het maatschappelijk debat. Hieronder vallen naast de algoritmes van de Gemeente Delft ook de algoritmes van Werkse!, ParkerenDelft, Delft Support en museum Prinsenhof. Ten behoeve van de werkbaarheid en de nieuwheid van het domein, zal de toetsingscommissie zich in eerste instantie buigen over vraagstukken binnen de gemeente Delft. De reikwijdte van toetsing kan later en gefaseerd uitgebreid worden met Werkse!, ParkerenDelft, Delft Support, en Delft Voor elkaar waarbij er rekening gehouden moet worden met de individuele inrichting van het automatiseringslandschap en context van deze instellingen. .

6.1.2 Samenstelling Toetsingscommissie De Toetsingscommissie bestaat uit vaste leden (medewerkers) uit alle invalshoeken van de Gemeente Delft, aangevuld met leden van de overige organisaties als het algoritme daarop van toepassing is. De vaste leden van de commissie zijn iig: - De Chief Information Officer - De Enterprise Architect 14

Algoritmebeleid gemeente Delft

-

De gemeentelijke medewerkers met een wezenlijk belang; deze worden nog nader ingevuld. De Functionaris Gegevensbescherming is als toezichthouder agenda-lid van de commissie en heeft in die hoedanigheid geen stemrecht.

6.1.3 Verantwoording De Toetsingscommissie rapporteert jaarlijks aan het directieteam en aan het college van B&W over de stand van zaken rond de inzet van algoritmes binnen de Gemeente Delft. De scope van rapportages kan later en gefaseerd uitgebreid worden met de Gemeentelijke Dienst Werkse!, ParkerenDelft, Delft Support en museum Prinsenhof. De Functionaris Gegevensbescherming fungeert als Derde lijn volgens het ‘three lines of defense’ model en houdt toezicht op het functioneren van de Toetsingscommissie in relatie tot algoritmes. Voor wat betreft de ondersteuning van de Toetsingscommissie: bij het bepalen van het werkproces van deze commissie willen eveneens kijken naar welke ondersteuning hierbij past en vanuit welk organisatieonderdeel die georganiseerd zou kunnen worden.

15