Jaarverslag CPA 2024 incl bijlagen.pdf

Commissie Persoonsgegevens Amsterdam (CPA)

Jaarverslag

2024

Inhoud 1.

Samenvatting .............................................................................................................3

2.

Reflectie en vooruitblik: 2024 als het jaar van grote technologische omwentelingen ......... 4

3.

De transformatie van de CPA: van monodisciplinaire naar een interdisciplinaire adviescommissie ........................................................................................................ 6

4.

Schriftelijke adviezen 2024 .......................................................................................... 9

5.

Geagendeerde onderwerpen en bijeenkomsten zonder schriftelijk advies ....................... 15

6.

Symposium 2024 ‘Profilering in de publieke sector’ ....................................................... 18

7.

Conclusie .................................................................................................................. 19

2

1. Samenvatting Geachte leden van het college van Burgemeester en Wethouders (college van B&W). Conform artikel 8 lid 1 van het Reglement van de CPA 2021, treft u hierbij aan het jaarverslag van de Commissie Persoonsgegevens Amsterdam (CPA) over het jaar 2024. De CPA ziet dat de digitale transitie binnen de gemeente Amsterdam in een steeds hoger tempo plaatsvindt. Daarmee nemen ook de juridische, technische en bestuurlijke vraagstukken rondom digitalisering in complexiteit en urgentie toe. Deze omslag ziet de CPA ook terug in de adviesaanvragen. De CPA wordt benaderd met complexe dossiers, die vragen om grondige reflectie met een interdisciplinair karakter en onafhankelijk advies. Tegelijkertijd ziet de CPA dat het aantal adviesaanvragen afneemt. Een mogelijk oorzaak hiervan is dat de taakuitbreiding van de CPA nog niet in de volle breedte binnen de organisatie bekend is. Daarbij kan ook een rol hebben gespeeld dat de secretariële ondersteuning van de CPA onderhevig is geweest aan een behoorlijke fluctuatie. Dit beperkt de interne zichtbaarheid van de CPA binnen de gemeentelijke organisatie. In dit jaarverslag vragen wij aandacht voor de balans tussen de groeiende opgaven en de beschikbare ondersteuning om onze taak effectief te blijven uitvoeren. De opzet van het jaarverslag is als volgt.

Het jaarverslag opent met een terugblik op het jaar 2024 en vervolgt met een vooruitblik op 2025 (par. 2). Daarna volgt een korte toelichting over de taken en samenstelling van de CPA (par 3). Vervolgens worden de adviezen van 2023 toegelicht (par 4). Ook komen de onderwerpen aan bod die tijdens de vergaderingen zijn besproken, maar waaruit geen formeel advies is voortgekomen (par. 5). Daarna wordt stilgestaan bij het CPA-symposium dat in september 2024 heeft plaatsgevonden (par. 6) Het jaarverslag wordt afgesloten met een conclusie van de voorzitter van de CPA (par. 7).

3

2. Reflectie en vooruitblik: 2024 als het jaar van grote technologische omwentelingen In de Verenigde Staten (VS) leidde de herverkiezing van voormalig president Donald Trump in november 2024 tot een vooruitzicht waarin (verdere) intensivering van de verwevenheid tussen de politieke en grote technologiebedrijven (de zogeheten ‘Big Tech’) zou gaan plaatsvinden. De uiteindelijke impact hiervan heeft zich vervolgens niet beperkt tot de Amerikaanse landsgrenzen, maar doet zich ook voelen in de Europese Unie (EU). Er was in 2024 (en daarvoor) al sprake van grote spanning tussen de VS en de EU op het gebied van de regulering van het gebruik van technologie.1 Waar de EU sinds de afgelopen jaren volop heeft ingezet op juridische normering van het gebruik van nieuwe technologieën en versterking van fundamentele rechten, lijkt de Amerikaanse benadering in toenemende mate te worden gekenmerkt door deregulering.2 De gemeente Amsterdam koestert grote technologische ambities en heeft zelfs uitgesproken dat de stad de technologiehoofdstad van Europa wil worden.3 Het is voldoende om een blik op het algoritmeregister te werpen om tot het oordeel te komen dat de gemeente hier vol op inzet.

Zo heeft zij het afgelopen jaar een pilot uitgevoerd om te experimenteren met de inzet van generatieve artificiële intelligentie (generatieve AI),4 zet zij algoritmes in om armoede in een vroeg stadium te signaleren,5 of gebruikt zij AIavatar video’s om burgers die lastig te bereiken zijn te benaderen om hen te voorzien van gemeentelijke informatie.6 In de directe interactie tussen de gemeente en Amsterdammers is sprake van vergaande technologisering. Als burgers de gemeente bellen, dan krijgen zij in eerste instantie bijvoorbeeld niet een mens van vlees en bloed, maar een voicebot te spreken.7 Deze systemen zijn deels in eigen beheer, maar deels ook in privaat beheer ontwikkeld. De pilot “Slimme Check” heeft de gemeente uiteindelijk buiten werking gesteld.8 Tegelijkertijd is tegen de achtergrond van de ontwikkelingen in de VS een grotere bewustwording ontstaan van de kwetsbaarheid die een te grote afhankelijkheid van software van Amerikaanse Big Tech met zich meebrengt.

Deze bewustwording heeft ook geleid tot een hernieuwde dialoog binnen de Amsterdamse gemeente over digitale autonomie.9 Dat dit noodzakelijk is, blijkt uit de ‘Tussenstand van de verkenning Amsterdam Digitaal Onafhankelijk’ van oktober 2024.10 Een belangrijke conclusie van deze verkenning is dat de gemeente Amsterdam afhankelijk is van grote (private) leveranciers voor clouddiensten, kantoorautomatisering en datamanagement. Daardoor is de gemeente maar beperkt in staat om eigen keuzes te maken met betrekking tot data en technologie. Dat binnen de gemeente nu het gesprek wordt gevoerd over digitale autonomie juicht de CPA toe. Zoals de rechtbank Den Haag enkele jaren geleden benadrukte in de SyRI-uitspraak – rust op publieke actoren op grond van het Europees Verdrag voor de Rechten van de Mens (EVRM) bij de toepassing van nieuwe technologieën een bijzondere verantwoordelijkheid.11 Zij moeten een juiste balans zien te vinden tussen enerzijds de voordelen van technologische toepassingen en anderzijds de mogelijke inbreuk op de grondrechten van burgers. Dit vergt continue alertheid over de publieke waarden die door de inzet van technologie mogelijk in het geding 1 B. Bodo e.a., Personal data ordering in context: the interaction of meso-level data governance regimes with macro

frameworks (2021) Internet Policy Review 10 (3) p. 1 e.v., https://policyreview.info/pdf/policyreview-2021-3-1581.pdf. 2 De latere kritiek van vicepresident JD Vance in februari 2025 op Europese digitaliseringswetgeving – denk aan de AIverordening, de Digital Markets Act en de Digital Services Act - is illustratief voor het groeiende trans-Atlantische verschil in opvattingen over marktregulering, platformverantwoordelijkheid en gegevensbescherming. 3 D. Hielkema en D. Stiel, ’Wethouder Mbarki: Amsterdam kan echt de technologiehoofdstad van Europa worden’, Het Parool (29 maart 2025), https://www.parool.nl/amsterdam/wethouder-mbarki-amsterdam-kan-echt-detechnologiehoofdstad-van-europa-worden~be2f7a76/. 4 https://algoritmes.overheid.nl/nl/algoritme/gm0363/29564213/civinc. 5 https://algoritmes.overheid.nl/nl/algoritme/gm0363/66453169/vroeg-eropaf. 6 https://algoritmes.overheid.nl/nl/algoritme/gm0363/23372779/ggd-avatars. 7 https://algoritmes.overheid.nl/nl/algoritme/gm0363/23372779/ggd-avatars. 8 https://algoritmes.overheid.nl/nl/organisatie/gm0363/gemeente-amsterdam, onder “Onderzoekswaardigheid: Slimme check levensonderhoud gemeente Amsterdam”. 9 Digitale autonomie verwijst in dit verband, kortgezegd, naar het streven om meer controle te verkrijgen over data, ITsystemen en digitale infrastructuren.

Zie: https://openresearch.amsterdam/nl/page/107992/digitale-autonomie 10 Zie hierover: Raadsinformatiebrief van 12 maart 2025, ‘Digitaal onafhankelijk’, https://amsterdam.raadsinformatie.nl/document/15283246/1#search=%22verkenning%20digitale%20autonomie%22 11 Rb. Den Haag 5 februari 2020, ECLI:NL:RBDHA:2020:865.

4

komen bij actoren zoals het gemeentebestuur, de gemeenteraad en externe adviescommissies zoals de CPA.12 Net als in voorgaande jaren zal de CPA zich ook de komende jaren blijven inzetten om het college van B&W te adviseren over de inzet van nieuwe technologieën door de gemeente. Dit kan variëren van geautomatiseerde besluitvorming en algoritmische risicoprofilering tot het gebruik van generatieve AI, zoals bij Chat Amsterdam. Daarbij is het steeds van belang om een zorgvuldige balans te vinden tussen enerzijds de bijdrage die de nieuwe technologieën kunnen leveren aan het realiseren van publieke opgaven, en anderzijds de publieke waarden die mogelijk onder druk komen te staan. Hierbij kan met name worden gedacht aan transparantie, autonomie, controleerbaarheid en digitale soevereiniteit. Maar ook het behoud van betekenisvol menselijk contact tussen gemeente en haar inwoners, met name voor degenen voor wie (digitale) zelfredzaamheid geen vanzelfsprekendheid is, vraagt nadrukkelijk om aandacht van de gemeente bij de inzet van nieuwe technologieën.

12 Dit ook wordt erkend in de Agenda Digitale Stad. Zie: https://www.amsterdam.nl/innovatie/agenda-digitale-stad/.

5

3. De transformatie van de CPA: van monodisciplinaire naar een interdisciplinaire adviescommissie De CPA als externe adviescommissie op basis van de Gemeentewet De CPA is ingesteld op grond van artikel 84 van de Gemeentewet. Op grond hiervan adviseert zij het college van B&W over de aan haar voorgelegde of onderzochte kwesties betreffende de verwerking van persoonsgegevens, algoritmen, data-ethiek, digitale (mensen-)rechten en openbaarmaking van persoonsgegevens.13 De adviezen van de CPA hebben betrekking op de juridische, technische en ethische aspecten van gegevens- en mensenrechtelijke bescherming in de breedste zin van het woord. Per 1 januari 2024 vervult mevrouw H. Janssen de rol van voorzitter, met de heer A. Commandeur en mevrouw F. Çapkurt in de rol van vicevoorzitter. Tussen 1 januari 2024 en 31 december 2024 was de samenstelling van de Commissie als volgt: H. Janssen voorzitter F. Çapkurt vicevoorzitter A. Commandeur vicevoorzitter H. Belarbi lid F. van Rootselaar lid (vicevoorzitter tot oktober 2024) I. Kist lid M. Steketee lid De taakuitbreiding van de CPA De CPA begon in de jaren ’80 als een monodisciplinaire commissie met een duidelijke focus op privacyrechtelijke vraagstukken. De adviesaanvragen die zij ontving waren in die beginperiode doorgaans afgebakend en primair juridisch van aard.

Echter, door de voortschrijdende technologisering zijn de afgelopen jaren de vraagstukken die aan de CPA worden voorgelegd steeds complexer geworden. Ze overstijgen het domein van het privacyrecht en hebben in toenemende mate bredere maatschappelijke, technologische en bestuurlijke implicaties. Dit vraagt om een interdisciplinaire benadering, waarbij verschillende juridische kaders (gegevensbescherming, bestuursrecht, grondrechten), ethische reflectie en technische haalbaarheid steeds vaker gezamenlijk moeten worden afgewogen. De formele taakuitbreiding van de CPA in 2021 heeft ook de ruimte gecreëerd om haar samenstelling aan te passen aan de uitbreiding van de taak van de commissie.3. Met het oog hierop is bewust voor gekozen de commissie meer interdisciplinair samen te stellen. Naast juristen wordt de commissie tegenwoordig bemenst door ethici, filosofen en technici. Daarmee is de CPA de afgelopen jaren uitgegroeid tot een volwaardige interdisciplinaire adviescommissie die adviseert op basis van drie samenhangende pijlers: recht, ethiek en techniek. De ontwikkeling die leidde tot de taakuitbreiding heeft ook breder geleid tot interesse in het model van interdisciplinaire advisering van de CPA.

Zo voerde CPA op verzoek van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties, dat op dat moment bezig was de nieuwe Centrale Commissie Gegevensgebruik op te zetten, een gesprek over hoe de interdisciplinaire advisering van de CPA werkt, en wat nodig is om de advisering duurzaam en effectief te doen zijn. Ook verzorgde de CPA samen met een gemeentemedewerker een presentatie bij de Belastingdienst over de werkwijze van de CPA. Daarnaast verscheen een redactioneel commentaar in Privacy & Informatie waarin werd stilgestaan bij het interdisciplinaire adviesmodel van de CPA en bij het belang van de CPA-secretaris – de permanente liaison tussen de CPA als extern adviesorgaan enerzijds en de gemeentelijke organisatie anderzijds – voor een accurate, tijdige en passende advisering die wordt verstaan door de gemeentepraktijk.14 13

Besluit van het college van burgemeester en wethouders van de gemeente Amsterdam houdende regels over de taken en werkwijze van de Commissie Persoonsgegevens Amsterdam (Reglement van de Commissie Persoonsgegevens Amsterdam 2021 Zie hierover H.L, gegevensverwerkingen 14

Janssen, ‘De Commissie Persoonsgegevens Amsterdam: adviesmodel door overheden?’ (2025) 1 Privacy & Informatie afl.

voor complexe 1, p. 1-2,

6

De voortschrijdende technologisering heeft er ook toe geleid dat de aard van de CPA-advisering is veranderd. Waar zij in haar beginjaren primair schriftelijke adviezen uitbracht in reactie op afgebakende vragen van de ambtelijke organisatie, vervult de CPA tegenwoordig steeds vaker de rol van klankbord binnen de gemeentelijke organisatie. De betrokkenheid van de CPA start steeds vaker al in een vroeg stadium, bijvoorbeeld bij de start van pilots of de verkenning van nieuwe technologische toepassingen.15 De CPA wordt niet alleen vooraf geconsulteerd, maar ontvangt ook regelmatig updates gedurende het proces, zodat zij gedurende het proces vanuit haar interdisciplinaire expertise mee kan denken over juridische, ethische en technische afwegingen. Wel valt op dat het aantal schriftelijke adviezen de laatste jaren terugloopt, zoals weergegeven in het volgende overzicht: Jaar 2017 2018 2019 2020 2021 2022 2023 2024

Aantal adviesaanvragen 36 27 18 19 15 5

6 7

Figuur 1: Overzicht van aantallen adviesaanvragen in de afgelopen jaren Mogelijk wordt dit beeld veroorzaakt doordat binnen de organisatie de taakuitbreiding van de CPA nog niet volledig bekend is. Deze interne onbekendheid draagt dan mogelijk bij aan het gegeven dat de CPA merkt dat er minder vaak een beroep wordt gedaan op de CPA. Het overzicht in figuur 1 met de aantallen adviesaanvragen lijkt dit beeld te bevestigen. Tegelijkertijd merkt de CPA dat adviesaanvragers juist vaker bij haar terugkomen, met vervolgvragen, of om terugkoppeling te geven op eerder ontvangen advies, of om resultaten van een (tussen)evaluatie te delen.16 Deze iteratieve vorm van samenwerking versterkt de kwaliteit van besluitvorming en stimuleert een cultuur van zorgvuldige, transparante en verantwoorde technologische ontwikkeling binnen de gemeente. Ook hebben de adviezen een meer interdisciplinair karakter vanwege de grotere complexiteit van de adviesvragen. Waar voorheen de focus in de adviesvragen bij de AVG lag, ziet de CPA dat de aard van de adviesvragen in toenemende mate lijkt te verschuiven naar vragen over profilering en over de toelaatbaarheid van het gebruik van artificiële intelligentie. In de afgelopen jaren hebben heeft de CPA echter ook te maken gehad met enkele structurele uitdagingen die invloed hebben gehad op haar functioneren, zichtbaarheid en effectiviteit.

Allereerst heeft de commissie in een periode van slechts drie jaar maar liefst zes verschillende ambtelijke secretarissen gehad. Deze ontwikkeling baart de commissie zorgen. De ambtelijk secretaris vervult zoals hiervoor gezegd een essentiële rol als schakel tussen de CPA en de gemeente Amsterdam: gelet op het externe karakter van de CPA, is de laatste aangewezen op de CPA-secretaris, die binnen de gemeente ‘sondeert’ wat er speelt, en die relevante kennis en informatie over digitaliseringsvraagstukken die binnen de gemeente leven, met de CPA kan delen. Voor de CPA fungeert de CPA-secretaris, als de ‘ogen en oren’ van de CPA binnen de gemeentelijke organisatie. Het telkens opnieuw inwerken van een nieuwe secretaris https://www.uitgeverijparis.nl/nl/reader/2000000086/2000000871. Het artikel is bijgevoegd als bijlage bij dit jaarverslag. 15 In 2024 is de CPA in een vroeg stadium betrokken bij de pilot inzake ChatAmsterdam. 16 Zie bijvoorbeeld de evaluatie van de bevindingen van de ChatAmsterdam-pilot; deze werd besproken tijdens de vergaderingen op 29 feb, 23 mei en 17 okt 2024, zie hierna §5.3.

7

en het eigen maken van de gemeentelijke context en cultuur vraagt tijd en energie, wat niet alleen ten koste kan gaan van de continuïteit en de kwaliteit van de CPA-advisering, maar ook van de toegang tot informatie van de zijde van de CPA, en, andersom, de zichtbaarheid van de CPA-secretaris binnen de gemeentelijke organisatie. De CPA is graag bereid met het college mee te denken over de wijze waarop binnen de organisatie de rol van de CPA in de gemeentelijke processen kan worden verduidelijkt. Ten tweede ervaart de CPA knelpunten in de gemeentelijke ondersteuning bij de publicatie haar adviezen. Volgens artikel 2, tweede lid, van het Reglement van de CPA uit 2021 dienen de adviezen van de commissie openbaar te zijn. In het verleden werden deze adviezen gepubliceerd op de gemeentelijke website amsterdam.nl. In het kader van een bredere opschoning en herinrichting van deze website heeft de ambtelijke organisatie echter aangegeven dat amsterdam.nl niet bedoeld is als digitaal archief. Als gevolg daarvan bevat de huidige webpagina van de CPA nog slechts adviezen vanaf 2024. De ambtelijke organisatie stelde voor om alleen de meest recente adviezen online te publiceren en oudere documenten op aanvraag beschikbaar te stellen via e-mail. Volgens artikel 2, tweede lid van het Reglement van de CPA 2021 horen de adviezen van de CPA openbaar te zijn.

Deze adviezen worden momenteel gearchiveerd op een gemeentelijke website die moeilijk doorzoekbaar en daardoor beperkt toegankelijk is.17 Hierdoor kan het voor geïnteresseerde Amsterdammers en andere belangstellenden (denk aan gemeenteraadsleden, journalisten en wetenschappers) lastiger zijn om de CPA-adviezen te vinden en die te raadplegen. Dat acht de CPA niet in lijn met de bedoeling van het Reglement. Structurele en laagdrempelige toegang tot alle CPA-adviezen is essentieel voor het maatschappelijk vertrouwen in onafhankelijke advisering over digitaliseringsvraagstukken. Juist omdat de gemeente Amsterdam binnen Nederland een voortrekkersrol vervult op het gebied van digitalisering en data-gedreven werken, is het van groot belang dat adviezen van de CPA toegankelijk en eenvoudig vindbaar zijn. Goede vindbaarheid en toegankelijkheid van de CPA-adviezen zijn dan ook niet alleen een praktische noodzaak, maar dragen ook bij aan de voorbeeldfunctie die de gemeente Amsterdam heeft op het terrein van open en verantwoord digitaal bestuur. De CPA beschouwt de publicatie van haar adviezen als een belangrijk aandachtspunt en gaat hierover, met het oog op transparantie en publieke toegankelijkheid, graag in gesprek met de gemeente.

De CPA in 2024 in cijfers In het jaar 2024 zijn in totaal zeven adviezen uitgebracht zoals weergegeven het volgende overzicht: Directie Dienstverlening Dienst Parkeren Dienstontwikkeling en Platformen Dienstverlening Openbare Orde en Veiligheid Digitalisering, Innovatie & Informatie Digitalisering, Innovatie & Informaite Figuur 2: aantal adviezen per cluster in 2024

Aantal adviezen 1 1 1 1 1 1 1

Onderwerp Programma Prima Chatbot Fiscaal handhaven straatparkeren Evaluatie sensorenregister Omnichannel Bezwaar tegen instroom AcVZ Amsterdamse Visie op AI ChatAmsterdam

Hoewel het alle relevante onderwerpen betreft die voor CPA-advisering in aanmerking komen, bestaat bij de CPA de indruk dat niet alle onderwerpen die daarvoor in aanmerking komen ook daadwerkelijk aan de Commissie worden voorgelegd.

17 https://amsterdam.archiefweb.eu/#archive.

8

4. Schriftelijke adviezen 2024 De Commissie heeft in 2024 totaal zeven keer vergaderd. Daaruit zijn zeven schriftelijke adviezen voortgekomen. Een samenvatting van de adviezen volgt hieronder. De adviezen zijn vastgelegd in de notulen van de openbare plenaire vergaderingen. De uitgebrachte (openbare) en uitgebreidere versie van de adviezen zijn toegankelijk op de webpagina van de CPA.18 Het advies BRP koppeling Omnichannel oplossing Dienstverlening en Communicatie (Programma Prima) De CPA heeft advies gegeven over het Programma Interactie Met de Amsterdammers (programma Prima). Dit programma betreft het inrichten van het omnichannel dienstverlening op basis van een nieuw platform. Onderdeel hiervan is een koppeling tussen de Amsterdamse BRP en het Customer Relationship Management-systeem (CRM). Het doel hiervan is de dienstverlening aan burgers, bezoekers en ondernemers in Amsterdam te verbeteren. De CPA heeft geen principiële bezwaren tegen het gebruik van CRM binnen het programma Prima, maar wijst de gemeente er wel op dat zij verwerkingsverantwoordelijke blijft wanneer dit systeem wordt gebruikt en dus moet blijven voldoen aan de AVG. De werking en mogelijke risico’s van CRM dienen goed begrepen en beheerst te worden, en dienen in een volgende DPIA te worden beoordeeld.

De CPA heeft geadviseerd meer transparantie te bieden over de verwerking en toegankelijkheid van het BSN, aangezien in het huidige document niet duidelijk is wie op basis van welke criteria toegang krijgt. Daarnaast plaatst de CPA kanttekeningen bij de voorgestelde verwerkingsgrondslag. Efficiëntere dienstverlening moet direct verbonden zijn aan een publieke taak die in de wet is vastgelegd. De CPA wijst erop dat artikel 2:1, eerste lid van de Awb te ruim is als grondslag voor gegevensverwerking binnen het programma Prima. Een meer geschikte grondslag zou mogelijk in de Wet BRP kunnen worden gevonden. Ook merkt de CPA op dat de bewaartermijn van vijf jaar voor persoonsgegevens mogelijk te lang is en heroverwogen dient te worden. De CPA adviseert om de termijn opnieuw te beoordelen volgens de eisen van de AVG. Hoewel in de DPIA staat dat geen bijzondere persoonsgegevens worden verwerkt, constateert de CPA dat dit wel kan gebeuren in de vraagstelling van burgers, bijvoorbeeld bij aanvragen voor een gehandicaptenparkeerkaart. De CPA adviseert nader te onderzoeken of bijzondere persoonsgegevens worden verwerkt en af te zien van het opnemen van dergelijke gegevens in de vraagstelling aan burgers en omschrijving van onderwerpen.

Tot slot heeft de CPA geadviseerd om de inzet van de voicebot PolyAI verder te laten beoordelen door de CPA, gezien de mogelijke privacy- en ethische vraagstukken rondom het gebruik van een AI-gestuurd systeem. Het advies Amsterdamse visie op AI De CPA heeft advies gegeven over de Amsterdamse visie op AI. Deze visie geeft inzicht in hoe de gemeente Amsterdam AI zowel binnen als buiten de gemeente ziet, begrijpt en gebruikt. Deze visie vloeit voort uit de behoefte om een coherent beleidskader te scheppen voor de implementatie en het beheer van AItoepassingen binnen de gemeentelijke context en fungeert als een richtinggevend instrument voor de verdere ontwikkeling van de gemeentelijke AI-strategie. De CPA onderschrijft het belang van de Amsterdamse visie op AI en waardeert de wijze waarop deze tot stand is gekomen door middel van dialogen, onder andere met inwoners van Amsterdam. De CPA constateert echter dat de visie onvoldoende aansluit op bestaand beleid en wetgeving op het gebied van AI en gegevensbescherming. Daarnaast ontbreekt inbedding in gemeentelijke structuren en wordt niet verwezen naar de Functionaris Gegevensbescherming, Privacy Officers en Chief Information Officer. De CPA adviseert daarom de visie te herzien en expliciet aan te geven hoe deze zich verhoudt tot bestaand beleid en regelgeving.

18 https://www.amsterdam.nl/bestuur-organisatie/organisatie/commissie-persoonsgegevens-amsterdam/.

9

Ook wijst de CPA op inconsistentie in de definitie van AI. De AI-verordening benadrukt autonomie en aanpassingsvermogen, terwijl het visiedocument AI omschrijft als intensieve automatisering. Dit kan leiden tot onduidelijkheid over risico’s en AI-implementatie. De CPA adviseert eenduidige definities te hanteren. Daarnaast blijven privacy en discriminatie onderbelicht. De CPA benadrukt dat onderscheid maken niet per definitie verboden is, zolang het onderscheid zich onbedoeld voordoet en objectief te rechtvaardigen is. Het document zou duidelijker moeten aangeven wat het verschil is tussen geoorloofd onderscheid en verboden discriminatie met betrekking tot AI-toepassingen. Ook wordt geadviseerd meer aandacht te besteden aan privacy risico's en de ethische en juridische gevolgen van AI-toepassingen. Naar het oordeel van de CPA dient het bestuurlijk perspectief sterker naar voren te komen. De visie richt zich op een mensgerichte benadering, maar zou ook de balans tussen beoogde efficiëntie in de publieke taakuitvoering en risico’s van AI moeten belichten. Verder wijst de CPA op de ‘verborgen kosten’ van AI, zoals duurzaamheid en arbeidsomstandigheden, en pleit voor een integrale afweging bij besluitvorming. Tot slot merkt de CPA op dat de visie qua omvang en taalgebruik meer op een beleidsdocument lijkt dan op een document voor burgers.

De CPA heeft daarom aanbevolen om de communicatie toegankelijker te maken, bijvoorbeeld via een samenvatting of informatief filmpje, en onderscheid te maken tussen een publieksversie en een beleidsdocument. Het advies Bezwaar tegen instroom aanpak AcVZ De CPA heeft advies gegeven over het bezwaar tegen de instroom aanpak Actiecentrum Veiligheid en Zorg (AcVZ). Dit betreft het voornemen van het AcVZ om de AVG-notificatiebrief Veilig Alternatief aan te passen naar aanleiding van de uitspraak van de Afdeling Bestuursrechtspraak van de Raad van State inzake de Treiteraanpak. De CPA waardeert de inzet van het AcVZ om de rechtsbescherming van burgers te verbeteren en onderschrijft het belang van toegankelijke en begrijpelijke communicatie vanuit de gemeente Amsterdam. De CPA wijst op de juridische implicaties van de uitspraak in de Treiteraanpak-zaak. Hierin heeft de ABRvS geoordeeld dat een AVG-notificatiebrief waarin een bestuursorgaan de opname van een betrokkene in de Treiteraanpak meldt, gelijkgesteld moet worden met een Awb-besluit. Dit oordeel heeft een bredere reikwijdte. Het is van toepassing op alle gevallen waarin persoonsgegevens structureel en grootschalig worden verwerkt binnen samenwerkingsverbanden met een gemeenschappelijk doel, wat leidt tot opname op een (zwarte) lijst of een aanpak.

Dit is in ieder geval van toepassing voor de domeinoverstijgende samenwerkingsverbanden die vallen onder de Wet gegevensverwerking door samenwerkingsverbanden. Dit betekent dat AVG-notificatiebrieven van dergelijke samenwerkingsverbanden juridisch als Awb-besluiten worden beschouwd. De CPA constateert dat de huidige opzet van de AVG-notificatiebrief verschillende juridische routes schetst waarmee betrokkenen rechtsbescherming kunnen afdwingen. Enerzijds kunnen zij op grond van de Awb bezwaar aantekenen tegen de notificatiebrief, anderzijds kunnen zij op grond van de AVG een verzoek tot gegevenswissing indienen. Dit kan verwarring veroorzaken, mede omdat beide routes verschillende procesrechtelijke gevolgen hebben. De Treiteraanpak-route vereist een bezwaar binnen zes weken, waarna pas in de beslissing op bezwaar wordt toegelicht waarom de opname heeft plaatsgevonden. De AVG-route daarentegen biedt de mogelijkheid om op elk moment de rechtmatigheid van de gegevensverwerking ter discussie te stellen. Het voordeel van deze route is dat geen strikte termijn geldt waarbinnen de betrokkene zijn verzet tegen de gegevensverwerking kenbaar moet maken. Het bestuursorgaan is verplicht binnen een maand een besluit te nemen op een verzoek tot gegevenswissing.

De CPA adviseert om de juridische routes in de communicatie naar burgers duidelijk te scheiden en de procesrechtelijke implicaties toegankelijk te beschrijven. Daarbij moet expliciet worden gemaakt dat bezwaar tegen de Treiteraanpak gericht is op het voorkomen van opname in deze aanpak, terwijl via de AVG-route een bredere beoordeling van de rechtmatigheid van gegevensverwerking mogelijk is.

10

De CPA wijst op het risico van ongelijke rechtsbescherming, omdat het onderscheid tussen verschillende aanpakken ten aanzien van het maken van bezwaar is niet voldoende onderbouwd door de ABRvS. Tot slot pleit de CPA ervoor dat de mogelijkheid tot bezwaar openstaat voor alle aanpakken binnen het samenwerkingsverband van het AcVZ, zonder onderscheid tussen specifieke gevallen.

Het advies Evaluatie van het sensorenregister De gemeente Amsterdam heeft in 2021 het sensorenregister en de meldingsplicht voor sensoren geïntroduceerd met als doel meer transparantie te bieden over de plaatsing van sensoren in de stad en grip te krijgen op gemeentelijke sensoren. Uit de evaluatie blijkt echter dat weinig sensoren in het register zijn opgenomen, zowel door gemeentelijke diensten als particulieren. Dit komt door een gebrek aan aandacht voor de bekendmaking van de meldingsplicht, een gebrekkig meldproces en het ontbreken van een procedure voor actualisering van het register. Daarnaast is het aantal jaarlijkse bezoekers van het sensorenregister erg laag. Een belangrijke aanbeveling is om eerst de registratie van gemeentelijke sensoren op orde te brengen. De gemeente kan voor eigen sensoren een meldingsplicht met handhaving invoeren, maar dit is voor particuliere sensoren minder haalbaar. Daarom wordt gekozen voor bewustwording en vrijwillige aanmelding. De gemeente werkt samen met het Responsible Sensing Lab om het register door te ontwikkelen, meer informatie bij de sensoren zelf te verstrekken en koppelingen te maken met digitale informatie achter het register. Daarnaast wordt gezocht naar landelijke afstemming via de VNG en andere gemeenten.

De CPA plaatst vraagtekens bij de wens om een meldplicht voor particulieren in te voeren en vraagt zich af of dit wel een gemeentelijke taak is. De gemeente wordt door de CPA geadviseerd om haar taakstelling helder af te bakenen en de ambities realistisch te houden. Ook is de CPA benieuwd of er meer transparantie per sensortype wordt overwogen, aangezien camera’s privacygevoeliger zijn dan bewegingssensoren. De gemeente is in dit kader wel voornemens om per sensor de resolutie en het doel te vermelden. Verder vraagt de CPA zich af of er een punt is bepaald waarop besloten wordt te stoppen met het register als aanmeldingen en bezoekersaantallen blijven tegenvallen. Dit is een politieke vraag, maar transparantie en bewustwording over het bestaan van het register blijven belangrijk. Tot slot wordt door de CPA aangeraden om niet alleen losse sensoren, maar ook sensoren die met elkaar verbonden zijn in kaart te brengen. Het advies programma Prima – Voicebot en Chatbot Naar aanleiding van een eerder bezoek bij de CPA is de gemeente gevraagd of het onderdeel voicebot van de Omnichannel nader kan worden toegelicht bij de CPA. De voicebot is reeds sinds januari 2024 in gebruik en in 2025 zal ook een chatbot en het kanaal live chat worden toegevoegd aan de Omnichannel Dienstverlening van de gemeente.

Bij spraakherkenning maakt het systeem geen gebruik van stemherkenning, maar herkent het enkel de inhoud van vragen. De herkomst van de spraakdata waarmee de software is getraind, is echter onduidelijk. De CPA adviseert nader onderzoek naar de juridische status hiervan, met name in relatie tot auteursrechten en privacywetgeving. Hoewel is vastgelegd dat de door de gemeente verzamelde spraakgegevens niet gebruikt worden voor training van het model, adviseert de CPA om expliciete afspraken te maken over verantwoordelijkheden en naleving van de AVG bij gebruik van deze software. Ten aanzien van het gebruik van chatbots benadrukt de CPA dat burgers altijd de mogelijkheid moeten hebben om met een medewerker te spreken in plaats van met een AI-systeem. De gemeente neemt maatregelen om hier transparant over te communiceren. De CPA adviseert dat deze keuze bij aanvang van een gesprek expliciet en eenvoudig moet zijn, bijvoorbeeld via een keuzemenu bij telefoongesprekken of een duidelijke optie in de chat interface. Transparantie is essentieel om vertrouwen te behouden en is tevens een wettelijke verplichting onder de AI-verordening. Het moet voor burgers altijd duidelijk zijn wanneer zij met een AI-systeem communiceren.

11

Over de bredere inzet van AI en robotisering door de gemeente stelt de CPA dat dit kansen biedt, maar ook risico’s met zich meebrengt. Efficiëntie mag niet ten koste gaan van de toegankelijkheid van de overheid voor burgers. Privacy blijft een belangrijk aandachtspunt, vooral bij de training van AI-modellen met persoonsgegevens. Ook bestaat het risico op bias als bepaalde stemtypen niet goed worden herkend. Wanneer externe partijen worden ingeschakeld, wordt het lastiger toezicht te houden op de verwerking van persoonsgegevens en is de gemeente meer afhankelijk van derden. Om deze risico’s te voorkomen moet de gemeente de keuzevrijheid van burgers waarborgen, transparantie bieden over de werking en herkomst van modellen, controle houden over de verwerking van persoonsgegevens en maatregelen nemen om bias te minimaliseren. Ook moet de onafhankelijk van de gemeente gewaarborgd blijven, vooral wanneer externe partijen betrokken zijn. Het advies Fiscale handhaving Straatparkeren In 2016 is het toenmalige proces rondom Fiscaal Handhaven Straatparkeren voorgelegd aan de CPA. De CPA heeft destijds aanbevelingen gedaan met betrekking tot het gebruik van scanauto's en de verwerking van omgevingsfoto's, met daarin aandacht voor betere blurring van die foto’s. De CPA is geïnformeerd over de doorgevoerde verbeteringen in het blurringproces van de omgevingsfoto’s.

Naar aanleiding van deze brief heeft de CPA verzocht om nadere inzage in het proces met de nieuwe leverancier en de herziene DPIA. Medewerkers die beelden beoordelen, verwerken grote hoeveelheden foto's. Dit kan leiden tot verminderde alertheid. Om dit te voorkomen zijn maatregelen genomen, zoals coaching, pauzes en korte diensten. Desondanks ontvangt de gemeente veel klachten over beeldbeoordelingen. De CPA adviseert onderzoek te doen naar de oorzaken hiervan en of aanvullende trainingen of procedures nodig zijn. Verder is het essentieel dat bij het opleggen van een naheffingsaanslag altijd betekenisvolle menselijke tussenkomst plaatsvindt om te voorkomen dat (systeem)fouten onterecht leiden tot naheffingsaanslagen. Als dit niet goed wordt geborgd, dan kan sprake zijn van een uitsluitend op geautomatiseerde verwerking gebaseerd besluit dat voor de betrokkene rechtsgevolgen heeft (artikel 22, eerste lid, AVG). De CPA adviseert extra waarborgen te nemen, zoals menselijke controle en een tweede controle door een collega, om dit voorkomen en het vertrouwen in het systeem te vergroten. Bij blurring van beelden garandeert de leverancier een foutmarge van maximaal 5%, maar dit is nooit objectief gemeten. Een eerder onderzoek toonde aan dat in 0,25% van de gevallen persoonsgegevens onvoldoende waren geblurd, maar dit was uitgevoerd op basis van oudere technieken.

De CPA adviseert een nieuw onderzoek uit te voeren met verbeterde technieken om de daadwerkelijke foutmarge vast te stellen. Op basis van de resultaten kan worden beoordeeld of de gehanteerde technieken voldoen aan de eisen van privacybescherming. Tot op heden is niet onderzocht of bepaalde groepen, zoals rolstoelgebruikers, systematisch worden oververtegenwoordigd in het handhavingssysteem. Dit betekent dat nu geen inzicht bestaat in mogelijke vooringenomenheid in de manier waarop het systeem bepaalde groepen behandelt. De CPA adviseert expliciet onderzoek naar mogelijke oververtegenwoordiging van bepaalde kenmerken of groepen. Dit draagt bij aan een beter inzicht in de werking van het systeem en kan eventuele vooringenomenheid helpen corrigeren. Het advies Delen onderzoeksbevindingen en risicomaatregelen, en advies ontvangen over ChatAmsterdam en toekomstige doorontwikkelingen Het Team ChatAmsterdam is bezig met het ontwikkelen van ChatAmsterdam om een privacyvriendelijker en veiliger alternatief aan te bieden ten opzichte van commerciële aanbieders van chatsbots, zoals ChatGPT. Met ChatAmsterdam wil het Team ChatAmsterdam leren hoe AI de gemeente kan helpen bij haar werkzaamheden, hoe zij verantwoord gebruik van AI kan stimuleren en hoe de AI-geletterdheid binnen de organisatie kan worden bevorderd.

Hiervoor heeft het team onderzoek verricht naar de meest relevante gebruikersdoelen, te weten tekstverwerking en informatie vergaren. Het onderzoek is uitgevoerd met inachtneming van suggesties van de CPA uit drie vergaderingen in 2024. De CPA is gevraagd om kennis te nemen van de bevindingen en advies te geven over gemiste risico's en over de grondslag "gerechtvaardigd belang”. Dat laatste is getoetst waarna een restrisico overbleef. De CPA is gevraagd hoe de gemeente hier vervolgstappen voor kan nemen. 12

De CPA ziet het type AI dat de gemeente gebruikt – wel of niet als commercieel te duiden – graag nader gepreciseerd. Dan komen ook de risico's van het gekozen type AI beter in beeld. ChatAmsterdam is, voor zover de commissie kan overzien, gebaseerd op een commercieel OpenAI model dat op infrastructuur van Microsoft wordt gedraaid. De prompts die ambtenaren invoeren worden dus verwerkt door de commerciële aanbieder Microsoft. Daarom heeft de CPA het advies meegegeven om een scherp onderscheid te maken tussen ChatAmsterdam en bestaande chat-applicaties. De CPA beveelt aan te onderzoeken of het gebruik van open-source modellen mogelijk is. Dit onderzoek zou kunnen worden uitgevoerd door naar de output van verschillende modellen te kijken die is gebaseerd op de prompts die de ambtenaren hebben ingevoerd. Tevens adviseert de CPA om scherp te stellen welk doel ChatAmsterdam precies dient en wat de gemeente precies verstaat onder een ‘veiligere toepassing’. Een ander model kan bijvoorbeeld transparanter zijn over de trainingsdata maar daarbij inbreuk maken op eigendomsrechten, waarmee de vraag rijst of het model dan echt veiliger is. De CPA adviseert in kaart te brengen tegen welke andere belangen die grotere veiligheid en eventuele andere doelen wordt afgewogen. Tijdens de vergadering is het vraagstuk van ambtelijk vakmanschap aan bod gekomen.

In een tijdperk van voortschrijdende technologisering is het van belang om op regelmatige basis het gesprek te voeren over de wijze waarop de ambtenaar zich verhoudt tot ‘de technologie’ in de breedste zin van het woord. Tijdens de vergadering is het voorbeeld aan bod gekomen dat ChatAmsterdam ingezet zou kunnen worden om brieven die naar burgers worden verstuurd, te simplificeren. De gedachte hierachter zou zijn dat het systeem effectiever dan de ambtenaar van vlees en bloed deze simplificatieslag zou kunnen maken. Tegelijkertijd gaat daarmee wel een essentiële vaardigheid van ambtenaren, of een vaardigheid die beginnende ambtenaren zich eigen zouden willen maken, daarmee mogelijk verloren. De CPA benadrukt het risico van afhankelijkheid bij ambtenaren van het gebruik van ChatAmsterdam. Hier heeft het uitgangspunt te gelden, dat de ambtenaar indachtig de verplichting van betekenisvolle menselijke tussenkomst altijd zelf in staat moet blijven om de output van ChatAmsterdam te controleren. Als vaardigheden en kennis van ambtenaren afnemen door het gebruik van ChatAmsterdam dan is het essentieel om medewerkers te trainen in specifieke kennis en vaardigheden waardoor zij in staat worden gesteld te controleren wat ChatAmsterdam produceert.

De CPA begrijpt dat de gemeente investeert in artificiële intelligentie, maar zou tegelijkertijd de gemeente willen meenemen om de broodnodige investeringen in humane intelligentie niet uit het oog te verliezen. De CPA adviseert de gemeente bij de uitrol van ChatAmsterdam per sector, en per directie en/of afdeling maatwerk te leveren. Betrokken directies en afdelingen zullen elk hun eigen doelstellingen en verwerkingswijzen voor ogen hebben waarvoor ChatAmsterdam gebruikt kan worden. Door directies zo specifiek mogelijk te laten duiden waarvoor ChatAmsterdam zal worden ingezet, en daarvoor maatwerk te leveren in de functionaliteiten en toepassingen, kunnen mogelijke risico's al vroeg in beeld komen, en waar nodig worden gemitigeerd. Daarnaast is geadviseerd om het gebruik van generatieve AI op heldere wijze te communiceren met de burger. In dit geval moet de gemeente afwegen in welke mate en op welk moment de gemeente de burger informeert over de rol die generatieve AI heeft gespeeld in het proces. Immers, als in ChatAmsterdam persoonsgegevens worden verwerkt, dan moet ook worden voldaan aan de transparantievereisten uit de AVG. De gemeente heeft aangegeven dat er bij het gebruik van ChatAmsterdam een reëel risico bestaat op het verwerken van bijzondere persoonsgegevens in de zin van artikel 9, lid 1, AVG.

Om het risico op ongeoorloofde verwerking van bijzondere persoonsgegevens te beperken is van belang dat de specifieke doeleinden waarvoor het model wordt gebruikt telkens op de juiste wijze in kaart worden gebracht. Per directie of sector kan dan ook worden beoordeeld of er mogelijk een uitzonderingsgrond op het verwerkingsverbod aanwezig is voor de specifieke gevallen. Daarnaast adviseert de CPA om te onderzoeken of het gebruik van ChatAmsterdam continue kan worden gemonitord. Op deze manier kan structureel verkeerd gebruik snel worden opgespoord en kunnen filters en andere maatregelen adequaat worden bijgesteld.

13

De gemeente heeft de CPA gevraagd of de grondslag gerechtvaardigd belang van de verwerkingsverantwoordelijke ex art. 6, eerste lid, sub f AVG kan gelden als basis voor de verwerking van persoonsgegevens bij het ontwikkelen en toepassen van ChatAmsterdam. De AVG verbiedt het gebruik van de grondslag ‘gerechtvaardigd belang’ door overheidsinstanties in het kader van de uitvoering van hun taken. Dit leidt tot de vraag of de verwerking van persoonsgegevens van de betrokken bij het gebruik van ChatAmsterdam valt onder de uitvoering van de publiekrechtelijke taken van de gemeente Amsterdam. Het antwoord op deze vraag is afhankelijk van de specifieke doelen die directies of sectoren met de gegevensverwerking voor ogen hebben. Als ChatAmsterdam wordt ingezet bij de uitvoering van publiekrechtelijke taken van het college van B&W van de gemeente Amsterdam, en ten behoeve van die taak persoonsgegevens worden verwerkt, dan zal moeten worden bezien of artikel 6, lid 1, sub e, AVG, grondslag biedt voor de verwerking. Maar als de verwerking wordt ingezet voor bedrijfsmatige doeleinden, dan kan de e-grond geen grondslag voor de verwerking bieden. In dat geval moet worden beoordeeld of de verwerking kan worden gebaseerd op artikel 6, lid 1, sub f, AVG (gerechtvaardigd belang).

De CPA merkt op dat de f-grond alleen kan worden ingezet als persoonsgegevens moeten worden verwerkt in het kader van de interne bedrijfsvoering van de gemeente. In dat geval dient de gemeente de volgende stappen te nemen: de gemeente moet aantonen dat (i) de verwerking noodzakelijk is voor (ii) de behartiging van haar gerechtvaardigd belang; en dat (iii) de belangen de grondrechten van de betrokkenen (in dit geval: persoonsgegevens van gemeenteambtenaren) die tot bescherming nopen, niet zwaarder wegen dan de belangen van de verwerkingsverantwoordelijke (de gemeente). Indien een beroep op het gerechtvaardigd belang wordt overwogen, is voor het juridische kader de opinie van de European Data Protection Board (EDPB) relevant. Hierin wordt onderscheid gemaakt tussen het gebruik van deze rechtvaardigingsgrond voor de verwerking van persoonsgegevens in de ontwikkelingsfase van een AI-model, en de fase waarin het AI-model wordt gebruikt. De CPA acht het niet waarschijnlijk dat de gemeente met de inzet van ChatAmsterdam valt onder de criteria voor de ontwikkelingsfase van een AI-model, aangezien de gemeente deze niet zelf ontwikkelt maar toegang koopt tot een API die haar output uit het model teruggeeft.

14

5. Geagendeerde onderwerpen en bijeenkomsten zonder schriftelijk advies De CPA brengt als gezegd niet alleen (on)gevraagd advies uit. Regelmatig worden onderwerpen die raken aan de taakopdracht van de CPA geagendeerd om deze tijdens de vergadering ter discussie te stellen, waarbij de CPA als klankbord of forum dient. Ook laat de CPA zich regelmatig op openbare vergaderingen informeren door stakeholders binnen de gemeente over actuele (beleids)ontwikkelingen, en weegt hierin haar kennis en deskundigheid mee, zoals bijvoorbeeld tijdens overleggen met de Chief Technology Officer (CTO), de Vakgroep Privacy of de Ombudsman van Amsterdam. Daarnaast nemen de leden van de CPA ook deel aan externe sessies of bijeenkomsten. Hierna volgt een kort overzicht van een aantal onderwerpen die op voornoemde wijze zijn voorbijgekomen.6 Technische sessie Slimme Check met de CPA en de Raadsleden (vergadering 7 maart 2024) De CPA ontving in 2024 een uitnodiging van de gemeenteraad voor een technische sessie getiteld ’Slimme Check’ vanuit WPI – Advanced Analytics. Tijdens de sessie kwamen verschillende onderwerpen aan bod. De sessie opende met een introductie over AI-oplossingen die binnen de gemeente Amsterdam werden gebruikt, zoals ’Blurring as a service’. Dit is een dienst die het mogelijk maakt om beelden uit de publieke ruimte te anonimiseren door het verwijderen van personen en kentekens.

Ook werd toegelicht op welke wijze AI verantwoord wordt ingezet en hoe hierbij aandacht wordt besteed aan verschillende waarden, principes, kaders en beleid en instrumenten. Vervolgens werd de introductie van de Slimme Check besproken. Dit risicomodel moet een oplossing bieden voor het verbeteren van het aanvraagproces bijstand. De gemeente voerde ook een pilot Slimme Check uit. Het doel hiervan was om onrechtmatige instroom van aanvragen in het aanvraagproces Levensonderhoud te minimaliseren. Dit stelt de gemeente in staat om optimale dienstverlening te bieden en onnodige problemen voor de burger te voorkomen. Dit wordt bereikt middels een data-gedreven aanpak waarbij de informatie aan de start van het aanvraagproces wordt verbeterd en aanvragen zo efficiënter en effectiever onderzocht worden. Op basis van de resultaten van de pilot is door de wethouder besloten om de doorontwikkeling van de Slimme Check te stoppen, omdat op basis van de verzamelde data niet kan worden geconcludeerd of binnen het model sprake is geweest van bias en de gemeente dus niet kan uitsluiten of onderscheid werd gemaakt op bijvoorbeeld afkomst, geslacht of leeftijd.19 Bezoek Actiecentrum Veiligheid en Zorg (AcVZ) (vergadering 23 mei 2024) Het Actiecentrum Veiligheid en Zorg (AcVZ) is het zorg- en veiligheidshuis van de Veiligheidsregio Amsterdam-Amstelland.

Hierin werken gemeenten samen met partners uit strafrecht, zorg en het sociaal domein aan complexe casussen waarbij criminaliteit en maatschappelijke problemen samenkomen. De aanpak van het AcVZ is persoonsgericht en integraal, met interventies op het gebied van veiligheid, zorg, werk, participatie en inkomen. Er zijn ruim 150 regisseurs die de inzet en coördinatie verzorgen van de betrokken organisaties. Er vindt ook monitoring plaats om de effectiviteit van interventies te meten. Het AcVZ valt onder de verantwoordelijkheid van Stuurgroep Veiligheid en Zorg, voorgezeten door de burgemeester van Amsterdam. Omdat het AcVZ geen juridische entiteit is, vraagt de CPA hoe de verwerkingsverantwoordelijkheid voor gegevens wordt geregeld. Dit is vastgelegd in een convenant, waarvan een nieuwe versie in voorbereiding is en op een later moment onder de aandacht zal worden gebracht bij de CPA. Dit convenant voldoet op het moment van de vergadering al grotendeels aan de Wet Gegevensverwerking door Samenwerkingsverbanden (Wgs). Een belangrijk programma binnen het AcVZ is de Top 600. Uit recent onderzoek blijkt dat de effectiviteit van het terugdringen van recidive tegenvalt. Er wordt gewerkt aan een herziening van de aanpak, waarbij doelgroepen worden heroverwogen en wetenschappelijke inzichten worden meegenomen.

Een ander https://algoritmes.overheid.nl/nl/algoritme/gm0363/95794697/onderzoekswaardigheid-slimme-checklevensonderhoud. 19

15

belangrijk programma is Rosa, gericht op jonge meiden die risico lopen op seksueel grensoverschrijdend gedrag in combinatie met problemen zoals dakloosheid, drugsgebruik en schulden. De CPA doet navraag over hoe het zit met rechtsbescherming rond het besluit om iemand op te nemen in de Rosa-aanpak. Er wordt in dit kader gewerkt aan helderdere communicatie hierover en een aanpassing van de notificatiebrief. De CPA adviseert de brief voor te leggen aan een panel van personen die mogelijk in aanmerking zouden kunnen komen voor het ontvangen van een dergelijke brief. Het AcVZ zal de CPA regelmatig blijven consulteren over de verdere ontwikkeling van convenanten plannen voor verschillende aanpakken. Evaluatie van de bevindingen van de ChatAmsterdam pilot (besproken tijdens de vergaderingen op 29 feb, 23 mei en 17 okt 2024) De gemeente is verschillende keren langsgekomen bij de CPA om te spreken over de inzet van ChatAmsterdam en advies op te halen van de CPA. De gemeente heeft gewerkt aan een productiewaardige applicatie voor de tweede onderzoeksfase. De applicatie voldoet nu aan gemeentelijke kaders en eerdere aanbevelingen uit de pilot zijn hierin doorgevoerd. Voordat de directie een besluit neemt over de start van deze tweede onderzoeksfase, moet de DPIA nog langs de functionaris gegevensbescherming voor advies en dient nog een pen- en hacktest te worden uitgevoerd.

De CPA vraagt aandacht voor de invloed van een chat op de besluitvorming en op de Wet open overheid (Woo). Hoewel de gebruikershandleiding duidelijk stelt dat de chatresultaten niet in besluitvorming mogen worden gebruikt, maar er ontbreekt nog een expliciete waarschuwing dat wat wordt ingevoerd met naam en toenaam ook door burgers opgevraagd kan worden in het kader van de W00. Dit wordt als aandachtspunt meegenomen. Parallel aan het onderzoek in de tweede fase van ChatAmsterdam wordt een aparte DPIA voor MS365 CoPilot uitgevoerd. Het gebruik van Co-Pilot is binnen de gemeente tijdelijk opgeschort vanwege de geconstateerde risico’s en ChatAmsterdam moet een veilig alternatief bieden. De CPA adviseert om bij de evaluatie niet alleen technische aspecten te beoordelen, maar ook de meerwaarde voor de gemeente en burgers mee te nemen. Daarbij adviseert CPA een representatief burgerpanel te betrekken en aandacht te besteden aan kosten en duurzaamheidseffecten. De gemeente benadrukt dat de evaluatie zich niet primair richt op tijdswinst, maar op de impact binnen de organisatie en de beheersbaarheid van risico’s. Door de grotere schaal van dit onderzoek kan nu ook inzicht worden verkregen in energiekosten en CO2-uitstoot. De CPA informeert of de gemeente vastzit aan Microsoft.

Het model zelf kan niet direct worden overgezet, maar alternatieve koppelingen met andere cloudleveranciers worden onderzocht door de gemeente. Verder adviseert de CPA om de evaluatiecriteria te koppelen aan gemeentelijke waarden en niet alleen operationele doelen mee te nemen. De evaluatie moet laten zien hoe dit project bijdraagt aan bestuurlijke ambities. Quality Assurance Acceptatiecriteria (vergadering 11 juli 2024) De CPA heeft een bijeenkomst belegd naar aanleiding van een eerder gesprek met de CIO. Hoewel het geen formele adviesaanvraag betreft, willen de projectmedewerkers weten hoe de CPA aankijkt tegen hun eigen rol. Daarnaast is de gemeente benieuwd naar suggesties voor de Quality Assurance Acceptatiecriteria (QAA), waarmee medewerkers van de gemeente hun projecten kunnen toetsen aan geldende regels en normen. Ook staat de bredere inzet van algoritmen op de agenda, mede naar aanleiding van het recent aangenomen ’Plan van Aanpak Algoritmen’. De gemeente beschikt over een beheerskader om te voldoen aan wetten, regels en beleidsdocumenten, maar dit wordt in de praktijk nauwelijks gebruikt. Met de QAA wil de gemeente kwaliteitsborging beter organiseren via een toegankelijke vragenlijst. Dit biedt medewerkers een concreet hulpmiddel om te bepalen of een project voldoet aan geldende eisen.

Binnen het Opgavegericht en Wendbaar Werkenproces wordt een compliance team opgezet dat medewerkers hierin begeleidt. Het instrument moet continu worden verbeterd en breed worden geïmplementeerd via een bewustwordingscampagne.

16

Een terugkerende uitdaging is de omgang met ethische vraagstukken. Besluiten over ethische bezwaren worden vaak door directies of wethouders genomen zonder dat hieromtrent een duidelijk escalatiemodel bestaat, zoals dat wel het geval is bij privacykwesties. Daarnaast mist de CPA een heldere definitie van AI en de verschillende algoritmen. De gemeente heeft hiervoor een beslisboom ontwikkeld en organiseert kennissessies waarin deze thema’s worden behandeld. Er wordt ook gesproken over de noodzaak om de CPA advies te vragen. De CPA adviseert dat de gemeente eerst zelf onderscheid maakt tussen eenvoudige en complexe projecten en de bijbehorende risico’s. De CPA adviseert hierbij de risico‘s ook vooral in het belang van burgers te beoordelen. De CPA geeft aan dat projecten waar nieuwe technologie wordt gebruikt of waarvoor nieuwe wetgeving nog in ontwikkeling is, interessant zijn voor de CPA. Motie inzake dataverzameling in de openbare ruimte: niet slechts omdat het kan (vergadering 11 juli 2024) Er zijn 50 projecten gesignaleerd die zich bezighouden met dataverzameling in de openbare ruimte. De informatie rondom deze projecten is onvolledig. Dit betekent dat dataverzameling en andere technologische toepassingen niet altijd worden toegepast met een duidelijk (beleids)doel en dit gepaard gaat met risico’s rondom privacy en bewegingsvrijheid van de burger.

Als gevolg van de motie inzake dataverzameling in de openbare ruimte gaat de gemeente alle vormen van dataverzameling in de openbare ruimte inventariseren en hierbij beoordelen welke bij de CPA zijn langsgekomen voor advies. Dit zou kunnen betekenen dat sommige projecten met terugwerkende kracht aan de CPA worden voorgelegd. Technische sessie dialoog ‘Ethiek en Digitalisering’ (vergadering 21 november 2024) De CPA heeft in 2024 deelgenomen aan een besloten technische sessie met een aantal gemeenteraadsleden. Tijdens deze bijeenkomst vond een kennismaking plaats met de CPA en is toegelicht hoe de commissie sinds de wijziging van het reglement in 2021 opereert. Daarbij is uiteengezet dat de advisering van de CPA niet uitsluitend gebaseerd is op de AVG, maar rust op drie pijlers: recht, ethiek en techniek. Binnen de juridische pijler is er onder meer aandacht voor grondrechten en bestuursrechtelijke aspecten. Ook is tijdens de sessie stilgestaan bij de rol van de CPA in het licht van een door de gemeenteraad aangenomen motie over ethische vraagstukken rond digitalisering. In dat kader is toegelicht dat de CPA sinds 2021 ook adviseert over ethische aspecten van digitalisering, onder meer aan de hand van de ethische bijsluiter. Tijdens de sessie is niet inhoudelijk gesproken over concrete casuïstiek of specifieke adviezen van de CPA.

17

6. Symposium 2024 ‘Profilering in de publieke sector’ De CPA organiseert tweejaarlijks een openbaar symposium voor belanghebbenden binnen en buiten de gemeente Amsterdam. Middels dit symposium beoogt zij nieuwe en actuele vraagstukken die spelen in de gemeentelijke praktijk vanuit verschillende perspectieven uit te lichten. Tijdens het symposium van 12 september 2024 heeft het onderwerp ‘profilering in de publieke sector’ centraal gedaan. De aanleiding om profilering tijdens dit symposium centraal te stellen was tweeledig. In de eerste plaats is de inzet van (algoritmische) profilering door overheidsinstantie een onderwerp dat de gemoederen blijft bezighouden. In de nasleep van de Toeslagenaffaire is gebleken welke desastreuze gevolgen de onrechtmatige toepassing van risicoprofilering kan hebben (denk aan discriminatie, stigmatisering en uitsluiting van publieke dienstverlening). In 2023 heeft de CPA een advies uitgebracht aan het college van B&W over de inzet van het profileringsinstrument ‘de Slimme Check’ van WPI. In dat jaar heeft ook de Amsterdamse Rekenkamer een rapport uitgebracht over de toepassing van AI in de gemeentelijke context, waarin ook aandacht is besteed aan het onderwerp profilering.

Een belangrijke bevinding van dit onderzoek is dat het in de praktijk geen eenvoudige opdracht blijkt te zijn om vast te stellen of een gegevensverwerking kwalificeert als profilering in de zin van de AVG. De Amsterdamse Rekenkamer concludeerde dat ten aanzien van drie algoritmen – Detectie illegale passagiersvaart, Detectie illegale onderhuur en Behandeling aanvraag Bbz - concludeerde het college dat geen sprake was van profilering. De Amsterdamse Rekenkamer overwoog echter gemotiveerd dat hiervan wél sprake was. Dat niet werd (h)erkend dat sprake was van profilering in de zin van de AVG, zou mogelijk te maken kunnen hebben met het feit dat ‘de term “profilering” als negatief of (bestuurlijk) gevoelig wordt ervaren. De ambtelijke organisatie en de leveranciers willen liever niet (dat hun algoritme) met profilering wordt geassocieerd.’20 In de tweede plaats heeft het Hof van Justitie van de Europese Unie (Hof) zich op 7 december 2023 voor het eerst gebogen over de reikwijdte van het verbod op geautomatiseerde besluitvorming van artikel 22, eerste lid, AVG.

In de zaak Schufa heeft het Hof verduidelijkt dat het verbod van artikel 22, eerste lid, AVG van toepassing is als aan drie cumulatieve vereisten is voldaan.21 Uit Schufa volgt dat de vraag of er sprake is van een dergelijk besluit pas kan worden beantwoord als duidelijk is hoe de profileringscore de handelswijze van degene die deze ontvangt beïnvloedt.22 In reactie op Schufa heeft het ministerie van Financiën de Landsadvocaat verzocht om advies over de vraag of de inzet van risicoprofilering door de Belastingdienst en de Dienst Toeslagen valt onder het verbod van artikel 22, eerste lid, AVG. Inmiddels heeft ook de Autoriteit Persoonsgegevens een advies uitgebracht over dit vraagstuk. Om de behoefte aan dialoog over rechtsbescherming tegen risicoprofilering tegemoet te komen, heeft de CPA besloten het symposium van 2024 aan dit vraagstuk te wijden. Het CPA-symposium startte met een toespraak van wethouder Alexander Scholtes op het gebied van profilering in de publieke sector. Hierna vond de eerste lezing plaats, verzorgd door Ivo Schutz (gemeente Amsterdam), waarin het Plan van Aanpak Algoritmen werd besproken en werd toegelicht hoe de gemeente algoritmen nog eerlijker en transparanter inzet.

De tweede lezing, verzorgd door Jurriaan Parie (directeur Algorithm Audit), ging over het onderzoek dat stichting Algorithm Audit heeft verricht naar profilering bij de DUO en de ervaringen die hierbij zijn opgedaan. Tijdens de laatste lezing, die werd verzorgd door professor Anne Meuwese (Universiteit Leiden) werd de verwachte impact van de AIverordening geanalyseerd. Tot slot vond een plenaire discussie plaats met alle sprekers, waarin verschillende stellingen werden besproken op het gebied van profileringsalgoritmen in de publieke sector en transparantie hierover jegens burgers. Een uitgebreid verslag van het CPA-symposium is gepubliceerd in het juridisch tijdschrift Privacy & Informatie.23 20 Rekenkamer Amsterdam, Algoritmen, Amsterdam: 2023, p. 117.

21 De drie voorwaarden zijn als volgt: 1) er is sprake van een besluit, 2) dat uitsluitend is gebaseerd op geautomatiseerde

verwerking, waaronder profilering en 3) dat voor de betrokkene rechtsgevolgen heeft of hem in aanmerkelijke mate treft. 22 Zie hierover in detail: F. Çapkurt, ‘Rechtsbescherming tegen risicoprofilering op basis van de AVG, het EVRM en het Handvest’, NJB 2025, afl. 14, p. 1047-1058, 23 I. Kist en A. Commandeur (2024) Verslag Symposium Profilering in de Publieke Sector, 12 september 2024, 5 Privacy & Informatie (Oktober 2024), p. 222 – 223; het verslag is bijgevoegd als bijlage bij dit jaarverslag.

18

7. Conclusie Ten opzichte van 2023 is het aantal adviezen gelijk gebleven. Waar het jaarverslag van 2023 uitdrukkelijk opmerkte dat de CPA in toenemende mate adviesverzoeken kreeg over het gebruik van algoritmen, ziet zij in 2024 een verdere toename in de complexiteit en omvang van adviesaanvragen vanwege de wens vaker gebruik te maken van AI (en ook profilering). De aantallen adviesverzoeken die voor 2020 gebruikelijk waren worden mogelijk niet langer gehaald, maar daar staat tegenover dat de complexiteit van de adviesverzoeken toeneemt; dat de advisering daadwerkelijk een meer interdisciplinair karakter krijgt, en dat de CPA met adviesaanvragers langer in gesprek blijft over een op AI of profilering gebaseerd voorgenomen of ingezet beleid dat op een langere termijn om een interdisciplinaire advisering vraagt. Zo kunnen de gegevensbeschermingsrechtenlijke-, grondrechtelijke- en andere wettelijke verplichtingen en rechten van burgers in lijn met wat een steeds verder digitaliserend en technologiserend gemeentebeleid met zich meebrengt, worden geborgd.