Jaarverslag CPA 2024 incl bijlagen.pdf

Bij de toenemende inzet van AI hoort steeds aandacht bestaan voor het behoud van betekenisvol menselijk contact tussen gemeente en haar inwoners, met name voor hen voor wie (digitale) zelfredzaamheid geen vanzelfsprekendheid is.24 Dit vraagt nadrukkelijk om aandacht bij de inzet van op AI gebaseerde technologieën, zoals bij de inzet van chatbots. In het verlengde daarvan wijst de CPA nogmaals op het belang van transparantie jegens de burger, in het bijzonder bij de inzet van AI. De Commissie is indachtig de rechtspraak en het rechtsstaatbeginsel van oordeel dat een overheid die opereert in het publieke domein optimale transparantie betracht met het oog op grondwettigheid, betrouwbaarheid en voorspelbaarheid van die overheid naar de burger toe, en met het oog op het vertrouwen van de burger in dezelfde overheid. In het spanningsveld tussen recht en ethiek enerzijds en snel voortschrijdende digitalisering anderzijds ziet de CPA dat de digitale transitie binnen de gemeente Amsterdam in een steeds hoger tempo plaatsvindt en dat daarmee ook de juridische, technische en bestuurlijke vraagstukken rondom digitalisering in complexiteit en urgentie toenemen. Deze omslag ziet de CPA ook terug in de adviesaanvragen. De CPA wordt benaderd met complexe dossiers, die vragen om grondige reflectie met een interdisciplinar karakter en onafhankelijk advies.

Tegelijkertijd ziet de CPA dat het aantal adviesaanvragen afneemt. Een mogelijk oorzaak hiervan is dat de taakuitbreiding van de CPA nog niet in de volle breedte binnen de organisatie bekend is. Daarbij kan ook een rol hebben gespeeld dat de secretariele ondersteuning van de CPA onderhevig geweest aan een behoorlijke fluctuatie. Dit beperkt de interne zichtbaarheid van de CPA binnen de gemeentelijke organisatie. In dit jaarverslag vraagt de CPA aandacht voor de balans tussen de groeiende opgaven en de beschikbare ondersteuning om haar taak effectief te blijven uitvoeren. Het effectueren van de taakuitbreiding vraagt om verdere verankering van en zichtbaarheid van de CPA in de ambtelijke organisatie en de bijbehorende processen. De CPA verwacht dat de in 2024 aangenomen QAA-criteria daarbij kunnen helpen, maar ziet daarnaast belangrijke aangrijpingspunten die daarbij behulpzaam zullen zijn, zoals de borging van de continuïteit van de CPA-secretaris voor de interne zichtbaarheid, en de externe zichtbaarheid van de CPA en haar adviezen op een toegankelijke en makkelijk vindbare website.

De Commissie Persoonsgegevens Amsterdam Amsterdam, 2025

WRR-rapport “Weten is nog geen doen. Een realistischc perspectief op zelfredzaamheid”, Rapport van de Wetenschappelijke Raad voor het Regeringsbeleid (24 april 2017), te vinden op https://www.wrr.nl/publicaties/rapporten/2017/04/24/weten-is-nog-geen-doen. 24

19

20

Bijlage 1 De Commissie Persoonsgegevens Amsterdam: adviesmodel voor complexe gegevensverwerkingen door overheden?

De Commissie Persoonsgegevens Amsterdam: adviesmodel voor complexe gegevensverwerkingen door overheden? 1 Deling en verwerking van (persoons)gegevens binnen en tussen overheidsorganisaties is al jaren een juridisch weerbarstig dossier. Vaak werkt de AVG als een ‘hitteschild’ dat overheden ervan weerhoudt (persoons)gegevens te delen.1 De Functionaris gegevensbescherming helpt, maar kijkt vooral door de AVG-bril naar problemen met gegevensverwerking en -deling. Intussen experimenteren diverse gemeenten met AI2 en met GenAI-toepassingen.3 De complexe vragen en problemen die dergelijke voortschrijdende technologische toepassingen (denk ook aan profilering of geautomatiseerde besluitvorming) met zich kunnen meebrengen, hebben de behoefte aan het type advisering veranderd: bij de inzet van digitale technologieën waarmee (persoons)gegevens worden verwerkt is bredere advisering vereist omdat naast juridische ook technische en ethische dilemma’s kunnen spelen. Daarbij past een meer interdisciplinaire, vakoverstijgende advisering. De AVG maakt deel uit van zo’n advisering, maar biedt geen volledig beoordelingskader. Zeker in de context van de publieke sector is ook expertise vereist op het gebied van bestuursrecht, data-ethiek en techniek. Pogingen die in één persoon te vinden, is zoeken naar een schaap met meer dan 5 poten.

Precies daar zit de toegevoegde waarde van interdisciplinaire adviescommissies: zij kunnen middels integrale advisering over verschillende expertises heen, nadenken over de vormgeving en implementatie van nieuwe technologieën

1

2 3 4 5 6

7

P&I

door overheidsinstanties en daarover voor specifieke gevallen passende adviezen aanreiken. Niet alleen bij gemeenten, maar ook op rijksniveau spelen problemen rondom gegevensdeling en -verwerking. Het Netwerk Publieke Dienstverleners riep de politiek op om met wetgeving tot oplossingen te komen voor complexe gevallen van deling en verwerking van (persoons)gegevens.4 Het Ministerie van BZK richtte hiertoe in 2024 onder meer de Centrale Commissie Gegevensgebruik (CCG) op. Doel van deze commissie is om met ‘gezag […] oplossingsrichtingen aan te reiken en knelpunten politiek te agenderen, vooral bij complexe gevallen waar meerdere organisaties bij betrokken zijn en aanpassing van wet- en regelgeving nodig is.’5 De Commissie Persoonsgegevens Amsterdam (CPA) hanteert deze aanpak al sinds 2021.6 De CPA en het gemeentebestuur van Amsterdam ervaren een meerwaarde met het werken vanuit context-specifieke oplossingen die binnen de CPA in multidisciplinair verband worden ontwikkeld. Adviescommissies zoals de CPA zijn, met andere woorden, een geschikt vehikel om de broodnodige samenwerking tussen mensen uit verschillende vakgebieden te realiseren. De CPA is een externe, onafhankelijke adviescommissie die het Amsterdamse gemeentebestuur en het ambtelijk apparaat gevraagd en ongevraagd adviseert over complexe en/of gevoelige persoonsgegevensverwerkingen.

Zij betrekt de AVG in haar advisering, maar kijkt daarnaast uitdrukkelijk naar de bredere juridische, technische en ethische gevolgen van bestuurlijke gegevensverwerking.7 Gelet op haar ambitie hoogwaar-

Interbestuurlijke Datastrategie, ‘Centrale Commissie Gegevensgebruik’ 20 november 2024, realisatieibds.nl/wiki/view/ bb6e32da-760a-4684-a4e3-afb8f65f11b2/centrale-commissie-gegevensgebruik-ccg; P. van den Brand & H. Hupkens, ‘Centrale Commissie Gegevensgebruik van start gegaan’, IBestuur 29 november 2024, ibestuur.nl/artikel/centrale-commissie-gegevensgebruik-van-start-gegaan/. Zie ook Staat van de Uitvoering, Standen van de Uitvoering over gegevensuitwisseling (1 november 2023), staatvandeuitvoering.nl/nieuwsbericht/standen-van-de-uitvoering-over-gegevensuitwisseling/. Advies Amsterdamse visie op AI, november 2024, amsterdam.nl/bestuur-organisatie/organisatie/overige/adviesraden/ commissie-persoonsgegevens-amsterdam/adviezen-cpa-2024/advies-amsterdamse-visie-ai-november/. Bijvoorbeeld de Gemeente Groningen, zie P. Van den Brand, Gemeenten worstelen met ethische risico’s AI – deel 1 en deel 2, gemeente.nu (respectievelijk 7 oktober (deel 1) en 9 oktober 2024 (deel 2)). Staat van de Uitvoering, Standen van de Uitvoering over gegevensuitwisseling (1 november 2023), staatvandeuitvoering.nl/ nieuwsbericht/standen-van-de-uitvoering-over-gegevensuitwisseling/. Van den Brand en Hupkens 2024. Commissie Persoonsgegevens Amsterdam, amsterdam.nl/bestuur-organisatie/organisatie/overige/adviesraden/commissie-persoonsgegevens-amsterdam/.

Er zijn meer commissies tot ontwikkeling gekomen; dit redactioneel commentaar benadrukt dat voor een breder beeld ook moet worden gekeken naar andere commissies met verglijkbare rollen en verantwoordelijkheden. Zie voor een overzicht van adviezen van 2020 – 2024 en het meest recente jaarverslag 2023 van de CPA amsterdam.nl/ bestuur-organisatie/organisatie/overige/adviesraden/commissie-persoonsgegevens-amsterdam/. In de praktijk adviseert de CPA over beleid dat raakt aan de bescherming van persoonsgegevens, maar ook over mogelijke inbreuken op grondrechten (het discriminatieverbod, mogelijke chilling effects op bijvoorbeeld de uitingsvrijheid of verplaatsing in de openbare ruimte), beleid waarin algoritmen (profilering, AI, GenAI) worden gebruikt, of over data governance-vraagstukken, alsook data-ethische vraagstukken, of openbaarmaking van persoonsgegevens.

Zie bijvoorbeeld Advies aan Directie Werk, participatie en inkomen om aanvragen voor levensonderhoud te beoordelen, mei 2023, amsterdam.nl/bestuur-organisatie/organisatie/overige/adviesraden/commissie-persoonsgegevens-amsterdam/adviezen-cpa-2023/advies-wpi-risicomodelmei-2023/#hc2a6e01e-f73f-4457-ab73‑9e39c76132f5, of Advies Vervanging Socrates – Armoedeframework Amsterdam dat tot doel had ‘het creëren van een voor de afdeling Armoedebestrijding integraal klantbeeld van alle Amsterdamse minima’, november 2023, amsterdam.nl/bestuur-organisatie/organisatie/overige/adviesraden/commissie-persoonsgegevens-amsterdam/ adviezen-cpa-2023/advies-vervanging-socrates/. Afl. 1 – februari 2025

1

De Commissie Persoonsgegevens Amsterdam

dige en praktisch bruikbare advisering te bieden is de CPA samengesteld uit leden met interdisciplinaire kennisachtergronden (recht, ethiek en techniek) en ervaringen (onder meer rijksoverheid, gezondheidszorg, toezichthouders, bedrijven, wetenschap en (eigen) adviespraktijken). Een permanente adviescommissie zoals de CPA – deze bestaat al 44 jaar – die ontwikkelingen continue en actief volgt, heeft via een ‘eigen’ secretaris in dienst bij de gemeente toegang tot wat binnen de organisatie speelt. Het permanente karakter is nog urgenter geworden vanwege het hoge aantal wisselingen in het gemeentelijke ambtenarenbestand. De CPA als vast ankerpunt voor advisering over complexe (persoons) gegevensverwerkingen biedt een belangrijk institutioneel geheugen van de gemeente en de (lokale) samenleving. Adviezen en de notulen van de overleggen zijn openbaar, hetgeen verantwoording over gemeentelijke beleidskeuzes helpt te verstevigen. Hierdoor wordt de CPA als serieuze gesprekspartner gezien. Een permanente commissie is om meer redenen te verkiezen boven advisering op ad hoc-basis waarbij tijdelijk personen met kennis worden ingevlogen die na het geven van een advies weer vertrekken. Zulke complexe kennis lijkt nauwelijks te beklijven binnen organisaties, terwijl elke context weer vraagt om een eigenstandige beoordeling. Daarvoor ontbreekt veelal de vereiste interne expertise.

Met een permanente commissie op niet te grote afstand, wordt kennis binnen de organisatie zelf opgebouwd.

2

Een adviesproces speelt zich idealiter dicht op de uitvoeringspraktijk af, of dit nu de gemeente betreft of het Rijk (of een andere overheid). Tussen de beleidspraktijken van gemeenten en het Rijk bestaan verschillen, maar de urgentie om deling en verwerking van (persoons)gegevens niet alleen te beoordelen op AVG-naleving, maar op bredere juridische, technologische en ethische houdbaarheid is vrijwel hetzelfde. Te bezien valt of de CCG komt met de gesuggereerde wettelijke oplossingen voor beleidspraktijken. Overheden zijn vanwege de interdisciplinariteit en contextspecificiteit van voorkomende problemen vaak minder geholpen met monodisciplinaire adviezen, of met adviezen op afstand van de praktijk. Zij zijn eerder gebaat bij adviezen die helpen algemene uitgangspunten te vertalen naar de specifieke praktijk. In dit tijdsgewricht met snel convergerende technologische toepassingen zou voor passende advisering gekeken kunnen worden naar commissies die al stappen hebben gezet naar een discipline-overstijgende adviespraktijk. De CCG en ook andere overheden kunnen zich laten inspireren door adviescommissies (zoals de CPA) die interdisciplinaire advisering al in praktijk brengen. Met dank aan mr. Alex Commandeur en mr. dr. Fatma Çapkurt (beiden ondervoorzitters bij de CPA) voor hun kritische blik op deze bijdrage. H.L. Janssen is redactielid P&I

Afl. 1 – februari 2025

P&I

Bijlage 2 Verslag Symposium Profilering in de Publieke Sector 12 september 2024

Uitgelicht Verslag Symposium Profilering in de Publieke Sector – 12 ­september 2024 Mr. dr. I. Kist en mr. A. Commandeur*

40 De Commissie Persoonsgegevens Amsterdam (CPA) is een onafhankelijke externe adviescommissie van het college van Burgemeester & Wethouders van de gemeente Amsterdam. De CPA adviseert het college en het ambtelijk apparaat over beleid dat raakt aan de bescherming van persoonsgegevens. In dat kader heeft haar advisering betrekking op onderwerpen zoals de bescherming van persoonsgegevens, de regulering van algoritmen, data-ethiek, (digitale) mensenrechten en openbaarmaking van persoonsgegevens.1 Uit het jaarverslag van 2023 van de CPA blijkt dat de gemeente steeds vaker advies vraagt over profilering. Profilering in de publieke sector leeft en menig nieuwsbericht gaat over het gebruik daarvan en de gevolgen voor de inwoner. Reden voor de CPA om het jaarlijkse symposium dat plaatsvond op 12 september jl. als onderwerp mee te geven de Profilering in de Publieke Sector. De voorzitter van de CPA, Heleen Janssen, startte de middag nadat commissielid en moderator Fatma Çapkurt eenieder had toevertrouwd dat zij en wij allemaal voorwerp zijn van profilering, bijvoorbeeld bij onze belastingaangifte wanneer wij een huis hebben gekocht. In zijn speech geeft wethouder Zorg en Maatschappelijke Ontwikkeling, ICT en Digitale Stad Scholtes (D66) van de gemeente Amsterdam vervolgens een korte reflectie over het thema profilering in de gemeente Amsterdam.

De gemeente streeft ernaar om zorgvuldig met de dataverzamelingen om te gaan en hierover aanspreekbaar te zijn. Transparantie en zorgvuldige communicatie zijn sleutelwoorden in de uitvoering. Daarnaast vraagt wethouder Scholtes aandacht voor het feit dat ‘profilering’ veelal een – begrijpelijke en terechte – negatieve connotatie heeft vanwege bijvoorbeeld de toeslagenaffaire en in situaties van etnisch profileren. Het is echter belangrijk om je te blijven realiseren dat profilering technisch is en de handeling an sich geen moraal heeft. Bovendien kan profilering bijvoorbeeld ook positief worden ingezet om ervoor te zorgen dat burgers in een betere positie komen,

bijvoorbeeld bij het bestrijden van armoede. Uiteraard moeten te allen tijde de mens en diens rechten op nummer één blijven staan. Hierbij zijn transparantie en zorgvuldige communicatie voorwaardelijk. In deze tijden van innovatie gaan de ontwikkelingen erg snel. We zijn niet altijd in control en vergissingen blijven menselijk. Daarom is het uitvoeren een Data Protection Impact Assessment (DPIA) met een ethische bijsluiter van groot belang. De DPIA geeft inzicht in de risico’s voor de betrokken burgers en hun gegevensbescherming bij profilering. Doel van de gemeente is de juiste inzet van technologie die de Amsterdammers samenbrengt en optilt. De DPIA helpt daarbij. In de volgende bijdrage licht Ivo Schutz, coördinator algoritmen van de gemeente Amsterdam, toe op welke juiste wijze de gemeente de inzet van technologie vormgeeft. Dit is vastgelegd in een plan van aanpak inzake algoritmen. In dit plan zet de gemeente uiteen hoe algoritmen eerlijker en transparanter ingezet worden. Het plan is opgesteld naar aanleiding van het rapport over algoritmen van de Rekenkamer Metropool Amsterdam en de interne bevindingen binnen de gemeente Amsterdam. Schutz licht toe welke de kansen en mogelijkheden algoritmes bieden, maar ook welke uitdagingen en risico’s hiermee gepaard gaan.

Om de risico’s te kunnen beheersen streeft de gemeente Amsterdam naar het opstellen van een beheerkader voor de transparante en eerlijke inzet van algoritmen. Dit beheerkader is een continu proces: het wordt aangescherpt en geconcretiseerd op basis van de actualiteit. Europese wetgeving zoals de AI Act die op 1 augustus 2024 in werking is getreden, is een voorbeeld van de actualiteit. Het beheerkader is openbaar en het College speelt een expliciete rol. Wanneer een nieuw hoog-risicoalgoritme wordt ingezet, wordt het algoritme ter goedkeuring aan het College voorgelegd. De gemeente heeft bij de ontwikkeling van AI continu de gebruiker in haar gedachten. Op dit moment wordt nagedacht over de inzet van een burgerpanel met als doel de burgers nog beter op de hoogte te brengen van het gebruik van hoog-risicoalgoritmen. Naast het college heeft ook de gemeenteraad een rol als het gaat om de inzet van profilering. Met name vanuit een ethisch

*

Irith Kist en Alex Commandeur zijn lid en plaatsvervangend voorzitter van de Commissie Persoonsgegevens Amsterdam (CPA).

1

Zie amsterdam.nl/bestuur-organisatie/organisatie/overige/adviesraden/commissie-persoonsgegevens-amsterdam/.

222

Afl. 5 – oktober 2024

P&I

Uitgelicht

perspectief, is het aan de gemeenteraad om de vraag te beantwoorden wat wenselijk en eerlijk is. De duo-presentatie van Thijs Teisman, manager CUB (Controle Uitwonenden Beurs)-onderzoek bij DUO (Dienst Uitvoering Onderwijs) en Jurriaan Parie, Projectleider CUB-onderzoek Stichting Algorithm Audit, schetst een openhartig beeld hoe profilering in de uitvoeringspraktijk mis kan gaan. Het onderzoek inzake de controle over de uitwonendenbeurs van DUO wordt uit de doeken gedaan met een toelichting op het gebruik van het algoritme met een risicoscore-toekenning. Een drietal belangrijke conclusies zijn uit het onderzoek naar voren gekomen. Allereerst kunnen ogenschijnlijk neutrale risico-indicatoren discriminerend werken. De ingezette criteria bleken in deze casus niet voldoende onderbouwd en gevalideerd. Een tweede conclusie ziet op de inadequate wetenschappelijke kennis onder de medewerkers bij DUO en OCW (Onderwijs Cultuur en Wetenschap) om het algoritme-gedreven besluitvormingsproces onafhankelijk te toetsen. Een derde conclusie ziet op benodigde standaarden en toezicht waarin het risico van profileren is opgenomen. Hierbij is van belang dat een kwalitatieve interpretatie volgt uit de kwantitatieve analyses. Het begrip algo-prudentie wordt geïntroduceerd.

Tot slot wordt het belang onderstreept dat op bestuurlijk niveau wordt bepaald welk percentage van potentieel misbruik van voorzieningen wordt geaccepteerd. Na de pauze bespreekt prof. dr. Meuwese, hoogleraar Public Law & Governance of Artificial Intelligence (AI) aan Universiteit Leiden, hoe algo-prudentie kan bijdragen aan een verantwoorde inzet van machine-learning algoritmes. Ze benoemt naast de AI Act het AI-kader-

P&I

verdrag. In dit laatste verdrag is expliciet aandacht voor mensenrechten zoals het discriminatieverbod en het recht op privacy. Meuwese bespreekt tevens de conformiteitsbeoordeling bij hoog-risicosystemen in de AI Act. Hoog-risicosystemen moeten worden gecertificeerd, met uitzondering van systemen voor persoonlijk en wetenschappelijk gebruik. In de afsluitende discussie met de sprekers ontstaat een levendige uitwisseling met het publiek. Aan de orde komt onder meer het grijze gebied tussen de vaststelling van rechten en verplichtingen van burgers. Ook de waarde van risicogericht toezicht komt aan bod. Met een normatief kader van algo-prudentie kan een nadere invulling van modeldocumentatie plaatsvinden opdat niet iedere organisatie in het publiek domein separaat en opnieuw het wiel uit gaat vinden. Ook de gedachte van een noodremprocedure komt aan de orde met hierbij een meldpunt voor de burgers. Zo wordt de burger beschermd terwijl alarm kan worden geslagen bij een hoog-risicosysteem dat in de toekomst wordt ontwikkeld. Een afsluitende vraag ziet op de reikwijdte van het acceptabele dat in een algoritme wordt gevonden.

Wanneer is een conclusie nog verklaarbaar en te rechtvaardigen? En wanneer wordt de grens van het ontoelaatbare overschreden? Het vraagt zowel (complexe) inhoudelijke kennis op verschillende onderwerpen als ook bestuurlijke keuzes in wat rechtvaardig wordt gevonden. Algoritmen bieden kansen in het realiseren van maatschappelijke opgaven maar dit vraagt wel om bestuurlijke keuzes en investeren in kennis en capaciteit. Met deze conclusie rondt de moderator het symposium af en vond een levendig napraten tijdens de borrel plaats.

Afl. 5 – oktober 2024

223