21bb12066 Brief van FNV en Platform over governance structuur voor de inzet van hoog-risico algoritmes

Utrecht, 28 september 2021 Geachte leden van de Rotterdamse gemeenteraad, Met interesse hebben FNV Uitkeringsgerechtigden en het Platform Burgerrechten kennisgenomen van de plannen die het college heeft aangekondigd voor het optuigen van een governance structuur voor de inzet van hoog-risico algoritmes.1 Het voorgestelde beleid laat ruimte voor de inzet van werkwijzen waarvan de rechtmatigheid niet kan worden onderbouwd en gaat voorbij aan een fundamentele juridische discussie over de inzet van voorspellende algoritmen door de overheid. In navolging van de Europese privacy toezichthouders adviseren FNV en Platform Burgerrechten om de inzet van hoog-risico algoritmen te verbieden zolang de rechtmatigheid hiervan niet is aangetoond. Daarbij zijn de onderstaande punten van belang: Risicoprofilering van onverdachte burgers is geen overheidstaak Artikel 1 van de Grondwet verbiedt discriminatie op welke grond dan ook, tenzij voorzien bij wet. Niet alleen de risico’s van discriminatie op grond van etniciteit of sociale klasse, maar ook andere gronden voor discriminatie passen niet in een rechtsstaat waarin burgers als individuen worden behandeld. Het is in de ogen van FNV en het Platform onrechtmatig om een burger op een risicolijst te plaatsen omdat diegene statistisch gezien een ‘bedenkelijk profiel’ heeft.

Meer fundamenteel valt de vraag te stellen of het proactief indelen van onverdachte burgers in risicoclassificaties überhaupt als een overheidstaak kan worden beschouwd. Een burger heeft het recht om op zijn individuele handelen te worden beoordeeld en niet te worden gereduceerd tot kenmerken die hij om wat voor reden dan ook gemeen heeft met een statistisch gegenereerd risicoprofiel. Risicoprofilering leidt tot vooringenomenheid Risicoprofilering middels algoritmische data-analyses leidt tot vooringenomen overheidshandelen en besluitvorming. Het doel van deze werkwijze is immers om feitelijke, objectieve persoonsgegevens die burgers voor een welbepaald doel aan de overheid hebben toevertrouwd, te verwerken tot een risico-inschatting. De beginselen van behoorlijk bestuur zoals vastgelegd in de Awb verbieden dat de overheid vooringenomen besluiten neemt; een besluit van een algoritme om iemand op een risicolijst te plaatsen, berust per definitie op vooringenomenheid van dat algoritme. Daarbij wijzen FNV en Platform Burgerrechten u erop dat vooralsnog niet is gebleken dat AI een adequaat middel zou zijn om de betrouwbaarheid van burgers te bepalen dan wel hun gedragingen of anderszins social outcomes te voorspellen.2 Toch lijken algoritmes die burgers voor allerhande beleidsdoelen bestempelen als ‘risicovol’ binnen de voorgestelde governance structuur doorgang te kunnen vinden.

Europese privacy toezichthouders adviseren algeheel verbod hoog-risico algoritmen De governance structuur hanteert de risicoclassificering van algoritmen die ook in de aankomende nieuwe AI-richtlijn van de Europese Commissie wordt gebruikt. Deze hanteert drie categorieën algoritmen; ‘verboden algoritmen’, ‘hoog-risico algoritmen’ (waar de voorgestelde governance structuur op toeziet) en ‘beperkt of minimaal risico algoritmen’. Op deze richtlijn is reeds fundamentele kritiek geleverd en het is dus nog maar de vraag of deze versie van de richtlijn het 1 Zie https://rotterdam.raadsinformatie.nl/document/10516174/1/s21bb010819_4_40598_tds

2

Zie https://www.cs.princeton.edu/~arvindn/talks/MIT-STS-AI-snakeoil.pdf en https://www.pppl.gov/events/sciencesaturday-how-recognize-ai-snake-oil

eindpunt van de wetgeving en de rechtsontwikkeling is. De EPDB, de gezamenlijke AP’s van alle EUlidstaten, en de EPBS, de privacy toezichthouder van de EU, adviseerden in juni om de gehele categorie’ hoog-risico algoritmen’ te verbieden.3 De inzet van AI als ondersteuning voor handhavingstaken vereist volgens deze partijen sectorspecifieke, precieze, voorzienbare en evenredige regels die rekening houden met de belangen van de burger en de impact op het functioneren van een democratische samenleving. Deze zijn nog niet uitgewerkt in de regelgeving die momenteel wordt ontwikkeld vanuit Brussel. Ook in de uitwerking van de Rotterdamse governance structuur is hier vooralsnog onvoldoende aandacht voor. De voorgestelde governance structuur loopt in de ogen van FNV en het Platform Burgerrechten daarom ten onrechte vooruit op een fundamentele juridische discussie over hoe een overheid die gebruik maakt van AI zich zou moeten verhouden tot haar burgers. Deze discussie werd mede aangezwengeld door het SyRI-vonnis, dat de nadruk legde op de grote impact die risicoanalyses op individuele burgers kunnen hebben. In de Toeslagenaffaire en vergelijkbare dossiers is eveneens gebleken dat het geautomatiseerd doorlichten van burgers om hen van een risicoclassificatie te voorzien geen onschuldige of onschadelijke activiteit is en hen individueel op ongekende wijze kan raken.

De praktijk van risicoprofilering zou evenals iedere andere inbreuk op de grondrechten onderwerp moeten zijn van een strenge noodzakelijkheids- en proportionaliteitstoets alvorens kan worden overgegaan tot inzet. Die mensenrechtelijke toets lijkt in de voorgestelde governance structuur vooralsnog te ontbreken, evenals in de Europese wetgeving waarop deze is gestoeld. Het overkoepelende idee lijkt te luiden dat als er maar genoeg kennis en expertise op wordt gezet, de inzet van hoog-risico algoritmen ethisch zal verlopen. Fundamentele vragen over de juridische houdbaarheid over het middel an sich worden daar echter bij overgeslagen. Een voorbeeld hiervan is de vermeende noodzaak van risicoclassificatiesystemen in de bijstand ten opzichte van een veel minder ingrijpende werkwijze waarbij persoonlijk contact en de menselijke maat centraal staan. FNV en Platform Burgerrechten roepen de gemeenteraad op om behoedzaam en zorgvuldig om te gaan met de persoonsgegevens en rechtsbescherming van Rotterdamse burgers en volledig af te zien van de inzet van hoog-risico algoritmen.

Hoogachtend, Maureen van der Pligt, bestuurder FNV Uitkeringsgerechtigden Ronald Huissen, secretaris Platform Bescherming Burgerrechten

3 Zie https://edpb.europa.eu/system/files/2021-06/edpb-edps_joint_opinion_ai_regulation_en.pdf, p. 10, paragraaf 27:

The EDPB and the EDPS consider that intrusive forms of AI – especially those who may affect human dignity – are to be seen as prohibited AI systems under Article 5 of the Proposal instead of simply being classified as “high-risk” in Annex III of the Proposal such as those under No. 6. This applies in particular to data comparisons that, on a large scale, also affect persons who have given no or only slight cause for police observation, or processing which impairs the principle of purpose limitation under data protection law. The use of AI in the area of police and law enforcement requires area-specific, precise, foreseeable and proportionate rules that need to consider the interests of the persons concerned and the effects on the functioning of a democratic society.