Advies CPA Grip op Technologie def

Datum Behandeld door E-mail Bijlage

24 maart 2023 L.M. van Damme cpa@amsterdam.nl 1

Onderwerp

Grip op Technologie

Advies van de Commissie Persoonsgegevens Amsterdam (CPA) over de opvolging van het raadsinitiatief Grip op Technologie zoals behandeld tijdens de vergadering van 26 januari 2023.

Geachte heer De Maa, Tijdens de vergadering van de CPA van 26 januari 2023 was u bij het agendapunt “Opvolging raadsinitiatief Grip op Technologie” aanwezig. Bijgaand treft u aan het advies van de CPA.

Pagina 2 van 15

A.

Algemeen advies

De commissie adviseert de verbetervoorstellen in Grip op Technologie SMART te maken. Ook adviseert de CPA de Tada-waarden te heroverwegen en te concretiseren. De commissie geeft tot slot een aantal algemene reflecties mee over de gewenste wijze van advisering door de CPA in relatie tot de voorgelegde adviesaanvragen. B.

Aanleiding

Het verzoek aan de CPA is om kennis te nemen van de evaluatie en de verbetervoorstellen naar aanleiding van het raadsinitiatief “Grip op Technologie” en hierover te adviseren om inhoud en richting van de verbetervoorstellen op juistheid of andere wijze aan te scherpen. Tijdens de vergadering licht de heer De Maa toe dat het een ambitiedocument is. Na behandeling door de raad zal een concreet actieplan worden opgesteld, met planning en financiële onderbouwing. C.

Samenvatting CPA-advies 1. Van ambities naar acties De commissie adviseert om de verbetervoorstellen van ambitie naar acties te vertalen. Maak de plannen SMART (specifiek, meetbaar, aanvaardbaar, realistisch en tijdgebonden). Maak helder wie, wat, wanneer doet, waar dat gebeurt en hoeveel het kost. Waar is sprake van overlap? Waar schuren voorgenomen acties met andere activiteiten en beleidsdoelen? Hoe ga je om met concurrerende en conflicterende ambities en daaruit voortvloeiende activiteiten? Kies en benoem concrete acties, leg beargumenteerde keuzes voor en maak de voorgestelde belangenafweging bij de keuzes voor de acties transparant (en benoem acties die wel werden geïdentificeerd maar die niet worden ingezet). 2. Burgerparticipatie De commissie geeft het volgende in overweging:  Welke methodiek voor burgerparticipatie wordt gekozen? Zoek hier eventueel een organisatie bij die dat al kan en doet.  Hoe zit het met de vertegenwoordiging van de burger, naar welke vertegenwoordiging wordt gestreefd? Welke burgers worden gevraagd? Welke niet? Hoe bereik je mensen die niet participeren? Ga je met je voorstellen zoals ze nu luiden, niet de participerende mensen extra bedienen?  Pas op voor ‘burgerwashing’: de burger is gehoord en daarmee is de beslissing gelegitimeerd. De burger mag niet verantwoordelijk gemaakt worden voor het besluit. 3.

Monitoring en toetsing De commissie adviseert om een of meer methodieken te zoeken door navraag te doen bij andere gemeentes, de VNG of andere ethische of wetenschappelijke instanties en waarschuwt voor het opnieuw uitvinden van het wiel.

2

Pagina 3 van 15

4. Heroverweeg en concretiseer de Tada-waarden De commissie merkt op dat tussentijdse evaluatie van de geformuleerde Amsterdamse Tada-waarden nodig is. De wijze waarop dit punt verder kan worden opgepakt wordt verder uitgewerkt onder “Achtergrond en verdieping bij de adviezen”. 5. Gewenste wijze van advisering in relatie tot de voorgelegde adviesaanvragen. De commissie aanvaardt de uitnodiging van de heer De Maa en is blij met de in de vergadering toegelichte aanvullingen ten aanzien van de CPA naar aanleiding van de algemene reflecties:  Een termijnkalender opstellen voor de CPA met relevante onderwerpen die binnen de gemeente de komende tijd aan de orde komen.  Binnen de organisatie bevorderen dat meer casussen aan de CPA voorgelegd worden.  Aanbod om gezamenlijk na te denken over de vorm en frequentie van een periodiek overleg om samen de recente adviezen van de CPA te analyseren en dan met de wethouder in gesprek te gaan over de rode draad. Daarnaast ook incidenten bekijken die zich hebben voorgedaan om ook daar lering uit trekken. 6. Algemene reflecties  Kunstmatige Intelligentie (AI) De nadruk bij adviesaanvragen over AI aan de CPA ligt op de technologie.

Een kritische kanttekening daarbij: technologie kun je nooit op zichzelf staand beoordelen maar krijgt pas betekenis als het wordt gebruikt volgens bepaalde normen en waarden, in een bepaalde organisatorische context (dit is ook wel het socio-technisch perspectief dat het gebruik van nieuwe technologie met zich meebrengt). Zie voor de uitwerking van dit punt onder Achtergrond en verdieping van de adviezen. 

Ethische afwegingen in plaats van ‘Mag dat?’ Aan de commissie wordt voorgelegd of de gemeente Amsterdam binnen de marges van wat ethisch kan blijft. Ethiek wordt dan opgevat als compliance check: of men binnen de lijntjes kleurt. Dit terwijl ethiek gaat om het maken van afwegingen en het in kaart brengen als organisatie van botsende waarden. Efficiency versus privacy bijvoorbeeld. De commissie wil benadrukken dat door een intern gesprek een afweging zichtbaar wordt tussen de verschillende aan de orde zijnde ethische waarden, en de afweging duidelijk, transparant en daarmee publiek verantwoord wordt. De commissie hoopt in de toekomst meer van dit soort afwegingen voorgelegd te krijgen om over te adviseren.



Nieuwe technologie zonder benodigd CPA-advies: verzoek breed geïnformeerde aanspreekpunt Regelmatig verschijnen er zaken in de media over nieuwe technologie in Amsterdam die ten onrechte niet aan de CPA zijn voorgelegd. De commissie merkt op dat de weg naar de CPA kennelijk beter gefaciliteerd dient te worden. Is voldoende bekend en wordt voldoende uitgedragen in welk geval de CPA moet worden geraadpleegd? De CPA heeft behoefte aan een liaison, een aanspreekpunt dat weet wat er speelt op het gebied van ontwikkeling van nieuw technologie, beleid, dienstverlening en kennis en antennes heeft van en bij het gemeentebestuur.

3

Pagina 4 van 15

D.

Achtergrond en verdieping bij de CPA-adviezen 3. Monitoring, toetsing en relevante ethische visies over AI Bestaande instrumenten voor monitoring en toetsing die de gemeente zou kunnen overwegen zijn:  Het Impact Assessment op Mensenrechten en Algoritmes (IAMA) zoals het Rijk dat heeft laten ontwikkelen en dat kan worden toegepast op (onderdelen van) voorgenomen beleid of lokale wetgeving.1 Dit IAMA kan grotendeels meelopen met een te verrichten DPIA.  Werkagenda waardengedreven digitaliseren van de staatssecretaris van BZK.2  Kennisnemen van en in gesprek gaan over de werkwijze van ethische commissies elders, zoals in Eindhoven, Utrecht of Rotterdam; in gesprek gaan met de VNG over ethische vraagstukken rondom digitalisering die zij signaleren en ethische instrumenten die zij ontwikkelen voor het maken van gemeentelijk beleid en wetgeving.3 4. Heroverweeg en concretiseer de Tada-waarden De Tada-waarden zijn mogelijk gebaseerd op een te rooskleurig beeld van de zelfredzame burger.

De CPA beveelt aan bij het herijken van de Tada-waarden nota te nemen van recente rapporten rondom de zelfredzaamheid van de burger, zoals het WRR-rapport “Weten is nog geen doen”4 en naar het WRR-toetsinstrument om het “doenvermogen” van burgers te ijken aan het voorgenomen beleid.5 Vragen die hierbij aan bod zouden moeten komen: Voldoen de Tada-waarden wel om de kwetsbare Amsterdammer te beschermen? Zijn er met de voortschrijdende digitalisering andere waarden relevant geworden die in het maken van beleid en wetgeving voor Amsterdam een meer zichtbare rol moeten krijgen? Hierbij kan bijvoorbeeld worden gedacht aan het betrekken van de volgende waarden: (i) het belang van autonomie van de burger, en tegelijkertijd aan burgers die die autonomie niet hebben en dus meer ondersteuning nodig hebben. Bij dit laatste speelt de waarde rechtvaardigheid, ook wel ‘equity’ genoemd, een belangrijke rol.6 Ook

1

Impact Assessment op Mensenrechten en Algoritmes, zie https://www.rijksoverheid.nl/documenten/rapporten/2021/02/25/impact-assessment-mensenrechten-enalgoritmes. 2 Werkagenda Waardengedreven digitaliseren, Ministerie van BZK (november 2022), zie https://www.informatiehuishouding.nl/Producten+%26+publicaties/publicaties/2022/11/11/werkagendawaardengedreven-digitaliseren. 3 Zie bijvoorbeeld Handreiking Digitale Ethiek van 17 januari 2022, te vinden op https://vng.nl/sites/default/files/2022-02/handreiking_digitale_ethiek.pdf. 4 Wetenschappelijke Raad voor het Regeringsbeleid (WRR), Weten is nog geen doen. Een realistisch perspectief op zelfredzaamheid (april 2017), via https://www.wrr.nl/publicaties/rapporten/2017/04/24/weten-is-nog-geen-doen. 5 WRR, Van toets naar tools: doenvermogentoets https://www.wrr.nl/publicaties/publicaties/2020/09/15/doenvermogen. 6 Tussen equality en equity bestaat een verschil: “While the terms equity and equality may sound similar, the implementation of one versus the other can lead to dramatically different outcomes for marginalized people. Equality means each individual or group of people is given the same resources or opportunities.

Equity recognizes that each person has different circumstances and allocates the exact resources and opportunities needed to reach an equal outcome”, zie beeldend uitgelicht op https://onlinepublichealth.gwu.edu/resources/equity-vs-equality/.

4

Pagina 5 van 15

(ii) privacy, en (iii) het discriminatieverbod komen de laatste jaren helder naar voren als waarden die voortdurend onder druk staan bij het gebruik van algoritmes (door de gemeente dan wel door bedrijven). Deze waarden kunnen helpen bij het duidelijk maken voor welke burger(s) zijn de Tadawaarden geschreven, waarbij er met het expliciet betrekken van de waarden equity en het discriminatieverbod iets meer erkenning is van de niet-zelfredzame burger. Verder is er wellicht nog een onderscheid te maken tussen waarden die collectieve belangen (beter) zouden moeten beschermen naast de bescherming van waarden voor individuele burgers (die al verankerd zijn in de Tada-waarden)? Beschrijf voorbeelden van een de wijze waarop gebruik wordt gemaakt van de Tadawaarden bij de ontwikkeling van beleid en wetgeving.

- Stel altijd eerst de vraag: welk probleem ga ik oplossen voor welke burgers? - Stel vervolgens steeds de vraag: is technologie de beste manier om een probleem op te lossen? Waarom? Is gebruik van technologie noodzakelijk? Kan ik het ook zonder, of in combinatie met bijvoorbeeld met menskracht (wijkteams, buurtvaders en coaches) oplossen? Welke problemen creëert het gebruik van technologie die ook moeten worden opgelost? - Welke Tada-waarden worden vervolgens bij de inzet van (deels) technische methoden meegenomen? - Hoe wordt de naleving van de Tada-waarden binnen de processen van de gemeente ingebed? Worden ambtenaren hierin getraind? - Hoe wordt omgegaan met situaties waarin waarden conflicteren? Op welk moment binnen het maken van beleid/wetgeving vindt de afweging plaats? Komt die afweging ook op hoger niveau expliciet onder de aandacht? - In rechterlijke uitspraken is al veel ervaring en expertise met afweging van conflicterende rechten en belangen opgedaan. In de argumentatie in de uitspraken zijn waardenafwegingen gemaakt waarnaar gekeken kan worden bij het maken van beleid waarin conflicterende waarden zitten. NB: betrek bij het maken van afwegingen van waarden ook waarden zie de gemeente óók dienen zoals efficiency, snelheid, economische voordelen (kostenbesparing).7 - Wat is nodig? Is paternalisme de juiste aanpak? Hoe is dat expliciet te maken? 6.

Algemene reflecties

Kunstmatige Intelligentie (AI) De CPA adviseert om een holistisch perspectief in te nemen bij de beoordeling van nieuwe technologie, en ook altijd de context rondom een voorgenomen beleid of regelgeving, dus aast de technologische ook organisatorische en juridische aspecten mee te nemen en met elkaar in balans te brengen zodanig dat de risico’s op grondrechtelijke inbreuken voor burgers en schade voor de organisatie zelf worden geminimaliseerd.

7

Zie hiervoor WRR-rapport iOverheid waarin waarschuwingen worden geplaatst bij het wegen van waarden en belangen, en waarbij de ‘stuwende principes’ zoals efficiency, veiligheid, kostenbesparing en snelheid de andere waarden regelmatig het onderspit laten delven bij beslissingen inzake overheidsbeleid en wetgeving, zie iOverheid (maart 2011), https://www.wrr.nl/publicaties/rapporten/2011/03/15/ioverheid.

5

Pagina 6 van 15

Het is voor de CPA niet nuttig om projecten geïsoleerd op technologische aspecten alleen te beoordelen, aangezien het bij AI altijd om veel meer dan alleen de technologie gaat. De hele context moet in ogenschouw worden genomen. - Organisatorisch: welke ontwikkelaars worden betrokken bij de ontwikkeling van een nieuw algoritme? - Organisatorisch: Hoe divers en inclusief zijn de teams? Diverse teams dragen bij aan het tegengaan van blinde vlekken. - Juridisch/autonomie I: Wie gaat er straks werken met de AI? Wat is diens autonomie in de omgang met die nieuwe technologie? Wat zijn diens verantwoordelijkheden? Op welke manier dragen opleiding en arbeidsverhoudingen bij aan die autonomie? Hoe draagt de cultuur op de werkvloer bij aan verantwoord gebruik? - Juridisch/autonomie II: Welke burger ‘ondergaat’ de AI? Welke mate van autonomie mag van de specifieke burger worden verwacht? In het bijzonder geldt bij AI dat een ethische benadering niet een éénmalige gebeurtenis is, maar als een doorlopend proces gezien dient te worden. Ethiek vraagt vanwege mogelijke afwijkingen die op kunnen treden om een life-cycle assessment.

Bekende ethische waarden die hierbij betrokken kunnen worden omvatten8:  Non-maleficence  Beneficence  Verplichting tot handelen  Uitlegbaarheid  Autonomie  Rechtvaardigheid Ethiek moet, in nauwe samenhang met grondrechten, een rol spelen in alle levensfases van nieuwe technologie: ontwerpfase, ontwikkelfase, invoering, toepassing, monitoring, evaluatie en ontmanteling van een pilot. Er zit vaak een zekere niet goed na te volgen onvoorspelbaarheid (incl. function creep) in de technologie, hetgeen risico’s met zich kan meebrengen voor degenen die verantwoordelijk zijn voor de toepassing en voor degenen die de techniek ‘ondergaan’. E.

Achtergrond bij de evaluatie en verbetervoorstellen naar aanleiding van het raadsinitiatief Grip op Technologie | Gemeente Amsterdam

Het raadsinitiatief Grip op Technologie is 16 februari 2022 aangenomen. De raad vraagt te evalueren of er voldoende maatregelen zijn voor een brede ethische toetsing van technologische toepassingen in de gehele organisatie en op basis van deze evaluatie een voorstel voor te leggen aan de raad. Evaluatie methodiek De evaluatie en verbetervoorstellen volgen de door de raad gevraagde lijn en zijn gebaseerd op het framework “Mainstreaming human rights in the digital transformation of city-

8

I. Rets, C. Herodotou, A. Gillespie, Six practical recommendations enabling ethical use of predicting learning analytics in distance education, Journal of Learning Analytics (1 maart 2023), p. 1–19, https://doi.org/10.18608/jla2023.7743.

6

Pagina 7 van 15

governments”.9 Dit framework geeft aan wat breed geregeld moet zijn binnen de lokale overheid voor de borging van digitale mensenrechten. Verbetervoorstellen uit Grip op Technologie Met de verbetervoorstellen wordt invulling gegeven aan de wens van de raad om gebruik van data en technologie in de gehele organisatie ethisch te toetsen. De ambitie is een digitale gemeente met menselijke waarden. Waarborgen van privacy, menselijke waarden en ongelijkheid door data gedreven technieken verkleinen. Hierbij is aandacht gegeven aan de door de raad aangegeven aspecten: 1. 2. 3. 4. 5.

Openbare monitoring en toetsing (legitimering, controle en transparantie) Ethische kaders gebruiken voor toetsing (legitimering) Participatie (legitimering, inclusie, menselijke maat en zeggenschap) Bewustwording en vaardigheden (inclusie, menselijke maat en zeggenschap) Experimenteren met verantwoorde technologie (privacy- security- en ethics by design)

Bestaande instrumenten en instellingen worden beschreven zoals:   

 

Transparantie door het algoritmeregister in het bijzonder en de openbaarheid van bestuurlijke documenten in het algemeen (Wet open overheid). Toetsing en advisering door de CPA, Digital Rights House Amsterdam, Functionaris Gegevensbescherming, CISO, ACAM en Stadsarchivaris. Compliance aan de AVG, BIO en Wpg op een risico gedreven wijze is hierbij het doel. Toetsing en participatie door rechtsbescherming, klachten, vragen en signalen die ontvangen worden door o.a. de Ombudsman, het klantcontactcentrum, het inzageloket, afdelingen die klachten en bezwaren afhandelen, meldpunt Ketenfouten of bij de helpdesk van het Digital Rights house. Kaders in de vorm van het stedelijke beleid verwerken persoonsgegevens en de gelijktijdig vastgestelde Governance structuur volgens de ‘three lines of defence’. Bewustwording en training over morele oordeelvorming, evenementen zoals Digital Rights day.

Verbeteringen en vernieuwing worden voorgesteld die in een actieplan nader uitgewerkt zullen gaan worden. De verbetervoorstellen hebben brede impact op opgaven en directies waar digitalisering van processen en/of dienstverlening aan de orde is.     

Openbaar maken van digitale stukken, zoals beleid, planningen en afwegingen. Kwaliteitswaarborgen implementeren (Quality Assurance). Jaarlijkse Digitale Rechten monitor. Inclusie en digitale weerbaarheid versterken door onder andere het betrekken van burgers en de publieksfunctie van digitale rechten te versterken. Samenwerking te intensiveren en initiatieven te verbinden.

9

Dit framework is ontwikkeld door het netwerk “Cities Coalition for Digital Rights” in 2018 opgericht door Barcelona, New York City en Amsterdam. Hierbij is intensief samengewerkt met UN-HABITAT, EUROCITIES en UCLG. Het framework is geïnspireerd door het mensenrechten framework “Human rights cities in the EU: a framework for reinforcing rights locally” van de EU Fundamentel Rights Agency. Het framework is hier te vinden: Mainstreaming human rights in the digital transformation of cities – A guide for local governments | UN-Habitat (unhabitat.org)

7

Pagina 8 van 15

Achterliggende overwegingen van de commissie ten aanzien van de evaluatie en verbetervoorstellen van Grip op Technologie Het gebruik van algoritmen in het openbaar bestuur is sterk toegenomen de afgelopen jaren. Ook in Amsterdam worden ze meer gebruikt. Denk aan het algoritme om illegale vakantieverhuur tegen te gaan, of het plan om een algoritme in te zetten bij de toekenning van een bijstandsuitkering. Het toenemende gebruik van Artificiële Intelligentie (AI) leidt tot nieuwe vragen, en zelfs tot ongerustheid in de samenleving en bij beleidsmakers. Die vragen zijn des te urgenter omdat dat gebruik heeft geleid tot ontsporingen – denk aan de Toeslagenaffaire. De vragen die als gevolg daarvan worden gesteld zijn onder meer: wie heeft het in de besluitvorming voor het zeggen, mens of machine? Leidt het gebruik van nieuwe technologie tot discriminatie? Vormt de AI geen black box – hoe blijft bij risicoprofilering inzichtelijk voor mensen dat ze tot een risicogroep (op onder meer fraude) zouden behoren en op welke gronden? Het blijkt een grote uitdaging te zijn om grip te krijgen op deze nieuwe technologie, onder meer omdat de technologie zich volop aan het ontwikkelen is en de wetgeving de snelheid daarvan niet kan bijbenen. Wat het nog lastiger maakt is dat in korte tijd een woud aan kaders is ontstaan om de nieuwe technologie te reguleren.

Denk aan het Impact Assessment Mensenrechten en Algoritmes (IAMA) en ook aan Europese regelgeving, die nu op nationaal niveau moet worden geïmplementeerd10. Daarnaast hebben steden eigen commissies ingesteld, zeer recent nog in Nijmegen. Verder zijn op gemeentelijk niveau ethische kaders ontwikkeld. Zo heeft Amsterdam de Tada-waarden omarmd, die een ethisch richtsnoer vormen voor de beoordeling van nieuwe technologie. Het toenemende gebruik van nieuwe technologieën en de poging om er grip op te krijgen binnen Amsterdam heeft ook geleid tot een taakuitbreiding van de CPA. Die uitbreiding is vastgelegd in het vernieuwde reglement van de CPA (16 december 2021), waarin nu staat dat de CPA verantwoordelijk is voor advisering aan het College als het gaat over ‘kwesties betreffende de verwerking van persoonsgegevens, algoritmen, data-ethiek, digitale (mensen-)rechten en openbaarmaking van persoonsgegevens’ (Artikel 2.1). De CPA doet in dit discussiestuk voorstellen aan de gemeente Amsterdam om (naast de gebruikelijke juridische advisering vanuit het gegevensbeschermingsen grondrechtenperspectief) met behulp van vraagstelling vanuit een ethisch perspectief meer grip te krijgen op het gebruik van nieuwe technologie bij beleids- en besluitvorming die raakt aan burgers.

De CPA heeft een aantal ethische risico’s die de CPA gesignaleerd in de adviesaanvragen waarin data-beleid een rol speelt in beleids- en besluitvorming die potentieel gevolgen heeft voor de burgers. De vraag die de CPA vervolgens aan de orde wil stellen is of het huidige ethische kader van Amsterdam (de Tada-waarden) voldoet om bescherming te bieden tegen deze risico’s: zijn de juiste waarden opgenomen, zijn ze in het licht van de huidige ontwikkelingen voldoende dekkend, of ontbreken er nog waarden? De vraag is vervolgens hoe op basis van zeer abstracte waarden een overtuigend beleid gevoerd kan worden dat voldoet aan de ethische principes van de gemeente Amsterdam: hoe kan de ethiek op betekenisvolle wijze in de werkwijze van de CPA en daarmee in de beleids- en besluitvorming van de gemeente Amsterdam geïmplementeerd worden?

10

https://eur-lex.europa.eu/legalcontent/EN/TXT/?qid=1623335154975&uri=CELEX%3A52021PC0206

8

Pagina 9 van 15

Waarden Gebruikelijk in de data-ethiek is om een centrale rol toe te kennen aan publieke waarden zoals autonomie en duurzaamheid. Die waarden vormen een toetssteen voor de beoordeling van nieuw AI-beleid. Ook Amsterdam heeft voor die benadering gekozen met de zes zogenoemde Tada-waarden: legitiem en gecontroleerd; open en transparant; van en voor iedereen; inclusief; zeggenschap; menselijke maat.11 Graag staat de CPA stil bij de Amsterdamse waarden. Doen die recht aan de ethische risico’s die komen met het gebruik van AI, en in het bijzonder in de stad Amsterdam? Een uitgangspunt in de data-ethiek is dat de waarden gebruikt moeten worden om te voorkomen dat er schade wordt toegebracht aan mensen, groepen, de samenleving en ook de natuurlijke omgeving waarin mensen leven (de waarde duurzaamheid). Er blijkt een opvallende overeenkomst in de ethische kaders die zijn ontwikkeld om AI te reguleren, zo is meermaals vastgesteld. Centraal staan de volgende vijf waarden: transparantie, rechtvaardigheid, geen schade toebrengen, verantwoordelijkheid en privacy. (Artificial Intelligence: the global landscape of ethics guidelines, 2019). Ook komt de waarde duurzaamheid regelmatig terug.

Hoe verhouden de Tada-waarden zich tot deze waarden? Opvallend is dat de Amsterdamse waarden relatief minder gericht zijn op het voorkomen van schade, en relatief meer op het bevorderen van het vermogen van mensen om zelf kritisch zeggenschap te houden over data. Verhelderend hier is om te onderzoeken welk mensbeeld de Amsterdamse waarden veronderstellen. Dat mensbeeld wordt door hoogleraar bestuursrecht Leo Damen beschreven als een triple A-burger: de Amsterdammer is alert, argwanend en assertief. Het is een burger die politiek betrokken is bij de stad, in staat is om een oordeel te vormen over soms complexe technologie en ook graag opkomt voor de eigen rechten. Dat mensbeeld is onder meer het gevolg van het feit dat zeggenschap een centraal uitgangspunt is in de Tada-waarden. Die zeggenschap wordt uitgeoefend op verschillende niveaus: allereerst lijkt het te gaan om een juridische zeggenschap, data zijn legitiem (TADAwaarde ‘Legitiem en gecontroleerd’) als Amsterdammers, bezoekers en gebruikers zeggenschap hebben over de stad. Die zeggenschap is zo belangrijk dat die ook terugkomt als aparte waarde. Mogelijk wordt daarmee ook bedoeld dat de Amsterdammer niet alleen zeggenschap moet hebben over de vormgeving van smart city Amsterdam, maar ook rechtstreeks over de eigen data.

Om die zeggenschap uit te kunnen oefenen, is het van belang dat er transparantie en openheid (TADA-waarde) is over data. Het algoritmeregister zou als een uitwerking van die waarden kunnen worden beschouwd: de burger krijgt met dat register inzicht in de gebruikte algoritmen en kan zo zelf toezicht daarop uitoefenen. Ook andere waarden leggen de nadruk op de ondernemende en autonome Amsterdammer. Data zijn van en voor iedereen, zo luidt een TADA-waarde. Het roept het beeld op van mensen die zelf over hun eigen data kunnen beschikken, maar ook zelf mogelijk data kunnen gebruiken voor eigen onderzoek. Twee Tada-waarden vormen een tegenhanger voor de waarden die de mondige burger centraal stellen, dat zijn inclusiviteit en de menselijke maat. Inclusiviteit betekent dat er voor iedereen een plek is in Amsterdam, ongeacht afkomst, maatschappelijke positie, gezondheid, opleiding et cetera. Sterker nog, inclusiviteit betekent niet alleen dat niemand buitengesloten moet

11

https://www.amsterdam.nl/innovatie/digitalisering-technologie/data/tada-waarden/

9

Pagina 10 van 15

worden, maar dat er een opgave is om iedereen er actief bij te betrekken, bijvoorbeeld door huisvesting aan te bieden voor groepen die buiten de boot dreigen te vallen. Tot slot valt de waarde ‘de menselijke maat’ op. Bedoeld wordt dat data en ook de verwerking ervan in algoritmen nooit een beslissende stem mogen hebben. De commissie vat deze waarde zo op dat de gemeente de ruimte moet hebben om af te wijken van algoritmes, om zich daarbij te laten leiden door publieke waarden. Het is een variatie op de oude gedachte binnen de bureaucratie dat regels geen regels zijn, maar dat er vanuit een humane overheid ruimte moet zijn om te kiezen voor een menselijke oplossing. Wat opvalt aan de Tada-waarden is – kortom – dat de waarden die de nadruk leggen op de mondige burger centraal staan. Tegelijkertijd zijn de waarden die juist burgers moeten beschermen relatief ondervertegenwoordigd. Volgens de CPA behoeven deze waarden uitbreiding. Niet alle burgers zijn immers even mondig, en juist de burgers waarvoor algoritmen worden ingezet – zo blijkt uit de casussen die de CPA zijn voorgelegd – behoren niet tot de meest mondige groep. In een nog niet gepubliceerd advies staat de CPA stil bij degenen wiens data worden gebruikt door de gemeente.

Regelmatig gaat het om mensen die sterk afhankelijk zijn van de overheid of van andere instanties, bijvoorbeeld omdat ze een uitkering ontvangen of in een schuldhulpverleningstraject zitten. De CPA wijst erop dat deze burgers behoren tot een van de kwetsbaarste van onze samenleving. Vaak hebben juist kwetsbare burgers niet het doenvermogen om alert en assertief te handelen en voor hun eigen rechten op te komen. Dit blijkt onder andere uit het rapport ‘Weten is nog geen doen’ van de Wetenschappelijke Raad voor het Regeringsbeleid (WRR).12 De WRR vraagt de overheid dan ook met deze kwetsbaarheid rekening te houden. Het ligt voor de hand om bij een mogelijke herziening van de Tada-waarden rekening te houden met deze kwetsbaarheid. ‘De burger’ bestaat niet, en veel burgers hebben niet het vermogen om rationeel te handelen, en lopen het risico daardoor buiten de boot te vallen. Daarbij moet overigens wel een belangrijke vraag beantwoord worden: zelfs als de burger het vermogen zou hebben om de regie op de eigen data te voeren, is dat dat dan wel wat de gemeente beoogt? Is de gemeente niet te afhankelijk van de data om die controle bij de burger neer te leggen? Meerdere waarden en principes kunnen gebruikt worden om die bescherming te bieden. Een belangrijke waarde in dit verband is privacy, de bescherming van de persoonlijke levenssfeer.

In meerdere adviezen die de CPA de afgelopen jaren heeft gegeven over het juiste gebruik van data, blijkt privacy een kernwaarde. Dat is ook niet verbazingwekkend: meerdere (legitieme) doelen die de gemeente nastreeft, vragen om de beschikking over persoonsgegevens of gaan ten koste van de privacy. Denk aan de kennis die verzameld moet worden over het inkomen van mensen om ze schuldhulpverlening te kunnen geven. Of denk aan cameratoezicht om de veiligheid te bevorderen. Nu staat die waarde privacy al centraal in het juridisch kader dat wordt gebruikt door de CPA en de gemeente (de AVG), maar het zou van toegevoegde waarde zijn om deze waarde ook mee te nemen in de ethische overweging. Dat is om meerdere redenen zinvol: ten eerste kan op die manier duidelijker worden gemaakt door welke waarden Amsterdam zich laat leiden in het databeleid. Ten tweede kan privacy zo daadwerkelijk deel uitmaken van de ethische afweging, en daarin afgewogen worden tegen andere waarden. Ten derde is het zinvol om privacy op te nemen omdat er aspecten aan privacy zitten die onvoldoende in de wet belicht worden, denk aan de ‘ervaren privacy’ als er in de stad camera’s komen te hangen die zijn uitgerust met geluidssensoren. Dergelijke maatregelen kunnen een verstikkend gevoel leiden, ook al voldoen ze mogelijk aan privacywetgeving. 12

Wetenschappelijke Raad voor het Regeringsbeleid, ‘Weten is nog geen doen’, 2017.

10

Pagina 11 van 15

Een andere waarde die een rol zou kunnen spelen om mensen te beschermen is nondiscriminatie. Samen met het risico op privacy schendingen behoort het risico op discriminatie tot de twee grootste risico’s bij het gebruik van algoritmen. Ook bij de casus die de afgelopen twee jaar voor advies zijn voorgelegd aan de CPA, was het risico op discriminatie een terugkerend gevaar. Een overweging kan zijn om dit risico explicieter terug te laten komen in de waarden. De gemeente streeft niet alleen naar inclusiviteit, maar gaat ook discriminatie tegen. Hoe zou het principe dat er geen schade mag worden berokkend, een van de vijf centrale waarden bij de beoordeling van AI, verder ingevuld kunnen worden? Op basis van adviesaanvragen en van maatschappelijke ontwikkelingen komt de CPA tot een eerste, niet volledige aanzet. Een belangrijk principe dat ook meegenomen zou moeten worden is de onschuldspresumptie, zeker als er algoritmen worden gebruikt om risico’s in te schatten in het kader van handhaving. Alleen een hoger risico mag nooit een reden zijn om iemand als verdacht aan te merken, en er moet zorg voor worden gedragen dat een vraag, klacht of bezwaar eenvoudig kenbaar gemaakt kan worden. Het is daarnaast van belang om zaken voortvarend af te handelen en duidelijke termijnen te geven over de afhandeling. Een opvallende afwezige waarde in het Amsterdamse ethische kader is duurzaamheid.

Toch is duurzaamheid een regelmatig terugkerende waarde in de discussie over AI, en mogelijk is het ook een waarde waar Amsterdam veel aan hecht. Duurzaamheid is op twee manieren relevant. AI kost veel energie, maar AI kan ook helpen om energie te besparen. Wat betreft het energieverbruik: vooral het trainen van AI kan veel energie kosten. Kunstmatige intelligentie moet getraind worden met data om het algoritme z’n werk te laten doen. Dan kan het energieverbruik in sommige gevallen leiden tot een uitstoot van 300.000 kilo CO2. Dat is vijf keer zoveel als de uitstoot van een gemiddelde auto tijdens de hele periode waarin die wordt gebruikt. Niet bij alle algoritmen kost die training zoveel energie. Maar al met al blijft de milieuimpact ervan enorm. Advies: heroverweeg de Tada-waarden, Voldoen ze wel om de kwetsbare Amsterdammer te beschermen? Zijn er geen cruciale waarden vergeten, die in Amsterdam een belangrijke rol zouden mogen spelen. Denk onder meer aan duurzaamheid en privacy.

1. Waarden en de toepassing ervan Hoewel waarden een goede basis vormen voor een ethisch oordeel over AI, brengen ze ook een gevaar met zich mee: ze zijn dermate abstract, dat ze in de praktijk onvoldoende waarborg bieden dat schade voorkomen kan worden. Een gevaar van die abstractie is ook dat ze ethics washing in de hand kunnen werken: onder verwijzing naar abstracte waarden is het mogelijk technologie te ontwikkelen die wel degelijk schade toebrengt. Omdat de waarden op zichzelf tekortschieten als richtsnoer voor nieuwe technologie is het van groot belang om de gebruikte waarden verder te concretiseren. Dat kan in een eerste stap onder meer door elke waarde uitgebreider te beschrijven. Een tweede stap kan zijn dat er moresprudentie wordt aangelegd: aansprekende voorbeelden waarin duidelijk wordt gemaakt hoe die waarden worden gebruikt bij een concrete afweging. De poging om waarden te verhelderen, mag er niet toe leiden dat ze de vorm krijgen van beleidsregels. Die wens om er wel regels van te maken, is heel begrijpelijk: een dergelijke regel belooft door de zeer concrete strekking nu werkelijk grip op de technologie te krijgen, overeenkomstig een gewenst ethisch kader. Helaas doen dergelijke regels geen recht aan de eigen aard van de ethische afweging: bij het voornemen een nieuwe technologie te

11

Pagina 12 van 15

introduceren, moet elke keer een ethisch oordeel worden geveld. Degene die dat doet, neemt daarin de principes mee, maar past die ook toe op een specifieke context. Zo zal er aan AI die wordt gebruikt voor fraudebestrijding andere eisen worden gesteld dan AI die wordt gebruikt om louter zorg te verlenen. De discretionaire ruimte om een dergelijk moreel oordeel te vormen, moet bewaakt worden. Toch zijn er mogelijkheden om het ethisch oordeel verder vorm te geven, afgezien van de moresprudentie. Ook van belang bij de ethiek is dat de juiste procedures worden gevolgd om een oordeel te vellen: zijn alle mensen die erbij betrokken horen te zijn er daadwerkelijk bij betrokken? Hoe vinden de afwegingen precies plaats? Tot slot nog een aanbeveling over de toepassing van waarden. De ervaring van de CPA is dat ze in de praktijk van de adviesaanvraag worden opgevat als een begrenzing. Het gaat er dan om om binnen de lijntjes te kleuren. Mag het ethisch?, is dan de vraag. De CPA zou willen benadrukken dat de waarden niet alleen begrenzen, maar juist ook aanwijzen wat het goede is. AI zou kunnen bijdragen aan waarden zoals inclusiviteit, en de ondersteuning van Amsterdammers die in (financieel) lastige omstandigheden verkeren.

Een dergelijke opvatting van ethiek kan mogelijk ook bijdragen aan de ontwikkeling van AI die niet alleen geen ethisch risico vormt, maar die vanuit ethisch perspectief een verrijking vormt. Advies: probeer de Amsterdamse waarden te concretiseren. Beschrijf voorbeelden van een goed gebruik van waarde, hoe vinden ethische afwegingen plaats? Hoe wordt de naleving van de Tada-waarden binnen de processen van de gemeente ingebed? Wanneer worden die waarden geëvalueerd? Is er bijvoorbeeld beleid wat moet gebeuren als waarden conflicten? Welke waarde prevaleert in dat geval? Op wel moment vindt de afweging plaats, en op welk niveau?

Voor verdere toelichting op bovenstaande kunt u de onderstaande notulen raadplegen. Ik vertrouw erop u aldus voldoende geïnformeerd te hebben.

Hoogachtend, De heer F. van Rootselaar Vice-voorzitter Commissie Persoonsgegevens Amsterdam

12

Pagina 13 van 15

Commissie Persoonsgegevens Amsterdam Uittreksel van het verslag van het openbaar agendapunt van de vergadering op donderdag 26 januari 2023. De heer De Maa brengt in herinnering dat het toegezonden rapport het uitvloeisel is van het verzoek uit de gemeenteraad voor een evaluatie van de middelen om grip op alle ICT-gebruik binnen de gemeente te houden. Die evaluatie is uitgevoerd via zelfassessment, waarbij niets gespaard is. Het kader was het document van de International Coalition for Digital Rights. Er liggen nu enkele aanbevelingen. De belangrijkste is wel dat bewustwording bij alle ambtenaren veel aandacht verdient. Voordat hij met dit rapport teruggaat naar de raad wil hij graag de mening van de CPA horen zodat die waar wenselijk ook nog kan worden meegenomen. De CPA merkt op dat er veel commissies en medewerkers binnen de organisatie bezig zijn met dit thema. Dat levert echter ook een diffuus beeld op. Er worden hoge ambities en actiepunten benoemd, maar het is niet duidelijk wie nou precies wat gaat doen, waar schuring te verwachten valt en wie daar dan iets aan gaat doen. De CPA ziet de urgentie, zeker na de recente reorganisatie, maar krijgt geen goed beeld van de manier waarop men dit denkt de organiseren. Een goed idee is te beginnen met de instelling van een taskforce die met gezag dingen in gang kan zetten.

Het streven naar betrokkenheid van burgers vindt de CPA goed, maar met daarbij de kanttekeningen:  Voorkom burgerwashing (burgerbetrokkenheid puur als formele verplichting hanteren);  Kijk naar welke burgers er door (zelf)selectie betrokken worden of juist worden buitengesloten;  Maak vooraf de relatie met de formele representatieve democratie en besluitvorming helder;  Maak de betrokken burgers niet verantwoordelijk voor de uitkomsten van het proces. Om de haken en ogen in kaart te brengen en het proces goed vorm te geven, zou men een sessie kunnen beleggen met verschillende organisaties in de stad die ervaring hebben met burgerparticipatie. Voor het monitoren moet ook een goede methodiek bedacht worden en de CPA adviseert te kijken naar ervaringen in andere gemeenten. Het valt de CPA verder op dat waar het gaat om transparantie veelal volstaan wordt met een verwijzing naar vermeldingen op de website en voorbijgegaan wordt aan alle burgers die moeite hebben met digitale speurtochten. Daar zit dus impliciet ook een vorm van selectie is tot welke groepen men zich richt. Verder mist de CPA de relatie met wet- en regelgeving en reflectie op actuele documenten zoals het visiestuk over waardegedreven digitalisering van staatssecretaris Van Huffelen.

Ook zou het aanbeveling verdienen meer onderzoek te doen naar de werkwijze en bevindingen van ethische commissies is andere gemeenten. Ook is het aan te raden onderzoek te doen naar de waarden die commissies wereldwijd hanteren en de huidige Tada-waarden periodiek kritisch onder de loep te leggen. Het valt bijvoorbeeld op dat de Amsterdamse waarden vooral gericht lijken op het mondig maken van de burger, waar elders vooral de bescherming van burgers en een begrip als privacy een veel grotere rol speelt. Er zijn de afgelopen jaren bij de CPA verschillende projecten langsgekomen die risico’s met zich meebrachten voor met name de meest kwetsbare groepen in de samenleving en dat is een aspect waar de Tada-waarden aan voorbijgaan.

13

Pagina 14 van 15

Verder ziet de CPA dat in het stuk over rechten, grondrechten en ethiek gesproeken wordt alsof ze tot een en hetzelfde domein behoren. De CPA vindt het belangrijk dat een scherp onderscheid gemaakt wordt tussen rechten, die veelal vastgelegd zijn in regels, en ethiek die meer een kwestie is van oordeelsvorming. De ambtenaar moet niet alleen iemand zijn die regels uitsluitend aan de hand van een beslisboom hanteert en handhaaft, maar ook iemand die in staat is tot morele oordeelsvorming. De heer De Maa zegt dat het document inderdaad nog een intentiestuk is, geschreven met de beste bedoelingen en zonder rekening te houden met kwesties van capaciteit en middelen. Er zal nog een uitwerking moeten plaatsvinden met een tijdspad en organisatieplan. Hij stelt dat de gemeente niet kan handelen volgens één eenduidig beeld van de samenleving, maar rekening moet houden met uiteenlopende en soms botsende publieke waarden. Beleidmakers streven naar algemene, generieke regels, niet naar specifieke gevallen. Maar hij is het met de CPA eens dat de context belangrijk is bij afwegingen om tot een overwogen oordeel te komen. In die zin moet de gemeente dilemma-management plegen. Hij noemt als voorbeeld de VGA en andere regelgeving. De raad en de accountant eisen van de gemeente volledige compliancy en hebben geen oog voor het proces waar die regels op uit zijn.

Daar is dan vaak geen gesprek over mogelijk. De CPA wijst erop dat het in de wereld van de grondrechten geen ongebruikelijke exercitie is om afwegingen tussen botsende belangen te maken. Vaak zijn die ook al gemaakt in de jurisprudentie. Bijvoorbeeld onder welke omstandigheden een fotojournalist een foto mag maken van een publiek persoon. Die kennis is beschikbaar. Een uitweg uit het dilemma is bovendien het bepalen van een procedure met stappen die doorlopen dienen te worden om tot een ethisch verantwoord oordeel te komen. Een vraag die men in ieder geval moet stellen is welk probleem men nou eigenlijk wil oplossen en voor welke burgers en of de beoogde technologie dan wel het juiste middel is. Als voorbeeld kan dienen de recente kwestie waar de gemeente van Liander adresbestanden wilde krijgen van mensen die vanwege de energiecrisis in problemen driegden te komen. Langs die weg wilde de gemeente regelen dat deze mensen een toeslag kregen van de gemeente. De gemeente zou eigenlijk eerst de discussie moeten voeren of dat wel de aangewezen route was. Men zou ook kunnen overwegen Liander deze mensen zelf te laten wijzen op de mogelijkheid van gemeentelijke toeslagen. De heer De Maa voert aan dat de gemeentebestuurders in zulke gevallen handelen uit een rechtvaardigheidsgevoel dat weinig ruimte laat voor reflectie.

Er zit een bevoogdend paternalistisch element in veel handelingen van de gemeente dat zich lastig expliciet laat benoemen. Hij is het ermee eens dat de Tada-waarden uitgaan van een soort ideale burger die zonder problemen de weg weet te vinden naar alle beschikbare informatie op internet. Dit terwijl het algemeen bekend is dat er in Amsterdam veel laaggeletterden en digibeten zijn. Bovendien is alles gericht op het individu, terwijl er toch ook veel zaken collectief spelen. De CPA merkt op dat het sensorenregister alleen iets zegt over de sensoren van de gemeente en van grotere private partijen. Dat is al lastig te handhaven. Maar in de openbare ruimte krijgt men ook steeds meer te maken met bijvoorbeeld de opnames van particuliere huishoudens aan hun voordeur. Die nemen ook een deel van de openbare ruimte op en die beelden worden vaak doorgestuurd naar een moederbedrijf in Amerika of China. De meeste passanten zijn zich daar helemaal niet van bewust. De vraag is wie daarvoor verantwoordelijk is en waar men daarover zijn beklag kan doen. Over de horizontale privacybescherming lijkt nog weinig geregeld. Men zou kunnen overwegen via organisaties als Bits for Freedom een proefproces aan te spannen.

14

Pagina 15 van 15

De heer De Maa zegt dat de lokale overheid enige invloed heeft op de fysieke wereld, maar amper op de digitale waar die zich manifesteert in de fysieke openbare ruimte. Omgekeerd mogen die beelden niet gebruikt worden voor opsporingsdoeleinden, hoewel dat wel van belang zou kunnen zijn. Hij stelt voor een termijnkalender voor de CPA op te stellen met relevante onderwerpen die binnen de gemeente de komende tijd aan de orde komen. Hij wil binnen de organisatie bevorderen dat meer casussen aan de CPA voorgelegd worden. Verder herhaalt hij zijn voorstel om periodiek, bijvoorbeeld eens per kwartaal, samen de recente adviezen van de CPA te analyseren en dan met de wethouder in gesprek te gaan over de rode draad. Hij stelt voor samen na te denken over de vorm waarin dat zou kunnen. Hij wil dit voorstel ook opnemen in het document. Verder lijkt het hem nuttig ook met elkaar incidenten te bekijken die zich hebben voorgedaan om ook daar lering uit trekken. Hij zal zelf al op zoek gaan naar twee voorbeelden van de afgelopen tijd. De voorzitter aanvaardt de uitnodiging, bedankt voor het informatieve gesprek en kondigt een schriftelijk advies aan.

15