210414 IV IJmker, Blom, Bosman, Biemond, Bakker 'Grip op technologie' - Andreas

Initiatiefvoorstel voor de raadsvergadering van Nummer Directie Van Datum Portefeuille Agendapunt

IJmker, Blom, Bosman, Biemond en N.T. Bakker 14 april 2021 ICT en Digitale Stad -

Onderwerp Instemmen met het initiatiefvoorstel ‘Grip op technologie: een digitale gemeente met menselijke waarden’ van de leden IJmker, Blom, Bosman, Biemond en N.T. Bakker

De gemeenteraad van Amsterdam besluit I. in te stemmen met genoemd initiatiefvoorstel; II. het college van burgemeester en wethouders te verzoeken: - Onderzoek te doen naar de verschillende manieren waarop brede ethische toetsing van technologische toepassingen geïnitieerd door de gemeente kan worden gewaarborgd in de gemeentelijke organisatie. En daarbij in ieder geval de volgende opties te onderzoeken: 1. Een nieuw op te richten ethische toetsingscommissie (binnen de gemeentelijke organisatie of juist op enige afstand van de gemeentelijke organisatie); 2. Een herformulering van het takenpakket van de CPA waarbij het beeld op de stad centraler komt te staan; 3. Een Databond die bestaat uit een vaste groep experts en een wisselende groep gelote burgers en gemeentelijke medewerkers; 4. Een verplichte technologieparagraaf (eventueel als pilot) bij beleidsstukken die de raad toekomen; - Op basis van bovenstaand onderzoek een voorstel aan de raad voor te leggen, waarbij ten minste de volgende aspecten meegenomen worden: 1. Openbare monitoring en toetsing van bestaande en nieuwe technologische toepassingen op alle beleidsterreinen van de gemeente; 2. Ruimte om te experimenteren met nieuwe technologieën;

Gemeente Amsterdam

Datun 14 april 2021 Pagina 2 van 7

3. Het meenemen van ervaringen en perspectieven van zowel Amsterdammers als experts uit verschillende sectoren met verschillende leeftijden, genders en achtergronden III. kennis te nemen van de bestuurlijke reactie op het initiatiefvoorstel.

Wettelijke grondslag artikel 147a, lid 1 van de Gemeentewet

Initiatiefvoorstel Inleiding De digitalisering van onze stad is een onomkeerbaar proces. Steeds meer diensten verlopen digitaal, slimme camera’s in de stad houden in de gaten of bepaalde voertuigen tegen de regels in milieuzones binnenrijden en binnenkort kunnen data gedreven technologieën voorspellen waar in Amsterdam nog parkeerruimte is. Al dit soort technologieën bieden grote kansen. Ze kunnen bijdragen aan de leefbaarheid, duurzaamheid en veiligheid van de stad. Zelfs in de socialere sectoren zoals zorg en onderwijs hebben datagedreven technologieën potentie. Zo heeft men in London succesvol voorspellende algoritmen gebruikt om kwetsbare groepen kinderen en jongeren in kaart te brengen om zo te voorkomen dat zij in de criminaliteit belanden1. Er kleven echter ook grote risico’s aan het inzetten van slimme technologieën, vooral als persoonsgegevens betrokken zijn. Een schrijnend voorbeeld hiervan deed zich voor bij de Belastingdienst, die ouders met een tweede nationaliteit strenger controleerde dan andere burgers2. Dit etnisch profileren gaat niet alleen in tegen artikel 1 van de grondwet maar werkt ook ongelijkheid in de hand. Dit voorbeeld laat zien dat het ongebonden gebruik van technologie de menselijke waarden van onze democratische rechtstaat in gevaar kan brengen. Ethische toetsing van technologie is dus nodig.

Wordt de privacy van personen gewaarborgd? Hoe nauwkeurig en representatief is de data die gebruikt wordt? Welke vooroordelen zitten er verscholen in het algoritme en werken die niet juist ongelijkheid en stigmatisering in de hand? Bij alle onderzoeken en diensten die gebruik maken van data en slimme algoritmen is dit soort vragen van groot belang om ongewenste gevolgen te voorkomen. Niet alleen aan het begin of eind van een project, maar continu. Bovendien moet het stellen van deze vragen en het maken van de ethische afwegingen niet voorbehouden zijn aan één persoon of instantie. Alle betrokkenen dienen zich ervan bewust te zijn dat technologie alleen kan bijdragen aan onze levenskwaliteit als zij op een verantwoorde, transparante en democratische manier wordt ingezet. 1

https://www.hillingdon.gov.uk/article/2068/Hillingdon-Council-wins-top-award-for-childrens-services

2

https://nos.nl/artikel/2333481-belastingdienst-controleerde-mensen-met-tweede-nationaliteit-extra-streng.html

Gemeente Amsterdam

Datun 14 april 2021 Pagina 3 van 7

Digitalisering is onomkeerbaar, maar niet oncontroleerbaar. De indieners van dit voorstel willen dat deze digitalisering zich ontwikkelt volgens menselijke waarden en normen. Zo moet technologie onze vrijheid en autonomie vergroten, vrij zijn van discriminatie en voor alle betrokkenen transparant zijn. Bovendien moet ieders privacy zo veel mogelijk gewaarborgd worden en mogen datagedreven technieken ongelijkheid in de samenleving niet vergroten. Sterker nog, technologie kan juist gebruikt worden om ongelijkheid te verkleinen. Onze menselijke waarden moeten de leiband leggen aan de technologie, niet andersom. De overheid, en dus de gemeente, speelt hier een cruciale rol in. Zij kan met wetgeving, protocollen en door zelf het goede voorbeeld te geven de kaders stellen waarbinnen digitalisering zich verder kan ontwikkelen. Dit voorstel hoopt hier op twee manieren aan bij te dragen. Ten eerste willen de indieners met dit voorstel het college oproepen om een constructie te vinden en in te voeren die de maatschappelijke en ethische gevolgen van het gebruik van technologie binnen de organisatie kan toetsen. Het tweede doel is om ook andere afdelingen dan de ICT-afdeling bewuster te maken van de impact van technologie. Huidige stand van zaken In het coalitieakkoord is afgesproken om het ‘tada, duidelijk over data’-manifest te implementeren.

Dit manifest biedt een handleiding om bewust om te gaan met de mogelijkheden en bedreigingen van digitale technologieën, voor het beschermen van burgerrechten en voor eerlijke toegang tot, en het eerlijk verdelen van de opbrengsten van digitale technologieën. De Agenda Digitale Stad is hier een uitwerking van. In deze agenda worden goede stappen gezet richting een gemeentelijke organisatie die op een ethische manier omgaat met technologie en haar data. Zo is er bijvoorbeeld het recentelijk gelanceerde Algoritmeregister. Dit unieke register houdt bij welke algoritmen betrokken zijn in besluitvorming die Amsterdammers aangaat. Deze ontwikkelingen juichen de indieners toe. Binnen de gemeente Amsterdam zijn er ook al verschillende organen en protocollen om het gebruik van technologie te monitoren. Een belangrijk orgaan op dit gebied is de Commissie Persoonsgegevens Amsterdam (CPA). De commissie bestaat momenteel uit negen leden inclusief een ambtelijk secretaris. De leden hebben vanuit verschillende achtergronden expertise op het gebied van recht en privacy. Zij worden voor een termijn van vier jaar door het college benoemd. Er wordt gestreefd naar een goede balans tussen jong en oud, mannen en vrouwen en overheid en bedrijfsleven. De CPA adviseert de gemeente over haar privacybeleid en de uitvoering daarvan.

Daarnaast adviseert de commissie de ambtelijke organisatie bij complexe en/of ethische kwesties rondom persoonsgegevens. Zij signaleert wat er binnen de gemeente speelt op het gebied van persoonsgegevens en brengt dit onder de aandacht van het gemeentebestuur en het management van de ambtelijke organisatie. De CPA heeft bijvoorbeeld eerder dit jaar de gemeente geadviseerd over het gebruik van persoonsgegevens bij een algoritme dat wordt gebruikt om illegale vakantieverhuur tegen te gaan.

Gemeente Amsterdam

Datun 14 april 2021 Pagina 4 van 7

Daarnaast heeft de gemeente sinds de invoering van de Algemene Verordening Gegevensbescherming (AVG) een functionaris gegevensbescherming benoemd en meerdere privacy officers aangesteld. De Functionaris gegevensbescherming ziet toe op de naleving door de gemeente van de AVG en andere privacy wetgeving en het Stedelijk kader verwerken persoonsgegevens door de gemeente Amsterdam. De privacy officers adviseren de gemeente zodat de gebruikte technologieën privacy waarborgen en misbruik worden voorkomen. Met de komst van de Functionaris gegevensbescherming heeft de CPA geen toezichthoudende rol meer. Een ander gemeentelijk orgaan dat zich met de digitale infrastructuur van de gemeente bezighoudt is Auditdienst ACAM. Hoewel ACAM zich ook bezighoudt met bijvoorbeeld de financiële zaken van de gemeente, kan zij ingehuurd worden om ook de IT-diensten van de gemeente grondig te onderzoeken. Daarnaast heeft ACAM in samenwerking met KPMG een toetsingskader voor algoritmes ontwikkeld. Het eerste concept hiervan is inmiddels klaar en al getest op een algoritme. De bedoeling is dat dit kader in de toekomst op alle algoritmes wordt toegepast om ethische vraagstukken te identificeren.

Ook worden er diverse zelfassessments gebruikt bij de ontwikkeling van technologieën, zoals een kunstmatige intelligentie impact assessment, Data Protection Impact Assesment (een verplichting vanuit de AVG), een BIV-classificatie en een risico-inventarisatie. Ten slotte is er nog het Gemeentelijk Meldpunt Ketenfouten. Het is niet te voorkomen dat in de vele geautomatiseerde systemen wel eens een fout zit. Dit kan echter grote gevolgen hebben voor burgers. Zeker als het ketenfouten betreft. Er is sprake van een ketenfout wanneer een fout in het ene systeem doorsijpelt in andere systemen. Hoewel het bijna onmogelijk is om dit soort fouten te voorkomen, is het belangrijk dat ze wel snel hersteld worden. Daarvoor is het Gemeentelijk Meldpunt Ketenfouten ingericht. Dit is een meldpunt voor ambtenaren waar verschillende (gemeentelijke) organisaties samenwerken aan een integrale afhandeling van ketenfouten in de basisregistraties (denk bijvoorbeeld aan de BRP) die ver doorwerken binnen de overheid. Al deze organen en diensten controleren op verschillende manieren de digitale systemen waar de gemeente gebruik van maakt. Toch zien de indieners nog een aantal verbeterpunten binnen het huidige beleid rondom de inzet van digitale systemen en algoritmen. Ten eerste is er geen systeem of orgaan dat zich richt op de ethische afwegingen die niet te maken hebben met persoonsgegevens.

Hoewel de CPA controleert of er wel ethisch wordt omgegaan met persoonsgegevens, is er geen aandacht voor andere ethische afwegingen rondom thema’s als inclusiviteit en vrijheid. Ten tweede is de controle van digitale systemen en algoritmen nu hoofdzakelijk ondergebracht bij de afdeling CIO. Op veel anderen afdelingen wordt echter ook gebruik gemaakt van technologie. De indieners vinden dat ook op deze afdelingen ambtenaren de maatschappelijke impact van technologie moeten meenemen in beleidsafwegingen. Aangezien technologie een middel is dat in alle afdelingen gebruikt wordt, zou de ethische toetsing ervan ook in alle gemeentelijke organisaties ingebed moeten zijn. Het is

Gemeente Amsterdam

Datun 14 april 2021 Pagina 5 van 7

in die zin vergelijkbaar met dat andere middel dat op alle afdelingen gebruikt wordt: geld. Het gebruik hiervan wordt ook in alle afdelingen in de gaten gehouden middels een financiële paragraaf in de beleidsstukken. En ondanks de coördinerende portefeuille Financiën worden in elke raadscommissie financiële aspecten van te maken beleid besproken. Iets dergelijks zou volgens de indieners ook moeten gelden voor technologie. Ten derde is het belangrijk om de ervaringen en kennis van Amsterdammers en externe experts te betrekken bij het ontwikkelen en toetsen van deze diverse toepassingen.

Best practices Verschillende Nederlandse en buitenlandse steden zijn ook druk bezig met de ethische toetsing van gemeentelijk technologiebeleid. Uit hun initiatieven kunnen zowel inspiratie als leerpunten worden gehaald. Daarom volgt een behandeling van een aantal van deze initiatieven. Enschede Enschede is begonnen met het oprichten van een ethische commissie die haar moet adviseren op het gebied van data en ICT. De commissie zal bestaan uit drie tot vijf leden die onafhankelijk zijn van het gemeentelijk bestuur. Zij zullen uit verschillende sectoren komen en moeten met elkaar expertise beschikken over de thema’s "Ethiek en Filosofie, Techniek en computers (inclusief Kunstmatige Intelligentie), Maatschappij en Inwoners en Juridisch”. Ook kunnen eenmalig andere experts aansluiten om advies te geven. De commissie geeft enkel advies als de wethouder daarom vraagt. Dit advies kan het gemeentebestuur vervolgens meenemen in de besluitvorming. Deze commissie zal dus in zekere zin lijken op de CPA met een verbreed takenpakket. Naast dilemma’s over persoonsgegevens zal de ethische commissie in Enschede zich ook buigen over andere ethische kwesties rondom data en ICT. Eindhoven Een initiatiefvoorstel van GroenLinks in Eindhoven3 stelde voor om een Databond op te richten, die moet bestaan uit een vaste groep experts en een dynamische groep burgers en medewerkers.

Het idee is dat de groep experts bestaat uit mensen met een verschillende professionele achtergrond zoals een ethiekfilosoof, een datawetenschapper, een antropoloog, een ontwerper en een jurist. De dynamische schil om die groep experts heen moet dan bestaan uit een wisselende groep burgers en medewerkers. De Databond heeft als taak om de menselijke en publieke waarden te waarborgen in elk project waar technologie gebruikt zal worden en om technologisch burgerschap te stimuleren. De aanwezigheid van burgers en medewerkers is een groot voordeel van dit idee omdat het zorgt voor technologisch bewustzijn, meer vertrouwen en acceptatie van nieuwe technologieën en meer draagvlak voor het toepassen ervan. New York

3

https://eindhoven.parlaeus.nl/user/showdoc/action=view/id=5003/Van_labratten_naar_gesprekspartners_-_Bi-

jdrage_GroenLinks_CN_digitalisering_in_de_stad.pdf

Gemeente Amsterdam

Datun 14 april 2021 Pagina 6 van 7

Eenzelfde soort commissie is ook al eens opgericht in New York City. Deze Automated Decision Systems (ADS) Task Force had als doel om de impact van het gebruik van AI van de overheid te analyseren. Alles van voorspellingsalgoritmes tot aan geautomatiseerde systemen voor afval ophalen moest onderzocht worden. De samenstelling van de commissie was divers. Naast experts uit het bedrijfsleven en de wetenschap bestond de commissie ook uit leden van stichting zoals een burgerrechtenbeweging voor moslims. Net als in Eindhoven, probeerde men dus allerlei verschillende perspectieven in de commissie te verenigen. Helaas is de commissie uiteindelijk geen succes geworden omdat niet duidelijk was welke onderwerpen onder ADS vielen en de gemeente weinig informatie over en toegang tot haar systemen gaf. Hierdoor is de commissie eigenlijk zonder noemenswaardige resultaten opgeheven. Dit zijn dus valkuilen waar de gemeente Amsterdam al bij voorbaat rekening mee kan en moet houden. Ethische toetsing is alleen mogelijk bij volledige transparantie, ook als dat betekent dat eventuele fouten aan het licht kunnen komen. Utrecht In Utrecht gebruikt met een andere manier om deze ethische toetsing uit te voeren. Hier wordt bij ieder beleidsstuk een technologieparagraaf toegevoegd.

Vergelijkbaar met de financiële paragraaf in Amsterdam, moet deze technologieparagraaf vooraf inzichtelijk maken wat de gevolgen en ethische dilemma’s van het gebruik van bepaalde technologie bij een bepaald beleid zijn.4 Deze aanpak laat duidelijk zien dat technologie, net als geld, een middel is dat in alle afdelingen van de gemeente een rol kan spelen. Daarom lijkt het de indieners niet meer dan logisch dat bij elk stuk beleid ook in kaart wordt gebracht welke technologie hiervoor gebruikt gaat worden en wat de impact en risico’s daarvan zijn. Het nadeel van de aanpak van Utrecht is daarentegen dat deze paragraaf slechts voor- en achteraf wordt beoordeeld terwijl zich bij de inzet van digitale technieken vaak gedurende het onderzoek of gebruik al ethische dilemma’s voordoen. Bovendien stimuleert een eenmalige toetsing vooraf middels een technologieparagraaf niet een reflectieve houding van de ambtenaren zelf die de technologie uiteindelijk inzetten. Waar dit voorstel toe oproept Dit voorstel probeert de positieve punten van de bovengenoemde voorbeelden te combineren tot een aanpak die garandeert dat de menselijke waarden ook in toekomstige digitale technologieën gewaarborgd blijven.

Gezien vorenstaande leggen wij de raad graag de volgende besluiten voor: Het college van burgemeester en wethouders te verzoeken: - Onderzoek te doen naar de verschillende manieren waarop brede ethische toetsing van technologische toepassingen geïnitieerd door de gemeente kan worden gewaarborgd in de gemeentelijke organisatie. En daarbij in ieder geval de volgende opties te onderzoeken:

4

Dit is ook een van de aanbevelingen uit het Rathenau Instituut rapport (2020). Raad weten met digitalisering – Hoe de gemeenteraad

kan sturen op de maatschappelijke impact van digitale technologie (auteurs: Das D., P. Faasse, B. Karstens en P. Diederen)

Gemeente Amsterdam

Datun 14 april 2021 Pagina 7 van 7

1.

-

Een nieuw op te richten ethische toetsingscommissie (binnen de gemeentelijke organisatie of juist op enige afstand van de gemeentelijke organisatie); 2. Een herformulering van het takenpakket van de CPA waarbij het beeld op de stad centraler komt te staan; 3. Een Databond die bestaat uit een vaste groep experts en een wisselende groep gelote burgers en gemeentelijke medewerkers; 4. Een verplichte technologieparagraaf (eventueel als pilot) bij beleidsstukken die de raad toekomen; Op basis van bovenstaand onderzoek een voorstel aan de raad voor te leggen, waarbij ten minste de volgende aspecten meegenomen worden: 1. Openbare monitoring en toetsing van bestaande en nieuwe technologische toepassingen op alle beleidsterreinen van de gemeente; 2. Ruimte om te experimenteren met nieuwe technologieën; 3. Het meenemen van ervaringen en perspectieven van zowel Amsterdammers als experts uit verschillende sectoren met verschillende leeftijden, genders en achtergronden;