Raadsbesluit 2022-031 Instemmen met het gewijzigde initiatiefvoorstel Grip op technologie

Besluitnummer 2022-031

Gemeente X Amsterdam

Gemeenteraad

x

Raadsbesluit Jaar

2022

Vergaderdatum

16 februari 2022

Agendapunt

16

Voordrachtnummer

VN2021-015316

Onderwerp Instemmen met het gewijzigde initiatiefvoorstel 'Grip op technologie: een digitale gemeente met menselijke waarden' van de leden IJmker, Blom, Bosman, Biemond en N.T. Bakker en kennisnemen van de bestuurlijke reactie op het oorspronkelijke initiatiefvoorstel De gemeenteraad van Amsterdam besluit

gezien het gewijzigde initiatiefvoorstel van de leden E.C. IJmker, S.R.H. Blom, A.M. Bosman, H.J.T. Biemond en N.T. Bakker van 3 februari 2022, getiteld: 'Grip op technologie: een digitale gemeente met menselijke waarden'; mede gezien de bestuurlijke reactie op het oorspronkelijke initiatiefvoorstel en de behandeling in de raadscommissie voor Kunst, Diversiteit en Democratisering (KDD); gelet op artikel 147a, eerste lid van de Gemeentewet; 1

in te stemmen met genoemd initiatiefvoorstel;

2

het college van burgemeester en wethouders te verzoeken: te evalueren in hoeverre er op dit moment voldoende maatregelen zijn voor het waarborgen van brede ethische toetsing van technologische toepassingen in de gehele gemeentelijke organisatie die ook daadwerkelijk worden toegepast; op basis van bovenstaande evaluatie een voorstel aan de raad voor te leggen, waarbij ten minste de volgende aspecten meegenomen worden: a. openbare monitoring en toetsing van bestaande en nieuwe technologische toepassingen op alle beleidsterreinen van de gemeente; b. mogelijkheden om zowel vooraf als achteraf technologische toepassingen te toetsen aan de hand van ethische kaders; c. het structureel meenemen van ervaringen en perspectieven van zowel Amsterdammers als experts uit verschillende sectoren met verschillende leeftijden, genders en achtergronden; d.ruimte om te experimenteren met verantwoorde technologieen;

Besluitnummer 2022-031

X Gemeente x Amsterdam

Gemeenteraad

X Raadsbesluit

3

kennis to nemen van de bestuurlijke reactie op het oorspronkelijke initiatiefvoorstel.

Aldus besloten door de gemeenteraad bij schriftelijke stemming op 28 februari 2022. De plaatsvervangend voorzitter

de Fockert

De raads• iffier

en Houtman

Besluitnummer 2022-031

X Gemeente X Amsterdam X

Gemeenteraad

Raadsbesluit Initiatiefvoorstel Inleiding De digitalisering van onze stad is een onomkeerbaar proces. Steeds meer diensten verlopen digitaal, slimme camera's in de stad houden in de gaten of bepaalde voertuigen tegen de regels in milieuzones binnenrijden en binnenkort kunnen data gedreven technologieen voorspellen waar in Amsterdam nog parkeerruimte is. Al dit soort technologieen bieden grote kansen. Ze kunnen bijdragen aan de leefbaarheid, duurzaamheid en veiligheid van de stad. Zelfs in de socialere sectoren zoals zorg en onderwijs hebben datagedreven technologieen potentie. Zo heeft men in London succesvol voorspellende algoritmen gebruikt om kwetsbare groepen kinderen en jongeren in kaart te brengen om zo te voorkomen dat zij in de criminaliteit belandenl. Er kleven echter ook grote risico's aan het inzetten van slimme technologieen, vooral als persoonsgegevens betrokken zijn. Een schrijnend voorbeeld hiervan deed zich voor bij de Belastingdienst, die ouders met een tweede nationaliteit strenger controleerde dan andere burgers. Dit etnisch profileren gaat niet alleen in tegen artikel i van de grondwet maar werkt ook ongelijkheid in de hand. Dit voorbeeld laat zien dat het ongebonden gebruik van technologie de menselijke waarden van onze democratische rechtstaat in gevaar kan brengen. Ethische toetsing van technologie is dus nodig.

Wordt de privacy van personen gewaarborgd? Hoe nauwkeurig en representatief is de data die gebruikt wordt? Welke vooroordelen zitten er verscholen in het algoritme en werken die niet juist ongelijkheid en stigmatisering in de hand? Bij alle onderzoeken en diensten die gebruik maken van data en slimme algoritmen is dit soort vragen van groot belang om ongewenste gevolgen te voorkomen. Niet alleen aan het begin of eind van een project, maar continu. Bovendien moet het stellen van deze vragen en het maken van de ethische afwegingen niet voorbehouden zijn aan een persoon of instantie. Alle betrokkenen dienen zich ervan bewust te zijn dat technologie alleen kan bijdragen aan onze levenskwaliteit als zij op een verantwoorde, transparante en democratische manier wordt ingezet. Digitalisering is onomkeerbaar, maar niet oncontroleerbaar. De indieners van dit voorstel willen dat deze digitalisering zich ontwikkelt volgens menselijke waarden en normen. Zo moet technologie onze vrijheid en autonomie vergroten, vrij zijn van discriminatie en voor alle betrokkenen transparant zijn. Bovendien moet ieders privacy zo veel mogelijk gewaarborgd worden en mogen datagedreven technieken ongelijkheid in de samenleving niet vergroten. Sterker nog, technologie kan juist gebruikt worden om ongelijkheid te verkleinen. Onze menselijke waarden moeten de leiband leggen aan de technologie, niet andersom.

De overheid, en dus de gemeente, speelt hier een cruciale rol in. Zij kan met wetgeving, protocollen en door zelf het goede voorbeeld te geven de kaders stellen waarbinnen digitalisering zich verder kan ontwikkelen. Met dit voorstel willen de indieners het college oproepen om de ethische toetsing van technologische toepassingen structureel te borgen in de organisatie. Dit helpt om ook andere afdelingen dan de ICT-afdeling bewuster te maken van de impact van technologie.

https://www.hillingdon.gov.uk/article/2o68/Hillingdon-Council-wins-top-award-for-childrens-services

Besluitnummer 2022-031

X Gemeente X Amsterdam

Gemeenteraad

X Raadsbesluit Huidige stand van zaken In het coalitieakkoord is afgesproken om het 'tada, duidelijk over data'-manifest te implementeren. Dit manifest biedt een handleiding om bewust om te gaan met de mogelijkheden en bedreigingen van digitale technologieen, voor het beschermen van burgerrechten en voor eerlijke toegang tot, en het eerlijk verdelen van de opbrengsten van digitale technologieen. De Agenda Digitale Stad is hier een uitwerking van. In deze agenda worden goede stappen gezet richting een gemeentelijke organisatie die op een ethische manier omgaat met technologie en haar data. Zo is er bijvoorbeeld het recentelijk gelanceerde Algoritmeregister. Dit unieke register houdt bij welke algoritmen betrokken zijn in besluitvorming die Amsterdammers aangaat. Deze ontwikkelingen juichen de indieners toe. Binnen de gemeente Amsterdam zijn er ook al verschillende organen en protocollen om het gebruik van technologie te monitoren. Een belangrijk orgaan op dit gebied is de Commissie Persoonsgegevens Amsterdam (CPA). De commissie bestaat momenteel uit negen leden inclusief een ambtelijk secretaris. De leden hebben vanuit verschillende achtergronden expertise op het gebied van recht en privacy. Zij worden voor een termijn van vier jaar door het college benoemd. Er wordt gestreefd naar een goede balans tussen jong en oud, mannen en vrouwen en overheid en bedrijfsleven.

De CPA adviseert de gemeente over haar privacybeleid en de uitvoering daarvan. Daarnaast adviseert de commissie de ambtelijke organisatie bij complexe en/of ethische kwesties rondom persoonsgegevens. Zij signaleert wat er binnen de gemeente speelt op het gebied van persoonsgegevens en brengt dit onder de aandacht van het gemeentebestuur en het management van de ambtelijke organisatie. De CPA heeft bijvoorbeeld de gemeente geadviseerd over het gebruik van persoonsgegevens bij een algoritme dat wordt gebruikt om illegale vakantieverhuur tegen te gaan. Daarnaast heeft de gemeente sinds de invoering van de Algemene Verordening Gegevensbescherming (AVG) een functionaris gegevensbescherming benoemd en meerdere privacy officers aangesteld. De Functionaris gegevensbescherming ziet toe op de naleving door de gemeente van de AVG en andere privacy wetgeving en het Stedelijk kader verwerken persoonsgegevens door de gemeente Amsterdam. De privacy officers adviseren de gemeente zodat de gebruikte technologieen privacy waarborgen en misbruik worden voorkomen. Met de komst van de Functionaris gegevensbescherming heeft de CPA geen toezichthoudende rol meer. Een ander gemeentelijk orgaan dat zich met de digitale infrastructuur van de gemeente bezighoudt is Auditdienst ACAM.

Hoewel ACAM zich ook bezighoudt met bijvoorbeeld de financiele zaken van de gemeente, kan zij ingehuurd worden om ook de IT-diensten van de gemeente grondig te onderzoeken. Daarnaast heeft ACAM in samenwerking met KPMG een toetsingskader voor algoritmes ontwikkeld. Het eerste concept hiervan is inmiddels klaar en al getest op een algoritme. De bedoeling is dat dit kader in de toekomst op alle algoritmes wordt toegepast om ethische vraagstukken te identificeren. Ook worden er diverse zelfassessments gebruikt bij de ontwikkeling van technologieen, zoals een kunstmatige intelligentie impact assessment, Data Protection Impact Assesment (een verplichting vanuit de AVG), een BIV-classificatie en een risico-inventarisatie. Ten slotte is er nog het Gemeentelijk Meldpunt Ketenfouten. Het is niet te voorkomen dat in de vele geautomatiseerde systemen wel eens een fout zit. Dit kan echter grote gevolgen hebben voor burgers. Zeker als het ketenfouten betreft. Er is sprake van een ketenfout wanneer een fout in het

Besluitnummer 2022-031

X Gemeente X Amsterdam

Gemeenteraad

X Raadsbesluit ene systeem doorsijpelt in andere systemen. Hoewel het bijna onmogelijk is om dit soort fouten te voorkomen, is het belangrijk dat ze wel snel hersteld worden. Daarvoor is het Gemeentelijk Meldpunt Ketenfouten ingericht. Dit is een meldpunt voor ambtenaren waar verschillende (gemeentelijke) organisaties samenwerken aan een integrale afhandeling van ketenfouten in de basisregistraties (denk bijvoorbeeld aan de BRP) die ver doorwerken binnen de overheid. Al deze organen en diensten controleren op verschillende manieren de digitale systemen waar de gemeente gebruik van maakt. Toch vragen de indieners zich of of het huidige beleid rondom de inzet van digitale systemen en algoritmen voldoende is. Recent is het takenpakket van de CPA uitgebreid, waarbij de CPA nu ook adviseert op de toepassing van algoritmen, data-ethiek, digitale (mensen-)rechten en de openbaarmaking van persoonsgegevens. Deze bredere toetsing juichen wij toe, maar deze nieuwe rol vraagt tegelijkertijd wel om een stevigere informatiepositie van de CPA zodat zij deze rol ook goed kan spelen. Ten tweede is de controle van digitale systemen en algoritmen nu hoofdzakelijk ondergebracht bij de afdeling CIO. Op veel anderen afdelingen wordt echter ook gebruik gemaakt van technologie.

De indieners vinden dat ook op deze afdelingen ambtenaren de maatschappelijke impact van technologie moeten meenemen in beleidsafwegingen. Aangezien technologie een middel is dat in alle afdelingen gebruikt wordt, zou de ethische toetsing ervan ook in alle gemeentelijke organisaties ingebed moeten zijn. Het is in die zin vergelijkbaar met dat andere middel dat op alle afdelingen gebruikt wordt: geld. Het gebruik hiervan wordt ook in alle afdelingen in de gaten gehouden middels een financiele paragraaf in de beleidsstukken. En ondanks de coordinerende portefeuille Financien worden in elke raadscommissie financiele aspecten van te maken beleid besproken. lets dergelijks zou volgens de indieners ook moeten gelden voor technologie. Ten derde is het belangrijk om structureel de ervaringen en kennis van Amsterdammers en externe experts te betrekken bij het ontwikkelen en toetsen van deze diverse toepassingen. Best practices Verschillende Nederlandse en buitenlandse steden zijn ook druk bezig met de ethische toetsing van gemeentelijk technologiebeleid. Uit hun initiatieven kunnen zowel inspiratie als leerpunten worden gehaald. Daarom volgt een behandeling van een aantal van deze initiatieven. Enschede Enschede is begonnen met het oprichten van een ethische commissie die haar moet adviseren op het gebied van data en ICT.

De commissie zal bestaan uit Brie tot vijf leden die onafhankelijk zijn van het gemeentelijk bestuur. Zij zullen uit verschillende sectoren komen en moeten met elkaar expertise beschikken over de thema's "Ethiek en Filosofie, Techniek en computers (inclusief Kunstmatige Intelligentie), Maatschappij en Inwoners en Juridisch". Ook kunnen eenmalig andere experts aansluiten om advies te geven. De commissie geeft enkel advies als de wethouder daarom vraagt. Dit advies kan het gemeentebestuur vervolgens meenemen in de besluitvorming. Deze commissie zal dus in zekere zin lijken op de nieuwe invullen van het takenpakket van de CPA, waarbij naast dilemma's over persoonsgegevens de commissie zich ook zal buigen over andere ethische kwesties rondom data en ICT.

Besluitnummer 2022-031

X Gemeente X Amsterdam

Gemeenteraad

X Raadsbesluit Eindhoven Een initiatiefvoorstel van GroenLinks in Eindhoven2 stelde voor om een Databond op te richten, die moet bestaan uit een vaste groep experts en een dynamische groep burgers en medewerkers. Het idee is dat de groep experts bestaat uit mensen met een verschillende professionele achtergrond zoals een ethiekfilosoof, een datawetenschapper, een antropoloog, een ontwerper en een jurist. De dynamische schil om die groep experts heen moet dan bestaan uit een wisselende groep burgers en medewerkers. De Databond heeft als task om de menselijke en publieke waarden te waarborgen in elk project waar technologie gebruikt zal worden en om technologisch burgerschap te stimuleren. De aanwezigheid van burgers en medewerkers is een groot voordeel van dit idee omdat het zorgt voor technologisch bewustzijn, meer vertrouwen en acceptatie van nieuwe technologieen en meer draagvlak voor het toepassen ervan. New York Eenzelfde soort commissie is ook al eens opgericht in New York City. Deze Automated Decision Systems (ADS) Task Force had als doel om de impact van het gebruik van AI van de overheid te analyseren. Alles van voorspellingsalgoritmes tot aan geautomatiseerde systemen voor afval ophalen moest onderzocht worden. De samenstelling van de commissie was divers.

Naast experts uit het bedrijfsleven en de wetenschap bestond de commissie ook uit leden van stichting zoals een burgerrechtenbeweging voor moslims. Net als in Eindhoven, probeerde men dus allerlei verschillende perspectieven in de commissie te verenigen. Helaas is de commissie uiteindelijk geen succes geworden omdat niet duidelijk was welke onderwerpen onder ADS vielen en de gemeente weinig informatie over en toegang tot haar systemen gaf. Hierdoor is de commissie eigenlijk zonder noemenswaardige resultaten opgeheven. Dit zijn dus valkuilen waar de gemeente Amsterdam al bij voorbaat rekening mee kan en moet houden. Ethische toetsing is alleen mogelijk bij volledige transparantie en goede informatievoorziening, ook als dat betekent dat eventuele fouten aan het licht kunnen komen. Utrecht In Utrecht gebruikt men een andere manier om deze ethische toetsing uit te voeren. Hier wordt bij ieder beleidsstuk een technologieparagraaf toegevoegd. Vergelijkbaar met de financiele paragraaf in Amsterdam, moet deze technologieparagraaf vooraf inzichtelijk maken wat de gevolgen en ethische dilemma's van het gebruik van bepaalde technologie bij een bepaald beleid zijn3. Deze aanpak laat duidelijk zien dat technologie, net als geld, een middel is dat in alle afdelingen van de gemeente een rol kan spelen.

Daarom lijkt het de indieners niet meer dan logisch dat bij elk stuk beleid ook in kaart wordt gebracht welke technologie hiervoor gebruikt gaat worden en wat de impact en risico's daarvan zijn. Het nadeel van de aanpak van Utrecht is daarentegen dat deze paragraaf slechts voor- en achteraf wordt beoordeeld terwijl zich bij de inzet van digitale technieken vaak gedurende het onderzoek of gebruik al ethische dilemma's voordoen. Bovendien stimuleert een eenmalige toetsing vooraf middels een technologieparagraaf niet een reflectieve houding van de ambtenaren zelf die de technologie uiteindelijk inzetten. Waar dit voorstel toe oproept

https://eindhoven.parlaeus.ril/user/showdociaction=view/id=5oo3/Van labratten naar gesoreksoartners Bijdrage GroenLinks CN digitalisering in de stad.pdf 3 Dit is ook een van de aanbevelingen uit het Rathenau Instituut rapport (2020). Raad weten met digitalisering —

Hoe de gemeenteraad kan sturen op de maatschappelijke impact van digitale technologie (auteurs: Das D., P. Faasse, B. Karstens en P. Diederen)

Besluitnummer 2022-031

X Gemeente X Amsterdam

Gemeenteraad

X Raadsbesluit Dit voorstel probeert de positieve punten van de bovengenoemde voorbeelden te combineren tot een aanpak die garandeert dat de menselijke waarden ook in toekomstige digitale technologieen gewaarborgd blijven. Gezien vorenstaande leggen wij de raad graag de volgende besluiten voor:

het college van burgemeester en wethouders te verzoeken: -

te evalueren in hoeverre er op dit moment voldoende maatregelen zijn voor het waarborgen van brede ethische toetsing van technologische toepassingen in de gehele gemeentelijke organisatie die ook daadwerkelijk worden toegepast;

-

op basis van bovenstaande evaluatie een voorstel aan de raad voor te leggen, waarbij ten minste de volgende aspecten meegenomen worden: a. openbare monitoring en toetsing van bestaande en nieuwe technologische toepassingen op alle beleidsterreinen van de gemeente; b. mogelijkheden om zowel vooraf als achteraf technologische toepassingen te toetsen aan de hand van ethische kaders; c. het structureel meenemen van ervaringen en perspectieven van zowel Amsterdammers als experts uit verschillende sectoren met verschillende leeftijden, genders en achtergronden; d.ruimte om te experimenteren met verantwoorde technologieen;