Raadsinformatiebrief afdoening toezeggingen ChatAmsterdam.pdf

Raadsinformatiebrief Afdoening toezegging

Aan: Datum Portefeuille(s) Portefeuillehouder(s): Behandeld door Onderwerp

De leden van de gemeenteraad van Amsterdam 18 juni 2025 ICT en Digitale Stad Alexander Scholtes Directie Data (bestuurszaken.dii@amsterdam.nl) Afdoening toezegging TA2025-000735 en TA2025-000738 inzake ChatAmsterdam uit de FKD-commissievergadering van 8 mei 2025

Geachte leden van de gemeenteraad, In uw vergadering van 8 mei 2025 heb ik, op vragen van de leden IJmker (GroenLinks) en Krom (Partij voor de Dieren), toegezegd u de evaluatie van de pilot ChatAmsterdam en het advies van de Commissie Persoonsgegevens Amsterdam (CPA) over ChatAmsterdam te verstrekken. Middels deze brief bied ik u deze stukken aan. Daarnaast informeer ik u over de voortgang van ChatAmsterdam en de opvolging van het advies van de CPA. Doel ChatAmsterdam ChatAmsterdam is een generatieve AI-assistent die de gemeente Amsterdam zelf heeft ontwikkeld om haar werknemers te ondersteunen in hun werkzaamheden met meer controle op privacy, veiligheid en dataverwerking. ChatAmsterdam dient een dubbel doel: het biedt een veilige en verantwoorde manier om AI te gebruiken én vergroot de AI-geletterdheid binnen de organisatie. Zo onderzoekt en leert de gemeente hoe AI kan worden ingezet binnen de eigen waarden en beleidskaders. Het primaire gebruikersdoel van ChatAmsterdam is om te ondersteunen bij werkzaamheden van ambtenaren door middel van geavanceerde taalverwerking. ChatAmsterdam ondersteunt bij allerlei taken: de tool helpt om teksten samen te vatten, te verbeteren of ingewikkelde documenten begrijpelijk te maken. En dit te doen op een manier waarbij ethische principes zoals privacy, inclusiviteit en transparantie leidend zijn.

De ambitie is technologie verantwoord in te zetten voor een slimmere en meer rechtvaardige stad. Evaluatierapport pilot ChatAmsterdam Voor de totstandkoming van ChatAmsterdam zijn twee pilots uitgevoerd. De eerste pilot onder 150 medewerkers liep van 26 februari 2024 tot 22 maart 2024. De tweede pilot werd gehouden onder een grotere groep van 800 medewerkers en liep van 1 november 2024 tot 1 mei 2025. Tijdens deze pilots werden meer dan 35.000 prompts en 10.000 chats verzameld. Door een combinatie van kwantitatieve gegevens (zoals prompt- en gebruiksanalyses) en kwalitatieve

Gemeente Amsterdam, raadsinformatiebrief

Datum 18 juni 2025 Pagina 2 van 3

inzichten uit enquêtes, is een representatief en betrouwbaar beeld ontstaan van het gebruik, de impact en de aandachtspunten van de applicatie. Deze aanpak maakte het mogelijk om zowel de meerwaarde als risico’s zorgvuldig in kaart te brengen. In de bijlage vindt u de bevindingen van het onderzoek terug. Op basis van de bevindingen uit de pilot is besloten om ChatAmsterdam voor alle medewerkers van de gemeente Amsterdam beschikbaar te stellen. Vanaf 6 mei 2025 kunnen medewerkers zich aanmelden en gebruik maken van de applicatie. Deze levert directe meerwaarde voor het dagelijks werk en stimuleert AI-geletterdheid binnen de organisatie. Het is daarbij een middel om medewerkers vertrouwd te maken met de werking en beperkingen van AI. In trainingen en toelichtingen wordt niet alleen uitgelegd hoe je de tool gebruikt, maar ook waarom je AI-output altijd kritisch moet beoordelen. Het biedt tegelijkertijd betere borging van privacy en de digitale veiligheid van de gemeente dan de gratis beschikbare commerciële AI-tools. ChatAmsterdam is ontwikkeld binnen gemeentelijke kaders, waardoor we zelf kunnen bepalen hoe data verwerkt wordt, wie toegang heeft, en welke informatie wordt opgeslagen of verwijderd.

In tegenstelling tot veel commerciële AI-tools wordt gebruikersinvoer niet gebruikt voor het trainen van modellen ChatAmsterdam wordt door gebruikers voornamelijk ingezet voor tekstverwerking en taken zoals het genereren van creatieve ideeën en het uitvoeren van data-analyses. Uit de enquêtes die afgenomen zijn tijdens het onderzoek blijkt dat gebruikers de applicatie als waardevol ervaren omdat het hen helpt hun werk sneller en beter uit te voeren, met oog voor privacy en veiligheid. Voor de gemeente Amsterdam biedt ChatAmsterdam belangrijke voordelen, zoals eigenaarschap van data, transparantie in processen, controle over dataverwerking en de mogelijkheid om interne kennisbronnen te koppelen. Advies vanuit de Commissie Persoonsgegevens Amsterdam Het advies van de Commissie Persoonsgegevens Amsterdam (CPA) naar aanleiding van de bespreking op 10 april 2025 is welkom ontvangen. De CPA is vanaf het begin betrokken geweest bij de ontwikkeling van ChatAmsterdam. In vier besprekingen tussen februari 2024 en februari 2025 – voorafgaand aan en tijdens de pilotfases – zijn onder andere de inzet van generatieve AI, risico’s voor persoonsgegevens en juridische grondslagen besproken. De aanbevelingen die uit deze gesprekken volgden, zijn meegenomen in de inrichting van de applicatie en de bredere beleidsontwikkeling.

Zo hebben wij naar aanleiding van deze besprekingen diverse maatregelen getroffen om de risico’s weg te nemen of te minimaliseren. Eén van de belangrijkste risico’s is dat de chatbot kan hallucineren en onjuiste antwoorden kan geven. We proberen dit zoveel mogelijk te minimaliseren door te sturen op verplichte menselijke verificatie van alle AI-output en trainingen in kritisch AIgebruik. Discriminerende output door vooroordelen in trainingsdata kan voor ongelijke behandeling van burgers zorgen. Daarnaast bestaan er privacy- en beveiligingsrisico’s. Bijvoorbeeld doordat gebruikers mogelijk persoonsgegevens invoeren in de chatbot of doordat het AI-taalmodel zelf is getraind op datasets die persoonsgegevens bevatten en deze mogelijk kan reproduceren. Deze risico’s ondervangen we door data-minimalisatie toe te passen, lokale verwerking waar mogelijk te realiseren, strikte toegangscontroles te eisen, en de gebruikersinvoer die tot reproductie van persoonsgegevens uit de trainingsdata van het taalmodel kan leiden te minimaliseren. Door het nemen van deze maatregelen proberen we de voordelen van AI-technologie te benutten terwijl publieke waarden zoals transparantie, gelijkheid en verantwoording zoveel mogelijk worden beschermd.

Een routebeschrijving vindt u op amsterdam.nl

Gemeente Amsterdam, raadsinformatiebrief

Datum 18 juni 2025 Pagina 3 van 3

Het CPA-advies is echter breder dan strikt de (pilot) ChatAmsterdam. Zo adviseert de CPA bijvoorbeeld over doelstellingen op het gebied van AI-geletterdheid, en breder de impact van AI op de kennis en vaardigheden van ambtenaren. Ook wordt geadviseerd over hoe we bepaalde focusgebieden kunnen bepalen waarop we AI zouden kunnen inzetten als gemeente. Daarom nemen we deze bredere adviezen zowel mee in de doorontwikkeling van de AI Agenda en ook de doorontwikkeling van ChatAmsterdam. AI Agenda De Amsterdamse Visie op AI is vastgesteld door het College van B&W in 2024. De waarden uit de Agenda Digitale Stad: mens centraal, betrouwbaar en toekomstbestendig zijn hierin uitgewerkt tot leidende principes voor hoe we in Amsterdam willen omgaan met AI. Dit komt terug in de AI Agenda die u voor de volgende vergadering ontvangt en uitgebreid besproken (kan) worden. We hebben u tijdens de technische sessie op 28 mei jl. meegenomen in de stand van zaken van de agenda. De organisatie volgt een lerende aanpak bij inzet van AI. We willen begrijpen wat de technologie betekent voor het leven in de stad, de aanpak van maatschappelijke domeinen en voor hoe we ons werk kunnen doen als gemeente Amsterdam.

De organisatie volgt een lerende aanpak bij de inzet van AI: we ontwikkelen toepassingen zoals ChatAmsterdam stapsgewijs, toetsen deze in de praktijk, en gebruiken de uitkomsten om beleid en techniek gericht bij te sturen. ChatAmsterdam is daar een belangrijk onderdeel van. Door het ontwikkelen en gebruiken van deze tool kunnen we als gemeente bepalen wat wel en niet werkt in de dagelijkse praktijk. Alleen door actief gebruik en toetsing blijven we als gemeente in staat om kritisch te beoordelen wat we wel en niet willen — en hoe we AI zo kunnen inzetten dat deze past bij onze publieke waarden. Ik hoop u hiermee voldoende te hebben geïnformeerd. Met vriendelijke groet, Namens het college van burgemeester en wethouders van de gemeente Amsterdam,

Alexander Scholtes Wethouder ICT en Digitale Stad

Bijlagen 1. Evaluatie pilot ChatAmsterdam 2. Advies Commissie Persoonsgegevens Amsterdam

Een routebeschrijving vindt u op amsterdam.nl