Bijlage 1 Evaluatie Pilot ChatAmsterdam.pdf

Evaluatie pilot ChatAmsterdam Aan Van

Commissie FKD Marleen Rodenburg, Platform Product Manager Data & AI i-afdeling Dienstontwikkeling en Platformen

Datum

Vrijdag 6 juni 2025

Inleiding ChatAmsterdam is een generatieve AI assistent ontwikkeld binnen de gemeente Amsterdam. Door de assistent zelf te ontwikkelen hebben we meer controle op privacy en veiligheid. We bepalen zelf welke gegevens worden verwerkt en de ingevoerde data blijft van ons. Met deze assistent willen we leren hoe AI ons kan helpen bij onze werkzaamheden, en het verantwoord gebruik van AI stimuleren, om zo de AI geletterdheid in de organisatie te bevorderen. Afgelopen maanden hebben we uitgebreid onderzoek gedaan naar het gebruik van generatieve AI binnen de gemeente, door middel van ChatAmsterdam. In dit stuk delen wij graag informatie over het onderzoek en de bevindingen. Het doel: onderbouwen waarom ChatAmsterdam een waardevolle en veilige AI-chatbot applicatie is, in lijn met de waarden en het beleid van de gemeente.

Enkele definities voorafgaand ◼ Generatieve AI (GenAI): een vorm van AI die nieuwe inhoud kan genereren zoals tekst, afbeeldingen of muziek op basis van de wensen van de gebruiker. ◼ Verschil GenAI en AI: GenAI is specifiek gericht op het creëren van nieuwe inhoud, terwijl AI breder is en ook andere taken zoals analyses en voorspellingen omvat. ◼ AI-geletterdheid: het vermogen om de werking, impact en ethische aspecten van kunstmatige intelligentie te begrijpen en er kritisch mee om te kunnen gaan. ◼ Prompt: de tekstinvoer van de gebruiker om een reactie van een GenAI-systeem te genereren. ◼ Chat: de interactieve communicatie tussen een gebruiker en een GenAI-systeem die bestaat uit meerdere prompts en reacties in éénzelfde context. ◼ Large Language Model (LLM): een type GenAI dat getraind is op grote hoeveelheden tekst om menselijke taal te begrijpen (door naar de context te kijken) en te genereren.

Gemeente Amsterdam

Datum 06-06-2025 Pagina 2 van 5

Waarom ChatAmsterdam ChatAmsterdam is ontwikkeld om te voldoen aan de specifieke behoeften en waarden van de stad, met een sterke focus op veiligheid, transparantie en controle. Het biedt een veilige omgeving, waarbij de volgende aspecten voorop staan: eigenaarschap van de data en veiligheidsmaatregelen om gevoelige gegevens en privacy te beschermen. We borgen in de applicatie de transparantie van de gegevensverwerking, het algoritmegebruik en de beslissingsprocessen. Door de Tada-waarden te volgen, is deze technologie niet alleen functioneel, maar ook zoveel mogelijk ethisch verantwoord en toekomstbestendig. Door zelf technologie agnostisch te ontwikkelen en te beheren, kan Amsterdam de controle behouden over hoe AI wordt ingezet, zonder te worden beïnvloed door de belangen van Big Tech of (geo)politieke verschuivingen. ChatAmsterdam biedt de flexibiliteit om verschillende (Europese) modellen te gebruiken die passen bij de behoeften en waarden van de stad. Hiermee is ChatAmsterdam een stap richting digitale autonomie. We introduceren ChatAmsterdam als een alternatief voor ChatGPT, speciaal gericht op ambtenaren die nog niet zo bekend zijn met AI-assistenten. Deze tool ondersteunt de bredere implementatie van AI binnen onze organisatie.

ChatAmsterdam wordt verder ontwikkeld op basis van de behoeften van de organisatie, zoals het koppelen van specifieke databronnen of het verwerken grote hoeveelheden documenten. Verder werken we samen met P&O om de AI-geletterdheid binnen de organisatie te bevorderen, een verplichting volgens de AI-verordening. Samen kijken we op welke manier we AI educatie kunnen integreren in ChatAmsterdam en hoe we middels ChatAmsterdam op een veilige manier kunnen leren met AI om te gaan.

Waarom Onderzoek We willen onderzoeken hoe AI kan worden ingezet om de kwaliteit van werk te verbeteren zonder de menselijke maat te verliezen. Door dit onderzoek hebben we een praktische manier om te ontdekken wat werkt en wat niet, en om de technologie aan te passen aan de specifieke behoeften van de gebruiker. Leren en reflecteren zijn hierbij essentieel, zodat we proactief ontdekken wat de mogelijkheden zijn, maar ook waar we nog uitdagingen tegenkomen. Met de bevindingen zorgen we ervoor dat de technologie op een verantwoorde en mensgerichte manier wordt ingezet. De onderzoeksvraag: Welke waarde brengt GenAI voor de Gemeente Amsterdam, welke risico's zijn er en hoe kunnen deze gemitigeerd worden? Goed om te weten ◼ De verzamelde en geanalyseerde data van het onderzoek is niet te herleiden naar de onderzoeksdeelnemers, blijft binnen onze organisatie en wordt niet gebruikt om het model te trainen. ◼ Stadsarchief duidt de onderzoeksgegevens van dit project aan als historisch/cultureel erfgoed. Daarom worden ze (ontdaan van persoonsgegevens) voor eeuwig bewaard.

Opzet & Methode Onderzoek 840 collega’s hebben meegedaan aan dit onderzoek van 1 november 2024 tot 1 mei 2025. In deze

Gemeente Amsterdam

Datum 06-06-2025 Pagina 3 van 5

periode zijn meer dan 25.000 prompts en 7.000 chats verzameld (kwantitatieve data) en 3 enquêtes verstuurd (kwalitatieve data).

Voorlopige Resultaten Waarde voor de gebruiker Om de waarde voor de gebruiker inzichtelijk te maken, hebben we onderzocht waar ze ChatAmsterdam het meest voor hebben ingezet en gerichte vragen gesteld in de enquêtes. Uit de promptanalyse komen de volgende gebruikersdoelen naar voren: 1 Tekstverwerking (opstellen, samenvatten en vertalen) – 47% 2 Informatie vergaren (voornamelijk interne informatie) – 18% 3 Overige (creatieve ideeën, data-analyse) – 35% De enquêtes hebben ons onderstaande inzichten gegeven over de toegevoegde waarde van ChatAmsterdam voor de deelnemers: a Dagelijks/wekelijks gebruik: 55% van de deelnemers b Hulp om werkzaamheden beter en sneller uit te voeren: respectievelijk 53% en 57% c Waardevol dat de applicatie de privacy en security risico's van de gemeente kan waarborgen: 70% van de deelnemers Verder komen hier twee kansen naar boven als voordeel van ChatAmsterdam: 45% ziet de mogelijkheid om interne kennisbronnen aan te sluiten op de applicatie als voordeel, en 43% geeft als voordeel aan dat de functionaliteit van de applicatie afgestemd kan worden op de wensen en behoeften van de gemeente.

Waarde voor de gemeente Naast de waarde van ChatAmsterdam voor de gebruikers, hebben we ook gekeken op welke manier het waardevol kan zijn voor de gemeente. Het onderzoek geeft bevestiging op de argumenten benoemd onder ‘Waarom ChatAmsterdam’. ChatAmsterdam biedt namelijk eigenaarschap van de data, transparantie van het proces, controle en grip op de dataverwerking en mitigerende maatregelen. 1 Data-eigenaarschap De prompts en bijbehorende antwoorden blijven binnen de gemeentelijke cloudomgeving. De data wordt niet gedeeld met de aanbieder van het model, wat wel wordt gedaan met de commerciële AI-chatbots. Ook wordt de data conform privacy-, security- en informatiebeheerrichtlijnen voor een specifieke tijd veilig en encrypted opgeslagen en vervolgens vernietigd. 2 Procestransparantie Met het huidige model (GPT 4o) hebben we geen inzicht in de data en manier waarop het getraind is. Wel biedt de opzet van ChatAmsterdam de mogelijkheid om andere LLMs te gebruiken, die hier transparant over zijn en aansluiten op de normen en waarden van de gemeente. Momenteel onderzoeken we verschillende modellen om hier een advies over te vormen. 3 Controle op dataverwerking De data opgehaald in de pilot wordt alleen rechtmatig verwerkt. De verwerking is tweeledig: de data die de gebruiker invoert/verwerkt en de data die wij verwerken om de applicatie te kunnen

Gemeente Amsterdam

Datum 06-06-2025 Pagina 4 van 5

gebruiken. Concreet houdt dat in dat de ingevoerde data in de prompts alleen gebruikt wordt door ChatAmsterdam om een antwoord te genereren en niet om het model verder te trainen. De verwerking van de persoonsgegevens van de gebruiker dient het gebruik en privacy van de applicatie: de gebruikers loggen in met hun @amsterdam.nl account, dat gekoppeld wordt aan hun chats. Op deze manier hebben ze alleen toegang tot hun eigen chats, zonder de data van andere gebruikers te kunnen inzien.

Risico’s & Maatregelen Deel van het onderzoek is ook het identificeren van de risico’s en mitigerende maatregelen definiëren. Het grootste risico dat naar voren is gekomen, is het invoeren van gevoelige informatie in de prompts door de ambtenaren. Ook de betrouwbaarheid van de antwoorden is een risico – de gebruiker kan er niet vanuit gaan dat de antwoorden van ChatAmsterdam 100% betrouwbaar zijn en blind overnemen in diens werk. Het mitigeren van deze beide risico’s is vergelijkbaar en tweeledig: door de gebruiker te informeren en opleiden, en door technische maatregelen te nemen. De gebruiker informeren en opleiden is onderdeel van de AI-geletterdheid van de organisatie verhogen. Dit doen we in ChatAmsterdam aan de hand van heldere gebruikersvoorwaarden, privacy verklaring en een gebruikersinstructie. De waarschuwing ‘ChatAmsterdam is een AIsysteem, en kan dus fouten maken. Controleer altijd de antwoorden.’ volgens het human-in-the-loop principe van de AI Visie, is te allen tijde zichtbaar in beeld. Daarnaast nauwe samenwerking tussen het team van ChatAmsterdam en het P&O team dat zich focust op de AI-geletterdheid van de organisatie. Samen kijken we op welke manier we de AI-educatie kunnen integreren in ChatAmsterdam en andersom.

Er is nu een algemene e-learning beschikbaar over het gebruik van AI, evenals een specifieke e-learning die is ontwikkeld voor het gebruik van ChatAmsterdam. De technische maatregelen zijn de pop-ups die naar boven komen als gevoelige informatie gesignaleerd wordt. Deze worden getriggerd door onze zelf-ontwikkelde filters, die aan de hand van het onderzoek en in samenwerking met de Privacy Officer aangescherpt zijn voor de livegang. Concreet betekent dit dat de gebruikers specifieke waarschuwingen krijgen als ze data invoeren die niet conform het beleid is. Denk hierbij aan (bijzondere) persoonsgegevens of andere gevoelige informatie. Deze waarschuwingen in de vorm van pop-ups binnen de applicatie dragen ook bij aan de bewustwording en educatie van de ambtenaren over het gebruik van GenAI. Bovendien kunnen we deze filters volledig “personaliseren” voor de gemeente. Dit kan klein zijn (persoonsgegevens), maar we kunnen dit zo groot als gewenst maken, door bijvoorbeeld de applicatie te instrueren rekening te houden met de ambtseed in de formulering van de antwoorden. Ook zijn we verschillende oplossingen aan het onderzoeken (nu nog in ontwikkelingsfase) die bijdragen aan het automatisch pseudonimiseren van persoonsgegevens. Tot slot, kan er gesteld worden dat ChatAmsterdam een mitigerende maatregel an sich is.

ChatAmsterdam is een veilig alternatief, volledig ontwikkeld binnen de kaders van de gemeente en centraal beheerd. Het is niet alleen ontwikkeld volgens het privacy-, security- en

Gemeente Amsterdam

Datum 06-06-2025 Pagina 5 van 5

informatiebeheerbeleid en de Amsterdamse ethische principes, maar het biedt ook grip, eigenaarschap en controle op onze data en dataverwerking. Met perspectief op digitale autonomie.