Definitief verslag 23 05 2024
Tekst van het document
De wethouder schetst vervolgens de loop der ontwikkelingen vanaf 2020 en beschouwt hierbij 2023 als een uitzonderlijk jaar, waarin gerealiseerde toekenning aan het einde van het jaar werd verrekend. In het voorstel dat de wethouder binnenkort gaat voorleggen aan de raad zal er sprake zijn van een nieuw model en zal er meer recht worden gedaan aan ongelijk investeren voor gelijke kansen. De wethouder verwijst naar het BOA dat al samenwerkt met studenten van het mbocollege Noord en het Mediacollege. Hij zal onderzoeken of dit nog verder in de buurtmedia
19
Gemeente Amsterdam Raadscommissie Financiën, Kunst en Diversiteit. Definitief raadscommissieverslag, 23 mei 2024
FKD
uitgewerkt kan worden. Hij wil er echter voor waken dat er teveel criteria worden gekoppeld aan het lage budget voor de buurtmedia. De VOORZITTER stelt vast dat het onderwerp voor nu voldoende is besproken. ICT en Digitale Stad 8. Kennisnemen van het Plan van Aanpak Algoritmen (VN2024-006029) Gevoegd behandeld met 9. Kennisnemen van de raadsinformatiebrief over ingekochte algoritmes (VN2024006032) De VOORZITTER leidt de agendapunten in en deelt mee dat deze punten zijn geagendeerd door de leden IJmker (GL), Garmy (Volt) en Belkasmi (PvdA). Lid IJMKER geeft aan dat er lessen getrokken kunnen worden uit de pilot van Slimme Check die in de vorige cyclus bij de commissie SED is besproken, dat eveneens ging over de toepassing van een hoog-risico algoritme. De conclusie die lid IJmker heeft is dat zelfs als alles goed wordt doorlopen, er alsnog ongewenste uitkomsten kunnen voorkomen. Zij vraagt zich af hoe in een dergelijk proces de kritische feedback goed kan worden georganiseerd en hoe er kan worden bepaald wat de wenselijkheid is van een algoritme. Lid IJmker acht een meer politiek debat hierbij noodzakelijk. Ook stelt zij voor om bij hoog-risico algoritmen altijd de CPA te betrekken en te vragen om een advies. Deze commissie kan dan de ethische dilemma’s aangeven die de raad vervolgens kan bespreken om te voorkomen dat er een papieren werkelijkheid wordt opgetuigd.
Lid GARMY heeft enkele vragen en opmerkingen: − Komt er een centrale organisatie die zich bezig houdt met het uitwerken van de vele genoemde ambities in het Plan van Aanpak? − In het Plan van Aanpak staat dat elke directie een classificatie moet maken van een algoritme. Wordt hier een centrale toezichthouder voor aangesteld? − In het Plan van Aanpak staat dat hoog-risico algoritmen automatisch worden voorgelegd aan het college, voordat ze in gebruik worden genomen. Lid Garmy zou graag willen dat de raad hier meer bij betrokken is. Lid BELKASMI vraagt hoe gemeente grip kan krijgen op de algoritmen van organisaties waar zij mee samenwerkt, zodat ook deze op een verantwoorde manier worden toegepast. Verantwoorde toepassing hangt voor lid Belkasmi samen met transparantie, bijvoorbeeld door de codes online te zetten. Hij vraagt de wethouder of hij van plan is dit in het algoritmeregister toe te voegen. Net al lid Garmy vindt lid Belkasmi het zorgwekkend dat niet-deskundigen de algoritmen moeten classificeren. Hij vraagt de wethouder hierop te reflecteren. Lid LOCHTENBERG vraagt de wethouder of broncodes en voorbeeld-datasets kunnen worden gepubliceerd op algoritmeregister.amsterdam.nl. Dit komt de participatie ten goede.
Lid Lochtenberg stelt dat sommige financiële algoritmen niet worden beschouwd als hoog-risico algoritmen, terwijl deze wel kunnen leiden tot forse lastenverhoging van de burgers. Hij vraagt de wethouder dergelijke algoritmen als onderdeel van het Plan van Aanpak toe te voegen door ze alsnog als hoog-risico algoritmen te bestempelen. Wethouder SCHOLTES weerlegt het standpunt van lid IJmker dat er niets normatiefs zit in het Plan van Aanpak. Hij is van mening dat er wel sprake is van een ethische afweging. De
20
Gemeente Amsterdam Raadscommissie Financiën, Kunst en Diversiteit. Definitief raadscommissieverslag, 23 mei 2024
FKD
wethouder geeft aan dat de inzet van een algoritme altijd gebeurt om een beleidsdoelstelling te behalen. Ten aanzien van bias wil de wethouder in gesprek met de raad om vast te stellen hoever er moet worden gegaan bij het uitsluiten hiervan. Dit is tevens het advies van de rekenkamer. Bij de Slimme Check is niet vast komen te staan dat er geen sprake was van bias. De wethouder vindt het een goed voorstel om de CPA vaker te betrekken bij algoritmen. Hij zal hierover met de CPA in gesprek gaan om te achterhalen in welke vorm dit plaats moet vinden. Maar tevens is de wethouder van mening dat het goed is dat het college over algoritmen kan besluiten op advies van de rekenkamer. Ook heeft de rekenkamer geadviseerd om de raad beter te informeren over de inzet van algoritmen. Daarenboven wordt de gemeenteraad door het college in de gelegenheid gesteld om haar controlerende taak uit te voeren als er is besloten een hoog-risico algoritme te gaan gebruiken. De wethouder bevestigt dat een Centraal Algoritme Team is, dat de activiteiten centraal gaat opzetten en coördineren. Dit Team is beschikbaar om de directies te helpen bij het classificeren vooral van hoog-risico’s algoritmen. Het is echter niet mogelijk om dit team al het werk te laten doen, dus het blijft bij ondersteunen als er vraag naar is. Het is ook belangrijk dat de kennis van algoritmen in de gehele organisatie neerdaalt.
Ook de wethouder heeft de ambitie om zo transparant mogelijk te zijn en het is dan ook niet bezwaarlijk om de broncodes van de eigen algoritmen te publiceren. Voor de datasets geldt dat publicatie plaatsvindt waar het kan en als er geen sprake is van privacygevoelige informatie. Lid LOCHTENBERG valt het op dat publicatie niet altijd gebeurt. Ook vraagt hij de wethouder om van leveranciers te vragen openheid van zaken te geven over hun algoritmen. Wethouder SCHOLTES stelt dat Amsterdamse algoritmen compleet staan vermeld in het register, evenals de datasets, en hij biedt lid Lochtenberg aan om hier samen naar te kijken. Dit geldt ook voor de broncode die voor een aantal algoritmen al is gepubliceerd en hier zal een link voor komen in het register. Bij publicatie van de broncode plaatst de wethouder enkele kanttekeningen: 1. De definitie van algoritmen is ruim; 2. Het wordt alleen gedaan als dit kan binnen de geldende wet- en regelgeving 3. Voor ingekochte algoritmen geldt dat deze niet vrij beschikbaar zijn. Bij samenwerking met derden wordt er eerst gekeken of er verbetering kan plaatsvinden van bestaande algoritmen. Is dit niet mogelijk, dan wordt er gekeken wat er gedaan moet worden binnen die samenwerking. Er wordt samengewerkt op basis van contractvoorwaarden die voor nieuwe samenwerkingen sowieso gelden.
Er zijn ook samenwerkingspartners die zelf algoritmen toepassen en hier zelf over gaan. Er wordt wel geprobeerd om met deze partners op één lijn te komen bij het gebruik van algoritmen. Lid IJMKER verwijst nogmaals naar de Slimme Check en is het eens met de wethouder dat in de onderliggende stukken wel iets normatiefs staat. Echter voor haar is het de vraag hoe de kritische feedback kan worden georganiseerd. Dit komt terug in het voorstel om hierbij de CPA te betrekken. Ook heeft het haar verbaasd dat het algoritme niet werd geclassificeerd als hoog-risico algoritme en het heeft te lang geduurd voordat het aan de raad werd voorgelegd. Zij vraagt de wethouder of het proces anders was gelopen als de instrumenten die nu beschikbaar zijn ook destijds beschikbaar zouden zijn geweest. Wethouder SCHOLTES geeft aan dat er allereerst twee categorieën algoritmen waren en dit bleek te beperkt. Aan de verwachting dat er vanuit de AI-regelgeving er meer categorieën zouden kunnen worden toegevoegd is niet helemaal voldaan, maar er zijn nu drie categorieën, hoog-risico, minder hoog risico en laag-risico, plus één: onaanvaardbaar risico. In gesprekken met het Rijk wordt bekeken hoe dit verder verfijnd kan worden. Voorts is de wethouder van mening dat het kritische debat reeds is ingezet door de ethische bijsluiter en hij vindt het een goede suggestie om hierin met het CPA samen te werken.
21
Gemeente Amsterdam Raadscommissie Financiën, Kunst en Diversiteit. Definitief raadscommissieverslag, 23 mei 2024
FKD
De VOORZITTER stelt vast dat het agendapunt voldoende is besproken. Op verzoek van lid Garmy wordt dit punt geagendeerd voor de volgende raadsvergadering op 26/27 juni 2024 voor een korte bespreking. 10. Bespreken van de discussienota ‘Groeiend aantal slimme deurbellen in de stad’ van lid IJmker (GroenLinks) (VN2024-006121) Dit punt wordt doorgeschoven naar de volgende commissie vergadering op 20 juni 2024. Op verzoek van lid IJmker wordt dit punt eveneens geagendeerd voor de raadsvergadering van 26/27 juni 2024. SLUITING De VOORZITTER bedankt de aanwezigen en sluit de vergadering om 12.55 uur.
22