Onderbouwing bij hoofdrapport evaluatie AFIS

Er bestaat weliswaar een integrale besluitenlijst (een tabblad in een spreadsheet), maar die besluiten werden niet transparant gecommuniceerd binnen al die gremia. Ook is onduidelijk welke soorten besluiten die gremia mochten nemen en waar ze mandaat voor hadden. Veel besluiten werden in informele gremia (voor-) besproken; daarvan zijn geen verslagen. Geïnterviewden geven aan dat besluiten ter kennisname voorbijkwamen, waardoor er geen sturing meer kon plaatsvinden. ◼ Rapportages onvoldoende gericht op bijsturen. De besluitvorming bij mijlpalen was vaak conditioneel en met restpunten. De opvolging daarvan is beschreven in besluitvormingsmemo’s; maar het oplossen van restpunten gebeurt soms maanden later of zelfs na livegang. De kernteamrapportages bevatten veel details, waarin de belangrijke punten soms ondersneeuwen. Rapportages naar de stuurgroep(en) bevatten weliswaar soms oranje en rode signalen; we lezen daarbij echter vaak een ‘in control’ boodschap in deze rapportages. Er worden nauwelijks hulpvragen aan de stuurgroep voorgelegd, waardoor er geen gevoel van urgentie uit spreekt. Ook als er langere tijd over een issue wordt gerapporteerd (zoals de te lage opkomst bij opleidingen) dan leidt dat niet tot een harde escalatie.

Ook de QA-rapportages (waarin er tot november 2024 consequent op wordt gewezen dat een actuele business case en goedgekeurd programmaplan ontbraken en dat batenmanagement - een effectief instrument om de lijn meer eigenaarschap te laten nemen - niet was ingericht) riepen geen gevoel van urgentie of actie op. Houding en gedrag, groepsdynamiek. Hiernaast komt uit de gesprekken met respondenten naar voren dat ook de groepsdynamiek in en rond het programma een grote rol heeft gespeeld. Zo heeft de gewoonte om spannende zaken alleen mondeling te bespreken en niet op papier vast te leggen niet bijgedragen aan de openheid van informeren. Ook het bedekt rapporteren van problemen en risico’s zorgt voor verminderde transparantie. De gewoonte om geen zaken verplicht te stellen en elkaar niet aan te spreken op gedrag heeft geen goed gedaan in de adoptie van de veranderingen. En de houding ‘zo doen we dat hier, het komt wel goed’ heeft ervoor gezorgd dat er geen urgentiegevoel ontstond en dat F&I en het programma de problemen zelf wilden oplossen, zonder te escaleren. Deze gedragsaspecten hebben bijgedragen aan het ontstaan en niet zien aankomen van de problemen.

Uit de gesprekken komt het beeld naar voren dat de meeste betrokkenen vooral positief reflecteren op hun eigen rol en het resultaat van hun handelen, en minder reflecteren op wat er niet goed is gegaan en wat zij anders of beter hadden kunnen doen. In houding is het nemen van verantwoordelijkheid voor het geheel en de integrale opgave minder goed zichtbaar. Gevoelde tijdsdruk. Tenslotte hebben veel spelers bij de implementatie de persoonlijke drive gevoeld om nu wel door te zetten. Mede omdat de go-live datum al twee keer niet was gehaald, was verder uitstel op alle niveaus in het programma en daarbuiten een onaantrekkelijke optie. Hierdoor zijn zorgvuldigheid en

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

22/39

kwaliteit ten koste gegaan van snelheid. Dit betreft collectief ervaren druk; er was geen expliciete druk van bovenaf (noch bestuurlijk noch vanuit het GMT). Deze gevoelde druk kwam met name tot uiting tijdens het kerstreces, toen de stress op het allerlaatste moment hoog opliep. In die tijd lijkt de snelheid (PAT-testen op de laatste dag; een geforceerd Go-besluit) belangrijker dan zorgvuldigheid. 4.7 ONVOLDOENDE OOG VOOR WAT MIS KON GAAN Verwacht mocht worden dat het programma (ook) was voorbereid op de mogelijkheid dat er iets mis kon gaan. Dat was deels ook het geval: het programma heeft een ‘hypercare’ afgekondigd met extra maatregelen in de eerste periode na livegang en er zijn ‘what if’ scenario’s opgesteld om te analyseren wat er mis kon gaan na livegang. Toch bleek dit niet afdoende: Scherpte in risicobeheersing. Het risicomanagement in het programma was wel degelijk ingericht (de zogenaamde RAIDE aanpak). Er zijn lijsten met risico’s en issues en bij risico’s worden kans en nabijheid (urgentie) en impact gescoord. Daarbij worden er per risico mitigerende maatregelen aangeduid. We kwalificeren de risicobeheersing echter als weinig gestructureerd en reactief: ◼ Weinig gestructureerd. Het onderscheid tussen issues en risico’s is niet duidelijk.

Sommige risico’s (een mogelijk probleem in de toekomst dat je wilt voorkomen of beperken) zijn eigenlijk issues (een bestaand probleem dat je moet oplossen) en vice versa. We treffen geen integrale risicoanalyse aan, waarin expliciet vanuit doelen de onzekerheden in kaart zijn gebracht, met per risico een risicoreactie (vermijden, overdragen, beheersen, accepteren) en een duiding van het restrisico. De bij of na implementatie geconstateerde onderwerpen waarbij problemen zijn opgetreden komen deels aan de orde in de lijsten van risico’s en issues, maar niet op de genoemde gestructureerde wijze. ◼ Kwaliteit van de besluitvorming over risico’s. Het is duidelijk hoe besluitvorming over risico’s heeft plaatsgevonden. Dit proces is duidelijk vastgelegd en verliep via het kernteam naar de stuurgroep en is per mijlpaal gedocumenteerd. Het is echter niet duidelijk op basis van welke afwegingen over de risico’s is besloten en op basis van welke afwegingen de “Go” met restpunten, of conditionele “Go” is afgegeven. Een beschrijving van de acceptatie van eventuele restrisico’s ontbreekt in de vastlegging. Het is daarmee niet duidelijk wat de risicoreactie op elk risico is geweest, en dus welke (rest)risico’s bewust zijn geaccepteerd en door wie. ◼ Onvoldoende oog voor zorgen en signalen van directies en GMT.

Vanuit de organisatie en het GMT was er richting de go-live datum een toenemende roep om het in kaart brengen van risico’s en onzekerheden. Hier is door het programma invulling aan gegeven, maar dit kon de zorgen van het GMT niet wegnemen. Het GMT heeft hier ook niet (te laat) in doorgepakt, door voet bij stuk te houden of op de rem te trappen. Met deze onzekerheid en gevoelens van zorg is de livegang werkelijkheid geworden. Operationaliseren ‘what-if scenario’s’. Meer specifiek constateren we dat er in november 2024 een goede analyse is gemaakt van wat er mis kon gaan (what if-scenario’s). Tien van de elf risico’s in het betreffende memo zijn werkelijkheid geworden. Dit geeft aan dat het programma een, achteraf beschouwd, steekhoudend beeld had van mogelijke risico’s bij livegang. Helaas zien we dat de daarbij bedachte maatregelen onvoldoende geoperationaliseerd zijn. Ook zijn er geen procedurele maatregelen uitgewerkt, b.v. om zo nodig handmatig te gaan werken. Het memo besteedt aandacht aan communicatielijnen, maar die zijn in eerste instantie operationeel gericht (oplossen binnen team en met medewerkers). De mogelijkheid om te escaleren van implementatie- naar programmamanager en directeur F&I is geschetst. Maar wanneer er geëscaleerd moet worden, en hoe het verdergaat vanaf de directeur F&I, is niet uitgewerkt.

Het was raadzaam geweest om al op dit moment, als de scenario’s wijzen op een mogelijke crisis, gesprekken aan te gaan met experts in crisismanagement. Hun ervaring en methodieken hadden kunnen helpen om beter voorbereid een crisissituatie in te gaan.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

23/39

Detectiemaatregelen. Hiernaast constateren we dat er onvoldoende detectiemaatregelen zijn getroffen, zodat problemen in het procesverloop adequaat gedetecteerd kunnen worden. Zo is expliciet besloten om live te gaan zonder de rapportagemogelijkheden die oorspronkelijk tot de scope van AFIS behoorden. Hierdoor was het monitoren van de werkvoorraad en de verwerkingstijden in de eerste weken na livegang niet mogelijk. Ook was het onmogelijk om – in de maanden daarna – te monitoren waar facturen zich in het proces bevonden (per processtatus, zoals 417/417, 150, etc) en waar deze zich in uitvalbakken bevonden. Ook het monitoren van het systeemgebruik was bij livegang bemoeilijkt, waardoor onduidelijk was hoeveel gebruikers er echt gebruik maakten van de nieuwe functionaliteiten. Er zijn wel maatregelen getroffen om de performance te monitoren; maar die bleken in eerste instantie niet effectief. Herstelmaatregelen. Toen er problemen optraden heeft het analyseren daarvan (met name het zoeken van de root causes) relatief veel tijd gekost. Doordat er twee leveranciers betrokken waren bij AFIS, plus diverse interne afdelingen binnen Amsterdam, was het soms lastig om te bepalen bij wie het probleem zat en wie er iets moest herstellen.

Daarbij bleek de implementatiepartner op een specifiek onderdeel waar de problemen zich concentreerden - te weinig kennis en senioriteit beschikbaar te hebben en ontstond de situatie dat Amsterdam (als “kleine klant”) weinig prioriteit kreeg bij het oplossen van issues in SAP. Het programma had zich beter kunnen voorbereiden op haar regievoeringstaak in de eerste maanden na livegang en op het inregelen van voldoende kennis en capaciteit op de plekken waar iets mis kon gaan. In de raadsinformatiebrieven lezen we dat er een plan voor fallback zou zijn opgesteld: een mogelijkheid om (als het na livegang echt nodig was) terug te kunnen vallen op het werken in het oude AFS-systeem. In het dossier hebben we dat plan en een uitwerking van de daarvoor te treffen maatregelen echter niet aangetroffen. Respondenten geven aan dat een terugvaloptie na livegang niet als realistisch en uitvoerbaar is beschouwd. 4.8 SAMENVATTEND OVERZICHT VAN OORZAKEN IN RELATIE TOT DE PROBLEMEN Onderstaande tabel bevat een samenvatting van de analyses en beschouwingen in dit hoofdstuk. Het vormt een andere weergave – met iets meer detail – van het fishbone diagram. Problemen ná livegang

Hoe heeft dit kunnen gebeuren: oorzaken van de problemen voorafgaand aan de livegang

1. Technische gebreken bij de start

◼ ◼

2. Gegevenskwaliteit was niet op orde

◼ ◼

3. Medewerkers onvoldoende voorbereid

◼ ◼

4. Gebrekkige aansluiting werkprocessen en AFIS

◼ ◼ ◼

5. Onderschatting impact van de verandering

◼ ◼

Kwaliteit van testen: onvoldoende representatieve testdata, beperkte testen van foutsituaties, weinig tijd voor PAT, geen performancetesten Regressietest late wijzigingen: AFIS is doorontwikkeld tijdens de testfase, eerder goedgekeurde functionaliteit kan hierdoor onderuit gehaald zijn, geen complete regressietest Aanleveren stamgegevens: oude (i.p.v. geüniformeerde) rekeningschema’s en mandateringsregelingen, incorrecte autorisaties van gebruikers, onjuiste Btw- en KvK gegevens. Opschonen transactiegegevens: ondanks verlengde freeze zijn half-verwerkte facturen niet opgeschoond, waardoor ze na laden in uitvalbakjes van AFIS belandden.

Effectiviteit opleidingen en begeleiding: onvoldoende aansluiting bij behoeften, werkinstructies laat, onvolledig en niet courant, communicatie niet tijdig en niet doelgroepgericht Veranderbereidheid: onvoldoende deelname opleidingen, onvoldoende beschikbare interne capaciteit, onvoldoende sturing op adoptie van de verandering en onvoldoende draagvlak Praktijkgerichtheid acceptatietesten: onvoldoende specifieke testscenario’s, beperkte end-to-end testen, onvoldoende participatie, testers niet de juiste rollen/autorisaties, conditioneel besluit Grondigheid impact analyses: ontwerpen onvoldoende gevalideerd op procesimpact, te weinig betrokkenheid directies, impact analyses hebben geen discrepanties aan het licht gebracht Doelen en kaders veranderopgave: geen kaders voor harmoniseren processen en data, geen duidelijke afspraken over rechtmatigheid, beperkte architectuursturing Hoog risicoprofiel van de veranderingen: onderschatting van omvang, technische complexiteit, organisatorische complexiteit en impact Aanvullende risicovolle keuzes: keuze voor een grotendeels big bang implementatie en het combineren van ICT- en organisatieverandering op hetzelfde moment

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

24/39

6. Onjuiste inschatting kwaliteitsproblemen AFIS

◼

◼

7. Onvoldoende oog voor wat mis kon gaan

◼ ◼ ◼ ◼ ◼

Stuurkracht in de driehoek: beperkte stuurkracht opdrachtgever/F&I, onvoldoende eigenaarschap directies, concern-brede rol GMT te weinig ingevuld, veelheid aan gremia met onduidelijk mandaat, rapportages onvoldoende gericht op bijsturen Houding en gedrag: niemand aanspreken of opdracht geven, spannende zaken alleen mondeling bespreken, een ‘zo doen we dat hier, komt goed’ houding Gevoelde tijdsdruk: collectief ervaren druk om door te zetten, de deadline was leidend Scherpte in risicobeheersing: geen gestructureerde inschatting i.r.t. doelen en strategische keuzes, geen expliciete besluitvorming, onvoldoende oog voor zorgen en signalen van directies Operationaliseren ‘what if scenario’s’: veel problemen zijn wel voorzien, maar operationaliseren van maatregelen is niet voldoende gebeurd, escalatiepaden beperkt uitgewerkt Detectiemaatregelen: faciliteiten voor monitoren werkvoorraad, verwerkingstijd en processtatus (waar zitten de facturen) zijn bewust uitgesteld Herstelmaatregelen: analyseren en testen van problemen niet voorbereid, kennis, senioriteit en prioriteit niet aan voorkant geregeld, geen uitvoerbare fallback mogelijkheid

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

25/39

5

BESTUURLIJK HANDELEN

Dit hoofdstuk gaat in op onderzoeksvraag 3: ‘Hoe is hierover bestuurlijk geïnformeerd en geacteerd? Wat waren daarbij de overwegingen?’ en richt zich op aspecten zoals informeren, escaleren, reactie en besluitvorming. We behandelen in dit hoofdstuk de gebeurtenissen vanuit het perspectief van de wethouder, het college en de gemeenteraad. Daarbij schetsen we als relevante context ook de momenten dat ambtelijke dilemma’s en risico’s niet bij de wethouder terecht zijn gekomen. Hoog over zijn de gebeurtenissen reeds opgenomen in de visualisatie in hoofdstuk 2. Er is daarbij onderscheid gemaakt tussen een aantal periodes, waarin het bestuurlijk handelen andere kenmerken had. De nadruk ligt op de periode van onderzoek (oktober 2024 – maart 2025), maar ook gebeurtenissen uit de voorafgaande periode zijn, waar relevant, aangehaald. Nieuwe opzet van het programma AFIS (november – december 2023) Ruim voor onze beschouwingsperiode vindt door tegenvallende voortgang het eerste uitstel van het AFIS programma plaats, waarbij een herijking plaatsvindt van de werkwijze in het programma, de bemensing op diverse plekken wordt vernieuwd en een nieuwe implementatiedatum op oktober 2024 wordt gesteld. In deze fase zijn twee gebeurtenissen bestuurlijk van belang om te vermelden: ◼ September 2023: ambtelijke afwegingen over de RGP-regeling komen niet bij de wethouder terecht.

Toen in 2023 het programma een herstart heeft gemaakt, is ambtelijk gekeken of het meerwaarde zou hebben om het project op dat moment alsnog onder de regeling grote projecten (RGP) te brengen. De afweging was, dat dit niet het geval zou zijn. Deze afweging is niet aan de wethouder voorgelegd. De afwegingen rondom de RGP-regeling worden gedetailleerder uiteengezet in hoofdstuk 6. ◼ November 2023: wethouder vraagt voorzitter van de stuurgroep hoe het toezicht geregeld is. In november 2023 krijgt de stuurgroep van het programma een nieuwe, externe voorzitter. De voorzitter van de stuurgroep en de wethouder ontmoeten elkaar begin december 2023, waarbij de wethouder vraagt om toelichting ten aanzien van het toezicht op het programma. De voorzitter van de stuurgroep geeft op 14 december 2024 een aanvullende toelichting hierop per mail. In de mail maakt hij duidelijk dat het toezicht ingevuld wordt door: zijn onafhankelijke voorzittersrol, de externe QA en de programma controller. Daarnaast wordt SAP expertise bij het programma ingezet. Het programma in uitvoering (juli – december 2024) In de periode vanaf de zomer van 2024 wordt AFIS getest en verschuift de focus van techniek naar de voorbereiding op implementatie. Het programma informeert het GMT over het programma en de voortgang en vraagt om actieve deelname van de directies.

◼ Vanaf juli 2024: ambtelijke zorgen van het programma over eigenaarschap directies komen niet bij de wethouder terecht. Vanaf juli 2024 vraagt het programma meermaals om medewerking van de stedelijk directeuren in het GMT en om gemeenschappelijk eigenaarschap en sponsorschap voor de aanstaande verandering. Gevraagde capaciteit wordt onvoldoende snel geleverd. Dit resulteert in een reactie vanuit het GMT om opleiders extern te werven vanwege gebrek aan interne capaciteit. De risico’s die het programma hierover rapporteert worden niet gedeeld met de wethouder. ◼ September/oktober 2024: wethouder geïnformeerd dat AFIS op koers ligt. Over de eerste livegang van de contractmodule wordt de wethouder tijdens de bijeenkomst met haar staf op 16 september 2024 geïnformeerd vanuit het programma. Op 3 oktober 2024 wordt de wethouder geïnformeerd over de stand van zaken m.b.t AFIS en het juridische traject tussen de implementatiepartner en de gemeente. De hoofdboodschap van de bijeenkomst is dat de organisatie op koers ligt, de techniek gereed is en de focus in de komende maanden met name op het verandermanagement zal liggen. De wethouder wordt door het programma tijdens deze bijeenkomst tevens geïnformeerd over de risico’s en

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

26/39

mitigerende maatregelen en het bekrachtigingmoment voor livegang op 6 januari 2025 op 1 november 2024 en een plan B mocht deze datum niet haalbaar zijn. ◼ November 2024: ambtelijke zorgen en risicoperceptie van het GMT komen niet bij de wethouder terecht. Eind november 2024 wordt door het GMT getwijfeld over het gerapporteerde positieve beeld vanuit het programma. De signalen die de stedelijk directeuren opvangen uit de clusters schetsen een ander – negatiever – beeld. Het GMT maakt zich zorgen over de haalbaarheid en planning en vraagt om meer inzicht in knelpunten, dilemma’s en haalbare oplossingsrichtingen die ingaan op de signalen uit de organisatie. Het GMT grijpt in door belanghebbenden aan de stuurgroep en klankbordgroep toe te voegen. Maar de zorgen en risico’s worden door het GMT niet met de wethouder gedeeld. ◼ November 2024: de wethouder informeert de gemeenteraad op hoofdlijnen. De wethouder wordt in oktober geïnformeerd door het programma over de voortgang. De wethouder informeert de gemeenteraad op hoofdlijnen op 21 november 2024. In de Raadsinformatiebrief van 21 november wordt de raad geïnformeerd over de voorgenomen livegang. Op aandringen van de wethouder wordt de toonzetting van het concept in november aangepast van een positief beeld naar een realistischer beeld. Eerder is de raad in mei 2024 op hoofdlijnen geïnformeerd.

De laatste maand voor livegang (december 2024 – 6 januari 2025) In de laatste maand voor livegang wordt het spannend of de livegang per 6 januari 2025 gehaald kan worden. Uiteindelijk wordt er een positief go-besluit genomen: ◼ December 2024: ambtelijke escalaties door het GMT komen niet bij de wethouder terecht. In december 2024 ontstaat er druk op de livegang (o.a. opleidingen en datamigratie). Er ontstaat toenemende wrijving tussen het programma en de lijndirecties. Om zeker te stellen dat de livegang op 6 januari kan plaatsvinden grijpt het GMT in. De gemeentesecretaris schuift aan in de stuurgroep AFIS en de stedelijk directeur bedrijfsvoering sluit aan bij de AFIS klankbordgroep. De wethouder wordt van deze escalaties niet op de hoogte gesteld door het GMT. ◼ December 2024/6 januari 2025: wethouder op de hoogte gesteld van go-besluiten. Op 17 december 2024 wordt ambtelijk groen licht gegeven voor livegang op 6 januari 2025. De wethouder wordt op 13 december 2024 geïnformeerd dat aan de acceptatiecriteria is voldaan. AFIS gaat daadwerkelijk live op 6 januari 2025. Hiervan wordt de wethouder diezelfde dag op de hoogte gesteld. De gemeenteraad wordt in deze fase niet geïnformeerd over de go-besluiten voor de voorgenomen livegang.

Eerste twee weken na livegang (6 januari tot 20 januari 2025) In de eerste twee weken na livegang spelen er al wel problemen in de operatie (zie hoofdstuk 2), maar het programma rapporteert nog een positief beeld van ‘een succesvolle livegang’. ◼ 6 januari 2025: wethouder ontvangt bericht over succesvolle livegang. Op 6 januari 2025 ontvangt de wethouder een appje van de directeur F&I over de succesvolle livegang van AFIS. Op de vraag van de wethouder of alles naar wens gaat wordt geantwoord dat er een paar issues zijn maar dat alles binnen 2 a 3 weken operationeel zal zijn. Op 8 januari 2025 worden ondernemers per brief geïnformeerd over de consequenties van de overstap naar AFIS. ◼ 7 - 9 januari: ambtelijk ervaren problemen in de verwerking van facturen bereiken het bestuur niet. Vanaf 7 januari 2025 is in de operatie al snel duidelijk dat er problemen zijn. Op 8 januari 2025 wordt vanuit de crediteurenadministratie voor het eerst aangegeven dat er dingen mis zijn. De eerste signalen gaan vanuit de crediteuren administratie naar het programma, maar bereiken het bestuurlijk niveau niet. ◼ 9 januari 2025: beeld van succesvolle livegang wordt bevestigd aan wethouder en GMT. De wethouder bezoekt het programmateam op 9 januari 2025 en laat zich informeren over de livegang. De betrokkenen zijn blij met de positieve aandacht vanuit de wethouder.

Ook het GMT krijgt op 9 januari 2025 een update van het programma waarin het beeld geschetst wordt van een livegang die goed verloopt, met een aantal kleine issues.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

27/39

◼ 13 januari 2025: mededeling aan wethouder dat directeur F&I terugkijkt op een geslaagde livegang. In de stafbespreking van de wethouder met haar staf, meldt de ambtelijk opdrachtgever (directeur F&I) dat zij terugkijkt op een geslaagde livegang van AFIS op 6 januari. Derde en vierde week na livegang (20 januari tot en met 4 februari 2025) In de twee weken na 20 januari 2025 stapelen de problemen zich op in de uitvoering. Ambtelijk wordt duidelijk dat de problemen groter zijn dan gedacht. Er wordt stapsgewijs bestuurlijk geëscaleerd en opgeschaald. ◼ 20 januari 2025: programma escaleert betalingsachterstand richting wethouder, maar geeft aan ‘in control’ te zijn. Op 20 januari 2025 kantelt het beeld over AFIS. De wethouder wordt op 20 januari 2025 via een update in de staf van de wethouder geïnformeerd over de betalingsachterstanden. Vanuit het programma is de boodschap aan de wethouder dat deze in zes weken opgelost zullen zijn. In de commissie FKD van 23 januari 2025 wordt de gemeenteraad voor het eerst geïnformeerd over de betalingsachterstanden: de livegang is relatief goed verlopen, er is sprake van betalingsachterstanden, maar deze worden binnen zes weken weggewerkt. In vervolg hierop wordt een mailing met dezelfde inhoud verstuurd naar ondernemers waarvan het mailadres bekend is. De betalingsachterstanden zijn nu ook bestuurlijk een feit.

◼ 30 januari 2025: het GMT besluit tot een tweede escalatie, opschalen naar wekelijkse updates. In het GMT van 30 januari 2025 ontstaat urgentiebesef. De situatie is erger dan gedacht. De wethouder en de raad moeten onmiddellijk geïnformeerd worden over de ernst van de problemen die leiden tot betalingsachterstanden, wat op 1 februari gebeurt (zie derde escalatie hieronder). Het GMT geeft op 30 januari richting het programma aan dat ze onvoldoende op de hoogte zijn van issues die er spelen en dat ze willen weten waar ze wel en niet in control zijn. Er wordt opgeschaald naar wekelijkse updates richting het GMT. Het GMT wil eindresultaat zien, niet de inspanning. ◼ 1 - 6 februari 2025: wethouder schaalt via derde escalatie op naar gemeenteraad. Op 1 februari 2025 wordt de wethouder via een notitie in de weekendmap uitgebreider geïnformeerd over verdere vertragingen en het oplopen van de achterstanden. Op 3 februari 2025 bespreekt de wethouder met haar staf de opschaling van de spoedprocedure voor betalingen, de afspraken over monitoring en de voortgang. De wethouder doet ook op 3 februari een mededeling over de betalingsachterstanden in de gemeenteraad tijdens rekeningencommissie.

Op 4 februari informeert de wethouder de gemeenteraad middels een brief over de betalingsachterstanden, de technische oorzaken hiervan, het opschalen van capaciteit om de achterstanden weg te werken, de inrichting van een spoedprocedure voor betalingen en de communicatie naar ondernemers. Op 6 februari 2025 bezoekt de wethouder de crediteurenadministratie waar met man en macht gewerkt wordt om de betalingsachterstanden handmatig terug te dringen. Aanvang van de crisis tot en met eind maart De bestuurlijke crisis is een feit, de achterstanden nemen nog niet af en de oplossing is er nog niet. ◼ 7 - 14 februari 2025: wethouder neemt actieve rol aan bij inrichting crisisorganisatie. Na 4 februari 2025 wordt een ambtelijke en bestuurlijke crisisorganisatie in het leven geroepen om de betalingsachterstanden weg te werken. Er wordt een crisismethodiek gehanteerd vanuit Projectmanagementbureau (PMB) en een bestuurlijk crisismanager aangesteld vanuit dit bureau. De governance van de crisisorganisatie is voor het eerst beschreven vanaf 12 februari 2025. De crisisorganisatie wordt toegevoegd naast de bestaande programma-organisatie en richt zich specifiek op de facturencrisis. De wethouder neemt plaats in het bestuurlijk crisisteam samen met de stedelijk directeur bedrijfsvoering, de directeur F&I en een (bestuurlijk) crisismanager.

Het crisisteam is ingericht met als doel: ‘binnen de kortst mogelijke termijn wegwerken van de achterstanden in de crediteurenadministratie, gericht op het herstellen naar correcte betalingstermijnen’.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

28/39

◼ 7, 10 en 14 februari 2025: wethouder informeert de raad in meerdere brieven. In deze periode volgen de brieven vanuit de wethouder aan de gemeenteraad elkaar in hoog tempo op. De problemen zijn erger dan gedacht, maar oplossingen voor de grootste problemen zijn wel gevonden. De eerste tekenen van verbetering lijken zichtbaar in de cijfermatige rapportages die inzicht geven in de achterstanden. Deze overzichten worden vanuit het programma breed verspreid richting GMT, wethouder en de gemeenteraad. Op 10 februari 2025 volgen vanuit de wethouder ook de eerste antwoorden op technische vragen van gemeenteraadsleden. Deze zijn vooral feitelijk en geven aan dat de gemeente dacht op alles voorbereid te zijn. De wethouder nodigt de gemeenteraad in de brief van 14 februari 2025 uit om op 24 februari 2025 een technische sessie bij te wonen ten aanzien van de werking van AFIS. ◼ 15 – 28 februari 2025: veel ambtelijke en bestuurlijke informatievragen doordat iedereen op zoek is naar analyse en duiding. Daarnaast worden er veel informatievragen gesteld, ambtelijk vanuit het GMT en bestuurlijk vanuit de wethouder en de gemeenteraad. Zij willen allemaal, nauwgezet en verdiepend geanalyseerd, op de hoogte gehouden worden over de voortgang van het terugdringen van de betalingsachterstanden.

Dit kost veel tijd en energie, omdat inzicht in de achterstanden nog verkregen moet worden door ontbrekende rapportages die in de loop van februari ontstaan. Het inzicht in de totaliteit van de problematiek is in eerste instantie beperkt, maar wordt wel steeds beter georganiseerd. ◼ Eind februari 2025 – bestuurlijke crisisorganisatie begint effectief te functioneren. De bestuurlijke informatievoorziening richting de gemeenteraad verbetert sterk vanaf eind februari 2025. De eerste dashboards verschijnen die direct inzicht verschaffen in de stand van de betalingsachterstanden en er ontstaat meer inzicht in de oorzaken voor de betalingsachterstanden. De informatievoorziening naar de gemeenteraad is zo transparant en eerlijk mogelijk, en probeert tegelijkertijd daadkracht uit te stralen. Er worden intern ambtelijk en in het bestuurlijk crisisteam diverse onorthodoxe maatregelen besproken en goedgekeurd. Zo is daar allereerst de maatregel dat de kleine facturen onder de €250,en later ook grotere facturen onder de €1.000,- zonder verdere controles worden goedgekeurd. Ook worden er afspraken gemaakt over bevoorschotting van diverse leveranciers. Dit vermindert de betalingsachterstanden significant, maar biedt nog geen structurele oplossing in AFIS. Op een later moment moeten deze maatregelen alsnog goed geadministreerd worden.

De facturen verdwijnen echter wel van de betalingsachterstandslijsten. ◼ Maart 2025: inrichten AFIS 2.0 voor effectieve crisissturing en doorontwikkeling. Medio maart 2025 is het besluit genomen om de bestaande programma-organisatie en de crisisorganisatie te integreren en onder één aansturing (Stuurgroep) te brengen, waarbij programma expertise en de expertise vanuit de directies met elkaar worden gecombineerd in een AFIS 2.0 organisatie. Dit valt buiten de scope van dit onderzoek.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

29/39

6

REGELING GROTE PROJECTEN

In deze bijlage beantwoorden we een aanvullende vraag van de raad: “waarom is het project niet ondergebracht in de Regeling Grote Projecten (RGP) en wat zijn daarbij de overwegingen geweest?“ Antwoord op deze aanvullende vraag In antwoord op deze vraag van de raad formuleren we de volgende conclusies. De onderbouwing van de conclusies wordt in de rest van deze bijlage gegeven. ◼ De verplichting om het programma AFIS via gemeentesecretaris/wethouder voor een afweging bij het college voor te leggen (op basis van de twee criteria, die aangeven wanneer het college betrokken moet worden) lijkt noch in 2021 noch in 2023 uitgevoerd te zijn. Het programmabudget (eenmalig) lag onder de op dat moment geldende grens (20 resp. 30 miljoen). N.b: het budget in 2023 weten we niet formeel, maar schatten we onder de 30 miljoen. ◼ Er was wel voldoende aanleiding om het programma aan te melden op basis van de hele set aan selectiecriteria: grote impact op gemeentelijke bedrijfsvoering, meerjarige doorlooptijd, meerdere leveranciers, organisatorisch complex besturing- en uitvoeringsproces, impact op ondernemers. Achteraf geredeneerd kan ook de politieke gevoeligheid aangevinkt worden. Kortom: weliswaar zat het budget onder de (financiële) grens, maar het programma voldeed wel aan zes andere criteria.

◼ Met de kennis van nu constateren we dat het onder de RGP brengen van het programma mogelijk de ontstane betalingsachterstanden had kunnen voorkomen. Veel van de maatregelen die de RGP meebrengt (bestuurlijke ophanging, goede governance, tegenspraak bij momenten van bestuurlijke besluitvorming, bijhouden van een samenhangend overzicht op tijd, geld, kwaliteit en risico) hebben betrekking op de onderwerpen die terugkomen in d bevindingen en lessen. De kwalificatie volgens de RGP alléén is uiteraard niet voldoende, maar onder de RGP zouden het programma en de sturing daarop anders zijn ingericht, waardoor mogelijk zaken beter zouden zijn gedaan en gegaan. Duiding van de regeling (de versie uit 2023) Onderstaand quoten we een aantal zaken uit de Regeling Grote Projecten (RGP) van 2023: ◼ De RGP is een raadsregeling, erop gericht het bestuur – college en raad – voldoende zicht en grip te laten hebben op de risico’s en resultaten van grote en complexe projecten en programma’s. ◼ Wanneer een project voldoet aan criteria a) substantiële gemeentelijke verantwoordelijkheid en b) budget, dan zal een project of programma altijd voor opname in de RGP door het college in overweging worden genomen. Gemeentesecretaris en/of concerncontroller adviseren het college bij selectie van projecten en programma’s voor de RGP. Het college besluit over het al dan niet opnemen.

◼ Een belangrijke aanvulling van de RGP is de verplichting tot: a. Zorg te dragen voor een goede governance. b. Verplichten tot organiseren van Tegenspraak. c. Geven van een samenhangend overzicht op tijd, geld, kwaliteit en risico. ◼ De RGP geeft de criteria voor selectie van projecten voor de RGP door het college. a. Substantiële gemeentelijke verantwoordelijkheid als opdrachtgever, medeopdrachtgever in samenwerkingsverbanden en/of als risicodragend opdrachtnemer. b. Budget van € 30 miljoen of meer. c. Grote impact op gemeentelijke bedrijfsvoering. d. Grote impact op de samenleving. e. Meerjarige doorlooptijd. f. Betrokkenheid meerdere externe partijen. g. Politieke gevoeligheid.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

30/39

h. Toepassing nieuwe technologieën of financieringsconstructies. i. Organisatorisch complex besturing- en uitvoeringsproces. j. Directe impact op burgers waarbij burgerparticipatie essentieel is Duiding van de besluitvorming in 2021 (bij de start van AFIS) ◼ Besluit: AFIS is in overleg met de toenmalige wethouder in 2021 niet onder de regeling gebracht. N.b.: het project waarmee AFS werd geïmplementeerd viel tussen 2015 en 2017 wel onder die regeling. ◼ Argumentatie voor dit besluit is niet onafhankelijk geweest: het coördinatieteam RGP is hierin niet geconsulteerd noch geïnformeerd. ◼ Overwegingen bij dit besluit: - project budget (eenmalig plus licentie, beheer en onderhoud) is rond de grens van toen 22 miljoen. Na aftrek van licentiekosten AFS, LIAS en Topdesk resteert c.a. 14 miljoen, dat is onder de grens zoals die in 2021 gold (budget van 20 miljoen of meer). - in vergelijking met invoering AFS werd dit project als minder complex gezien omdat het verandermanagement minder ingrijpend zou zijn (geen nieuwe processen, die zijn al met het vorige project AFS ontworpen en geïmplementeerd). - impact op de bedrijfsvoering werd door opdrachtgever en project op middel tot laag geschat. Duiding van de besluitvorming in 2023 (na ingebrekestelling leverancier en herijking) ◼ In 2023 is het project niet alsnog onder de regeling gebracht.

◼ Overwegingen bij dit besluit: - het ‘onder de RGP plaatsen heeft in deze fase van het project geen meerwaarde’ - voor onderdelen van de regelen (verstevigen tegenspraak en governance) wordt geen aanleiding gezien of is het station al gepasseerd. - alleen een sterkere bestuurlijke aanhaking werd als zinvol gezien, die is al ingesteld door veelvuldiger met de wethouder te overleggen. ◼ Er wordt in de motivatie niet over het programmabudget gesproken. Onze aanname is dat die onder de grens van toen (30 miljoen) ◼ Kort na dit besluit (december 2023) heeft de wethouder kennisgemaakt met de voorzitter van de stuurgroep AFIS die haar uitlegt hoe het onafhankelijk toezicht in het programma is geregeld. Aanbevelingen ten aanzien van de RGP-regeling Mocht een project of programma toch complex of risicovol worden, dan is een regeling zoals de Regeling Grote Projecten een prima instrument om de besturing aan te trekken. Ten aanzien van die regeling of een ICT-specifieke variant daarop is het volgende aan te bevelen: ◼ Overweeg om een variant van de regeling te specialiseren voor projecten met een aanzienlijke ICTcomponent. Binnen het rijk is vanuit de CIO Offices van ministeries en uitvoeringsorganisaties een ICTspecifieke regeling (beschreven in het ‘Handboek Portfoliomanagement Rijk’) opgesteld waaraan alle ICT-projecten van 5 miljoen of meer verplicht mee moeten doen.

Een verplicht CIO-oordeel bij de opstart van zo’n project maakt daar onderdeel van uit.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

31/39

7

GELEERDE LESSEN AFS

De raad heeft vragen gesteld over de wijze waarop de lessen van de AFS-implementatie uit 2017 zijn meegenomen bij AFIS. Het antwoord is dat daar geen expliciete informatie over is in het dossier. Alleen achteraf kan daar reflectie op worden gegeven. We reflecteren op de zes hoofdlessen uit 2017. Les 1. Complexe transities laten zich niet volledig vooraf in plannen vatten qua activiteiten, timing en financiën. Handel daarom altijd vanuit een duidelijke en gedeelde visie en sta flexibiliteit in planvorming toe. Vertrouw op het vakmanschap van betrokkenen en durf risico’s een plek te geven in de uiteindelijke ambtelijke en bestuurlijke besluitvorming. Reflectie op les 1. Deze les is in opzet en bestaan opgepakt, maar in de werking ineffectief gebleken: ◼ Visie. Bij de start is er goed nagedacht over een visie, een business case en uitgangspunten. Echter, deze visie en uitgangspunten zijn niet duidelijk gecommuniceerd en de directies hebben zich daar niet achter geschaard. Dit vormt ook bij de AFIS-implementatie een belangrijk verbeterpunt. ◼ Flexibiliteit. Na de herijking eind 2023 is het programma overgestapt van een agile naar een waterval aanpak. Ook is er flexibel bijgestuurd op de go-live datum, van oktober naar januari 2025.

Uiteindelijk ontbrak de flexibiliteit om de datum nogmaals uit te stellen toen er op GMT-niveau steeds duidelijker signalen kwamen dat er grote risico’s en zorgen waren. ◼ Vakmanschap. De stuurgroep en het GMT hebben vertrouwen gegeven aan het vakmanschap van het programma toen het erop aan kwam. Het besef dat dat vakmanschap niet volledig op orde was (ten aanzien van de ICT-inhoud en de veranderopgave) had al veel eerder duidelijk moeten zijn. ◼ Risico’s. Het programma heeft vanaf het begin risico’s en mitigerende maatregelen in kaart gebracht. Echter, dit gebeurde weinig gestructureerd. Daarbij is het operationaliseren van maatregelen – toen het er onder tijdsdruk op aan kwam – onvoldoende gebeurd. Les 2. Investeer in een professionele programmaorganisatie. Zorg dat hier vakmanschap in is vertegenwoordigd, zowel inhoudelijke experts als professionals gespecialiseerd in het leiden van grote verandertrajecten. Reflectie op les 2. Hier is goede aandacht voor geweest, maar achteraf zijn er toch verbeterpunten. ◼ Professioneel. Er is zeker aandacht geweest voor de programma organisatie en er zijn ook professionals aangetrokken. Toen de samenwerking met de implementatiepartner eind 2023 stokte zijn hierin bewust veranderingen doorgevoerd. ◼ Inhoudelijke experts.

Hoewel er ICT-kennis aan boord was (leveranciers en DII-vertegenwoordiging in de stuurgroep, was dat achteraf toch te beperkt. Het programma nam de adviezen van de implementatiepartner niet ter harte; intern was er onvoldoende inhoudelijk expertise georganiseerd. ◼ Leiden van grote verandertrajecten. Binnen Amsterdam is deze specialisatie niet aanwezig. Er is gebruik gemaakt van meerdere externe specialisten op dit vlak. De meningen lopen uiteen of die externen een factor waren in de ontstane problematiek. Ons beeld is dat het hebben van externe leveranciers die worden aangestuurd door externen vaak een faalfactor vormt. Les 3. Beleg het eigenaarschap breed binnen de organisatie en zorg voor bestuurlijk draagvlak. Geef pioniers en visionairs de ruimte om de stap voorwaarts te maken. Reflectie op les 3. Dit is geprobeerd maar niet gelukt. ◼ Eigenaarschap. Het programma heeft in rapportages vanaf juli 2024 hierop aangedrongen, maar het gebrek aan eigenaarschap in de directies vormt één van de belangrijke faalfactoren die uit de evaluatie naar voren komt.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

32/39

◼ Bestuurlijk draagvlak. Het GMT heeft onvoldoende bijgedragen aan en gestuurd op de strategische veranderopgave die met de AFIS-implementatie gepaard ging. Het programma heeft dat node gemist, maar heeft ook niet afdoende geëscaleerd om het draagvlak te verhogen. ◼ Pioniers en visionairs. De pioniers binnen F&I hebben veel ruimte gekregen om de stap naar meer grip op rechtmatigheid te zetten. Achteraf gezien was dat onvoldoende om de rest van de organisatie mee te nemen. Les 4. Investeer in het meenemen van medewerkers op alle niveaus in de organisatie in het begrijpen en dragen van de verandering. Investeer in communicatie en durf successen te vieren. Reflectie op les 4. Dit is gebeurd, maar vond geen aansluiting bij de medewerkers door gebrek aan draagvlak. ◼ Meenemen van medewerkers. dit is geprobeerd maar onvoldoende gelukt. Het aansluiten bij de behoefte van medewerkers bleek lastig. Het draagvlak en eigenaarschap voor de verandering in de directies was onvoldoende om dit Les 5. Organiseer actief tegenspraak en advies, zowel binnen als buiten de organisatie. Selecteer hiervoor experts van binnen en buiten de organisatie en geef ze een plek binnen de formele structuur van een programma. Reflectie op les 5: dit is beperkt en vooral procesmatig gebeurd. ◼ Organiseer tegenspraak en advies.

Er was QA georganiseerd die zich vooral richtte op de kwaliteit en aanwezigheid van stukken (en minder op de inhoud). Ook zijn Deloitte en SAP gevraagd om onafhankelijke adviezen gegeven. Binnen de organisatie was er een klankbordgroep ingericht. ◼ Tegenspraak kon actiever (tijdiger en frequenter). Het gebruik om bij (belangrijke) mijlpalen een onafhankelijk advies te vragen (zoals ook verwoord in de RGP regeling) is door het programma niet opgevolgd. Deels zijn adviezen pas gevraagd toen er al sprake was van een crisis situatie (Deloitte health check, SAP advies). De advisering had tijdiger en frequenter gekund. Les 6. Zet gedurende een programma al in op het overdragen en borgen van kennis in de staande organisatie. Streef hiervoor naar een evenwichtige mix van interne- en externe medewerkers in een programma. Reflectie op les 6. Dit is onvoldoende gelukt. ◼ Overdragen en borgen van kennis staande organisatie: dit is onvoldoende gelukt, mede doordat het programma het onvoldoende voor elkaar heeft gekregen om de lijnorganisatie voldoende medewerkers beschikbaar te laten maken voor testen, opleidingen en ‘floorwalking’.

◼ Mix van interne- en externe medewerkers: er is veel geleund op externe expertise in het programma. Samenvattend antwoord op de vraag van de raad De lessen met betrekking tot AFS uit 2017 zijn deels in opzet herkend bij AFIS, maar zijn in de uitvoering onvoldoende effectief gebleken. Er was aanvankelijk een visie en structuur, maar het eigenaarschap binnen de directies, draagvlak binnen het GMT, inhoudelijke expertise en de betrokkenheid van directies en medewerkers schoten tekort. Flexibiliteit werd diverse keren goed toegepast, maar is in de laatste fase onder druk van livegang niet meer overwogen. Professionele tegenspraak is te beperkt georganiseerd (QA) en te laat (directies in stuurgroep) en extern advies te laat vormgegeven. De conclusie sluit aan bij het merendeel van de lessen die we in dit rapport voor Amsterdam trekken: 2 (eenduidige en krachtige governance) voor verantwoordelijkheid en eigenaarschap, 3 (benut kansen op vlotte bijsturing) tav flexibiliteit, les 4.4 (organiseer professionele, objectieve kwaliteitsborging op resultaten) tav tegenspraak en advies, Les 5 (houd elkaar scherp op wat er mis kan gaan) voor wat betreft de interne tegenspraak, les 6 (organiseer de veranderopgave doortastend) voor integraal eigenaarschap voor de (organisatorische) veranderopgave.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

33/39

BIJLAGE A - METHODISCHE VERANTWOORDING Gezien het bestuurlijke belang van de evaluatie hebben we grote zorgvuldigheid betracht in het verzamelen, uitwerken, interpreteren en valideren van data. In onze aanpak hebben we de balans gezocht tussen de beoogde zorgvuldigheid en de beperkte doorlooptijd. Desk research Voor deze opdracht hebben we een ervaren team adviseurs ingezet, die in korte tijd de belangrijkste feiten en patronen uit de beschikbaar gestelde documentatie hebben gehaald en deze hebben geordend in de tijd. Gezien de overweldigende hoeveelheid documenten (>8.5 GB data en meer dan 8.000 documenten) hebben we ter ondersteuning van de desk research AI-tooling ingezet om snel de essentie en de eerste hypothesen te kunnen valideren. We hebben hiervoor een eigen beveiligde omgeving opgezet met een beveiligde front-end, waarbij alle documenten op een veilige en verantwoorde manier konden worden geïndexeerd en bevraagd en geen gemeentelijke informatie in de cloud terecht kon komen. De door ons voorgestelde werkwijze en technische inrichting hebben we voorgelegd aan de experts van de gemeente Amsterdam (pricacy, security en AI). De werkwijze met betrekking tot AI is door de gemeente goedgekeurd en de levering van gegevens vastgelegd in een gegevensleveringsovereenkomst tussen de gemeente en M&I/Partners.

Bij elk opdrachtgeversoverleg is de zorgvuldigheid van deze werkwijze als agendapunt naar voren gekomen. Interviews Voor het onderzoek hebben we een kleine twintig interviews met de belangrijkste stakeholders gehouden voor dit onderzoek. Deze zijn cruciaal om een beeld te krijgen van informele processen en besluitvorming, om documentatie goed te duiden en om vast te stellen wat er niet in stukken staat. Wij hebben aangegeven welke rollen we zouden willen betrekken bij de interviews in relatie tot de onderzoeksvragen. De gemeente Amsterdam heeft daarop een lijst met namen beschikbaar gesteld en aanvullende suggesties gedaan om een zo breed en representatief mogelijk beeld te krijgen van de belangrijkste gebeurtenissen. De interviews hebben in de derde en vierde week van het onderzoek plaatsgevonden. De interviews zijn voorbereid door een algemene vragenlijst te maken met gespreksonderwerpen op basis van onze referentiekaders (bijlage B) en zijn aangevuld met een aantal specifieke vragen, afgestemd op de rol van de geïnterviewde. Zorgvuldigheid We zijn zorgvuldig omgegaan met informatie uit interviews en hebben hoor en wederhoor toegepast. Van gesprekken zijn, wanneer we daar toestemming voor hebben verkregen, audio-opnamen en vervolgens transcripties gemaakt, uitsluitend bedoeld voor intern gebruik.

Deze transcripties of onze gespreksaantekeningen hebben we voorgelegd aan de geïnterviewden voor wederhoor. We hebben respondenten tijdens de interviews gevraagd om feiten te onderbouwen en deze waar nodig gecheckt in de beschikbare documenten. Bevindingen uit de interviews namen we alleen op in onze rapportages als we minimaal twee bronnen hadden. We verifieerden daarmee dus elke relevante uitspraak van personen. We zijn ervanuit gegaan dat informatie in formele schriftelijke bronnen feitelijk juist is, maar hebben dit waar nodig wel nader onderzocht en gevalideerd met behulp van de AI oplossing en/of direct in het brondocument. Indien we alleen mondelinge uitspraken hebben bij een bevinding, dan geven we dat expliciet aan. We hebben in een apart feitenrelaas de bevindingen traceerbaar naar bronnen gemaakt, zonder namen te noemen. Het feitenrelaas hebben we laten reviewen door het begeleidingsteam dat u

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

34/39

heeft aangesteld. Als laatste is het goed om aan te geven dat de ingezette AI tool ons werk uit handen heeft genomen door met ons mee te zoeken naar relevante documentatie. We hebben de tool uitsluitend gebruikt om het zoeken en vinden te vergemakkelijken, maar zijn als onderzoekers steeds zelf (middels hyperlinks en gemarkeerde tekst) de bronnen in gegaan om te valideren of de gevonden passage of onderbouwing relevant was voor het onderzoek. De AI tool heeft ons werk bespaard, maar wij als onderzoekers hebben de resultaten steeds zelf gecheckt op juistheid, toepasbaarheid en relevantie. Veilige omgeving We hebben zorgvuldigheid betracht in het bewaken van de veiligheid van de geïnterviewden in het proces. Respondenten ontvingen vooraf een toelichting, waaruit duidelijk werd dat het een leeronderzoek betreft. Ook is een toelichting gegeven op het onderzoek, het gesprek en de vertrouwelijkheid. We hebben in de toelichting alsook bij aanvang van het interview aangegeven dat we vragen zodanig verwoorden dat begrijpen en leren worden ondersteund en waardeoordelen vermeden. Gezien de mogelijke gevoeligheid van het gespreksonderwerp is gekozen voor een neutrale locatie binnen de gemeente Amsterdam (op een enkele uitzondering na waar dat beter uitkwam voor de geïnterviewde).

We hebben aangekondigd in de toelichting en tijdens de introductie van het gesprek dat de aantekeningen van gesprekken met de geïnterviewden en hun terugkoppeling vertrouwelijk blijven en met niemand anders worden gedeeld. De interviewaantekeningen zijn daarom anoniem verwerkt en in de rapportage worden geen persoonsnamen gebruikt. We vermijden in de rapportage voorts zoveel mogelijk bronnen die direct herleidbaar zijn tot individuen. We verwijzen wel naar rollen of functies, als dat instrumenteel is voor het onderzoek.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

35/39

BIJLAGE B - GEHANTEERDE REFERENTIEKADERS Tijdens de evaluatie hebben we gebruik gemaakt van diverse referentiekaders, als ‘bril’ om naar de verschillende aspecten van de casus te kijken. Deze referentiekaders beschrijven we hieronder. BIJLAGE B.1 – TOETSKADER ACICT Als referentiekader voor het organiseren en beheersen van ICT-projecten hebben we het toetskader van AcICT gebruikt. Dit kader kan gevonden worden op: Toetskader Adviescollege ICT-toetsing | Publicatie | Adviescollege ICT-toetsing. Kort samengevat bevat het kader de volgende toetsaspecten: AcICT toetskader Business case, baten en financiering

Opdrachtgever en projectorganisatie

Beheersing van de scope

Samenhang werkprocessen en ICT oplossingen Acceptatie, implementatie en overdracht

Architectuur, functionele haalbaarheid en technische maakbaarheid

Realisatie en planning

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

Toetsaspecten • Aanleiding, probleemstelling en doelstelling • Kwalitatieve baten • Eigenaarschap en sturing op baten • Afweging alternatieve oplossingen • Impact op organisatie en stakeholders • Financiele dekking voor looptijd project en beheer • Verantwoordelijkheid opdrachtgever/ stuurgroep • Besluitvorming inhoudelijke keuzes (architectuur, techniek) • Voortgangsbewaking, QA en financieel • Samenwerking en communicatie • Organisatie ‘tegendenken’ en kritische blik • Sturing op mijlpalen en bijsturing • Scope aantoonbaar zo klein mogelijk • Stapsgewijze aanpak als scope te groot wordt • Formele besluitvorming over scope wijzigingen • Traceerbaarheid en impact analyse bij scope wijzigingen • Aansluiting ICT bij de werkprocessen • Uitwerking en testen van de werkprocessen • Afstemming/ vertegenwoordiging gebruikers • Implementatie in de lijn en bij beheer • Samenwerking met de lijnorganisatie • Acceptatiecriteria en -proces • Nazorg en decharge • Kwaliteit functionele en niet-functionele eisen • Aandacht voor privacy en informatiebeveiliging • Toetsen op haalbaarheid en realiteit • Hergebruik voor koop voor bouw • Passendheid van de architectuurkeuzes • Afweging gebruik generieke componenten • Definitie koppelvlakken • Gangbare en volwassen technologie • Testbaarheid en geleidelijke implementatie • Iteratieve en incrementele implementatieaanpak • Tijdige feedback naar

gebruikers • Kwaliteitseisen aan (tussen)producten • Onderbouwde planning en tijdinschatting • Afstemming planning met stakeholders • Ruimte in planning voor tegenvallers

36/39

Risicobeheersing en projectafhankelijkheden

Aanbestedingsaspecten

• • • • • • • • • • • •

Risicomanagement Bewaking mitigerende maatregelen Openheid en transparantie Grip op afhankelijkheden Stakeholdermanagement Aanbestedingsstrategie en regelgeving Balans risico’s tussen opdrachtgever en -nemer Ongewenste afhankelijkheden met marktpartijen Volwassenheid van de aanbestedende organisatie Gebalanceerde gunningsciteria Contractafspraken en contractmanagement Sturing en samenwerking met marktpartijen

BIJLAGE B.2 – CONTROL FRAMEWORK VOOR IMPLEMENTATIES Als referentiekader voor het evalueren van het implementatieproces van pakketten hebben we een eigen ‘control framework’ ontwikkeld, gebaseerd op de grootschalige implementaties van ERP-pakketten (o.a. SAP) en EPD’s (Elektronische Patiënten Dossiers) die we regelmatig uitvoeren en evalueren. Implementatie punten Verandermanagement

Gegevensconversie

Techniek

Testen

Implementatie moment

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

Controls • Ontwikkelen procesbeschrijvingen en rollen/taken • Opleiden professionals en externe gebruikers • Inrichten autorisaties en gebruikersinstellingen • Communicatie naar alle stakeholders, nieuwsbrieven • Gebruikershandleidingen en werkinstructies • Nazorg en floor walking • Mapping oude en nieuwe datamodel • Scripts voor converteren en controleren (hashtags) • Controles op laden gegevens via reguliere proces • Controles op handmatige vulactiviteiten, twee ogen • Controles op volledigheid, juistheid, referentiele integriteit • End-to-end controles, van selectie tot mutatie • Controles met behulp van steekproeven • Resultaten proefconversies, behandeling uitval, toleranties • Beschikbaarheid omgevingen en infrastructuur • Beschikbaarheid koppelingen en API’s • IB&P: aansluiting IAM, PIA’s, pentest etc. • Beheerorganisatie in place • Monitoring en logging in place • Baselining van de testbasis, requirements en ontwerpen • Traceerbaarheid testen naar testbasis en testobject • Representativiteit testomgevingen • Integraliteit van testsoorten: technisch, functioneel, niet-functioneel, integratie, acceptatie, regressie, .. • Testdekking van verschillende testsoorten • Testautomatisering t.o.v.

handmatig testen • Acceptatiecriteria en toleranties • Bevindingen afhandeling en hertesten • Reproduceerbaarheid van testbevindingen • Integraal draaiboek voor alle aspecten • Freeze periode voor changes en voor gebruikers • Procedures en toleranties voor afhandeling uitval • Doorstartprocedures, noodprocedures en fallback opties • Bewaking van doorlooptijden, plannen van slack

37/39

Besluitvorming

• • • •

Startbesluit: technisch gereed, resources in place, bevindingen/toleranties binnen de normen, Bijstuurbesluit: criteria voor doorstart, stoppen, fallback Vrijgavebesluit: criteria voor acceptatie, uitval, ernst van bevindingen, gebruikersimpact Verantwoording: documenteren van test-, conversie- en controle werkzaamheden. Rapportage naar stakeholders.

BIJLAGE B.3 – THE GOOD GOVERNANCE STANDARD FOR PUBLIC SERVICES Om het bestuurlijk handelen te onderzoeken maken we vaak gebruik van ‘The Good Governance Standard for Public Services, Chartered Institute of Public Finance and Accountancy (CIPFA), UK, 2004’. Deze standard bevat principes en mogelijke maatregelen die (in de geest van de RGP-regeling) tot betere afspraken kunnen leiden tussen ambtelijke en bestuurlijke organisatie. We hebben de standaard niet normatief gehanteerd, omdat het in Nederland geen zeggingskracht heeft. Maar het is wel een goede checklist gebleken bij de uitwerking van bestuurlijke lessen. Good governance means: Focusing on the organization’s purpose and on outcomes for citizens and service users Performing effectively in clearly defi ned functions and roles Promoting values for the whole organization and demonstrating

Principles for good governance: • Being clear about the organisation’s purpose and its intended outcomes for citizens and service users Making sure that users receive a high quality service • Making sure that taxpayers receive value for money • • • • •

the values of good governance

Being clear about the functions of the governing body Being clear about the responsibilities of non-executives and the executive, and making sure that those responsibilities are carried out Being clear about relationships between governors and the public Putting organistional values into practice Individual governors behaving in ways that uphold and exemplify effective governance

through behavior Taking informed, transparent decisions and managing risk Developing the capacity and capability of the governing body to be effective

• • • • • •

Engaging stakeholders and making accountability real

• • • •

Being rigorous and transparent about how decisions are taken Having and using good quality information, advice and support Making sure that an effective risk management system is in operation Making sure that appointed and elected governors have the skills, knowledge and experience they need to perform well Developing the capability of people with governance responsibilities and evaluating their performance, as individuals and as a group Striking a balance, in the membership of the governing body, between continuity and renewal Good governance means engaging stakeholders and making accountability real Understanding formal and informal accountability relationships Taking an active and planned approach to dialogue with and accountability to the public Taking an active and planned approach to responsibility to staff Engaging effectively with institutional stakeholders

BIJLAGE B.4 – CRITICAL INCIDENT METHODIEK (BOIN E.A.) Om leerpunten over het handelen tijdens crises te verkrijgen, hanteren we een kader voor crisismanagement, zoals beschreven door Boin e.a12. Deze methode richt zich op de manier waarop bestuurders omgaan met turbulente, onzekere, complexe situaties. We analyseren aspecten als sensemaking, besluitvorming onder druk, leiderschap, coördinatie, communicatie, verantwoording. Dit biedt inzicht in waar het bestuurlijk goed ging, wat onder druk kwam te staan en wat geleerd kan worden voor

Arjen Boin e.a., The Politics of Crisis Management: Public Leadership Under Pressure, RU Leiden (2005). 12

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

38/39

toekomstige situaties (vanuit het besef dat niet iedere implementatie een crisis wordt). De Critical Incident Method (CIM) is een evaluatieve aanpak die oorspronkelijk uit de psychologie komt en door onder anderen Arjen Boin is doorontwikkeld voor de analyse van crises en bestuurlijke respons in publieke organisaties. De methode focust op het terugkijken op een ingrijpende gebeurtenis (“incident”) en onderzoekt hoe actoren handelden, welke routines faalden of werkten, en wat de bredere impact was op organisatie, bestuur en omgeving. Belangrijke onderwerpen

Toelichting

Voor- en na-analyse

Wat was de situatie vóór het incident? Wat veranderde er blijvend daarna?

Escalatie en besluitvorming

Hoe werd besloten wat prioriteit kreeg? Was er ruimte voor afwijkende meningen of kritiek?

Sense of urgency en emotie

Hoe werd er omgegaan met angst, frustratie of onzekerheid binnen teams of bij stakeholders?

Lessen en veerkracht

Welke inzichten zijn er blijven hangen? Wat zou je nu anders doen in een vergelijkbare situatie?

Vertrouwen en legitimiteit

Hoe werd vertrouwen behouden of juist geschaad, zowel intern als extern?

Critical Incident vragen / voorbeeld voor een gespreksaanpak Kun je een situatie beschrijven waarin je organisatie te maken kreeg met een onverwachte of urgente gebeurtenis? Wat was jouw rol, en hoe reageerden jij en je collega’s? Hoe werd er in die situatie samengewerkt — formeel en informeel? Waren er mensen die spontaan leiderschap pakten? Waren er mensen die onzichtbaar werden? Welke processen of routines werkten goed, en welke schoten tekort? Hoe werd dat zichtbaar tijdens het incident? Welke rol speelde technologie of informatievoorziening tijdens deze gebeurtenis? Wat werkte, en wat belemmerde?

Toegepast op het incident met het nieuwe betalingssysteem van de gemeente, helpt de methode om gestructureerd in kaart te brengen hoe de situatie escaleerde, hoe besluitvorming plaatsvond, en welke dynamiek ontstond tussen werkvloer, ambtelijke top, bestuur en omgeving. De kracht van CIM ligt in het ophalen van concrete ervaringen rondom sleutelmomenten, waardoor duidelijk wordt hoe organisaties functioneren onder druk — inclusief onvoorziene effecten zoals de extra personele inzet en de politieke en publieke impact. Het biedt daarmee handvatten om lessen te kunnen trekken uit de ontstane situatie. BIJLAGE B.5 – SENSE-MAKING METHODIEK OM CONTEXT BETER TE BEGRIJPEN De Sense-making methodiek, zoals ontwikkeld door onder anderen Karl Weick, richt zich op hoe mensen in organisaties betekenis geven aan gebeurtenissen, met name in complexe of onzekere situaties. In plaats van te zoeken naar dé waarheid, helpt Sense-making om uiteenlopende perspectieven, ervaringen en onderstromen zichtbaar te maken. De methode wordt vaak toegepast in verandertrajecten, evaluaties of contexten waar formele structuren tekortschieten om beter te begrijpen wat er écht speelde. Aandacht voor:

Toelichting

Tijdsperspectief en

“Is jouw kijk op deze situatie veranderd en zo ja, hoe? Was er een keerpunt?”

verandering Verschil in narratief en

→ Dit laat zien hoe betekenis zich ontwikkelt. “Wat gebeurde er precies? Wie waren er allemaal bij betrokken?”

ervaringsverhalen

→ Verhalen zijn rijk aan betekenis en context (geef ruimte voor het individu).