Onderbouwing bij hoofdrapport evaluatie AFIS Definitief

Evaluatie betalingsproblemen als gevolg van de AFIS-implementatie

ONDERBOUWING

Sparrenheuvel 32, 3708 JE Zeist | (030) 2 270 500 | info@mxi.nl | www.mxi.nl

Project 25120 Versie V1.0 / 19 juni 2025

INHOUDSOPGAVE 1

INLEIDING

4

2 2.1 2.2

RECONSTRUCTIE GEBEURTENISSEN Tijdslijn van de gebeurtenissen De gebeurtenissen in de uitvoering

5 5 5

3 3.1 3.2

PROBLEMATIEK NA LIVEGANG Problematiek in de operatie Problematiek in de besluitvorming bij livegang

11 11 12

4 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8

OORZAKEN VAN PROBLEMEN Technische gebreken bij de start Gegevenskwaliteit was niet op orde Medewerkers onvoldoende voorbereid Gebrekkige aansluiting werkprocessen en AFIS Onderschatting impact van de verandering Onjuiste inschatting van kwaliteitsproblemen AFIS onvoldoende oog voor wat mis kon gaan Samenvattend overzicht van oorzaken in relatie tot de problemen

14 14 15 16 18 19 20 22 23

5

BESTUURLIJK HANDELEN

25

6

REGELING GROTE PROJECTEN

29

7

GELEERDE LESSEN AFS

31

BIJLAGE A - METHODI SCHE VERANTWOORDI NG

33

BIJLAGE B - GEHANTEERDE REFERENTIEKADERS

35

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

4/39

1

INLEIDING

Dit document bevat de bevindingen en analyses van de evaluatie die M&I/Partners tussen 22 april en 26 mei 2025 heeft uitgevoerd naar de ontstane betalingsproblemen bij de implementatie van het nieuwe Amsterdamse Financieel en Inkoop Systeem (AFIS). Het vormt een uitgebreide onderbouwing bij het hoofdrapport (Evaluatie betalingsproblemen als gevolg van de AFIS-implementatie – Hoofdrapport). Hiernaast is er een onderzoeksverantwoording opgesteld. Deze onderbouwing is niet zelfstandig leesbaar; het fungeert als een bijlage bij het hoofdrapport. Voor een beschrijving van de context van en gevolgde aanpak bij de evaluatie verwijzen we daarom naar het hoofdrapport. Leeswijzer In hoofdstuk 2 starten we met een tijdslijn, waarin de belangrijkste gebeurtenissen rond de AFISimplementatie staan benoemd. De resterende hoofdstukken volgen qua structuur de zes onderzoeksvragen die in het hoofdrapport zijn benoemd (en die we hier herhalen): 1. Welke problemen hebben geleid tot de vertragingen in de uitbetaling van facturen? Zie hoofdstuk 3. 2. Wat zijn de oorzaken van de problemen en hoe heeft dit kunnen gebeuren? Zie hoofdstuk 4. 3. Hoe is hierover bestuurlijk geïnformeerd en geacteerd? Wat waren daarbij de overwegingen? Zie hoofdstuk 5. 4. Welke lessen kan de gemeente trekken voor de toekomst? Deze lessen staan in het hoofdrapport benoemd; in deze bijlage geven we er geen verdieping aan.

5. Waarom is het project niet onder de Regeling Grote Projecten (RGP) gebracht? Zie hoofdstuk 6. 6. Hoe zijn lessen van AFS-implementatie in 2017 meegenomen? Zie hoofdstuk 7. Daarnaast bevat dit document twee bijlagen: A. Methodische verantwoording: ten aanzien van de wijze waarop de evaluatie is uitgevoerd. B. Gehanteerde referentiekaders: diverse normen en kaders als referentiemodel voor de evaluatie.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

5/39

2

RECONSTRUCTIE GEBEURTENISSEN

De reconstructie betreft de periode van 22 oktober 2024 tot en met maart 2025 (scope van het onderzoek). Daarbij worden gebeurtenissen van vóór die periode aangehaald als die instrumenteel zijn voor onderbouwing of ter illustratie. Het hoofdstuk bestaat uit twee delen: een tijdslijn van gebeurtenissen (sectie 2.1) en een beschrijving van die gebeurtenissen (2.2).

2.1

TIJDSLIJN VAN DE GEBEURTENISSEN

Deze sectie bevat een samenvatting van de gebeurtenissen die tot de betalingsachterstanden hebben geleid en een visualisatie van het historisch verloop van gebeurtenissen. Gebeurtenissen die betrekking hebben op het bestuurlijk handelen zoals weergeven in de bovenste drie lagen van de tijdlijn lichten we toe in hoofdstuk 5. De gebeurtenissen in het programma en de uitvoering (onderste vijf stromen) worden in sectie 2.2 beschreven.

2.2

DE GEBEURTENISSEN IN DE UITVOERING

In bovenstaande figuur brengen we de belangrijkste gebeurtenissen visueel bij elkaar voor overzicht en een beter begrip van de gebeurtenissen. Deze hebben we geordend in de tijd en verdeeld in de gebeurtenissen ten aanzien van het bestuurlijk handelen (boven de tijdsbalk) en de gebeurtenissen in het

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

6/39

programma/ de uitvoering. Hieronder lichten we de gebeurtenissen in meer detail – per stroom (rij in het figuur) – toe voor de gebeurtenissen in het programma en de uitvoering. Stroom 1 –Uitvoering (door de lijn) In de zomer van 2024 is het programma bezig met het ophalen van informatie voor de rollen en autorisaties en updaten van de mandaten t.b.v. de COA-tabel1 . Bevoegdheden die medewerkers in AFIS hebben in relatie tot het codeer- en goedkeuringsproces van facturen zijn op de COA-tabel gebaseerd. Diverse projectleiders worden door directies ingezet om de informatie met de directies op te halen, te vullen en te controleren. De COA-tabel kent bij de definitieve oplevering honderdduizenden regels. Op 24 oktober 2024 bevestigt de stuurgroep dat het programma op koers ligt om op 6 januari 2025 live te gaan. In november 2024 passen product owners voor het laatst de procesbeschrijvingen aan, zodat deze corresponderen met de aangeleverde autorisaties van medewerkers. Op 6 december 2024 detecteert het cluster Ruimte en Economie rolconflicten in het goedkeuringsproces en deze worden voor een aantal directies opgelost. Voor de resterende directies vraagt het cluster R&E om een tijdelijke uitzondering te maken en de juiste (updates van) rollen later door te geven. Vanaf 13 december 2024 wordt de verwerking van inkoopfacturen gestopt.

Dit geldt zowel voor inkoopfacturen die voor 13 december binnen kwamen maar nog niet verwerkt zijn als voor inkoopfacturen die leveranciers versturen tussen 13 december 2024 en 6 januari 2025. Op 17 december 2024 geeft de stuurgroep haar akkoord voor de livegang van AFIS op 6 januari 2025. Na livegang op 6 januari 2025 verwerkt de afdeling crediteurenadministratie, als gevolg van technische problemen, tussen 6 en 20 januari 2025 geen facturen die gedurende de freeze-periode zijn tegengehouden. Dit betreft drie typen facturen: facturen die nog niet zijn afgewikkeld in AFS, facturen die vanuit de mail zijn binnengekomen en e-facturen die on hold staan bij Tie-Kintetix. In totaal betreft dit 24.400 facturen. Om de uitbetaling van achterstallige inkoopfacturen te versnellen wordt vanaf 20 januari 2025 de afdeling crediteuren extra opgeschaald met 20 fte. Het programmateam ontvangt in januari 2025 vanuit de lijn diverse signalen en foutmeldingen omtrent autorisaties waardoor de verwerking van facturen bemoeilijkt wordt. Zo kunnen 200 medewerkers van GGD enkel handmatig inloggen doordat zij geen volwaardig ADW account hebben, daar waar AFIS dit vereist. Ook blijkt dat er behoefte is aan een overzicht van welke autorisaties en tegels2 bij elke rol in AFIS horen.

Daarnaast geldt voor een groot aantal van de clusters dat noodzakelijke mutaties in de goedkeuringsflow niet mogelijk zijn als gevolg van problemen met de inrichting van autorisaties. Eind januari 2025 treedt een probleem op met de COA-tabel. Het is voor de crediteurenadministratie niet altijd zichtbaar welke prestatieverklaarders en budgethouders gekoppeld zijn aan inkoopfacturen. Ook treedt tijdens het verwerkingsproces van facturen in AFIS – specifiek de VIM-module – de eerste uitval op. Facturen kunnen niet gekoppeld worden aan de juiste inkooporders en de problemen met de COA-tabel leiden ertoe dat facturen niet doorgezet kunnen worden in de goedkeuringsflow naar prestatieverklaarders en budgethouders. Eind januari en begin februari gaan de performance en stabiliteit van de COA-tabel sterk achteruit. Het systeem gaat enkele keren helemaal onderuit. Als gevolg daarvan kan men in de uitvoering mutaties niet doorvoeren. Het is vanaf het begin niet mogelijk dat meerdere medewerkers tegelijk in de COA-tabel werken terwijl dit wel nodig is. Dit vertraagt de verwerking van de facturenstroom.

1

Een COA-tabel bevat een lijst van grootboekrekeningen, inkoopprocessen en regels die bepalend zijn voor de wijze waarop prestatieverklaarders en budgethouders facturen goedkeuren. 2 Een tegel – een applicatie – is een onderdeel van de gebruikersinterface binnen AFIS. Middels de juiste autorisatie verkrijgen gebruikers toegang tot applicaties (tegels) en informatie.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

7/39

Tevens is het verkrijgen van directe inzage in de processtatus van facturen en werkvoorraden niet mogelijk. Door de uitval en het gebrek aan inzicht in de status van de werkvoorraad neemt begin februari vanuit directies de roep toe om dagelijks inzicht in waar facturen zich in het verwerkingsproces bevinden. Via work-arounds tracht men de facturenstroom op gang te houden. In de tweede week van februari 2025 komt het eerste rapport beschikbaar dat een dagelijks inzicht biedt in opgelopen achterstanden. Het blijft echter onduidelijk wat de oorzaken zijn voor de vertraging in de verwerking van facturen. In de laatste twee weken van februari en gedurende de hele maand maart tracht het programmateam oplossingen op korte en lange termijn te realiseren zodat de crediteurenadministratie de facturenachterstand kan wegwerken. Zo schaalt de afdeling crediteuren administratie gefaseerd op in capaciteit van 42 FTE (standaard capaciteit) naar 10 FTE extra in december en naar 107 FTE in maart 2025. De extra inzet wordt gebruikt voor factuurverwerking en codering, maar ook voor uitbetalen en bemensen van de spoeddesk. In de eerste berichten over de betalingsachterstanden vanaf 20 januari wordt de suggestie gewekt dat deze binnen 6 weken zullen worden weggewerkt. De problematiek blijkt echter hardnekkiger.

Op 6 maart 2025 informeert het programmateam de stuurgroep over de verwachte doorlooptijd van drie tot zes maanden voor het vinden van een structurele oplossingsrichting voor de problematiek met de COA-tabel en de strikte inrichting van AFIS. Deloitte wordt gevraagd om een health check uit te voeren, waarmee zij de tweede helft van februari starten. In maart 2025 stelt men vast dat er continue monitoring en analyse op uitvalredenen in de uitvoering nodig is. Op 14 maart 2025 levert Deloitte een statusrapportage op die inzicht biedt in de verwerkingsstatus van de inkoopfacturen in AFIS en per procestype foutmeldingen beschrijft. Begrip over wat de procesfouten veroorzaakt blijft uit. Uit interviews, afgenomen in mei 2025, blijkt dat de problematiek nog niet geheel is opgelost. Stroom 2 – Verandermanagement Het programmateam organiseert in november en december 2024 opleidingen voor gebruikers die vanaf 6 januari 2025 met AFIS gaan werken. De gebruikers die deelnemen aan de opleidingen ervaren de opleidingen als theoretisch en maken kenbaar dat ze via een oefen-omgeving willen leren hoe AFIS werkt. Hierin wordt in een laat stadium in een beperkte vorm voorzien. Gebruikers kunnen eerst alleen oefenen in SAP Enable Now. Hierin kunnen gebruikers demoscripts doorklikken en oefenen met happy flows die gescript zijn. Daarnaast is een aparte oefenomgeving ingericht.

Deze is niet makkelijk toegankelijk, vergt voorbereiding en planning om klaar te zetten voor een specifieke groep of afdeling en is niet representatief voor de latere productieomgeving (o.a. koppelingen ontbreken). In totaal schrijft vóór livegang van AFIS 55% van de gebruikers zich in voor deelname aan de opleidingen. Op 3 januari 2025 wordt gerapporteerd dat 45% van de eindgebruikers de opleidingen heeft afgerond. Het programmateam en de stuurgroep uiten in verschillende gremia hun zorgen over de lage opkomst. Een toename in gebruikersdeelname blijft echter uit ondanks een tweetal veegsessies voor het kerstreces. Deelnemers aan de opleiding (meetmoment januari 2025) zijn gemiddeld positief over de toename van het begrip ten aanzien van AFIS na volgen van de opleiding (positief 66%, neutraal 20%, 15% negatief)3. De deelnemers laten zich beduidend minder positief uit over de vraag of ze hun werk goed kunnen uitvoeren na het volgen van de opleiding (37% positief, 36% neutraal, 27% negatief)4. Ter ondersteuning na livegang organiseert het programmateam in januari 2025 verschillende Q&Asessies, livestreams en informatiepunten voor gebruikers. Het merendeel van de deelnemers geeft aan

3

De gestelde vragen zijn kennelijk gecombineerd en luidden als volgt: “De opleiding heeft bijgedragen aan mijn begrip van het AFISsysteem”“ De leeractiviteit is relevant voor mijn werk” 4 De gestelde vragen hierover zijn kennelijk gecombineerd en luidden als volgt: “Ik kan na afloop van de leeractiviteit mijn (nieuwe) rol in AFIS uitvoeren”, “De leeractiviteit gaat mij helpen om mijn werk beter te doen”

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

8/39

dat de opleidingen en Q&A’s niet bijdragen aan het beter uitvoeren van hun werkzaamheden in AFIS. Gebruikers ervaren AFIS als complex. Eind januari 2025 doen verschillende directies een dringende oproep voor een ‘knoppentraining5’. Aanvullend komen er in februari signalen dat er behoefte is aan duidelijke werkinstructies. Op 11 maart 2025 volgt een grote oproep vanuit verschillende directies en clusters om rolgerichte werkinstructies. Om hierin te voorzien, ontwikkelt het programmateam aanvullende adoptiemaatregelen gericht op een knoppentraining en het reviewen, updaten en verbeteren van werkinstructies. Aan het einde van onze onderzoeksperiode (maart 2025) zijn de werkinstructies en knoppentraining nog niet volledig beschikbaar. Stroom 3 – Testen De reconstructie van de gebeurtenissen in de testaanpak van AFIS start met de oplevering van de gebruikersacceptatietest (GAT) op 18 oktober 20246. Drie van de zes acceptatiecriteria staan in de GATrapportage op ‘behaald’. Ten eerste betreft dit het aantal openstaande bevindingen in de ernstcategorie kritiek, dit waren er nul. Ten tweede betreft dit het aantal openstaande bevindingen (max 25) in de ernstcategorieën medium en low; dit waren er 25 volgens de GAT. Ten derde betreft dit het testen van alle gerealiseerde requirements. Daarnaast staan er drie van de zes acceptatiecriteria op ‘niet behaald’.

Dit zijn het aantal bevindingen van ernstcategorie high; conform de GAT-rapportage zijn er op moment van oplevering nog twaalf, hoewel nul het uitgangpunt is. Daarnaast moet voor alle koppelingen in AFIS een SIT, FT en een KT of GAT zijn uitgevoerd7. Voor zes koppelingen was dit niet het geval. Ook dient te worden voldaan aan alle niet-functionele eisen8. Daarop is AFIS nog niet getest. De testmanager geeft een positief advies om de voorbereidingen voor livegang van AFIS voort te zetten. Wel moet er worden voldaan aan een vijftal criteria die de testmanager stelt. Deze criteria betreffen de afronding van essentiële GAT taken, requirements en testactiviteiten voorafgaand aan de Productie Acceptatie Test (PAT) en de livegang van AFIS. Het testen van niet-functionele eisen voert het programmateam in samenwerking met de, implementatiepartner, de technische ondersteuningspartner en de softwarebroker in november en december 2024 uit. Op 22 november ontvangt de stuurgroep een update over de stand van zaken. De pen en hacktest voert men uit in twee delen. Het eerste deel is afgerond en bevindingen die men detecteert hebben geen hoge prioriteit. Het tweede deel van de pen- en hacktest is op hetzelfde moment in uitvoering. Dit betreft het zestal koppelingen dat bij oplevering van de GAT-rapportage op 18 oktober 2024 nog niet is getest.

Begin december 2024 is het tweede deel van de pen- en hack testen afgerond met enkele (kleinere) restpunten. Daarnaast informeert de implementatiepartner de stuurgroep op 22 november 2024 dat er geen adequate software voorhanden is om representatieve performancetesten mee uit te voeren over de gehele keten. Onderzoek naar oplossingen wijst uit dat het veel tijd en aandacht kost om dit alsnog te realiseren. Er wordt getwijfeld aan de meerwaarde die dit heeft in verhouding tot de benodigde tijd die het kost. Uiteindelijk volgt een besluit in de stuurgroep AFIS om de performancetesten niet uit te voeren. Technische maatregelen worden getroffen om bij livegang snel in systeemcapaciteit op te kunnen schalen in het geval van performanceproblemen. Op 4 en 5 januari 2025 staat de finale productieacceptatietest (PAT) ingepland. De afronding hiervan vindt plaats op 5 januari 2025 en levert geen issues. Op 6 januari 2025 om 13.45 uur gaat AFIS live.

5

Bij een knoppentraining ligt de nadruk op het laten zien welke knoppen, velden of menu-opties de gebruiker moet aanklikken om bepaalde handelingen in een systeem uit te voeren. 6 Oplevermomenten overige testen: 26-04-2024: de systeemintegratietest, 21-08-2024: de ketentest, 13-09-2024: de functionele test 7 SIT: systeemintegratietest, FT: functionele test, KT: ketentest zijn in eerder stadium ook uitgevoerd voor het gehele systeem 8 Dit zijn eisen ten aanzien van bijvoorbeeld performance, beveiliging en stabiliteit.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

9/39

Stroom 4 - Datamigratie- en kwaliteit Om live te kunnen gaan met AFIS moet een aantal kerngegevens (de stamdata) ten aanzien van leveranciers en contracten en ook de transacties die hebben plaatsgevonden overgezet (gemigreerd) worden vanuit de oude situatie naar het nieuwe systeem. Om dit voor te bereiden, is een aantal proefmigraties uitgevoerd en heeft vervolgens de migratie in stappen plaatsgevonden; hieronder zijn de belangrijkste gebeurtenissen daarbij opgenomen. In juli 2024 blijkt Proefmigratie 4 niet succesvol; de resultaten voldoen niet aan de gestelde eisen. 44 verbeterpunten worden opgesteld. In augustus volgt proefmigratie 5, waarbij verbeteringen in de stamdatamigratie en een geslaagde contractdocumentatie-lading worden gerealiseerd. De proefmigratie wordt als ‘grotendeels succesvol’ gerapporteerd, met een aantal fouten, restpunten en risico’s. Voorbeelden hiervan: de uitval van ruim 2.000 zakenpartners, organisatiehiërarchieën onvoldoende voor financiële rapportages, data is niet voldoende geschoond, problemen met API-koppelingen en het onvoldoende testen van uitzonderingen. De resultaten vormen de basis voor een positief go/no-go-besluit op 30 juli 2024 om de datamigratie van stamdata technisch gereed te maken. Er volgt ook nog een proefmigratie 6 in september ten behoeve van migratie van contracten uit TopDesk.

Op 16 september 2024 vindt de eerste succesvolle livegang van contracten binnen Ariba plaats, waarmee een belangrijke deelmijlpaal wordt bereikt. Vanaf dat moment starten ook de duale onderhoudsprocessen in AFS en AFIS (beide systemen draaien en moeten gesynchroniseerd worden). In dezelfde periode worden de acceptatiecriteria voor datamapping en conversieregels formeel vastgesteld. Tegelijkertijd blijkt uit kwaliteitsmetingen dat circa 90% van alle stamdata binnen de afgesproken toleranties geladen zijn en dat de data-uitval beperkt blijft. Toch blijven handmatige correcties nodig bij alle migratiestappen. De controleprocessen op fouten in de aanlevering en verwerking van stamdata wordt daarom ook als blijvend risicopunt gemarkeerd. In oktober 2024 starten de voorbereidingen voor de migratie van transactionele data. In deze fase worden planningsrisico’s zichtbaar, zoals afhankelijkheden tussen systemen, en risico’s rond personele capaciteit. In november 2024 wordt de definitieve migratieplanning afgerond, inclusief de datamigratie van begrotingen, transacties en saldi. Ook zijn alle interfaces, zoals KvK- en IBAN-koppelingen, getest en geconfigureerd, maar niet zonder problemen (o.a. ontbrekende velden in de stamdata waardoor koppelingen niet werken). Deze worden in januari 2025 opgelost. In november wordt de migratie van de begroting succesvol uitgevoerd.

Hier wordt in het Go-Live advies aan gerefereerd als een probleemloze migratie. In december 2024 worden de testcases voor migratie van stamdata succesvol afgerond en volgen handmatige correcties op zware contractbestanden om resterende migratieproblemen op te lossen. In december wordt eveneens de migratie van open vorderingen en SEPA machtigingen uitgevoerd. Eind december worden de migratie van inkooporders en de migratie van openstaande debiteuren en crediteuren uitgevoerd. De laatste loopt door tot en met 5 januari. Bij beide migraties zijn handmatige correcties nodig. In december wordt een freeze-periode ingesteld, waarin geen wijzigingen meer zijn toegestaan in de bronsystemen. Deze wordt verlengd met een week om nog extra data te kunnen schonen. Na live-gang van AFIS op 6 januari 2025 blijkt dat er bij de datamigraties uitval is geweest. Diverse zakenpartners, boekingscombinaties en referenties ontbreken. In de derde week van januari wordt een herstelplan gestart gericht op het toevoegen van ontbrekende data. De afsluiting van de balans en projectstanden vindt plaats in voorbereiding op de jaarovergang. In februari 2025 vindt de laatste migratie plaats ten aanzien van het afletteren van de balans, de projectstanden en de vaste activa.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

10/39

Stroom 5 – Techniek Vanaf livegang van AFIS op 6 januari 2025 treden, gedurende twee weken, diverse technische problemen op met het scannen en archiveren van inkoopfacturen. Bijlagen worden niet of niet goed in AFIS getoond. Tot tweemaal toe loopt een (externe) server vast, waardoor de archivering van grote aantallen facturen mislukt. Inkoopfacturen blijken dubbel in AFIS te staan. Het oplossen van de problemen duurt tot 20 januari 2025. Vanaf dan staan alle inkoopfacturen met een vertraging van ongeveer twee weken op beschikbaar om automatisch gekoppeld te worden aan inkooporders en referenties. Problemen met het inscannen van inkoopfacturen blijven zich echter voordoen gedurende februari en maart 2025. Vanaf 21 januari 2025 wordt duidelijk dat AFIS performanceproblemen kent. Bij het coderen van inkoopfacturen middels VIM Coderen (Vendor Invoice Management) is er sprake van lange wacht- en laadtijden van schermen. Ook het in bulk opvragen van statusupdates van inkoopfacturen in VIM Analytics veroorzaakt eind januari meerdere malen een systeemuitval. Het coderen van facturen vertraagt hierdoor merkbaar en inzicht in werkvoorraden ontbreekt. Dit leidt ertoe dat de verwerking van de factuurstroom vertraagt.

Om het probleem te verhelpen, voeren de softwarebroker (die tevens expertise levert) en de technische ondersteuningspartner in de laatste week van januari 2025 een root cause-analyse uit. Tevens besluit het programmateam in overleg met de implementatiepartner en de technische ondersteuningspartner het interne werkgeheugen uit te breiden, in de veronderstelling dat excessief geheugengebruik van de VIMmodule de oorzaak is van de performanceproblemen. Dit leidt niet tot verbetering van de performance van AFIS. Het programmateam en de implementatiepartner vermoeden dat de omvangrijke COA-tabel één van de oorzaken is. Eind januari dient het programmateam daarom met hoge prioriteit een supportverzoek in bij SAP/OpenText. Begin februari escaleert het programmateam het issue met de COAtabel bij de softwarebroker (die tevens expertise levert), de implementatiepartner en SAP omdat het hulp nodig heeft bij het zoeken naar de oorzaken voor de problemen. In februari 2025 bieden workarounds oplossingen van tijdelijke aard. Eind februari verbetert de performance van VIM Analytics structureel als gevolg van een update. Als versnellingsmaatregel voor het coderen van inkoopfacturen zet men in maart 2025 een codeerrobot in. Een structurele oplossing voor VIM Coderen blijft dan echter nog uit.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

11/39

3

PROBLEMATIEK NA LIVEGANG

Dit hoofdstuk gaat in op onderzoeksvraag 1: “Welke problemen hebben geleid tot de vertragingen in de uitbetaling van facturen?” en beschouwt de problematiek na livegang, dus vanaf 6 januari 2025 tot eind maart 2025. In de tijdslijn in hoofdstuk 2 is de wijze waarop de problemen zich hebben geopenbaard uitgebreid geschetst. Hieronder is de problematiek kort samengevat, met onderscheid tussen problemen in de operatie (sectie 3.1) en problemen in de ambtelijke besluitvorming bij het go-live moment (3.2). 3.1 PROBLEMATIEK IN DE OPERATIE Deze sectie gaat in op de operationele problematiek, zowel in de techniek als in de uitvoering (lijn). Technische gebreken bij de start. Direct na livegang manifesteren zich een aantal gebreken in de techniek: problemen met het scannen en archiveren van facturen en vertragingen en fouten in de datamigratie van de oude facturen. Toen dat na twee weken was opgelost, ontstaan er performanceproblemen die tot eind februari aanhouden. Ook later komen er technische issues aan het licht en keren de scanproblemen meermaals terug. Deze technische problemen vormen een belangrijke eerste impuls voor oplopende betalingsachterstanden (bovenop de achterstanden die bewust zijn ingecalculeerd, doordat er een aantal weken geen facturen in AFS worden afgehandeld).

Op het moment dat de technische problemen zijn opgelost zijn er 6 weken geen facturen verwerkt (tussen 13 december – start freeze - en 20 januari). Gegevenskwaliteit was niet op orde. De lijndirecties zijn verantwoordelijk voor de kwaliteit van gegevens die in AFIS terechtkwamen. Hierin zijn diverse issues ontstaan, zowel ten aanzien van stamgegevens (die al vanaf september in AFIS waren opgenomen) als ten aanzien van transactiegegevens (die bij livegang 6 januari werden geladen). Het is ons uit het aangeleverde bronmateriaal duidelijk geworden dat vanuit het programma niet altijd bekend was of gecommuniceerd werd aan welke eisen voor datakwaliteit die gegevens moesten voldoen. De kwaliteit van de stamgegevens blijft op verschillende manieren achter: ◼ in contracten en inkooporders waren er problemen met BTW-nummers, KvK-nummers en leveranciersdata; ◼ de rekeningschema’s en mandateringsregelingen, die de directies aanleverden, waren te complex, wat mogelijk heeft bijgedragen aan de performanceproblemen; ◼ verstrekte rollen en autorisaties van medewerkers bleken niet altijd correct, waardoor zij in AFIS niet de juiste rechten hadden.

De transactiegegevens (facturen die deels in AFS waren afgehandeld en daarna in AFIS verder afgewikkeld moesten worden) bleken voorafgaand aan livegang onvoldoende opgeschoond, waardoor die facturen in AFIS (dat hogere kwaliteitseisen stelt) niet verwerkt konden worden. Het lijkt erop dat deze halfverwerkte facturen later in AFIS in uitvalbakjes terecht zijn gekomen, waarbij de uitvoering veel moeite had ze terug te vinden. Medewerkers onvoldoende voorbereid. Managers en medewerkers in lijndirecties zijn niet klaar voor AFIS. Dit komt enerzijds doordat zij moeten wennen aan een nieuw systeem: opleidingen aan de voorkant werden als te theoretisch ervaren en de behoefte aan een realistische ‘knoppentraining’ bleef ook na livegang groot9,. Anderzijds worden zij geconfronteerd met nieuwe taken en verwachtingen, waarop ze niet voldoende zijn voorbereid. Aan de achterkant van het proces (de afhandeling op concernniveau)

9

Deze behoefte bleef bestaan ondanks de beschikbare gescripte SAP Enable Now omgeving, een beperkte oefenomgeving en een opleidingstraject in het laatste deel van 2025.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

12/39

komen alle problemen samen. Daar zijn financieel medewerkers niet voldoende voorbereid op de werkdruk die ontstaat en op de corrigerende maatregelen die getroffen moeten worden. De beperkte voorbereidingen (zowel in de lijn als bij F&I) hebben voor veel onvermogen, weerstand, stress en improvisatie gezorgd. Gebrekkige aansluiting werkprocessen en AFIS. Na livegang is gebleken dat AFIS anders is ingericht dan medewerkers gewend waren met AFS: veel strikter, minder vergevingsgezind en met nieuwe taken. De strakke inrichting komt tot uiting in een eenduidige roltoewijzing, gelaagde controlestructuur en streng ingestelde drempelwaarden. Dit moet ervoor zorgen dat alleen facturen die aan alle regels voldoen worden uitbetaald. In de nieuwe taakverdeling blijkt dat veel personen in verschillende functies in de lijn contracten kunnen aangaan, terwijl ze dat vanuit het verleden niet gewend zijn. Bij de inrichting van AFIS zijn de consequenties van de belangenafweging tussen rechtmatigheid en werkbaarheid onvoldoende doorleefd. Daarnaast wordt er in de operatie om het systeem heen gewerkt om ontstane betalingsachterstanden terug te dringen, maar ook doordat sommige onderdelen nog niet gedigitaliseerd zijn of zich technische gebreken voordoen. 3.2 PROBLEMATIEK IN DE BESLUITVORMING BIJ LIVEGANG Deze sectie schetst de problemen in de ambtelijke besluitvorming bij livegang.

die in de evaluatie naar boven zijn gekomen. N.B. hieronder valt niet het bestuurlijk handelen; dat wordt in H5 behandeld. Onderschatting impact van de verandering. De stapeling van veranderingen vormt een groot afbreukrisico voor livegang. Dat hebben veel betrokkenen onvoldoende op waarde geschat. Vrijwel alle geïnterviewden vanuit het programma dachten ‘in control’ te zijn van de implementatie. Dat spreekt ook uit de rapportages, die tot het go-moment en zelfs tot 30 januari 2025 overwegend op groen staan en het beeld van ‘alles op koers en in control’ bevestigen. Na het verzoek van de stuurgroep om de teneur van de voortgangsrapportages meer aan te laten sluiten bij wat inmiddels een ‘crisis’ was geworden, veranderen de rapportages van toon. De houding van de organisatie ten opzichte van de initiële betalingsachterstanden is: dit gebeurt elk jaar, bij vorige implementaties was het niet anders, we halen het wel weer in (binnen 6 weken). Achteraf gezien is dit een onterecht gevoel van veiligheid en vertrouwen dat het goed zal komen. Dit overheersende gevoel heeft ervoor gezorgd dat de informatieverstrekking en escalatiemechanismen vanuit het programma in eerste instantie niet effectief functioneren, waardoor verrassingen hebben kunnen ontstaan. Onjuiste inschatting van kwaliteitsproblemen AFIS.

Terugkijkend moet geconstateerd worden dat veel opgetreden problemen bij het besluit om live te gaan bekend waren of dat hadden moeten zijn. Zo waren de volgende problemen bekend en (met mitigerende maatregelen) geaccepteerd: veel niet-opgeleide en ongeoefende medewerkers, geen middelen voor procesbeheersing, geen uitgevoerde performancetest, openstaande testissues, uitval en issues vanuit de datamigratie en geen rollback-mogelijkheid na 16 december 2024. Andere opgetreden problemen hadden bekend moeten zijn als de kwaliteit van valideren en testen hoger was geweest: de technische problemen, het onvoldoende opschonen van data, inconsistenties in de data in AFS en AFIS (o.a. door oneigenlijk gebruik AFS), onjuiste rekeningschema’s en mandateringen en de discrepantie tussen werkprocessen en ICT. Maar bij het besluit op 17 december 2024 om live te gaan was de afweging in de stuurgroep (en het GMT) dat er geen showstoppers waren en dat restproblemen oplosbaar waren. Dit is in een overleg op 6 januari 2025 bekrachtigd tot een definitieve Go, door de directeur F&I in overleg met de programma organisatie. Onvoldoende oog voor wat mis kon gaan. Je kunt nooit uitsluiten dat er iets misgaat tijdens een implementatie. Daarom is het nodig ook op die mogelijkheid goed voor te bereiden.

Hoewel het programma hiervoor een ‘hypercare’ heeft ingesteld en ‘what if’-scenario’s heeft uitgewerkt, bleek dat niet afdoende. Zo is er geen uitgewerkte fallback optie voorzien om (bij grote problemen) na 6 januari 2025 terug te kunnen vallen op het oude systeem AFS. Ook zijn er geen middelen beschikbaar gesteld

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

13/39

voor monitoring van werkvoorraden, facturenstromen en gebruik. Daarbij zijn er geen procedures voorbereid om bij eventueel stokkende procesgang op (handmatige) alternatieven over te gaan. Een ander voorbeeld is dat er onvoldoende afspraken zijn gemaakt met de leveranciers om op te schalen als er iets mis gaat (uitzondering: met de softwarebroker en de technische ondersteuningspartner zijn afspraken gemaakt om binnen een uur technisch op te kunnen schalen bij performance problemen, maar niet qua kennis en capaciteit). Dit heeft er mede voor gezorgd dat niet snel genoeg is gereageerd toen er daadwerkelijk zaken misgingen na de livegang en er issues in het systeem (met name de VIM-module) moesten worden hersteld.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

14/39

4

OORZAKEN VAN PROBLEMEN

Dit hoofdstuk gaat in op onderzoeksvraag 2: “wat zijn de oorzaken van de problemen en hoe heeft dit kunnen gebeuren?”. De beantwoording richt zich op de periode van 22 oktober 2024 tot 6 januari 2025; daarbij worden oorzaken van vóór die periode aangehaald als die instrumenteel zijn voor onderbouwing of ter illustratie. Onderstaande figuur (een zogenaamd ‘fishbone diagram’) toont oorzaak-gevolg-relaties aan die hierna geadresseerd worden. Aan de bovenkant staan de operationele oorzaken (genummerd 01 t/m 04) en aan de onderkant de oorzaken in ambtelijke besluitvorming bij livegang (nummers 05 t/m 07). In de secties hierna behandelen we deze zeven typen oorzaken. Dit hoofdstuk is vrij uitgebreid omdat het de basis vormt voor de hoofdvraag van de evaluatie: wat kan Amsterdam hiervan leren?

4.1 TECHNISCHE GEBREKEN BIJ DE START Kort na livegang ontstonden er ingrijpende technische problemen met AFIS. Hoewel het onmogelijk is om een gegarandeerd foutloos systeem te realiseren, hadden deze technische problemen bij een zorgvuldige aanpak tijdens de testfase ontdekt en opgelost kunnen worden. De snelheid waarmee de problemen zich openbaarden, illustreert dat ze zich ‘aan de oppervlakte’ van het AFIS-systeem bevonden. Kwaliteit van testen. Ondanks dat er een uitgewerkt mastertestplan beschikbaar was met een brede scope, en ondanks dat er een groot aantal testsoorten is doorlopen, constateren we dat het AFIS-systeem niet afdoende getest is: ◼ AFIS is onvoldoende getest met representatieve testdata. Representatieve testdata zijn essentieel voor een betrouwbare test. Voor de tests is gebruik gemaakt van de resultaten uit “proefmigratie 4”, die een uitval van circa 20% had; dit terwijl vooraf bekend was dat proefmigraties 1 tot en met 4 van “onvoldoende goed niveau” waren. Dit kan verklaren waarom de problematiek met de datakwaliteit pas na livegang werd geconstateerd en niet tijdens het testen. Alleen de finale productieacceptatietest (5 januari 2025) is met gemigreerde productiedata uitgevoerd.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

15/39

◼ AFIS is beperkt getest in foutsituaties10. De meeste testen waren “redelijk basaal en voornamelijk gericht op de happy flow”. Dit betekent dat vooral de ‘goed’-situaties zijn getest, en dat ‘fout’-situaties en uitzonderingen maar beperkt aan bod zijn gekomen. Dit kan verklaren waarom het “kwijtraken van facturen” pas na livegang werd geconstateerd en niet tijdens het testen. ◼ Weinig tijd voor productieacceptatietest. De productieacceptatietest (PAT) is gepland en uitgevoerd op 5 januari 2025, een dag voor de livegang. Er is expliciet gekozen om gekoppelde applicaties niet mee te nemen in de test. Niet alle uitgevoerde tests zijn gemarkeerd als ‘afgerond’ (d.d. 8 januari 2025) en er zijn bevindingen gerapporteerd. De productieacceptatietest heeft door het gebrek aan tijd maar een beperkt deel van de functionaliteit kunnen raken. ◼ Geen performancetest. De performance-eisen voor AFIS waren niet SMART en ontoereikend om concrete testscenario’s op te baseren. De ingeschatte benodigde tijd voor de performance-test overschreed de deadline voor livegang en er waren geen geschikte testtools voorhanden om de testen uit te voeren. Daarom is besloten geen performancetest uit te voeren. Met een dergelijke test hadden de later opgetreden performanceproblemen mogelijk voorkomen kunnen worden. Regressietest bij laat doorgevoerde wijzigingen.

De applicatie is doorontwikkeld tijdens de testfase, zonder dat afdoende getest is of de doorgevoerde wijzigingen de werking van het systeem negatief beïnvloed hebben: ◼ Applicatie doorontwikkeld tijdens testfase. Er is niet gekozen voor een ‘freeze-periode’ van het systeem, waarin de applicatie stabiel en ongewijzigd zou blijven ten behoeve van de tests: tijdens het testen ging de ontwikkeling door en werd de applicatie tot aan half december 2024 aangepast. Er zijn tot op het laatste moment voor livegang nog wijzigingen doorgevoerd in AFIS en de inrichting. ◼ Geen complete regressietest na wijzigingen. Een regressietest is een test die bedoeld is om eventuele terugval (‘regressie’) in een systeem te bepalen: functies van het systeem die na een wijziging niet meer correct werken terwijl ze dat eerder wel deden. Er is bij AFIS gekozen om na wijzigingen geen complete regressietest te doen. Wijzigingen zijn weliswaar getest voordat ze naar productie gingen, maar die testen waren lokaal (test van de wijziging zelf) en niet gericht op eventuele zijeffecten in de keten. Op de laatste dag voor livegang is er in de PAT-test een aantal end-to-end testen gedaan in de keten, maar dit kan gezien de beschikbare tijd niet gekwalificeerd worden als een complete regressietest. Hierdoor kunnen er issues in het systeem zijn geweest die niet aan het licht gekomen zijn tijdens de testfase.

4.2 GEGEVENSKWALITEIT WAS NIET OP ORDE De initiële kwaliteit van de transactie- en stamgegevens in AFIS was niet op orde: 1) rekeningschema’s en mandateringsregelingen waren te complex; 2) er waren problemen met Btw-nummers, KvK-nummers en leveranciersdata; 3) medewerkers bleken niet de juiste rechten te hebben; en 4) gemigreerde facturen (die partieel in AFS zijn afgehandeld) bleken niet de juiste gegevens te bevatten om in AFIS (dat minder vergevensgezind is) verder afgewikkeld te kunnen worden. Het programma heeft afspraken gemaakt met de directies over het verbeteren van de kwaliteit. Voor livegang heeft de lijn met de keuze voor een langere ‘freeze’ nog een week extra de tijd genomen om de kwaliteit op orde te brengen. Toch heeft dit te weinig effect gehad: ◼ Aanleveren stamgegevens verliep onzorgvuldig. Al op 16 september 2024 zijn de contractmodule en de stamdata in AFIS live gegaan. Functionaliteit eerder live zetten is over het algemeen een best practice. Het gevolg was wel dat er gedurende bijna vier maanden dubbel gewerkt moest worden: in het oude en in het nieuwe systeem, waarbij AFIS de bron was: nieuwe contracten werden in AFIS gemaakt en gegevens werden naar AFS gekopieerd. Het bleek een flinke uitdaging om AFS en AFIS in sync te

10

Deze bevinding is gebaseerd op overeenkomstige uitspraken van meerdere respondenten tijdens de interviews, waarin zij onafhankelijk van elkaar vergelijkbare ervaringen en opvattingen deelden.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

16/39

houden, mede doordat er tegen de afspraken in soms toch in AFS gemuteerd werd. In proefmigraties, o.a. bij proefmigratie 4, zijn er grote kwaliteitsissues gemeld op dit punt, terwijl het toch de basis vormde voor de GAT data. Het is de directies niet gelukt om het hardnekkige datakwaliteitsissue voor livegang afdoende op te lossen. Het programma heeft hier onvoldoende aandacht voor gevraagd. ◼ Aanleveren autorisaties verliep onzorgvuldig. Het correct opschonen en aanleveren van gegevens voor de nieuwe autorisatiematrix in AFIS (een vorm van stamdata) verliep ongestructureerd. Hierbij ging het, onder andere, erom aan te geven wie de budgethouders en prestatieverklaarders waren en wie in AFIS-inkooporders mochten aanmaken. Er is te weinig tijd genomen om de autorisaties goed te krijgen, en het programma heeft de lijn onvoldoende ondersteund in de vertaalslag van oude naar nieuwe rollen en rechten. Hier had meer aandacht aan gegeven moeten worden. ◼ Te weinig tijd voor opschonen transactiegegevens. Er waren afspraken gemaakt met de lijndirecties om de oude factuurgegevens in AFS op te schonen, in aanloop naar de migratie. Uiteindelijk is besloten om de freeze-periode van AFS (geen facturen meer verwerken in AFS) met één week te verlengen, zodat de pijplijn aan openstaande facturen verminderd kon worden en de kwaliteit van de gegevens in AFS verbeterd kon worden.

Dit is echter niet gelukt door tijdsgebrek, een onduidelijke rolverdeling en het ontbreken van een gestandaardiseerde aanpak. Het controleren op de juiste migratie was pas na migratie goed mogelijk. In de interactie tussen programma en lijn is de gegevenskwaliteit onvoldoende gemanaged. 4.3 MEDEWERKERS ONVOLDOENDE VOORBEREID De introductie van een nieuw financieel en inkoopsysteem gaat in de regel gepaard met veranderingen in de werkprocessen. Zeker bij een systeem gebaseerd op SAP, dat een vrij strikte werkwijze afdwingt, kunnen die veranderingen aanzienlijk zijn. Een striktere werkwijze dient bovendien een doel: verhoging van kwaliteit, rechtmatigheid, uniformiteit en traceerbaarheid van financiële handelingen. Gemeente Amsterdam is opgedeeld in 55 directies, die elk hun eigen werkwijzen kennen; dit betekent dat er ook evenveel unieke veranderprocessen zijn. Een complicerende factor is dat gemeente Amsterdam niet gewend is om met strikte financiële processen te werken. Medewerkers zijn gewend aan een zekere ‘flexibiliteit’. Zo kan het voorkomen dat bij een ontvangen factuur de bestelling ‘met terugwerkende kracht’ wordt geregistreerd. Dit is een werkwijze die niet door de onderliggende software van AFIS wordt ondersteund. Naast de veranderingen in de werkprocessen, werkstromen en autorisaties, moeten medewerkers leren omgaan met een nieuwe applicatie.

Dit illustreert de omvang van de beoogde verandering voor de medewerker: 1) een nieuwe manier van werken; 2) van een flexibel proces naar een strikt proces en 3) een nieuwe applicatie. Effectiviteit opleidingen en begeleiding. De voorbereidingen van het programma op de introductie van AFIS waren weliswaar uitgebreid, maar zijn in de praktijk onvoldoende gebleken: ◼ Opleidingen sluiten onvoldoende aan bij behoeften. Uit het onderzoek blijkt dat opleiding tot op het laatste moment weliswaar in scope is geweest, maar nooit voldoende effectief. De opleidingen bleken onvoldoende aan te sluiten op de behoeften van medewerkers (ondanks reviewrondes die zijn uitgezet onder medewerkers), bleken onvoldoende in het laten groeien van bewustwording en draagvlak voor de benodigde kwaliteitsverbeteringen en medewerkers bleken soms onrealistische verwachtingen te hebben van de opleiding (1 op 1 training). De opleidingen sloten niet genoeg aan op de situatie in Amsterdam (zo werd er bijvoorbeeld aandacht besteed aan rollen die niet relevant zijn voor Amsterdam of daar een specifiekere invulling hebben). Oefenen met de applicatie was aanvankelijk geen onderdeel van de opleiding, mede doordat er tot november geen geschikte oefenomgeving beschikbaar was. SAP Enable Now werd al langer als alternatief aangeboden maar volstond niet voor de benodigde oefenervaring onder eindgebruikers.

Ruim na de livegang is

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

17/39

geprobeerd om de achterstand in opleiding met ‘knoppentrainingen’ terug te dringen. De tijdsdruk had een negatief effect op de diepgang van de opleidingen. De organisatie van de opleidingen verliep rommelig en uitnodigingen werden soms te laat verstuurd, mede door niet goed gevulde autorisatiematrixen waar uitnodigingen op gebaseerd waren. ◼ Werkinstructies onvolledig en wijzigingen niet altijd doorgevoerd. De benodigde werkinstructies waren in eerste instantie niet voorzien door het programma, daarvoor zou SAP Enable Now worden ingericht. Toen bleek dat dit voor groepen medewerkers niet volstond, zijn ze alsnog (en daardoor laat) opgesteld. Ze waren onvolledig met betrekking tot concrete werkprocessen, soms te technisch van aard en bevatten niet altijd het benodigde detail voor gebruikers. Er zijn later correcties en wijzigingen in de werkprocessen doorgevoerd, waarbij correcties in de werkinstructies niet of niet altijd tijdig verspreid werden. ◼ Communicatie was niet altijd tijdig of aangepast aan de doelgroep. Er zijn diverse communicatiemiddelen ontwikkeld en ingezet, zoals webinars, Q&A-sessies, en vraag/antwoordoverzichten. In de praktijk kwamen die niet altijd op tijd bij de doelgroep en waren ze niet altijd voldoende gericht op die doelgroep. Veranderbereidheid.

Ook de lijndirecties hadden meer kunnen en moeten doen om het nieuwe systeem en de nieuwe werkwijze te adopteren: ◼ Onvoldoende deelname opleidingen. De deelname aan de opleidingen was voor de medewerkers vrijblijvend en het animo om ze te volgen betrekkelijk laag, zeker gezien het belang van de verandering. Voorafgaand aan de livegang heeft 45% van de gebruikers de opleidingen gevolgd (op 13 december was het 37%). Ondanks uitnodiging en aanmelding kwamen diverse medewerkers niet opdagen bij de opleidingen. Het vrijblijvende karakter is door diverse betrokkenen geduid als kenmerkend voor de manier van werken binnen de gemeente, waar het niet gebruikelijk is om zaken verplicht te stellen. ◼ Onvoldoende interne capaciteit voor persoonlijke begeleiding. De directeuren hebben onvoldoende capaciteit voor de AFIS-implementatie beschikbaar gesteld of vrijgemaakt. Een aanzienlijk aantal ingehuurde krachten was ingezet op typisch interne rollen. Voorbeelden hiervan waren te trainen trainers en het de zogenaamde sleutelgebruikers en floorwalkers. Hierdoor was er tijdens de implementatie te weinig persoonlijke begeleiding van medewerkers op de werkvloer. ◼ Onvoldoende sturing op de adoptie van de verandering. Amsterdam heeft verandermanagement georganiseerd en gepositioneerd tussen programma en lijnorganisatie.

Medewerkers van het verandermanagement hebben geen direct contact gehad met de technische uitvoerende partijen. De sturing op adoptie in de lijndirecties was beperkt; dat medewerkers tijdig aan opleidingen zouden deelnemen was bijvoorbeeld onvoldoende georganiseerd en geborgd. Met name de inkoopprocessen en -verwerking zijn door de AFIS-implementatie heel anders geworden; de impact daarvan was bij directies wellicht onvoldoende in beeld of niet gewenst, ondanks het opstellen van generieke en specifieke impactanalyses samen met de directies. In maart 2025 zijn aanvullende adoptiemaatregelen opgesteld (zie adoptieplan van maart 2025) om adoptie van AFIS door gebruikers te ondersteunen en vergroten. ◼ Onvoldoende draagvlak in de directies. De keuze voor SAP is de keuze voor een strak ingeregeld proces. Het werken volgens een strak proces is relatief nieuw binnen Amsterdam, de directies zijn dat niet gewend. In de directies was er onvoldoende draagvlak voor de nieuwe werkwijze die met de AFISimplementatie gepaard ging. Bij de inrichting van AFIS hebben de directies de oude werkwijze (mandatering, rekeningschema’s, autorisaties) naar voren geschoven. Zowel gebruikers als management wilden de bestaande werkwijze en de bestaande flexibiliteit zoveel mogelijk behouden.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

18/39

4.4 GEBREKKIGE AANSLUITING WERKPROCESSEN EN AFIS Op het moment dat AFIS in bedrijf werd genomen, waren niet alleen de medewerkers onvoldoende voorbereid (zie sectie 4.3), maar de uniforme werkprocessen die AFIS afdwong sloten ook niet aan bij diversiteit aan primaire werkprocessen van de individuele directies. Dit speelt tot op de dag van vandaag een grote rol, zoals ook het rapport van Deloitte aangeeft voor de VIM-module (die op zichzelf adequaat werkt, maar niet voldoet voor de organisatie). Praktijkgerichtheid acceptatietesten. Een belangrijk moment om de wederzijdse aansluiting te verifiëren, is de gebruikersacceptatietest (Zie GAT). Tijdens deze GAT worden gebruikers geconfronteerd met de nieuwe applicatie en kunnen zij een oordeel vormen over hoe die aansluit op de werkzaamheden in hun directie. De uitgevoerde GAT testen waren echter te weinig praktijkgericht om de aansluiting afdoende te toetsen: ◼ Onvoldoende specifieke testscenario’s. Voor bruikbare, sprekende resultaten van de GAT is het van belang dat de testscenario’s de werkzaamheden van directies, gebruikers en de gemeente als geheel voldoende afdekken.

Deze scenario’s worden typisch ook door de gebruikersorganisatie opgesteld, maar in het geval van AFIS is voornamelijk gebruik gemaakt van testscenario’s die gebruikt zijn bij de technische systeemintegratietest; er waren beperkt testen beschikbaar van gebruikers (1/3 gebruikers en 2/3 technisch). De kans om eventuele discrepanties tussen applicatie en werkproces te vinden, neemt hierdoor af. ◼ Beperkte end-to-end-testen van de gehele procesgang. Oorspronkelijk was beoogd om volledige processen te testen, van begin tot eind, zoals het mastertestplan ook beschrijft. Amsterdam heeft gekozen om dit tijdens de GAT maar beperkt te doen. Hierdoor hebben de gebruikers voornamelijk onderdelen van de functionaliteit getest, en is het end-to-end proces over gebruikersgroepen en afdelingen heen maar beperkt gevalideerd. ◼ Onvoldoende participatie. Het bleek ook lastig om gebruikers in voldoende mate te mobiliseren voor het uitvoeren van gebruikersacceptatietesten. De opkomst bleef ruim achter bij de verwachtingen. ◼ Testers hadden niet de juiste rollen en autorisaties. Het gebrek aan draagvlak (zie 4.3) verklaart mogelijk ook de vanuit de directies onvoldoende zorgvuldig beschreven rollen en autorisaties. De rollen die waren ingericht en getest, kwamen niet overeen met hoe deze uiteindelijk in productie nodig waren.

Tot op het laatste moment, voorbij livegang, zijn hier nog veranderingen in doorgevoerd. Drie van de benodigde rollen waren ten tijde van de GAT nog niet bekend. Juist de rolverdeling is essentieel in financiële processen; dit aspect kon niet afdoende meegenomen worden in de GAT. ◼ Positief acceptatiebesluit ondanks bevindingen en beperkingen. Uiteindelijk zijn de resultaten van de GAT als mijlpaal geaccepteerd, ondanks de bevindingen en beperkingen die daaruit naar boven kwamen. De bevindingen zijn later hersteld en opnieuw getest, en de geconstateerde beperkingen in de GAT (de afwezige zes koppelingen, rapportages, extra rollen, diverse changes) zijn op een later moment (soms pas na livegang) alsnog opgelost en geaccepteerd. Hiermee is niet alleen afgeweken van de vooraf afgesproken procedures voor mijlpaalovergangen, maar is ook het risico genomen dat deze late wijzigingen effect zouden hebben op de werking van reeds goedgekeurde functionaliteit (indachtig het gezegde ‘resultaten uit het verleden bieden geen garantie voor de toekomst’). Zie ook sectie 4.1 onder regressietesten. Grondigheid impactanalyses.

Ook op eerdere momenten, bij goedkeuring van de specificaties en functionele ontwerpen (april 2024) en het uitwerken van impactanalyses (generiek en per directie, van januari tot april 2024) heeft Amsterdam kansen laten liggen om te constateren dat er een discrepantie zou ontstaan tussen AFIS en de werkprocessen in de directies. Deze oorzaken liggen formeel buiten het beschouwingsgebied van de evaluatie, maar ze zijn zeker relevant: ◼ Ontwerpdocumenten onvoldoende gevalideerd op procesimpact. Er is veel inspanning geleverd door Amsterdam in het valideren van ontwerpdocumenten. Hierbij hebben de consequenties die het ontwerp had voor de werkprocessen echter onvoldoende aandacht gekregen. Zo is onvoldoende

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

19/39

geacteerd op observaties dat de inrichting van AFIS veel strikter was dan gewenst, dat het inkoopproces grote impact had op de lijndirecties en dat de mandateringsregeling en het rekeningschema onwerkbaar waren. Ook is niet herkend dat inzage in de processtatussen (die in de ontwerpen benoemd werden) van groot belang was voor het beheersen van de workflow (dit verklaart b.v. de 417/418-problematiek). Deloitte gaf in een review van de integrale ontwerpen een 6.2. als cijfer. Ondanks het opvolgen van aangedragen aanbevelingen voor verbetering heeft dit niet geleid tot de gewenste verbeterde aansluiting met de procesgang. ◼ Impactanalyses hebben geen discrepanties aan het licht gebracht. In een aantal slagen zijn er algemene en directie-specifieke impact analyses gedaan op de procesbeschrijvingen die het programma had opgesteld, op basis van de ontwerpdocumenten. Het beeld dat hieruit naar voren kwam was redelijk positief: directies voorzagen weinig impact en er kwamen ook geen signalen dat de operationele complexiteit te groot werd. Deze impactanalyses zijn echter niet door alle directies even diepgaand uitgevoerd maar ook bij de directies die het wel diepgaand hebben uitgevoerd kwamen die signalen niet naar voren. Doelen en kaders voor de veranderopgave.

In de Regeling Grote Projecten (bijlage 1) staat de rol van een programma duidelijk aangegeven: ‘de kenmerken van een programma zijn onder andere een grote strategische opgave en verandering die veel onderdelen van de organisatie raakt’. Ten aanzien van die grote strategische opgave constateren we dat de doelen en uitgangspunten ontbraken bij het AFISprogramma: ◼ Geen kaders voor harmonisatie van processen en data. De directies hebben hun bestaande werkwijzen laten automatiseren in AFIS, ten aanzien van de mandateringsregeling en het rekeningschema. Hierdoor is onder andere de COA-tabel zeer omvangrijk geworden; vele malen omvangrijker dan SAP ooit heeft gezien. Dit komt doordat er vanuit het programma en het GMT onvoldoende afspraken zijn gemaakt met directies over het uniformeren en standaardiseren van processen en data. Een gremium dat de bevoegdheid had om de decentrale belangen af te wegen tegen het concernbelang en daarin besluiten te forceren was niet expliciet aangewezen. ◼ Geen duidelijke afspraken over rechtmatigheid. Het doel om de rechtmatigheid van betalingen te verbeteren – en de consequenties daarvan voor inkoop en facturatieafhandeling in AFIS – is onvoldoende duidelijk gemaakt aan de directies.

Er zijn geen afspraken gemaakt over de gevolgen daarvan: dat er strakkere controles kwamen (ongeacht of dit op bestaande of nieuwe taken betrekking had), dat bestaande ‘geitenpaadjes’ werden afgesloten en dat er extra taken in de directies kwamen ten aanzien van inkoop. Het afwegen van de belangen (rechtmatigheid versus werkbaarheid voor medewerkers en ondernemers) is niet goed afgewogen en daarin is geen middenweg gekozen. ◼ Beperkte architectuursturing. Amsterdam heeft in 2023 een aantal architectuurprincipes opgesteld voor de inrichting van AFIS. Het principe ‘fit-to-standard’ (gebruik maken van de gestandaardiseerde en bewezen processen en functionaliteiten van SAP) is daarin opgenomen, maar in de praktijk niet goed afgedwongen. Hierbij zijn er uit de interviews twee beelden gekomen: de implementatiepartner zou de standaarden nooit hebben gecommuniceerd, en Amsterdam zou niet hebben willen luisteren als de implementatiepartner daarop aandrong. Ook andere goede principes (datakwaliteit op orde, eenvoud boven kwaliteit) zijn onvoldoende afgedwongen, gegeven de problematiek die na livegang zichtbaar werd op deze aspecten. Een SAP-analyse geeft aan dat de hoeveelheid risicovol maatwerk in SAP wel binnen de grenzen is gebleven (“medium amount of own developments”).

4.5 ONDERSCHATTING IMPACT VAN DE VERANDERING Uit de interviews en rapportages blijkt dat veel medewerkers in het programma verrast werden toen de betalingsachterstanden zich ontwikkelden. Ze hadden het gevoel ‘in control’ te zijn en lieten dat ook blijken in de rapportages die tot 30 januari 2025 overwegend op groen stonden. Achteraf gezien was dit een bedrieglijk gevoel van veiligheid en vertrouwen dat het goed zou komen. Hier onderzoeken we hoe dit onterecht gebleken beeld heeft kunnen ontstaan.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

20/39

Hoog risicoprofiel van de veranderingen. Amsterdam heeft de AFIS-implementatie onderschat. Al vroeg is besloten het niet onder de Regeling Grote Projecten (RGP) te brengen. De perceptie was dat de AFSimplementatie in 2017 veel ingewikkelder was, en goed verlopen was, en dus AFIS niet zo’n probleem zou vormen. In ons oordeel was het beter geweest dit wel te doen (zie Bijlage 1 voor de argumentatie hiervoor). Het project scoort rood op de drie risicodimensies van een veelgebruikt model voor risicoclassificatie van ICT-projecten11: ◼ Omvang. De AFIS-implementatie was zeer omvangrijk in scope, met een diversiteit aan processen, 5.000+ gebruikers, 55 directies en zes te vervangen systemen. ◼ Technische complexiteit. Ook die was substantieel: het integreren van drie pakketten, een complexe datamigratie, realisatie van 59 koppelingen en 130 aansluitingen, aansturing van twee leveranciers. ◼ Organisatorische complexiteit. Met name de impact op de organisatie was groot en werd onderschat. De introductie van een standaardpakket betekent in de regel dat de organisatie zich vergaand moet aanpassen aan die standaard. In een context waar lijndirecties veel vrijheid kennen, en concernbelangen met argwaan worden bekeken, vormde dit een uitdaging.

Deze organisatorische uitdaging werd versterkt toen in 2023/24 de druk op rechtmatigheid in betalingen werd opgevoerd doordat de accountant de jaarrekening niet zondermeer goedkeurde. Betalingen moesten voortaan beter en transparanter worden gecontroleerd. Dit heeft tot extra focus op inkoop- en contractprocessen geleid. Aanvullende risicovolle keuzes. Daar waar het programma in opzet al risicovol was, heeft het ook nog in werking een aantal keuzes gemaakt die als risicovol bekend staan (zie o.a. het AcICT-toetskader). Voor het grootste deel van de implementatie is gekozen voor een Big-Bang scenario. Voor de contractenmodule in Ariba werd het risico te groot geschat en is er voor gekozen om dit eerder live te brengen (september 2024). Ook zijn twee modules na 6 januari live gebracht. Voor het overige is alle functionaliteit, processen en doelgroepen in één keer live gegaan op 6 januari. Hierbij zijn de ICT-verandering en de procesverandering ook op hetzelfde moment doorgevoerd. Daarmee vormde 6 januari 2025 een culminatie van een groot aantal risicovolle veranderingen. 4.6 ONJUISTE INSCHATTING VAN KWALITEITSPROBLEME N AFIS Veel van de opgetreden problemen waren aan de voorkant bekend of hadden dat moeten zijn. Dit geldt voor de beperkte opleidingsgraad van medewerkers, technische problemen, achterblijvende gegevenskwaliteit en discrepantie tussen de werkprocessen en ICT.

In deze sectie evalueren we hoe het heeft kunnen gebeuren dat er tot een positief go-besluit voor livegang werd gekomen. Stuurkracht in de driehoek. De besturing was op een aantal punten niet passend en stevig genoeg voor de voorliggende opgave. Dit uit zich in de driehoek programma-directies-GMT als volgt: ◼ Beperkte stuurkracht. Het ambtelijk opdrachtgeverschap was belegd bij directie F&I, vanuit de gedachte dat deze directie stelselverantwoordelijk is voor Inkoop en Financiën. Uit de interviews blijkt dat de stuurkracht van F&I binnen de stad echter beperkt was: lijndirecties luisteren maar beperkt naar een concern-directie, ze hebben de programmadoelen van F&I ook niet expliciet onderschreven. ◼ Onvoldoende eigenaarschap van directies. De impact op de organisatie en de werkprocessen is flink onderschat. Uit interviews komt het beeld dat het programma en de lijn elkaar hiervoor verantwoordelijk houden. De verantwoordelijkheid voor organisatieverandering kan echter maar op één plek liggen: bij directies en clusters. De observatie dat de lijn geen eigenaarschap en commitment heeft getoond vormt daarmee een belangrijk leerpunt. Het programma had daarnaast haar ondersteunende en signalerende taak naar de directies effectiever kunnen oppakken.

Hiermee is de sturing op de AFIS-inrichting lange tijd verstoken gebleven van evenwichtige lijn-betrokkenheid en is een effectieve sturing op de organisatieverandering pas laat tot stand gekomen.

11

F.W.McFarlan, Portfolio approach to information systems, 1981.

Rapport Onderbouwing Versie 1.0 / 19 juni 2025

21/39

◼ Concern-brede rol door GMT te weinig ingevuld. Het programma is vanaf juli 2024 op meer strategisch niveau opgehangen (GMT). De ambtelijke rapportagelijn loopt nu van de stuurgroep naar de stedelijk directeur bedrijfsvoering en de gemeentesecretaris; dit is vormgegeven doordat de stuurgroep rapporteert aan het GMT, waar de stedelijk directeur Bedrijfsvoering en de gemeentesecretaris beiden in deelnemen. Het GMT heeft de strategische inbedding van het programma relatief laat krachtiger aangezet (in november twee directeuren en in december 2024 GMT in stuurgroep en klankbordgroep). Het liet echter na tijdig en doortastender in te grijpen toen de samenwerking tussen directies en programma stokte. Uit interviews en het verkregen reviewcommentaar op concepten van deze rapportage blijkt dat er veel onduidelijkheid was over de rol van het GMT en de vraag wie daarbinnen had kunnen bijsturen. Volgens de mandaatregeling hadden de stedelijk directeur Bedrijfsvoering en de gemeentesecretaris dat kunnen doen. ◼ Een veelheid aan gremia met onduidelijke mandaten. Er was een grote hoeveelheid verschillende gremia rond het programma waarin issues werden besproken en besluiten werden genomen: twee stuurgroepen, een opdrachtgeversoverleg (klein en groot), een kernteam, een klankbordgroep, het GMT, een change advisory board en een projectleidersoverleg.