Bijlage 3 Onderzoeksrapport risicomanagementsysteem programma Zuidasdok.pdf

Onderzoeksrapport risicomanagementsysteem programma Zuidasdok Eindrapport

Colofon Titel

Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Uitgebracht aan

Directeur Generaal Mobiliteit IenW

Datum

15 juni 2023

Kenmerk

2023-0000146422

Inlichtingen Auditdienst Rijk 070-342 7700

Inhoud

●

Opdracht—4

1 1.1 1.2

Bevindingen—6 Inleiding—6 Beschrijving opzet risicomanagementsysteem bevat 30 van de 39 daaraan gestelde eisen—6 Risicomanagementsysteem wordt in de praktijk - op een enkele uitzondering na toegepast zoals in opzet beschreven—7

1.3

2 2.1 2.2 2.3

Adviezen—8 Inleiding—8 Adviezen beschrijving opzet risicomanagementsysteem—8 Adviezen toepassing risicomanagementsysteem in de praktijk—9

3 3.1 3.2 3.3

Verantwoording onderzoek—10 Werkzaamheden en afbakening—10 Gehanteerde Standaard—12 Verspreiding rapport—12

4

Ondertekening—13

●

Bijlage 1: Managementreactie—14

●

Bijlage 2: Referentiekader—16

●

Bijlage 3: Overzicht bevindingen—21

●

Opdracht

Aanleiding De minister van Infrastructuur en Waterstaat heeft in overleg met de bestuurlijke partners een externe review van de kostenraming van Zuidasdok laten uitvoeren door de bureaus AT Osborne en Horvat & Partners (eindrapport 15 januari 2020). Deze externe review omvatte zowel een inhoudelijke als een procesmatige toets van de kostenraming. Een van de conclusies van de procesmatige toets was dat het risicodossier een zwak onderdeel is in de onderbouwing van de getoetste raming 1. AT Osborne en Horvat & Partners geven hierbij aan dat zij hebben geconstateerd dat de raming en dus ook het risicodossier in kort tijdsbestek tot stand is gekomen en het dus verklaarbaar is dat het niet het niveau had dat zij in deze fase van het project zouden verwachten. Verder geven zij hierbij aan dat de programmaorganisatie zich hier echter van bewust is en op dit gebied een inhaalslag aan het maken is. De Tweede Kamer is gemeld dat voor een goede beheersing van het programma met opnieuw aan te besteden deelprojecten het risicodossier aangepast wordt aan de nieuwe situatie en versterkt 2. Naar aanleiding van de bevindingen uit de externe review is de Auditdienst Rijk door het ministerie van Infrastructuur en Waterstaat gevraagd om een onderzoek te doen naar de opzet en de toepassing in de praktijk van het risicomanagementsysteem van het programma Zuidasdok.

De Directeur Generaal Mobiliteit IenW was de opdrachtgever van dit onderzoek. Het ministerie heeft haar opdrachtgevende verantwoordelijkheid in de praktijk ingevuld in samenwerking met de gemeente Amsterdam, als medeopdrachtgever voor Zuidasdok. Doelstelling en centrale onderzoeksvragen De doelstelling van het onderzoek is om inzichtelijk te maken in hoeverre de opzet van het risicomanagementsysteem van het programma Zuidasdok voldoet aan de eisen die worden gesteld (zie bijlage 2 voor het gehanteerde referentiekader met deze eisen) en in hoeverre deze opzet in de praktijk als zodanig wordt toegepast. Zo nodig worden adviezen gegeven ter verbetering van het risicomanagementsysteem. De twee centrale onderzoeksvragen luiden als volgt: 1. In hoeverre voldoet de opzet van het risicomanagementsysteem van het programma Zuidasdok aan de eisen die worden gesteld? 2. In hoeverre wordt het risicomanagementsysteem in de praktijk toegepast (bestaan) zoals dit in opzet is beschreven?

1

AT Osborne/Horvat & Partners, Externe review op de kostenraming Zuidasdok (paragraaf 3.1), 15 januari 2020. 2 Tweede Kamer, 32668, nr. 17, 30 april 2021. 4 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Leeswijzer Dit onderzoeksrapport heeft verder de volgende opbouw: Hoofdstuk 1 bevat de bevindingen met betrekking tot de beschrijving van de opzet van het risicomanagementsysteem en de toepassing van het risicomanagementsysteem in de praktijk. In dit hoofdstuk worden de centrale onderzoeksvragen beantwoord. Hoofdstuk 2 bevat de adviezen en in hoofdstuk 3 is de verantwoording van het onderzoek opgenomen. Hoofdstuk 4 betreft de ondertekening van het rapport. De managementreactie van de opdrachtgever is opgenomen in bijlage 1. In bijlage 2 is het referentiekader met de eisen voor het onderzoek naar de beschrijving van de opzet van het risicomanagementsysteem opgenomen. Bijlage 3 bevat het overzicht van alle bevindingen van het onderzoek.

5 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

1

Bevindingen

1.1

Inleiding In dit hoofdstuk worden de twee centrale onderzoeksvragen beantwoord. Paragraaf 1.2 bevat het antwoord op vraag 1: ‘In hoeverre voldoet de opzet van het risicomanagementsysteem aan de eisen die worden gesteld?’. De eisen zijn opgenomen in het referentiekader in bijlage 2. Paragraaf 1.3 bevat het antwoord op vraag 2: ‘In hoeverre wordt het risicomanagementsysteem in de praktijk toegepast (bestaan) zoals dit in opzet is beschreven?’. In het geval van omissies in de beschrijving van de opzet van het risicomanagementsysteem, zijn de betreffende eisen in de vragenlijst voor het onderzoek naar het bestaan toch meegenomen. Wanneer aan de betreffende eisen in de praktijk wel invulling is gegeven, ook al zijn deze niet beschreven in de opzet, resulteert dit in een positieve bevinding bij het onderzoek naar de toepassing van het risicomanagementsysteem in de praktijk. Dit hoofdstuk heeft het karakter van een uitzonderingsrapportage. Dat betekent dat: • in paragraaf 1.2 uitsluitend de eisen worden genoemd die niet in de opzet van het risicomanagementsysteem zijn beschreven en • in paragraaf 1.3 uitsluitend de eisen worden benoemd die niet of deels in de praktijk worden toegepast zoals deze in opzet zijn beschreven. Een compleet overzicht van de bevindingen is opgenomen in bijlage 3.

Daarin zijn ook de eisen opgenomen die zowel in opzet zijn beschreven als in de praktijk worden toegepast.

1.2

Beschrijving opzet risicomanagementsysteem bevat 30 van de 39 daaraan gestelde eisen Het antwoord op de eerste centrale onderzoeksvraag is dat in de opzet van het risicomanagementsysteem van het programma Zuidasdok de eisen, die worden gesteld, zijn beschreven, met uitzondering van de volgende negen eisen uit het referentiekader (zie bijlage 2) 3: 1. Eis 1.5: Beschrijving van de risicostrategie van Zuidasdok. Door het ontbreken van deze beschrijving bestaat het risico dat de door de programmadirectie beoogde risicostrategie voor de vier projectorganisaties van Zuidasdok niet helder is en/of dat deze projectorganisaties in de praktijk een verschillende risicostrategie hanteren. Het gevolg hiervan kan zijn dat in vergelijkbare situaties een projectorganisatie bijvoorbeeld kiest voor het accepteren van een geïdentificeerd risico, terwijl een andere projectorganisatie bijvoorbeeld kiest voor het beheersen van dit risico; 2. Eis 3.2: Beschrijving dat bij de initiële risico-identificatie gedacht moet worden aan (niet limitatief en indien relevant): risico’s op het gebied van techniek, financiën, tijd, ICT, omgeving, juridische procedures, markt- en contractmanagement en risico’s op politiek-bestuurlijk vlak?; 3. Eis 5.2 en 6.1: Beschrijving van de werkwijze die voor het (her)prioriteren van de risico’s moet worden gevolgd; 3

Bij de eisen waaraan in paragraaf 2.2 het advies is verbonden om deze in de beschrijving van de opzet van het risicomanagementsysteem op te nemen, is een omschrijving van het risico toegevoegd.

6 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

4. 5.

6. 7.

8.

9.

Eis 5.3 en 6.3: Beschrijving van hoe de resultaten van de (her)prioritering van de risico’s moeten worden vastgelegd; Eis 8.1: Beschrijving van hoe de gekwantificeerde risico’s in gevolgen voor tijd moeten worden verwerkt in de probabilistische planning. Door het ontbreken van deze beschrijving is het risico aanwezig dat er in de praktijk onduidelijkheden bestaan over de maatwerkinvulling van het opstellen van de probabilistische planning die geldt bij het programma Zuidasdok, gegeven de keuzes die voor deze maatwerkinvulling (al dan niet expliciet) zijn gemaakt. Verder ontbreekt hiermee een naslagdocument voor de planner en eventuele opvolgers; Eis 9.1: Beschrijving van hoe de risicostrategie voor elk van de geïdentificeerde risico’s moet worden vastgesteld; Eis 9.2: Beschrijving van op basis waarvan (onderbouwing) de strategische keuze wordt bepaald dat: 1. een risico wordt geaccepteerd (bijvoorbeeld omdat de beheersmaatregelen geen voordelen bieden of het risico niet ernstig genoeg wordt bevonden); 2. een risico wordt vermeden (door de activiteit niet te laten plaatsvinden of door de oorzaak van het risico geheel weg te nemen); 3. een risico wordt overgedragen naar een andere partij (bijvoorbeeld door het risico te verzekeren); 4. er maatregelen ter beheersing van het risico worden genomen.

Eis 11.2: Beschrijving van hoe het resultaat van de monitoring van de beheersmaatregelen moet worden vastgelegd. Door het ontbreken van deze beschrijving is het risico aanwezig dat er in de praktijk onduidelijkheden bestaan over de wijze waarop het resultaat van de monitoring van de beheersmaatregelen in het logboek in de systemen RiskID en GRIP (waarin de risico’s worden bijgehouden) moet worden vastgelegd en over wat daarbij precies moet worden vastgelegd. Het gevolg hiervan kan zijn dat informatie voor eventuele bijsturing ontbreekt; Eis 15.4: Beschrijving van de wijze, door welke functionaris(sen) en met welke periodiciteit de externe rapportering moet plaatsvinden.

Het ontbreken van de beschrijving van deze eisen in de opzet van het risicomanagementsysteem geldt zowel voor het project- als het programmaniveau. In totaal zijn 30 van de 39 eisen die in het referentiekader (zie bijlage 2) 4 zijn opgenomen, in de opzet van het risicomanagementsysteem van het programma Zuidasdok beschreven. 1.3

Risicomanagementsysteem wordt in de praktijk - op een enkele uitzondering na - toegepast zoals in opzet beschreven Het antwoord op de tweede centrale onderzoeksvraag is dat het risicomanagementsysteem in de praktijk wordt toegepast (bestaan) zoals dit in opzet is beschreven op de volgende uitzondering na: Eis 11.2 uit het referentiekader (zie bijlage 2): ‘Is beschreven hoe het resultaat van de monitoring van de beheersmaatregelen moet worden vastgelegd’. Hier wordt in de praktijk deels invulling aan gegeven. Dit geldt zowel voor het project- als voor het programmaniveau. In de praktijk wordt door de programma adviseur risicomanagement in het logboek in RiskID en GRIP vastgelegd of beheersmaatregelen zijn uitgevoerd. De voortgang en de effectiviteit van de beheersmaatregelen komt aan de orde in de risicosessie. Het (gezamenlijke) beeld van de effectiviteit van de beheersmaatregelen wordt niet altijd in het logboek vastgelegd. 4

Het referentiekader in bijlage 2 bevat in totaal 41 eisen. In de analyse zijn de eisen 5.2 en 6.1 samengevoegd tot één eis. Hetzelfde geldt voor de eisen 5.3 en 6.3. In beide gevallen is de reden hiervoor dat voor prioriteren en herprioriteren logischerwijs dezelfde systematiek geldt. Daarmee resteren in totaal 39 eisen.

7 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

2

Adviezen

2.1

Inleiding Dit hoofdstuk bevat de adviezen met betrekking tot het risicomanagementsysteem van het programma Zuidasdok. In paragraaf 2.1 zijn de adviezen met betrekking tot de beschrijving van de opzet van het risicomanagementsysteem opgenomen. Paragraaf 2.2 bevat de adviezen met betrekking tot de toepassing van het risicomanagementsysteem in de praktijk.

2.2

Adviezen beschrijving opzet risicomanagementsysteem Wij adviseren om de volgende drie eisen in de beschrijving van de opzet van het risicomanagementsysteem op te nemen (achter elke eis is het nummer van de betreffende eis uit het referentiekader (zie bijlage 2) opgenomen): 1. De risicostrategie van het programma Zuidasdok (eis 1.5). De risicostrategie is de strategie die de programma-organisatie wenst te hanteren om met risico’s om te gaan, waaronder de mate van bereidheid om risico’s te accepteren (‘risk appetite’); 2. De wijze waarop de gekwantificeerde risico’s in gevolgen voor tijd moeten worden verwerkt in de probabilistische planning (eis 8.1). In de Procedure Planningsmanagement (versie 1.2) staat wel dat het risicodossier input is voor de probabilistische planning, maar de wijze waarop de gekwantificeerde risico’s in gevolgen voor tijd moeten worden verwerkt in de probabilistische planning (het ‘hoe’) is hierin niet uitgewerkt. Het gaat hierbij om de maatwerkinvulling van het opstellen van de probabilistische planning die geldt bij het programma Zuidasdok, gegeven de keuzes die voor deze maatwerkinvulling (al dan niet expliciet) zijn gemaakt. Het is van belang om deze maatwerkinvulling te beschrijven zodat helder is wat deze invulling inhoudt en de programma-organisatie beschikt over een naslagdocument voor de planner en eventuele opvolgers.

Wij merken op dat deze maatwerkinvulling voor de totstandkoming van de probabilistische raming door het programma Zuidasdok wel is beschreven. 3. De wijze waarop het resultaat van de monitoring van de beheersmaatregelen in het logboek in de systemen RiskID en GRIP (waarin de risico’s worden bijgehouden) moet worden vastgelegd en wat daarbij precies moet worden vastgelegd (eis 11.2). Wij geven daarbij als attentiepunt mee het in het logboek vastleggen van de uitkomst van de evaluatie van de effectiviteit van de uitgevoerde beheersmaatregelen. De daadwerkelijke effectiviteit van een beheersmaatregel is moeilijk te bepalen, maar in de evaluatie kan er wel een (gezamenlijk) beeld worden gevormd van de effectiviteit van de beheersmaatregelen. Daarbij kan de vraag worden beantwoord in hoeverre met de geïmplementeerde maatregelen het beoogde effect wordt bereikt. Het antwoord op deze vraag kan in het logboek worden vastgelegd. Dit laatste is een belangrijke basis voor eventueel benodigde bijsturing ten aanzien van de getroffen beheersmaatregelen. Dit geldt zowel voor de risico’s op project- als programmaniveau.

8 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Wij hebben geconstateerd dat aan de overige zes eisen, die niet in de opzet van het risicomanagementsysteem van Zuidasdok zijn beschreven (zie paragraaf 1.2), in de praktijk wel invulling wordt gegeven. Dit komt doordat de toepassing van de eis als een vanzelfsprekendheid wordt gezien. De toepassing leidt in de praktijk ook niet tot onduidelijkheden. Wij geven in overweging om deze eisen toch op te nemen in de beschrijving van de opzet van het risicomanagementsysteem. Dit vanwege het feit dat de beschrijving ook een naslagfunctie heeft en omdat dit van toegevoegde waarde is bij eventuele functieroulatie. 2.3

Adviezen toepassing risicomanagementsysteem in de praktijk Voor de toepassing van het risicomanagementsysteem in de praktijk geven wij de volgende adviezen: Wij adviseren om de effectiviteit van de nog op te stellen risicostrategie periodiek, bijvoorbeeld jaarlijks, te evalueren en de risicostrategie zo nodig bij te stellen op basis van de uitkomsten van deze evaluatie. Wij adviseren om structureel invulling te geven aan vastleggingen in het logboek in de systemen RiskID en GRIP, op basis van daarover in de opzet van het risicomanagementsysteem te beschrijven afspraken. Dit advies geldt voor het vastleggen van het resultaat van de monitoring van de beheersing van zowel project- als programmarisico’s.

9 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

3

Verantwoording onderzoek

3.1

Werkzaamheden en afbakening Werkzaamheden Het onderzoek is uitgevoerd in twee fasen. In de eerste fase van het onderzoek is de opzet van het risicomanagementsysteem onderzocht aan de hand van een daarvoor opgesteld referentiekader (zie bijlage 2). Voor het onderzoeken van de opzet van het risicomanagementsysteem is de complete set van de geldende kaders, procedures en dergelijke opgevraagd. De beschrijving van de opzet van het risicomanagementsysteem van het programma Zuidasdok bestaat uit: 1. Paragraaf 5.4 ‘Risicomanagement’ van het Programmaplan Zuidasdok (versie 1.0, 15-02-2021); 2. Procedure Risicomanagement (versie 1.1, 06-08-2021); 3. Procedure Planningsmanagement (versie 1.2, 06-08-2021) (voor relatie tussen risicomanagement en probabilistische planning); 4. Procedure Financieel Management (versie 1.1, 06-08-2021) (voor relatie tussen risicomanagement en probabilistische raming); 5. Werkinstructie Financieel Management (versie 0.3, 19-05-2021) (voor relatie tussen risicomanagement en probabilistische raming). Het onderzoek van de opzet van het risicomanagementsysteem resulteerde in concept bevindingen die wij voor wederhoor (toets op eventuele feitelijke onjuistheden en/of onvolledigheden) aan de programma-organisatie van Zuidasdok hebben voorgelegd.

In de tweede fase van het onderzoek hebben wij de toepassing van het risicomanagementsysteem in de praktijk (het bestaan) onderzocht. De vragenlijst die wij daarvoor hebben gebruikt was gebaseerd op de volgende bronnen: • de beschrijving van het risicomanagementproces van het programma Zuidasdok (de opzet); • de relevante bevindingen uit het onderzoek naar de opzet. Hiermee doelen wij op eventueel geconstateerde omissies in de opzet van het risicomanagementsysteem. Voor het onderzoeken van het bestaan van het risicomanagementsysteem hebben wij interviews gehouden met diverse bij het risicomanagement betrokken functionarissen. Van elk interview is een interviewverslag opgesteld dat voor wederhoor aan elk van de betreffende geïnterviewde(n) is voorgelegd. Daarnaast bestond het onderzoek van het bestaan van het risicomanagementsysteem uit het opvragen en bestuderen van relevante documenten. Het concept rapport is achtereenvolgens voor wederhoor voorgelegd aan de programmadirecteur en directeur bedrijfsvoering van Zuidasdok en de (contactpersoon van de) gedelegeerd opdrachtgever, waarna finaal wederhoor met de opdrachtgever heeft plaatsgevonden. De in de opdrachtbevestiging overeengekomen werkzaamheden zijn uitgevoerd.

10 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

De uitvoering van het onderzoek is van de zijde van de opdrachtgever begeleid door een medewerker van IenW, in samenwerking met een medewerker van de gemeente Amsterdam. Centrale onderzoeksvragen De twee centrale onderzoeksvragen luiden als volgt: 1. In hoeverre voldoet de opzet van het risicomanagementsysteem van het programma Zuidasdok aan de eisen die worden gesteld? 2. In hoeverre wordt het risicomanagementsysteem in de praktijk toegepast (bestaan) zoals dit in opzet is beschreven? In het geval van omissies in de beschrijving van de opzet van het risicomanagementsysteem, zijn de betreffende eisen in de vragenlijst voor het onderzoek naar het bestaan toch meegenomen. Wanneer aan de betreffende eisen in de praktijk wel invulling is gegeven, ook al zijn deze niet beschreven in de opzet, resulteerde dit in een positieve bevinding bij het onderzoek naar de toepassing van het risicomanagementsysteem in de praktijk. Referentiekader Voor het onderzoek naar de opzet van het risicomanagementsysteem maken wij gebruik van een met de opdrachtgever afgestemd referentiekader (zie bijlage 2). Voor het onderzoek naar het bestaan van het risicomanagementsysteem bestaat het referentiekader uit het door de programmaorganisatie beschreven risicomanagementsysteem (opzet) inclusief eventuele omissies die zijn gebleken uit het onderzoek naar de opzet.

Object van onderzoek en afbakening Het object van onderzoek was het risicomanagementsysteem van het programma Zuidasdok op zowel het programmaniveau (projectniveau overstijgend) als op het niveau van de vier projecten van het programma Zuidasdok en omvatte ook de interactie tussen beide niveaus. De vier projecten van het programma Zuidasdok zijn: 1. Project Knooppunten: het realiseren van de reconstructie van de knooppunten De Nieuwe Meer en Amstel; 2. Project Openbaar Vervoer Terminal (OVT): het realiseren van een openbaar vervoer terminal in drie delen; 3. Project ‘Signalling and Control’ (S&C) ICT: het realiseren van ICT-systemen (kaartverkoopautomaten, OV-chipkaartpoorten, camera’s etc.) en werkzaamheden aan de metrobeveiliging- en besturingssystemen (S&C); 4. Project Tunnel: het realiseren van de tunnel A10 (Zuid en Noord). Het is van belang om aan te geven dat het onderzoek zich uitsluitend richtte op de inrichting (opzet) en toepassing van het risicomanagementsysteem (organisatie en risicomanagementproces: zie de hieronder opgenomen definities) en niet op de inhoudelijke invulling daarvan. Bij de inhoudelijke invulling moet bijvoorbeeld worden gedacht aan de inhoud van de geïdentificeerde risico’s, de hoogte van kwantificeringen, de effectiviteit van getroffen beheersmaatregelen etc.

Dat betekent ook dat de onderbouwing van het ten tijde van de ondertekening van de opdrachtbevestiging aanwezige budgettekort - vanuit de inhoud en kwantificering van door de programmaorganisatie geïdentificeerde risico’s - geen deel uitmaakte van het onderzoek.

11 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Definities van kernbegrippen Hieronder zijn de definities van kernbegrippen voor het onderzoek opgenomen: • Risicomanagementsysteem: de organisatie en het proces van het risicomanagement voor het gehele programma Zuidasdok. Bij de organisatie gaat het om alle bij het risicomanagement betrokken functionarissen met hun taken, verantwoordelijkheden en bevoegdheden in het kader van het doorlopen van het risicomanagementproces. Bij het risicomanagementproces gaat het om de processtappen die worden doorlopen en handelingen die daarbij van belang zijn. • Opzet van het risicomanagementsysteem: de beschrijving van zowel de organisatie als het proces van het risicomanagement in kaders, procedures en dergelijke die de bij het risicomanagement betrokken functionarissen geacht worden te hanteren; • Bestaan van het risicomanagementsysteem: het bestaan van de organisatie en de toepassing van het risicomanagementproces in de praktijk. Het onderzoeken van het ‘bestaan’ wil zeggen dat wij eenmalig hebben vastgesteld of aan een bepaalde handeling, in het kader van het toepassen van het risicomanagementsysteem in de praktijk, invulling is gegeven. Wij hebben daarbij naar de meest recente invulling gevraagd. 3.2

Gehanteerde Standaard Deze opdracht is uitgevoerd in overeenstemming met de Internationale Standaarden voor de Beroepsuitoefening van Internal Auditing. Dit onderzoek verschaft geen zekerheid in de vorm van een oordeel of conclusie, omdat het een onderzoeksopdracht betreft en geen controle-, beoordelings- of andere assuranceopdracht. Als hier wel sprake van was geweest, dan zouden we wellicht andere zaken hebben geconstateerd en gerapporteerd. De opdracht is uitgevoerd conform de algemene uitgangspunten voor de uitoefening van de interne auditfunctie bij de rijksdienst. Daarbij hoort ook een stelsel van kwaliteitsborging. Een onderdeel daarvan is dat er een onafhankelijke kwaliteitstoetsing heeft plaatsgevonden op deze onderzoeksopdracht.

3.3

Verspreiding rapport De opdrachtgever, de Directeur Generaal Mobiliteit IenW, is eigenaar van dit rapport. Dit rapport is primair bestemd voor de opdrachtgever met wie wij deze opdracht zijn overeengekomen. Hoewel het rapport de context van het onderzoek zo goed mogelijk probeert te beschrijven, is het mogelijk dat iemand die de context niet (volledig) kent, de uitkomsten anders interpreteert dan bedoeld. De ADR is de interne auditdienst van het Rijk. Dit rapport is primair bestemd voor de opdrachtgever met wie wij deze opdracht zijn overeengekomen. Voor openbaarmaking door het opdrachtgevende ministerie van door de ADR aan dit ministerie uitgebrachte rapporten gelden de voorschriften uit de Wet open overheid. De minister van Financiën stuurt elk halfjaar een overzicht van door de ADR uitgebrachte rapporten naar de Tweede Kamer.

12 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

4

Ondertekening

Den Haag, 15 juni 2023

drs. E. van Minnen RO

Projectleider Auditdienst Rijk

13 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

●

Bijlage 1: Managementreactie

14 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

15 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

16 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

●

Bijlage 2: Referentiekader

Deze bijlage bevat het referentiekader voor het onderzoek naar de opzet van het risicomanagementsysteem van het programma Zuidasdok. Beschrijving risicomanagementsysteem 1. Is voor het programma het risicomanagementsysteem beschreven met daarin opgenomen het doel, de risicostrategie en de taken, verantwoordelijkheden en bevoegdheden? Eisen: 1.1 Is een beschrijving van het risicomanagementproces aanwezig? 1.2 Is de beschrijving door het bevoegd management vastgesteld? 1.3 Is het doel van het risicomanagementproces beschreven? 1.4 Zijn de taken, verantwoordelijkheden en bevoegdheden van de betrokkenen beschreven? 1.5 Is de risicostrategie beschreven? 1.6 Is beschreven welke eventuele methode voor risicomanagement wordt gehanteerd? Borging kwaliteit risicoanalyse 2. Is beschreven op welke manier de kwaliteit van de opgestelde risicoanalyse is geborgd, ten behoeve van het kwalificeren en kwantificeren van risico’s (bijv. door middel van RISMAN of door inschakeling van (externe) deskundigen)? Eisen: 2.1 Is beschreven op welke manier de kwaliteit van de opgestelde risicoanalyse is geborgd? 2.2 Is de eventuele mogelijkheid van het inschakelen van (externe) deskundigen beschreven? Risico-identificatie 3.

Is beschreven op welke manier(en) de initiële risico-identificatie wordt vastgesteld? (te denken valt aan: risicosessies, (groeps)interviews, enquête, workshops brainstorm) Eisen: 3.1 Is beschreven hoe de risico-identificatie moet plaatsvinden? 3.2 Is beschreven dat bij de initiële risico-identificatie gedacht moet worden aan (niet limitatief en indien relevant): risico’s op het gebied van techniek, financiën, tijd, ICT, omgeving, juridische procedures, markt- en contractmanagement en risico’s op politiek-bestuurlijk vlak?

17 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Weging van risico’s 4. Is beschreven hoe de geïdentificeerde risico’s moeten worden gewogen met kans x impact (eventueel met gebruikmaking van een bandbreedte)? Eisen: 4.1 Is beschreven hoe de geïdentificeerde risico’s moeten worden gewogen met kans x impact? 4.2 Is beschreven of (en zo ja hoe) daarbij eventueel gebruik moet worden gemaakt van een bepaalde bandbreedte? (Her)prioritering van risico’s 5. Is beschreven door welke functionaris(sen) de risico’s moeten worden geprioriteerd, op welke wijze dit moet plaatsvinden en hoe de resultaten moeten worden vastgelegd? Eisen: 5.1 Is beschreven door welke functionaris(sen) de risico’s moeten worden geprioriteerd? 5.2 Is beschreven welke werkwijze voor het prioriteren van de risico’s moet worden gevolgd? 5.3 Is beschreven hoe de resultaten van de prioritering van de risico’s moeten worden vastgelegd? 6. Is beschreven welke werkwijze voor de herprioritering van de risico’s moet worden gevolgd, met welke frequentie dit moet plaatsvinden en hoe de resultaten van de herprioritering moeten worden vastgelegd? Eisen: 6.1 Is beschreven welke werkwijze voor de herprioritering van de risico’s moet worden gevolgd? 6.2 Is beschreven met welke frequentie de risico’s moeten worden geherprioriteerd? 6.3 Is beschreven hoe de resultaten van de herprioritering van de risico’s moeten worden vastgelegd? Kwantificering van risico’s 7.

Is beschreven hoe de geïdentificeerde risico’s moeten worden gekwantificeerd in gevolgen voor tijd en geld? Eisen: 7.1 Is beschreven hoe de geïdentificeerde risico’s moeten worden gekwantificeerd in gevolgen voor tijd? 7.2 Is beschreven hoe de geïdentificeerde risico’s moeten worden gekwantificeerd in gevolgen voor geld? Verwerking van gevolgen voor tijd en geld 8. Is beschreven hoe de gevolgen voor tijd en geld moeten worden verwerkt in respectievelijk de probabilistische planning en de probabilistische raming? Eisen: 8.1 Is beschreven hoe de gekwantificeerde risico’s in gevolgen voor tijd moeten worden verwerkt in de probabilistische planning? 8.2 Is beschreven hoe de gekwantificeerde risico’s voor in gevolgen voor geld moeten worden verwerkt in de probabilistische raming?

18 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Risicostrategie per risico 9. Is beschreven hoe de risicostrategie voor elk van de geïdentificeerde risico’s onderbouwd moet worden vastgesteld? Eisen: 9.1 Is beschreven hoe de risicostrategie voor elk van de geïdentificeerde risico’s moet worden vastgesteld? 9.2 Is beschreven wat bepaalt (onderbouwing) de keuze voor de strategie dat: 1. een risico wordt geaccepteerd (bijvoorbeeld omdat de beheersmaatregelen geen voordelen bieden of het risico niet ernstig genoeg wordt bevonden); 2. een risico wordt vermeden (door de activiteit niet te laten plaatsvinden of door de oorzaak van het risico geheel weg te nemen); 3. een risico wordt overgedragen naar een andere partij (bijvoorbeeld door het risico te verzekeren); 4. er maatregelen ter beheersing van het risico worden genomen. Beheersen van risico’s 10. Is beschreven dat voor het beheersen van de risico’s per risico beheersmaatregelen en een actiehouder moeten worden bepaald en welke functionaris hiervoor verantwoordelijk is? Eisen: 10.1 Is beschreven dat voor het beheersen van de risico’s per risico beheersmaatregelen moeten worden bepaald? 10.2 Is beschreven dat voor het beheersen van de risico’s per risico beheersmaatregelen een actiehouder moet worden bepaald? 10.3 Is beschreven welke functionaris verantwoordelijk is voor het bepalen van de beheersmaatregelen en van de bijbehorende actiehouders? 11.

Is beschreven hoe en met welke periodiciteit de uitvoering van de maatregelen ter beheersing van de risico’s periodiek moet worden gemonitord? Eisen: 11.1 Is beschreven hoe en met welke periodiciteit de uitvoering van de beheersmaatregelen moet worden gemonitord? 11.2 Is beschreven hoe het resultaat van de monitoring van de beheersmaatregelen moet worden vastgelegd? 11.3 Is beschreven dat eventuele bijsturing op grond van het resultaat van de monitoring moet plaatsvinden en door welke functionaris? 12. Is de wijze van periodieke actualisatie van de risico’s en van de beheersmaatregelen beschreven? Eisen: 12.1 Is beschreven op welke wijze risico’s en beheersmaatregelen moeten worden geactualiseerd? 12.2 Is beschreven met welke periodiciteit risico’s en beheersmaatregelen moeten worden geactualiseerd?

19 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Risicoregister 13. Is beschreven dat een risicoregister moet worden bijgehouden en met welke informatie? Te denken valt aan de geïdentificeerde risico’s, de beoordeling, de beheersmaatregelen etc. Eisen: 13.1 Is beschreven dat een risicoregister moet worden bijgehouden? 13.2 Is beschreven welke informatie-elementen (beheersmaatregelen, actiehouders etc.) in het risicoregister moeten worden bijgehouden? 13.3 Is beschreven met welke periodiciteit het risicoregister moet worden geactualiseerd? Overleg over risico’s 14. Is beschreven op welke verschillende managementniveaus en in welke overleggremia de risico’s worden besproken? Eisen: 14.1 Is beschreven op welke verschillende managementniveaus (denk aan: projectniveau, programmaniveau en stuurgroepniveau) de risico’s worden besproken? 14.2 Is beschreven in welke overleggremia de risico’s worden besproken? Rapportering over risico’s 15.

Is beschreven welke interne en externe rapportering over de risico’s moet plaatsvinden, op welke wijze, door welke functionaris(sen) en met welke periodiciteit? Eisen: 15.1 Is beschreven welke interne rapportering (bijvoorbeeld van project- naar programmaniveau) over de risico’s moet plaatsvinden? 15.2 Is beschreven op welke wijze, door welke functionaris(sen) en met welke periodiciteit de interne rapportering moet plaatsvinden? 15.3 Is beschreven welke externe rapportering (denk aan rapportering aan de Tweede Kamer) over de risico’s moet plaatsvinden? 15.4 Is beschreven op welke wijze, door welke functionaris(sen) en met welke periodiciteit de externe rapportering moet plaatsvinden?

20 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

●

Bijlage 3: Overzicht bevindingen

Deze bijlage bevat het overzicht van alle bevindingen van het onderzoek naar de opzet en de toepassing in de praktijk van het risicomanagementsysteem van het programma Zuidasdok. Tekst Toelichting stroomschema Risicomanagement in Procedure Risicomanagement of eis uit Referentiekader onderzoek 1. Start

Bevindingen Beschreven in opzet?

Toegepast in praktijk?

Toelichting

Het beschreven risicomanagementproces is een continu proces en alle benoemde stappen herhalen zich elk kwartaal.

JA

JA

Het risicomanagement is in 2022 een continu proces geweest dat zich elk kwartaal herhaalt.

Referentiekader onderzoek ADR: eis 1.5: Is de risicostrategie beschreven?

NEE

JA

Voor het programma Zuidasdok is geen risicostrategie beschreven. In de praktijk hanteert de programmaorganisatie overigens wel een bepaalde risicostrategie. De programmaorganisatie streeft ernaar om risico's zoveel mogelijk te beheersen (kans verkleinen en/of gevolg beperken). Bij de weging van de kosten en baten kunnen bepaalde (rest)risico's geaccepteerd worden. Op basis van de combinatie van risicokwantificering en ‘professional judgement’ worden dan keuzes gemaakt. Ook dat maakt deel uit van de risicostrategie.

JA

JA

De programma-organisatie geeft aan dat ieder risico is toegewezen aan een eigenaar. De toewijzing blijkt uit de risicodatabase in RiskID en GRIP.

JA

JA

In alle gevallen is een MT-lid eigenaar van een projectrisico. Met MT wordt hier overigens Project Management Team (PMT) bedoeld waarbij een IPM-rolhouder eigenaar is van een projectrisico. De actiehouder kan wel iemand anders zijn. Dit is dan een medewerker die functioneel wordt aangestuurd door de betreffende IPM-rolhouder.

2. Bottom-up: Identificeren en actualiseren projectrisico’s en raakvlakrisico’s Ieder risico wordt toegewezen aan een eigenaar. Dit gebeurt tijdens de risico overleggen tussen de adviseur risicomanagement en de risico eigenaren. Deze risico-overleggen vinden minimaal eenmaal per kwartaal plaats. Bij de projectrisico’s zijn de potentiële eigenaars de MT-leden.

21 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Tekst Toelichting stroomschema Risicomanagement in Procedure Risicomanagement of eis uit Referentiekader onderzoek De eigenaar is verantwoordelijk voor het benoemen van het risico, het beheersen van het risico en het sluiten van een risico.

Bevindingen Beschreven in opzet?

Toegepast in praktijk?

Toelichting

JA

JA

Referentiekader onderzoek ADR: eis 3.2: Is beschreven dat bij de initiële risico-identificatie gedacht moet worden aan (niet limitatief en indien relevant): risico’s op het gebied van techniek, financiën, tijd, ICT, omgeving, juridische procedures, markt- en contractmanagement en risico’s op politiek-bestuurlijk vlak?

NEE

JA

Referentiekader onderzoek ADR: eis 9.1 Is beschreven hoe de risicostrategie voor elk van de geïdentificeerde risico’s moet worden vastgesteld?

NEE

JA

Referentiekader onderzoek ADR: eis 9.2 Is beschreven wat bepaalt (onderbouwing) de keuze voor de strategie dat: 1. een risico wordt geaccepteerd (bijvoorbeeld omdat de beheersmaatregelen geen voordelen bieden of het risico niet ernstig genoeg wordt bevonden); 2. een risico wordt vermeden (door de activiteit niet te laten plaatsvinden of door de oorzaak van het risico geheel weg te nemen); 3. een risico wordt overgedragen naar een andere partij (bijvoorbeeld door het risico te verzekeren);

NEE

JA

Het benoemen, beheersen, en sluiten van een risico wordt besproken in het overleg tussen de risico-eigenaar en de risicomanager. Dit alles wordt vastgelegd in het risicodossier in RiskID en GRIP. Wijzigingen in de risico's worden doorgaans zichtbaar in het logboek. Voor het programma Zuidasdok is niet beschreven dat bij de initiële identificatie van projectrisico's gedacht moet worden aan (niet limitatief en indien relevant): risico’s op het gebied van techniek, financiën, tijd, ICT, omgeving, juridische procedures, markt- en contractmanagement en risico’s op politiek-bestuurlijk vlak (idem programmarisico's). In de praktijk wordt hier, conform de RISMAN-methode, volgens de programma-organisatie wel mee gewerkt. Voor het programma Zuidasdok is niet beschreven hoe de risicostrategie voor elk van de geïdentificeerde projectrisico’s moet worden vastgesteld (idem programmarisico's). In de praktijk vindt het vaststellen van een bepaalde risicostrategie per risico overigens wel plaats. Daarbij wordt besloten hoe risico’s te mitigeren. Dat betekent of beheersen of accepteren van het restrisico. In voorkomende gevallen wordt ook gekozen voor het overdragen of vermijden van een risico. Voor het programma Zuidasdok is niet beschreven wat (onderbouwing) de keuze voor een bepaalde risicostrategie voor een projectrisico bepaald (idem programmarisico's).

Dit wordt in de praktijk besproken in de risicosessie tussen de project adviseur risicomanagement en een projectteamlid. Daarnaast wordt dit besproken in een overleg met het projectteam in zijn geheel. De onderbouwing voor de keuze van een bepaalde risicostrategie is gebaseerd op ‘expert judgement’ en maatwerk voor het specifieke risico.

22 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Tekst Toelichting stroomschema Risicomanagement in Procedure Risicomanagement of eis uit Referentiekader onderzoek 4. er maatregelen ter beheersing van het risico worden genomen.

Bevindingen Beschreven in opzet?

Toegepast in praktijk?

Toelichting

Referentiekader onderzoek ADR: eis 11.2: Is beschreven hoe het resultaat van de monitoring van de beheersmaatregelen moet worden vastgelegd?

NEE

DEELS

Mutaties in oorzaken, gevolgen, kwantificering worden in samenspraak met de risico eigenaar gedaan.

JA

JA

Dit gebeurt tijdens de risico overleggen tussen de adviseur risicomanagement en de risico eigenaren.

JA

JA

Voor het programma Zuidasdok is niet beschreven hoe het resultaat van de monitoring van de beheersmaatregelen voor projectrisico's moet worden vastgelegd (idem programmarisico's). In de praktijk wordt door de programma adviseur risicomanagement in het logboek in RiskID en GRIP vastgelegd of beheersmaatregelen zijn uitgevoerd. De voortgang en de effectiviteit van de beheersmaatregelen komt aan de orde in de risicosessie. Het (gezamenlijke) beeld van de effectiviteit van de beheersmaatregelen wordt niet altijd in het logboek vastgelegd. Er worden geen verslagen gemaakt van de risico-overleggen. De resultaten van een overleg worden vanwege de efficiëntie direct verwerkt in het risicomanagementsysteem. De ADR heeft een print screen uit RiskID en uit GRIP ontvangen. Mutaties in oorzaken, gevolgen en kwantificering worden in samenspraak met de risico-eigenaar gedaan. Dit gebeurt tijdens de gesprekken tussen de project adviseur risicomanagement en de IPM-rolhouder. De mutaties worden gelogd in het risicodatabasesysteem RiskID en GRIP. Tijdens de gesprekken tussen de risico-eigenaar en de project adviseur risicomanagement legt de adviseur de mutaties aan tafel vast en verwerkt deze meteen in RiskID of GRIP.

Deze risico-overleggen vinden minimaal eenmaal per kwartaal plaats.

JA

JA

23 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Deze risico-overleggen vinden bij alle vier projecten minimaal eenmaal per kwartaal plaats. Bij sommige projecten vinden deze overleggen maandelijks plaats. Verder worden risico-overleggen buiten de vaste frequentie gehouden als daarvoor een noodzaak aanwezig is.

Tekst Toelichting stroomschema Risicomanagement in Procedure Risicomanagement of eis uit Referentiekader onderzoek De adviseur risicomanagement verwerkt mutaties t.a.v. risico’s, beheersmaatregelen, oorzaken en gevolgen en daarmee samenhangende kwantificering in overleg met het desbetreffende MTlid in het risicodossier in RiskID.

Bevindingen Beschreven in opzet?

Toegepast in praktijk?

Toelichting

JA

JA

De project adviseurs risicomanagement verwerken mutaties ten aanzien van risico’s, beheersmaatregelen, oorzaken en gevolgen en daarmee samenhangende kwantificering in overleg met het desbetreffende MTlid in het risicodossier in RiskID. Voor de projecten Tunnel en Knooppunten gebeurt dit vanaf het derde kwartaal van 2022 in GRIP. Wij hebben een voorbeeld ingezien van de verwerking van bovengenoemde mutaties in RiskID en GRIP.

Referentiekader onderzoek ADR: eis 5.2 (prioriteren) en 6.1 (herprioriteren): Is beschreven welke werkwijze voor het (her)prioriteren van de risico’s moet worden gevolgd?

NEE

JA

Referentiekader onderzoek ADR: eis 5.3 (prioriteren) en 6.3 (herprioriteren): Is beschreven hoe de resultaten van de (her)prioritering van de risico’s moeten worden vastgelegd?

NEE

JA

Naast bespreking van de bestaande risico’s, kunnen deze gesprekken tevens leiden tot nieuwe risico’s.

JA

JA

Voor het programma Zuidasdok is niet expliciet beschreven welke werkwijze voor het prioriteren van de risico’s moet worden gevolgd (idem programmarisico's). In de praktijk vindt het (her)prioriteren van de risico's plaats op basis van het kwantificeren van de risico's gevolgd door 'expert judgement'. Daarbij wordt nagegaan of de top 10 risico's overeenkomt met het gezamenlijke beeld daarvan. Op basis van het uitwisselen van argumenten kan de (her)prioritering van de risico's - zoals deze op basis van de kwantificering is weergegeven - worden aangepast. Voor het programma Zuidasdok is niet expliciet beschreven hoe de resultaten van de (her)prioritering van de projectrisico’s moeten worden vastgelegd (idem programmarisico's). In de praktijk wordt dit vastgelegd in de risicodatabase in RiskID en GRIP. De argumentatie voor de eventuele aanpassing van de prioritering op basis van de kwantificering naar aanleiding van het 'expert judgement' wordt in het logboek opgenomen. De risico-overleggen tussen de project adviseur risicomanagement en de risico-eigenaren hebben in 2022 in voorkomende gevallen ook geleid tot nieuwe risico's. Daar zijn voorbeelden van gegeven.

24 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Tekst Toelichting stroomschema Risicomanagement in Procedure Risicomanagement of eis uit Referentiekader onderzoek Daarnaast zal de adviseur risicomanagement zelf eventuele nieuwe risico’s aandragen die hij/zij signaleert vanuit overleggen of die door een medewerker van het project zijn aangedragen.

Bevindingen

Indien nodig/ gewenst kunnen ook thematische risicosessie gepland worden voor specifieke activiteiten.

3. Bottom-up: Risicosessie projectrisico's Minimaal eens per kwartaal organiseert de adviseur risicomanagement een risicosessie waarbij alle MT-leden aanwezig zijn.

De adviseur risicomanagement bepaalt in overleg met de manager projectbeheersing en/of de Projectmanager het doel van de risicosessie.

Beschreven in opzet?

Toegepast in praktijk?

Toelichting

JA

JA

De project adviseurs risicomanagement hebben in 2022 ook zelf nieuwe risico’s aangedragen die zij signaleren vanuit overleggen of die door een medewerker van het project zijn aangedragen. Ook daar zijn voorbeelden van gegeven. Bovengenoemde nieuwe risico's zijn verwerkt in RiskID en GRIP, zo geven de project adviseurs risicomanagement aan.

JA

JA

Er zijn in 2022 ook thematische risicosessies gehouden voor specifieke activiteiten. Voorbeelden hiervan zijn thematische risicosessies over veiligheid, hinder en buitengebruikstelling. Het initiatief voor de thematische risicosessies kwam meestal van de risico-eigenaar (IPM-rolhouder), maar dergelijke risicosessies zijn ook geïnitieerd door de project adviseur risicomanagement. De thematische risicosessies hebben ook wel geleid tot nieuwe risico's of tot het opsplitsen van bestaande risico's. De verwerking heeft plaatsgevonden in RiskID en GRIP, zo geeft de programma-organisatie aan.

JA

JA

In 2022 is eens per kwartaal een risicosessie projectrisico's georganiseerd voor alle vier projecten. Alle MT-leden (IPM-rolhouders) of een vervanger vanuit de betreffende discipline waren bij deze risicosessies projectrisico's aanwezig. De resultaten van deze risicosessies worden vastgelegd in RiskID en GRIP. Verslaglegging vindt niet plaats in een separaat verslag, maar in het logboek van elk van de beide systemen.

JA

JA

In overleg met de manager projectbeheersing en/of de projectmanager is door de project adviseur risicomanagement het doel van de risicosessies bepaald.

25 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Tekst Toelichting stroomschema Risicomanagement in Procedure Risicomanagement of eis uit Referentiekader onderzoek

Bevindingen Beschreven in opzet?

Toegepast in praktijk?

De daarmee samenhangende onderwerpen worden in de risicosessie besproken met de deelnemers.

JA

JA

Ten minste worden de toprisico’s van het project vastgesteld.

JA

JA

26 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Toelichting Het doel van de kwartaal-risicosessie was altijd het met het PMT bespreken van (minimaal) de risicotop 10, waarbij veelal ook is gekeken naar risico's die net buiten de top 10 vielen. Het doel was vooral om gezamenlijk met het PMT consensus te bereiken over de risico-top 10 en de beheersing van deze risico's. Het doel is soms ook specifiek voor een bepaalde risicosessie bepaald, bijvoorbeeld een risicosessie over een bepaald thema. De daarmee samenhangende onderwerpen zijn in de risicosessies besproken met de deelnemers. Aanpassingen in het risicodossier naar aanleiding van bespreking worden verwerkt in het logboek en uiteindelijk in de betreffende risicorapportage. In elke risicosessie worden de toprisico's van het project vastgesteld. Het vaststellen van de toprisico's vindt plaats op basis van het kwantificeren van de risico's gevolgd door 'expert judgement'. Daarbij wordt nagegaan of de top 10 risico's overeenkomt met het gezamenlijke beeld daarvan. Op basis van het uitwisselen van argumenten kan de top 10 risico's - zoals deze op basis van de kwantificering is weergegeven - worden aangepast.

Tekst Toelichting stroomschema Risicomanagement in Procedure Risicomanagement of eis uit Referentiekader onderzoek De output van de risico overleggen en risicosessie wordt vastgelegd in de risicodatabase en leidt tot een project risicorapportage.

Bevindingen Beschreven in opzet?

Toegepast in praktijk?

Toelichting

JA

JA

De project adviseur risicomanagement legt de output van de risico-overleggen en risicosessie vast in het logboek in de risicodatabase RiskID (voor OVT en S&C ICT) en GRIP (voor Knooppunt de Nieuwe Meer, Knooppunt Amstel en Tunnel). De risicoadviseur voert de mutaties zichtbaar door tijdens de risicosessie. Zodoende wordt er tijdens de sessie meegekeken. Mutaties worden daarnaast vastgelegd in een logboek in RiskID. Verder ontvangt het PMT na afloop van de risicosessie altijd het gewijzigde overzicht van de risico's met de vraag of dit de juiste weergave van de uitkomst van de risicosessie is. De output van de risico-overleggen en risicosessie wordt vastgelegd in de risicodatabase en leidt tot een project risicorapportage. De project adviseur risicomanagement stelt in eerste aanleg een project risicorapportage op. Deze is input voor het kwartaalgesprek. De project adviseur risicomanagement stemt dit af met de manager projectbeheersing. Daarna vindt een bespreking in het overleg van het PMT (IPM-team) plaats.

27 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Tekst Toelichting stroomschema Risicomanagement in Procedure Risicomanagement of eis uit Referentiekader onderzoek In deze rapportage worden de belangrijkste ontwikkelingen in het risicoprofiel toegelicht.

Bevindingen Beschreven in opzet?

Toegepast in praktijk?

Toelichting

JA

JA

Er wordt gerapporteerd over wijzigingen in de toprisico’s t.a.v. tijd, geld en totaalscore, over nieuwe en gesloten risico’s en over de ontwikkeling van het benoemd onvoorzien.

JA

JA

De risicorapportage wordt aan het eind van ieder kwartaal door de adviseur risicomanagement gerapporteerd aan de manager projectbeheersing en geagendeerd in het PMT.

JA

JA

In de risicorapportages over het derde kwartaal van 2022 van de projecten OVT, S&C ICT en Tunnel worden de belangrijkste ontwikkelingen in het risicoprofiel toegelicht. In deze risicorapportages is de ontwikkeling van de (totale) verwachtingswaarde voor geld en tijd ten opzichte van het voorgaande kwartaal opgenomen. Dit geldt ook voor de risicorapportage over het derde kwartaal van 2022 van Knooppunt de Nieuwe Meer (KNM), als onderdeel van het project Knooppunten. Voor de risicorapportage over het derde kwartaal van 2022 van Knooppunt Amstel (KNA) kon nog geen ontwikkeling van het risicoprofiel worden gegeven, doordat dit het eerste kwartaal was met een risicodossier voor KNA. De programma-organisatie heeft aangegeven dat dit laatste samenhangt met het feit dat KNA zich nog in de opstartfase bevindt. Wel is in deze risicorapportage een vergelijking met het risicoprofiel van KNM opgenomen. In de risicorapportage over het derde kwartaal van 2022 van alle vier projecten wordt gerapporteerd over wijzigingen in de toprisico’s ten aanzien van tijd, geld en totaalscore, over nieuwe en gesloten risico’s en over de ontwikkeling van het benoemd onvoorzien. De risicorapportage over het derde kwartaal van 2022 van alle vier projecten is aan het eind van het kwartaal door de project adviseur risicomanagement gerapporteerd aan de manager projectbeheersing.

De risicorapportage over het derde kwartaal van 2022 van alle vier projecten is aan het eind van het kwartaal geagendeerd in het PMT. Wij hebben niet in alle gevallen een agenda en notulen aangetroffen van het overleg van het Project Management Team waarin de project risicorapportage van Q3 2022 is besproken.

28 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Tekst Toelichting stroomschema Risicomanagement in Procedure Risicomanagement of eis uit Referentiekader onderzoek De geactualiseerde risicodatabase dient als input voor de kostendeskundigen, planners, kwaliteitsmanagers en de contractbeheersing.

Bevindingen

Referentiekader onderzoek ADR: eis 8.1: Is beschreven hoe de gekwantificeerde risico’s in gevolgen voor tijd moeten worden verwerkt in de probabilistische planning?

Beschreven in opzet?

Toegepast in praktijk?

Toelichting

JA

JA

NEE

JA

De geactualiseerde risicodatabase van Q3 2022 is aldus de programma-organisatie Zuidasdok als input voor de kostendeskundigen, planners, kwaliteitsmanagers en de contractbeheersing aan deze vier disciplines opgeleverd. Voor het programma Zuidasdok is niet beschreven hoe de gekwantificeerde risico’s in gevolgen voor tijd moeten worden verwerkt in de probabilistische planning. De planner maakt in de praktijk wel een probabilistische planning. De project adviseur risicomanagement zorgt ervoor dat de planner de benodigde input ontvangt zoals risicotitel, kans van optreden, gevolgen in tijd per risico (informatie staat in de risicorapportage). Daarnaast is de project adviseur risicomanagement samen met de planner betrokken bij het proces van het koppelen van de risico's aan de juiste activiteit in de planning in samenwerking met de IPMrolhouders.

29 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Tekst Toelichting stroomschema Risicomanagement in Procedure Risicomanagement of eis uit Referentiekader onderzoek De wijze waarop de gekwantificeerde risico’s in gevolgen voor geld moeten worden verwerkt in de probabilistische raming is beschreven in de volgende, met elkaar samenhangende, kaders: Procedure Risico Management, Kader Financieel Management en Werkinstructie Financieel Management (betreft werk(stroom)beschrijving). 5

Bevindingen

De top risico’s van de projecten dienen ook als input voor de risico overleggen met de programmadirectie t.a.v. de programmarisico’s.

Beschreven in opzet?

Toegepast in praktijk?

Toelichting

JA

JA

JA

JA

Par. 5.3 'Onzekerheid risico's' van de Werkinstructie Financieel Management vermeldt onder andere het volgende: 'Voor de inschatting van de kans van optreden en mogelijke gevolgen (P, L, T en Uwaarden) van risico´s wordt verwezen naar de Instructie Risicomanagement.' De programmaorganisatie heeft aangegeven dat met de Instructie Risicomanagement de Procedure Risicomanagement wordt bedoeld. De werkwijze - zoals deze in de praktijk wordt gevolgd - voor het verwerken van de gekwantificeerde risico’s, in gevolgen voor geld, in de probabilistische raming is als volgt: De project adviseur risicomanagement maakt zelf geen probabilistische raming. Dat doet de kostendeskundige. Net als bij de probabilistische planning levert de project adviseur risicomanagement wel de input, in de vorm van de risicorapportage met bijgevoegd risicodossier. De project adviseur risicomanagement heeft verder wel direct contact met de kostendeskundige om bijvoorbeeld de inschatting van de risico's door te nemen en te toetsen. De toprisico’s van de projecten van Q3 2022 zijn ook als input opgeleverd voor de risico-overleggen met de programmadirectie ten aanzien van de programmarisico’s. Nadat in het project door het MT de risico top-10 (bottom-up gegenereerd) is vastgesteld, wordt dit voorgelegd aan de programmadirectie.

Tijdens een risicosessie waar per project de projectmanager en de project adviseur risicomanagement aan deelnemen wordt de project risico top-10 top-down geconfronteerd met de programmarisico's.

5

De toepassing in de praktijk van de wijze waarop de gekwantificeerde risico’s in gevolgen voor geld moeten worden verwerkt in de probabilistische raming is onderzocht aan de hand van de vraag om kort de werkwijze toe te lichten - zoals deze in de praktijk wordt gevolgd voor het verwerken van de gekwantificeerde risico’s, in gevolgen voor geld, in de probabilistische raming. Er is niet onderzocht in hoeverre alle elementen uit de genoemde, met elkaar samenhangende, kaders in de praktijk zijn toegepast. 30 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Tekst Toelichting stroomschema Risicomanagement in Procedure Risicomanagement of eis uit Referentiekader onderzoek 4. Top-down: Identificeren en actualiseren programmarisico's

Bevindingen Beschreven in opzet?

Toegepast in praktijk?

Toelichting

Ook op het programmaniveau wordt ieder risico toegewezen aan een eigenaar. Dit zijn de programmadirectie en de projectmanagers.

JA

JA

De programma-organisatie geeft aan dat ieder risico op het programmaniveau is toegewezen aan een eigenaar. De eigenaars van risico's op programmaniveau zijn altijd directieleden. Op basis van het overzicht van de programmarisico's weten de directieleden van welke risico's zij eigenaar zijn.

De eigenaar is verantwoordelijk voor het benoemen van het risico, het beheersen van het risico en het sluiten van een risico.

JA

JA

Referentiekader onderzoek ADR: eis 3.2: Is beschreven dat bij de initiële risico-identificatie gedacht moet worden aan (niet limitatief en indien relevant): risico’s op het gebied van techniek, financiën, tijd, ICT, omgeving, juridische procedures, markt- en contractmanagement en risico’s op politiek-bestuurlijk vlak?

NEE

JA

Referentiekader onderzoek ADR: eis 9.1 Is beschreven hoe de risicostrategie voor elk van de geïdentificeerde risico’s moet worden vastgesteld?

NEE

JA

Risico-eigenaren geven als volgt invulling aan het benoemen, het beheersen en het sluiten van een programmarisico: Voorafgaand aan de periodieke sessie in het PD-PM-overleg worden de eigenaren door de programma adviseur risicomanagement bevraagd omtrent de aan hen toebedeelde risico's. Daarbij wordt de ontwikkeling van de risico's en de ontwikkeling van de beheersing besproken. In de sessie kunnen nieuwe risico's worden benoemd en bestaande risico's worden gesloten. Dit wordt dan vastgelegd in de desbetreffende risicodatabase. Voor het programma Zuidasdok is niet beschreven dat bij de initiële identificatie van programmarisico's gedacht moet worden aan (niet limitatief en indien relevant): risico’s op het gebied van techniek, financiën, tijd, ICT, omgeving, juridische procedures, markt- en contractmanagement en risico’s op politiek-bestuurlijk vlak (idem projectrisico's). In de praktijk wordt hier, conform de RISMAN-methode, volgens de programma-organisatie wel mee gewerkt. Voor het programma Zuidasdok is niet beschreven hoe de risicostrategie voor elk van de geïdentificeerde programmarisico’s moet worden vastgesteld (idem projectrisico's). Hier wordt vanuit de vakbekwaamheid intuïtief mee omgegaan. Het gebeurt impliciet.

31 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Tekst Toelichting stroomschema Risicomanagement in Procedure Risicomanagement of eis uit Referentiekader onderzoek Referentiekader onderzoek ADR: eis 9.2 Is beschreven wat bepaalt (onderbouwing) de keuze voor de strategie dat: 1. een risico wordt geaccepteerd (bijvoorbeeld omdat de beheersmaatregelen geen voordelen bieden of het risico niet ernstig genoeg wordt bevonden); 2. een risico wordt vermeden (door de activiteit niet te laten plaatsvinden of door de oorzaak van het risico geheel weg te nemen); 3. een risico wordt overgedragen naar een andere partij (bijvoorbeeld door het risico te verzekeren); 4. er maatregelen ter beheersing van het risico worden genomen. Referentiekader onderzoek ADR: eis 11.2: Is beschreven hoe het resultaat van de monitoring van de beheersmaatregelen moet worden vastgelegd?

Bevindingen Beschreven in opzet?

Toegepast in praktijk?

Toelichting

NEE

JA

Voor het programma Zuidasdok is niet beschreven wat (onderbouwing) de keuze voor een bepaalde risicostrategie voor een programmarisico bepaalt (idem projectrisico's). De afweging wordt gemaakt middels ‘professional judgement’ in de risicooverleggen.

NEE

DEELS

Voor het programma Zuidasdok is niet beschreven hoe het resultaat van de monitoring van de beheersmaatregelen voor programmarisico's moet worden vastgelegd (idem projectrisico's). In de praktijk wordt door de programma adviseur risicomanagement in het logboek in RiskID en GRIP vastgelegd of beheersmaatregelen zijn uitgevoerd. De voortgang en de effectiviteit van de beheersmaatregelen komt aan de orde in de risicosessie. Het (gezamenlijke) beeld van de effectiviteit van de beheersmaatregelen wordt niet altijd in het logboek vastgelegd. Er worden geen verslagen gemaakt van de risico-overleggen. De resultaten van een overleg worden vanwege de efficiëntie direct verwerkt in het risicomanagementsysteem. De ADR heeft een print screen uit RiskID en uit GRIP ontvangen.

32 van 39 | Onderzoeksrapport risicomanagementsysteem programma Zuidasdok

Tekst Toelichting stroomschema Risicomanagement in Procedure Risicomanagement of eis uit Referentiekader onderzoek De adviseur risicomanagement houdt per kwartaal minimaal 1 ronde risico overleggen om de risicodossiers te bespreken met de eigenaren.

Bevindingen

Deze gesprekken kunnen tevens leiden tot nieuwe risico’s.

Beschreven in opzet?

Toegepast in praktijk?

Toelichting

JA

JA

JA

JA

De programma adviseur risicomanagement heeft voor Q3 2022 minimaal 1 ronde risicooverleggen gehouden om de risicodossiers te bespreken met de eigenaren. Daarbij zijn alle risicodossiers besproken. De programma risico-overleggen vinden minimaal eenmaal per kwartaal plaats en vaker als dat nodig is. De programma adviseur risicomanagement spreekt de programma risico-eigenaren minimaal eenmaal per kwartaal en de project risico-eigenaren minimaal eenmaal per maand (ook als er geen specifieke issues zijn). Van de overleggen worden geen verslagen gemaakt. Daar waar nodig wordt een en ander, voorzien van een toelichting, direct vastgelegd in het risicomanagementsysteem met een aantekening in het logboek. Dit logboek is ook een onderdeel van de systemen RiskID en GRIP. Dit gebeurt bijvoorbeeld bij wijzigingen in de kwantificering van risico’s. In de gesprekken tussen de programma risico-eigenaren en de programma adviseur risicomanagement worden wijzigingen direct in het gehanteerde systeem bijgehouden. In de praktijk komt het ook voor dat een risico-overleg leidt tot nieuwe risico's. Daar is een voorbeeld van genoemd.