A - 09 Verkeer, Vervoer en Luchtkwaliteit (40) bijl 6. Managementreactie rev

Notitie Aan Van Onderwerp Datum

Bestuurlijk Team S&C Gerard Scheffrahn, Pelle de Wit Management reactie project review WSP 22 januari 2021

1. Inleiding Door het Programma S&C is aan WSP verzocht een project review uit te voeren op de ingebruikname van het CBTC systeem op het Amsterdamse metronet. Aanleiding waren de verstoringen op 24 en 25 september waarna is teruggeschakeld naar ZUB/VLSM en de Gefaseerde Ingebruikname tijdelijk is stilgelegd. Voor de review zijn de volgende vier vragen gesteld: 1. Has Amsterdam taken, based on your experience, reasonable steps to restart commissioning? 2. Do you see any reason to believe a successful implementation of the system on the Amsterdam network is not possible? If so, are there alternatives to the CBTC system available that have more potential success? 3. What’s your opinion about the current implementation strategy and in particular the Staged Commissioning approach? 4. Are there any recommendations that you propose for adjusting or improving the current implementation strategy? De eerste vraag was specifiek gericht op het herstarten van de Gefaseerde Ingebruikname. WSP heeft hiervoor een rapportage opgeleverd op 21 oktober 2021. Mede op basis van de beantwoording van WSP is vervolgens besloten de ingebruikname per 24 oktober te herstarten. De andere 3 vragen hebben betrekking op de (midden)lange termijn en zijn beantwoord in hun definitieve rapportage van 21 december 2021.

Deze notitie is als volgt opgebouwd: • In paragraaf 2 geven we een overzicht van de conclusies van WSP uit beide rapportages en onze reactie daarop. • In paragraaf 3 staat een overzicht van de aanbevelingen van WSP ten aanzien van de 1e onderzoeksvraag en per aanbeveling onze reactie. • In paragraaf 4 staat een overzicht van de aanbevelingen van WSP ten aanzien van de 2e tot en met de 4e onderzoeksvraag en per aanbeveling onze reactie.

22 januari 2022 Notitie Pagina 2 van 11

2. Conclusie WSP en management reactie Programma S&C 2.1 Conclusies rapport deel 1 (21 oktober) WSP heeft aangegeven dat zij de herstart van de Gefaseerde Ingebruikname per 24 oktober 2021 ondersteunen met een drietal aanbevelingen voor de korte termijn: - WSP adviseert om explicieter lessen te trekken uit eerdere verstoringen en daarbij een robuust plan te maken om nieuwe verstoringen te voorkomen. - WSP adviseert om gedetailleerdere procedures op te stellen en meer support van Alstom ‘on site’ te organiseren om bij eventuele toekomstige verstoringen sneller de dienstverlening aan de reiziger te kunnen hervatten. - WSP adviseert om de support van Alstom te continueren totdat de ervaring van GVB personeel en de daadwerkelijke performance van het systeem op peil zijn. Zie onderstaand tekstvak voor de letterlijke tekst. Based on the interviews of the project personnel and information supplied, WSP review supports the re-start of commissioning with following recommendations - Project should carry out a further lessons learned exercise for each Global Hold considering additional aspects and situation on the day including people, technology and systems limitations to draw a resilience plan for future - More detailed plans should be put in place to allow quicker recovery in case of failures. This includes increased ALSTOM technical support on site.

- Duration of technical support should take into account the learning curve of the field operations staff and should be target driven e.g. demonstration of RAMS

WSP onderschrijft op basis van haar ervaring bij vele andere CBTC projecten wereldwijd onze strategie om het systeem (vanaf 24 oktober) weer in gebruik te nemen. De aanbevelingen die WSP daarbij heeft gedaan sluiten aan bij de startvoorwaarden die vanuit MET en GVB waren gedefinieerd en samen met Alstom worden geïmplementeerd. 1. Alle eerdere opgetreden verstoringen (‘global holds’) zijn door Alstom en MET/GVB geanalyseerd en voorzien van corrigerende maatregelen om herhaling te voorkomen. Dit betreffen zowel maatregelen in de techniek als het aanpassen of aanscherpen van procedures. Daarnaast zijn een aantal aanvullende acties in gang gezet om de kans op nieuwe verstoringen te verminderen: a. Op basis van de diverse opgetreden verstoringen is een inventarisatie gemaakt van de mogelijke onderliggende kwetsbaarheden van het CBTC systeem in combinatie met de huidige toepassing op het Amsterdamse metronetwerk. Samen met Alstom zal een nadere analyse (design review) worden uitgevoerd op deze onderwerpen. Doel is om hiermee onderliggende oorzaken van de verschillende storingen beter te begrijpen, en voorstellen uit te werken om (triggers van) kwetsbaarheden weg te nemen. b. Er is geconcludeerd dat de wijze waarop het CBTC systeem in Amsterdam wordt gebruikt de complexiteit vergroot.

Er wordt een studie uitgevoerd op welke wijze de complexiteit op korte termijn verminderd zou kunnen worden, en in welke mate dit bij kan dragen aan het verminderen van de kans op verstoringen. 2. In lijn met de aanbeveling van WSP is een uitgebreidere checklist opgesteld voor het uitvoeren van storingsanalyse en het uitvoeren van preventieve ‘health checks’ op het CBTC systeem. Deze checklists worden gebruikt door een support team van Alstom specialisten. Zij zijn vanaf 24 oktober gedurende 8 weken aanwezig geweest in het verkeersleidingcentrum van GVB om te ondersteunen tijdens de ingebruikname van het systeem. Hiermee konden enkele potentiële verstoringen in het

22 januari 2022 Notitie Pagina 3 van 11

systeem eerder worden gedetecteerd en voorkomen, en zijn de opgetreden verstoringen sneller verholpen. 3. Het CBTC systeem is op 24 oktober 2021 weer in gebruik genomen. Tot en met januari 2022 is zowel vanuit het projectteam van de gemeente als vanuit Alstom extra ondersteuning geboden aan het GVB in het gebruik van het systeem en het oplossen van storingen. Eind januari zullen de ervaringen van afgelopen maanden geëvalueerd worden en op basis daarvan nadere afspraken worden gemaakt over de gewenste monitoring en ondersteuning in de toekomst. 2.2 Conclusies rapport deel 2 (21 december) WSP concludeert dat CBTC volgens haar de juiste oplossing is voor de vernieuwing van het S&C systeem op het Amsterdamse metronet. WSP benadrukt op basis van haar ervaringen in andere brownfield migraties dat het niet ongebruikelijk is dat er gedurende de ingebruikname nog nieuwe issues naar boven komen die niet tijdens het testproces gevonden konden worden. Aanvullend doet WSP een aantal aanbevelingen om de aanpak aan te scherpen en de operationele prestaties te verbeteren. Zie onderstaand tekstvak voor de letterlijke tekst. -

-

-

We believe that CBTC is the right solution for Amsterdam metro and there should be improvement in reliability once new rolling stock is deployed. Further improvements can be made by enhancing the quality of the software and improving the system resilience to the abnormal operational conditions. It is not surprising to see new issues during early phase of CBTC implementation in a brownfield environment. As we have stated earlier that while most of the technical issues are resolved during systems testing but some issues arising from operational conditions and change in environment are likely to escape normal system testing and would manifest during actual operation. We believe that recommendations in section 4 of this report along with the recommendations in our report dated 21/10/2021 (Appendix III) would help in driving these improvements.

We onderschrijven de conclusies van WSP. Uit de toelichting van WSP blijkt dat bij de implementatie van het CBTC systeem in Amsterdam veel complexiteit is gestapeld. Bij een dergelijke complexiteit in een brownfield situatie is een langdurig en zorgvuldig ingebruikname proces van groot belang. WSP haalt enkele vergelijkbare projecten aan die gedurende de ingebruikname eveneens te kampen hadden met uitdagingen op het snijvlak van techniek en operatie. Tot op bepaalde hoogte zijn deze bevindingen onvermijdbaar als er geen tijd en ruimte is voor een uitgebreid test- en proefbedrijf in een greenfield situatie zoals op de Noord/Zuidlijn. Desondanks geeft WSP op basis van hun internationale ervaring aan dat er ook in een brownfield situatie wel enkele aanscherpingen mogelijk zijn in de ontwikkeling van de software en het testproces om de operationele prestaties gedurende de ingebruikname te verbeteren en de overlast voor de reiziger te beperken. De ervaringen van de ingebruikname bieden kansen om het testproces voor nieuwe baselines te verbeteren, en daarmee de kans op verstoringen in de operatie te verminderen. Deze aanbevelingen nemen we ons ter harte. Belangrijk is om hierbij in ogenschouw te nemen dat veel van de aanbevelingen door Alstom moeten worden opgepakt, of door Alstom in samenwerking met het Programma S&C.

Wij zijn hierover met Alstom in gesprek en hebben hun reactie gevraagd op de aanbevelingen. Op basis van hun reactie zullen we vervolgstappen bepalen. In paragraaf gaan we in meer detail in op de diverse aanbevelingen.

22 januari 2022 Notitie Pagina 4 van 11

3. Managementreactie per aanbeveling rapport deel 1 (21 oktober 2021) Recommendations

Managementreactie

Short term Project should carry out further lessons learned exercise for each Global Hold considering additional aspects and situation on the day including people, technology and systems limitations to draw a resilience plan for future

Wij onderschrijven deze aanbeveling. Alle eerdere opgetreden verstoringen (‘global holds’) zijn door Alstom en MET/GVB geanalyseerd en voorzien van corrigerende maatregelen om herhaling te voorkomen. Dit betreffen zowel maatregelen in de techniek als het aanpassen of aanscherpen van procedures. Daarnaast zijn een aantal aanvullende acties in gang gezet om de kans op nieuwe verstoringen te verminderen:

More detailed plans should be put in place to allow quicker recovery in case of failures. This includes increased ALSTOM technical support on site.

In lijn met de aanbeveling van WSP is een uitgebreidere checklist opgesteld voor het uitvoeren van storingsanalyse en het uitvoeren van preventieve ‘health checks’ op het CBTC systeem. Deze checklists worden gebruikt door een support team van Alstom specialisten. Zij zijn vanaf de herstart op 24 oktober 8 weken aanwezig geweest in het verkeersleidingcentrum van GVB en hebben ondersteuning geboden tijdens het in gebruik nemen van het systeem. Hiermee konden enkele potentiële verstoringen in het systeem eerder worden gedetecteerd en voorkomen, en zijn de opgetreden verstoringen sneller verholpen.

Duration of technical support should take into account the learning curve of the field operations staff and should be target driven e.g. demonstration of RAMS

Het CBTC systeem is op 24 oktober 2021 weer in gebruik genomen. Tot en met januari 2022 is zowel vanuit het projectteam van de gemeente als vanuit Alstom extra ondersteuning geboden aan het GVB in het gebruik van het systeem en het oplossen van storingen. Eind januari zullen de ervaringen van afgelopen maanden geëvalueerd worden en op basis daarvan nadere afspraken worden gemaakt over de gewenste monitoring en ondersteuning in de toekomst. Om deze beslissing te faciliteren wordt sinds begin 2022 door GVB een dashboard bijgehouden van de operationele prestaties.

Long term Project should carry out workload review of operations staff workload through HF specialist team. This exercise should be repeated when there is significant change

Dit is een waardevolle aanbeveling om onze aanpak te versterken. In het bepalen van de scope van toekomstige baselines geven we al prioriteit aan het oplossen restpunten die veel werkdruk voor de verkeersleiders of metrobestuurders opleveren. We stellen voor om na implementatie van deze baseline medio 2022 een aanvullende ‘workload review’ uit te voeren om explicieter te beoordelen of de verbeteringen

22 januari 2022 Notitie Pagina 5 van 11

het gewenste effect hebben gehad voor de gebruikers, of dat aanvullende verbeteringen gewenste zijn om de werkdruk te verminderen. Defect retirement plan should include a burndown of operational restrictions, workarounds and SRACs

Dit is een waardevolle aanbeveling die kan helpen om nog meer met de ‘bril’ van verkeersleiders en metrobestuurders te kijken naar het wegwerken van de huidige restpunten. Dit was al onderdeel van onze aanpak maar gaan we komende periode versterken. De scope van toekomstige software versies wordt gedefinieerd op basis van de technisch-inhoudelijke scope: de restpunten die zullen worden weggewerkt en de wijzigingen als gevolg van nieuwe projecten die worden meegenomen. Na levering van een nieuwe software versie worden de werkinstructies voor verkeerleiders en bestuurders hierop aangepast. Operationele beperkingen of workarounds vervallen uiteraard ook zodra hiervoor een technisch werkende oplossing is geleverd. Beperkende factor bij deze aanpak is dat per baseline maar een gelimiteerd aantal issues opgelost kan worden en dat een deel van de development capaciteit ook ingezet moet worden voor de projecten M7 en Zuidasdok.

Retirement of temporary fixes (patches) with a long term solution

Deze aanbeveling sluit aan bij de huidige werkwijze van het projectteam. Voor alle bekende issues worden door het projectteam ‘LOPs’ aangemaakt, dit staat voor ‘List of Open Points’ en bevat een overzicht van de restpunten. Als een restpunt eerst wordt opgelost met een tijdelijke oplossing (bijvoorbeeld een software patch), dan wordt een LOP nog niet afgesloten. Het projectteam maakt dan met Alstom afspraken op welke manier een issue structureel kan worden opgelost (bijvoorbeeld via een product update) en wanneer deze definitieve oplossing geïmplementeerd kan worden. Pas na het succesvol testen en implementeren van een definitieve oplossing wordt een LOP afgesloten.

Project should consider bolstering recovery plans. For example possibility of containing the impact of Global Holds to a smaller section rather than whole network, the response time of 2nd line and 3rd line maintenance support or providing server loading level alarms to enable manual switchover and reboot

Deze aanbeveling sluit aan bij de korte termijn acties om uitgebreidere checklists te implementeren en een support team van Alstom in te richten. Met behulp van de checklist voor storingsherstel worden zo gericht mogelijk ingegrepen op eventuele issues. De systeemarchitectuur van het CBTC systeem is echter volledig ingericht op het vervlochten netwerk van Amsterdam. Dat betekent dat bij een reset van de ATS

22 januari 2022 Notitie Pagina 6 van 11

servers impact op het volledige netwerk helaas niet vermeden kan worden. De checklist kunnen wel bijdragen aan het eerder ingrijpen en beperkt houden van de impact. Op basis van de ervaringen met het support team in de komende maanden zullen afspraken worden gemaakt met de onderhoudsorganisatie van Alstom en het GVB over het (deels) continueren van deze ondersteuning in 2022. A training plan including refresher courses for the field operations and maintenance staff

Het is een waardevolle aanbeveling om het trainings- en opleidingsprogramma nader te beschouwen. Er is een training en opleidingsplan beschikbaar voor de introductie van het CBTC personeel, en alle betrokken medewerkers hebben afgelopen jaren de benodigde opleidingen gevolgd. In de praktijk blijkt het CBTC systeem nog veel van de gebruikers te vergen. Het systeem is kwetsbaar als niet exact de juiste procedure wordt gevolgd. Kleine afwijkingen in de bedieningen kunnen direct forse operationele consequenties hebben. Dit betekent dat er extra aandacht moet komen om gebruikers ervaring op te laten doen met het systeem. Hieraan geven we op korte termijn invulling door het organiseren van een ‘refresher course’. Alle verkeersleiders zullen deze aanvullende trainingen volgen op de simulator van Alstom in Amsterdam. Niet alle bijzondere situaties kunnen op een simulator representatief nagebootst worden. Daarom is er in de Gefaseerde Ingebruikname ook aandacht besteed aan ‘learning on the job’. Ook komende jaren zal steeds begeleiding en ondersteuning geboden moeten worden na de levering van software updates. Daarnaast is het belangrijk om de afhandeling van bijzondere situaties (zoals calamiteiten) jaarlijks te blijven oefenen.

22 januari 2022 Notitie Pagina 7 van 11

4. Managementreactie per aanbeveling rapport deel 2 (21 december 2021) Recommendations

Managementreactie

Review of Global Holds 1.

In-depth review of system design and architecture to confirm robustness of the system against inadvertent actions and operational errors.

Alstom zal in januari en februari 2022 samen met specialisten van het Programma S&C een integrale design review uitvoeren op het CBTC systeem dat aan Amsterdam geleverd is. Binnen Alstom zullen hiervoor ‘externe experts’ worden ingezet die geen onderdeel zijn van het vaste projectteam om tot een 2nd opinion te komen van de gemaakte design keuzes. De review helpen om een meer holistisch beeld te vormen van de kwaliteit van het systeem en de resterende kwetsbaarheden. Dit kan de basis vormen voor een gestructureerde aanpak om deze kwetsbaarheden weg te werken.

2.

Perform negative testing to test the robustness of the system during acceptance test.

In het testprogramma van Alstom en het Programma S&C is in het verleden in beperkte mate gebruik gemaakt van ‘negative testing’. Bij dit type testen wordt gekeken of het systeem ongewenste handelingen of onverwacht gebruikersgedrag probleemloos kan verwerken. Dit had veelal betrekking op het testen van de oplossing op individuele issues. De aanbeveling van WSP strekt breder en betreft ook het aan de zwaarder aan de tand voelen van de integrale robuustheid van nieuwe baselines. We zullen in gezamenlijkheid met Alstom onderzoeken of en hoe we deze aanbeveling in onze testaanpak van komende baselines kunnen integreren.

3.

Audible -visual warning about health of the system (e.g. CPU memory usage) to allow timely corrective action.

Sinds de herstart van de ingebruikname op 24 oktober is de systeembelasting gedurende 8 weken continu gemonitord door experts van Alstom die op de verkeersleiding aanwezig waren. Vanaf december is deze monitoring op afstand ingericht waarbij een waarschuwingsmail wordt verstuurd als de systeembelasting vooraf ingesteld criteria overschrijdt. Hiermee wordt de onderhoudsorganisatie in staat gesteld om (in de meeste gevallen) tijdig te reageren op oplopende belastingen. Er hebben zich in november en december ook nog een aantal situaties voorgedaan waarbij de systeembelasting in zeer korte tijd opliep en heeft geleid tot een ‘global hold’. Deze issues konden niet door monitoring gecorrigeerd

22 januari 2022 Notitie Pagina 8 van 11

worden, maar dienen door preventieve maatregelen in de software voorkomen te worden. Eind januari zullen de ervaringen van afgelopen maanden geëvalueerd worden en op basis daarvan nadere afspraken worden gemaakt over de gewenste monitoring en implementatie van eventuele ‘warning signals’ in de toekomst. Regression testing 4.

ALSTOM should review their regression test strategy. Critical Code Review (CCR) should be considered as standard across all future software releases

We onderschrijven de aanbeveling van WSP dat Alstom extra inspanning zou moeten plegen om regressie in nieuwe software versies te voorkomen. Dit kan door middel van een ‘code review’ maar hiervoor zijn ook andere maatregelen denkbaar. We hebben Alstom verzocht om onderbouwd aan te geven op welke wijze ze om willen gaan met deze aanbeveling. Op basis van haar reactie zullen we vervolgstappen bepalen.

5.

ALSTOM to review their test cases to adapt them to Amsterdam metro specific requirements in terms of operational scenarios and vulnerability of the system experienced during Global Holds.

Afgelopen jaren zijn reeds diverse aanpassingen gedaan aan de testcases om die aan te laten sluiten op de Amsterdamse context. Een voorbeeld is dat bij nieuwe baselines door Alstom een duurtest wordt gedaan op hun simulator in Parijs om een volledige exploitatiedag na te bootsen. We zullen de ervaringen van de recente global holds gebruiken om de testscenario’s voor nieuwe baselines verder aan te scherpen.

Test coverage 6.

7.

ALSTOM should review the test cases and test strategy to cover abnormal operation scenarios to test the resilience of the system and bug finding. We believe that operators’ input into test cases would help.

Zie reactie op aanbeveling 5.

Considerations should be given for negative testing to assess the system behaviour against the inadvertent / incorrect operator actions e.g. conflicting commands by the operator.

Zie reactie op aanbeveling 2.

Een aantal ‘key users’ onder de verkeersleiders zijn reeds betrokken bij het opstellen en uitvoeren van het testprogramma.

Verification testing 8.

Pass/ fail criteria should be based against test cases

Deze aanbeveling is specifiek gericht op de interne werkwijze van Alstom, zij kijken naar het aantal geslaagde ‘stappen’ om het succes van een test te beoordelen.

22 januari 2022 Notitie Pagina 9 van 11

Bijvoorbeeld: als Alstom 3 van de 4 teststappen succesvol

heeft gedaan is de test voor 75% van de stappen geslaagd.

In lijn met de aanbeveling van WSP kijkt Programma S&C naar het resultaat van een complete testcase om de kwaliteit te beoordelen. Ook bij het falen van 1 van de 4 teststappen leidt dat tot een ‘Not OK’ voor het desbetreffende scenario. Overigens leidt deze wijze van testen in de praktijk niet tot discussie tussen Alstom en Adam/GVB. Alstom deelt het standpunt dat het systeem functioneel goed moet werken en dat uiteindelijk alle teststappen succesvol doorlopen moeten worden. Daarom wordt verder geen prioriteit gegeven aan deze aanbeveling. Test planning & commissioning strategy 9.

Involving Operations staff to witness off-site testing

Een selecte groep verkeersleiders (key users) is reeds sinds 2019 betrokken bij testen op de simulatieplatformen in Parijs en Amsterdam.

10. Allow a window (4 to 8 hrs) for operations staff “to play with the system” as part of FAT following ALSTOM formal off-site testing

Sinds 2019 is bij het uitvoeren van FAT-testen al een halve dag in het programma opgenomen voor de betrokken verkeersleiders om ‘vrij te spelen’ met het systeem. Gedurende de ingebruikname zijn desondanks nieuwe situaties naar voren gekomen die door het systeem niet goed afgehandeld konden worden. Deels kan dit te maken hebben met lokale omstandigheden die op een simulatieplatform niet gesimuleerd kunnen worden. Op basis van de aanbeveling van WSP zullen we echter beschouwen of er bij komende baselines extra tijd moet worden genomen om dit soort scenario’s te testen op de simulatoren.

11. Consider enhancing the integration tests to include stress testing of the system

Door het Programma S&C is een set ‘regressie testen’ uitgewerkt waarin elke nieuwe baseline wordt onderworpen. Op basis van de ervaringen gedurende de Ingebruikname zal een evaluatie worden uitgevoerd of de samenstelling van dit testprogramma moet worden aangepast of aangevuld.

Software release & baseline strategy 12. Project should review of software release strategy considering associated risks

WSP wijst op het risico van een relatief grote hoeveelheid geplande baseline updates in de komende periode. Deze aanpak vergt veel testcapaciteit. Daarnaast ziet WSP een risico op lagere softwarekwaliteit door parallelle ontwikkeling en beperkte verwerkingstijd. Deze baseline strategie een bewust keuze van het programma S&C die samen met GVB en Alstom is

22 januari 2022 Notitie Pagina 10 van 11

vastgesteld. We herkennen de risico’s die WSP noemt maar zien ook een aantal voordelen van onze aanpak. Belangrijke context is dat parallel aan de introductie van het CBTC systeem ook andere wijzigingen aan het metroareaal worden doorgevoerd. In het bijzonder de komst van de nieuwe M7 metro en het project Zuidasdok maken wijzigingen in het systeem noodzakelijk. Dit maakt een frequente levering van nieuwe baselines komend jaar noodzakelijk. Daarnaast biedt de huidige aanpak ons de mogelijkheid om stapsgewijs verbeteringen door te voeren en op korte termijn in te spelen op bevindingen die gedurende de ingebruikname zijn gedaan. Dit is belangrijk om werkdruk voor verkeersleiders te verminderen en vertrouwen in het systeem te vergroten. Operational restrictions and defects retirement plan 13. Consider constituting a task force (including reps from Ops, project, and ALSTOM) to review prioritisation

Afgelopen jaar is al invulling gegeven aan deze aanbeveling. Er is een gezamenlijk proces ingericht waarbij vertegenwoordigers van operatie, het programma S&C en Alstom de scope van nieuwe baselines vaststellen. Door het gezamenlijk prioriteren en definieren van de beoogde functionaliteit is een aanzienlijke stijging van de kwaliteit van de geleverde software gerealiseerd. Dit proces is ook gevolgd voor het vaststellen van de scope van de komende 2 baselines. Op basis van de uitkomsten van de design review (zie aanbeveling 1) kan de scope voor de komende baselines worden heroverwogen.

14. ALSTOM should enhance their effort in investigating and developing the solution to fix the issues.

Uiteraard mag van Alstom de maximale inspanning verwacht worden om de issues uit de ingebruikname fase op te lossen. Dit is afgelopen jaar ook constant onderwerp van gesprek geweest tussen de Programmaorganisatie en Alstom, en we zijn tevreden over de inzet die momenteel door Alstom gepleegd worden. Op dit moment zien wij geen reden voor aanvullende maatregelen.

15. Review software release strategy as having too frequent software release might slowdown the pace of defect retirement as it drains the resources for assuring each software release.

Zie reactie op aanbeveling 12

16. Managing the risk of regression to contain emergence of new defects

Zie reactie op aanbeveling 5 en 6.

22 januari 2022 Notitie Pagina 11 van 11

Reliability data 17. Having one source of reliability data as a single source of truth 18. Sharing the raw data between the operations and ALSTOM team to drive the common understanding on reliability figures 19. Having heat map that includes frequency of occurrence and severity to prioritise the defects retirement 20. Identification of location and Asset specific faults to help the investigation in the right direction

In het CBTC systeem zijn enorme hoeveelheden data beschikbaar vanuit verschillende bronnen. Alstom is bereid deze data met Amsterdam en GVB te delen, maar niet alle data kan tegelijk geanalyseerd en verwerkt worden. Er wordt nu gewerkt aan het formuleren van een gezamenlijke prioritering en aanpak voor het verbeteren van de performance monitoring. Afgelopen jaar zijn de eerste stappen gezet om trendanalyses te maken en beter inzicht te krijgen in de locaties waar issues (bijvoorbeeld noodremmingen) optreden. Dit onderwerp vraagt tijd en heeft gedurende de ingebruikname bewust nog geen prioriteit gekregen. We gaan komende periode gezamenlijk met Alstom onderzoeken of het toepassen van heat maps hierbij verder kan ondersteunen.