Evaluatie GGiD - GGD regio Utrecht eindrapport.pdf

91

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

wanneer de vorige afgerond is. Agile is een werkwijze waarin er in meer nauwe samenwerking en interactie met de klant, in korte sprints tussenproducten opgeleverd worden. Dit is een meer organische werkwijze om tot het eindresultaat te komen. ▹ Agile is daarmee ook geschikter voor een context waarin eisen en behoeften vanuit de klant nog niet volledig uitgekristalliseerd zijn en/of waar ICT projecten complex zijn. Veel geïnterviewden geven aan dat de agile werkwijze was te prefereren voor een dergelijk complex project als deze. ▹ De gewenste agile werkwijze stond echter op spanning met de vereisten en randvoorwaarden: ▹ Er was sprake van een aanbesteding waarbij het eindproduct vooraf voldoende beschreven moet zijn (in lijn met de wettelijke eisen rondom aanbestedingen). Er werd echter wel agile gewerkt; een werkwijze die uitgaat van een opener programma van eisen, waar waarbij opdrachtgever en opdrachtnemer samen al werkende weg tot een concreet product komen.

*Dit vormde later in het traject ook bron van onenigheid tussen beide partijen, omdat de eisen nog zo weinig specifiek zijn, dat ze voor tweeërlei uitleg vatbaar zijn.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.2: kaders stonden met elkaar op gespannen voet (2/2) Ondersteunende bevindingen (vervolg) ▹ In lijn met de agile werkwijze was het beeld van het beoogde eindproduct aan het begin nog niet volledig uitgekristalliseerd; er was sprake van een vrij open PvE*. Dat werd nader geconcretiseerd via het formuleren van gebruikersbehoeften vanuit het kernteam bouw (user stories). Echter stonden het budget (aanbestedingstechnisch) en de deadline wél vast. ▹ Doordat middelen en planning vastlagen, ontstond er gaandeweg een spanningsveld tussen wat er opgeleverd moest worden en de tijd en middelen die daarvoor beschikbaar waren. ▹ Er is (in een vrij vergevorderd stadium) overigens tussentijds nog gewijzigd in een werkwijze die meer ‘waterfall’ was, maar tegen die tijd was het product al verder uitgekristalliseerd.

92

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

Deelverklaringen Waarom stonden de kaders met elkaar op gespannen voet? ▹ Onervarenheid van de GGD’en (Verklaring A.1.c.I). ▹ De wettelijke kaders rondom aanbesteding eisen dat het budget vast ligt: voor een (Europese) aanbesteding geldt dat een te grote toename van het benodigde bedrag als een ‘wezenlijke wijziging’ gezien wordt, die opnieuw aanbesteden noodzakelijk maakt.

*Dit maakt ook dat de precieze eisen vanuit het PvE daarmee voor interpretatie vatbaar waren. Dit vormde later in het traject ook bron van onenigheid tussen beide partijen.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.3: leverancier heeft haar voorstel niet in de praktijk kunnen brengen* Verklaring Deelproducten van de leverancier voldeden gedurende de ontwikkeling herhaaldelijk niet aan de gestelde eisen en konden door het ontbreken of niet werken van vitale functionaliteiten niet geïmplementeerd worden. De leverancier heeft daarmee haar voorstel niet in de praktijk gebracht. Het vertrouwen in de oplevering van een werkend eindproduct bij de GGD’en nam af. Ondersteunende bevindingen Waaruit blijkt dit volgens betrokkenen? ▹ Herhaaldelijk kwam in de ontwikkelfase aan de orde dat opgeleverde tussenproducten niet voldeden. Eind 2018 kwam de eerste release niet door de acceptatietest. Later in 2019 oordeelde de koplopersgroep dat dat het opgeleverde product niet verantwoord geïmplementeerd kan worden. Ook de deelproducten die na het addendum gebouwd zijn, voldeden volgens de GGD’en niet aan de gestelde eisen.

93

▹ Veel geïnterviewden geven aan dat de sprintdoelen, die met de leverancier samen werden gesteld, geregeld niet werden gehaald. In plaats van onderhanden werk af te maken, ging de focus van de leverancier vervolgens uit naar nieuw te ontwikkelen onderdelen. ▹ In interviews komt naar voren dat bij het testen van het dossier herhaaldelijk bleek dat er geen goede aansluiting was op zorginhoudelijke processen en essentiële onderdelen simpelweg niet werkten. Deelverklaringen Waarom heeft de leverancier haar voorstel mogelijk niet in de praktijk kunnen brengen? ▹ Het betrof een geheel nieuw product, dat nog niet op de markt was en complex was om te ontwikkelen (Verklaring A.1.a). ▹ Het door de leverancier geraamde budget was uitgeput zonder dat het product klaar was (Verklaring A.3.a) ▹ De leverancier had geen eerdere ervaring met het opleveren van een werkend GGiD (Verklaring A.3.b).

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

*Merk op dat de leverancier geen onderwerp of betrokkene van de evaluatie was. Er heeft dus ook geen wederhoor plaats kunnen vinden.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.3.a: het door de leverancier geraamde budget was uitgeput zonder dat het product klaar was Verklaring De leverancier heeft haar voorstel niet in de praktijk kunnen brengen, omdat het budget waarvoor zij voorgesteld had het GGiD te leveren, op enig moment uitgeput was, zonder dat het product klaar was. De mogelijkheden voor budgetuitbreiding waren erg beperkt. Ondersteunende bevindingen Waaruit blijkt dat het budget uitgeput was zonder dat het product klaar was? ▹ De ontwikkeling van het resterende budget tijdens de eerste 16 maanden van het ontwikkeltraject is weergegeven in deze grafiek. ▹ Er was sprake van een fixed budget voor de ontwikkeling van het GGiD* met beperkte ruimte voor het financieren van meerwerk (maximaal 10% volgens de aanbestedingswet). In december 2018 is een aanvullende betaling voor meerwerk afgesproken. Op dit punt in de tijd was er geen sprake van een werkend product en werd de beoogde oplevering verschoven naar januari 2019.

94

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

▹ Bij het addendum in januari 2020 is er onder strikte randvoorwaarden en tegenover een (aanvullende) investering vanuit de leverancier een (vertragings-)schadevergoeding vanuit de GGD’en verstrekt. ▹ In gesprekken wordt duidelijk dat bij deze tweede budgetverhoging er ook nog (lang) geen sprake was van een werkbaar product dat in een testfase gebracht kon worden. Zo bleken meerdere vitale koppelingen en functionaliteiten van het digitale dossier nog niet af. De afspraken van het addendum en financiële kaders waren echter zodanig dat de verwachting van veel betrokkenen bij de GGD’en was dat het hiermee tot een werkend product ging leiden. Deelverklaringen Welke mogelijke verklaringen zijn er voor de te lage inschatting? ▹ Onervarenheid van de leverancier (Verklaring A.3.b) ▹ Onervarenheid van de GGD’en (Verklaring A.1.c.I)

*Dit wordt bepaald door de aanbestedingswet.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.3.b: leverancier beschikte niet over de ervaring op een soortgelijk dossier (1/2) Verklaring De leverancier heeft het beoogde voorstel mogelijk niet in de praktijk kunnen brengen, omdat zij nog niet eerder een soortgelijke opdracht had uitgevoerd en daardoor niet over specifieke ervaring beschikte die hier wel voor nodig was. Ondersteunende bevindingen Waaruit blijkt dat de ervaring van de leverancier beperkt was? ▹ Deze verklaring is gedurende onze opdracht niet met zekerheid vast te stellen, omdat de leverancier in kwestie niet gesproken kon worden en wij niet in staat zijn om de expertise van de leverancier te beoordelen. We baseren ons daarom alleen op de bevindingen vanuit interviews met de GGD’en en programma-organisatie. ▹ De leverancier wordt door gesprekspartners getypeerd als een generalist. Deze had bij aanvang van het traject geen eerdere ervaring in het ontwikkelen van vergelijkbare systemen. Het overzicht van eerdere projecten op hun website ondersteunt deze bevinding.

95

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

▹ Terugkijkend geeft een groot deel van de gesprekspartners aan dat de leverancier niet de benodigde ervaring en expertise leek te beschikken om het gevraagde product te ontwikkelen. Het ontwikkelen van het gevraagde digitale dossier is een complexe aangelegenheid. De leverancier leek in het bijzonder niet geëquipeerd op het gebied van de vele koppelvlakken. ▹ De ervaringseisen in de aanbestedingsprocedure waren vrij algemeen geformuleerd. Alleen potentiële deelnemers die over voldoende ervaring beschikten, werden uitgenodigd voor de dialoogfase van de aanbestedingsprocedure. Zij kregen punten toegekend op basis van 10 selectiecriteria. Van de vrij algemeen geformuleerde criteria luidde het meest zwaarwegende bijvoorbeeld “ervaring met ontwikkelen cliëntportaal voor de gezondheidszorg”. De gedachte achter het niet opnemen van een criterium rondom een meer vergelijkbaar product was dat de GGD’en een ambitieus nieuw digitaal dossier wilden ontwikkelen en dat focus op vergelijkbare projecten af zou doen aan die ambitie. Bevindingen lopen door op de volgende pagina.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.3.b: leverancier beschikte niet over de ervaring op een soortgelijk dossier (2/2) Ondersteunende bevindingen (vervolg) ▹ Ook al tijdens de aanbesteding waren er signalen over de onervarenheid van de leverancier met betrekking tot een dergelijk product. Een gegadigde in de aanbesteding, die na de voorronde van de aanbesteding werd uitgesloten voor de offertefase, maakte hiertegen bezwaar. In het bezwaar geeft de gegadigde aan dat de geselecteerde leveranciers niet de benodigde ervaring hebben voor het ontwikkelen van het digitale dossier*. Door dezelfde concurrent die bezwaar aantekende in het aanbestedingsproces, wordt in een latere briefwisseling met de GGD’en gesteld dat het voor de gekozen leverancier vrijwel onmogelijk is om ‘from scratch’, binnen de gestelde kaders, een digitaal dossier te ontwikkelen.

96

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

▹ Ter nuancering hiervan moeten we aantekenen dat het ook in het belang van de betreffende aanbieder was, om dit te stellen. Dit gegeven heeft ook een grote rol gespeeld in de beoordeling van het signaal door de GGD’en, zo wordt aangegeven. De rechter heeft deze aanbieder overigens ongelijk gegeven. GGD’en vertrouwden op het oordeel van de rechter, naast de toen ingehuurde onafhankelijke expertise, dat de leverancier niet te onervaren was. Deelverklaringen Geen.

*”Volgens [eiseres in de hoofdzaak/verweerster in het incident tot tussenkomst en subsidiair tot voeging] kunnen de generieke ontwikkelaars, omdat zij nog geen ervaring hebben met het ontwikkelen en implementeren van een DD JGZsysteem […] zich geen goed beeld vormen van de opdracht.” (Bron: Uitspraak ECLI:NL:RBMNE:2017:4660)

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.4: leverancier is haar afspraken meermaals niet nagekomen* Verklaring Gedurende de ontwikkeling van het digitale dossier is de leverancier afspraken over oplevertermijnen en technische specificaties herhaaldelijk niet nagekomen. Dit belemmerde de totstandkoming van het boogde product. Ondersteunende bevindingen Hoe weten we dat de leverancier afspraken niet is nagekomen?** ▹ Gesprekspartners vanuit de GGD’en geven aan dat na de eerste maanden van de ontwikkeling hen al snel duidelijk werd dat Sprintdoelen niet gehaald werden door de leverancier. De output die werd opgeleverd, liep steeds achter op schema, terwijl de leverancier wel de geraamde uren stak in de ontwikkeling (blijkens de facturen). Uiteindelijk leidden deze signalen tot de (voorlopige) ingebrekestelling.

97

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

▹ De deadlines voor de livegang werden herhaaldelijk niet gehaald doordat het product niet door de acceptatietesten van de opdrachtgever kwam. ▹ Ook na het addendum werden de bijgestelde afspraken volgens betrokkenen onvoldoende nagekomen en was er veel onenigheid tussen de leverancier en de GGD’en over de mate waarin tussenproducten voldeden aan de gestelde eisen.

Deelverklaringen ▹ Het beschikbare ontwikkelbudget was op enig moment uitgeput (Verklaring A.4.a) ▹ Personele wisselingen (Verklaring A.4.b)

*Merk op dat de leverancier geen onderwerp of betrokkene van de evaluatie was. Er heeft dus ook geen wederhoor plaats kunnen vinden. **We merken op dat we geen uitgebreide beoordeling van alle onderlinge afspraken gemaakt hebben om te taxeren in hoeverre deze daadwerkelijk niet nagekomen zijn.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.4.a: het beschikbare ontwikkelbudget was op enig moment uitgeput (1/2)

Ondersteunende bevindingen Wat wijst erop dat het ontwikkelbudget voor de opdracht uitgeput was? ▹ In de grafiek op de volgende pagina is weergegeven hoe het verloop van het verbruikte budget voor ontwikkeling van het product eruit zag. Op de horizontale as is de tijd weergegeven, op de verticale as het aandeel van het ontwikkelbudget. Deze gegevens zijn gebaseerd op de facturen die onderdeel waren van de vrijgave-adviezen van sprints.* Via de gekleurde vlakken is de omvang van de verschillende budgetten aangegeven**.

98

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

Verbruikt budget t.b.v. ontwikkeling

Verbruikt budget (% van ontwikkelbudget)

Verklaring Begin 2019 was het initiële ontwikkelbudget uitgeput. Twee keer is aanvullend budget vrijgemaakt voor de leverancier. Hier bovenop heeft de leverancier voor eigen rekening geïnvesteerd om de meerkosten van de ontwikkeling te dekken. Aanvullende inzet was in elk geval niet meer in haar financiële belang.

160% 140% 120%

100% 80% 60% 40% 20% 0%

Ontwikkelbudget

Meerwerk (max)

Investering aanbieder

Verbruikt - cumulatief (%)

*Geen onderdeel hiervan zijn kleine correcties van orde 1.000 euro die tussentijds op de facturen plaatsgevonden hebben. **Dit geeft slechts de omvang van budgetten weer, in de praktijk zijn er al kosten ten laste van meerwerk gegaan, toen het ontwikkelbudget nog niet uitgeput was. Dit vanwege de inhoudelijke status van het werk.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.4.a: het beschikbare ontwikkelbudget was op enig moment uitgeput (2/2) Ondersteunende bevindingen (vervolg) ▹ Uit de figuur op de vorige pagina is af te lezen hoe het budget na ca. 12 maanden volledig was verbruikt. Een maand later (februari 2019) was ook de maximale ruimte voor meerwerk (10%) benut*.

▹ Het budget dat na dit punt is verbruikt, kwam voor eigen rekening van de leverancier. Deze kosten bouwden verder dan is af te lezen, omdat de ontwikkeling nog meer dan twee jaar doorliep. ▹ Bij het addendum zijn nieuwe afspraken gemaakt over de verdeling van de resterende kosten. Dit vroeg van de zijde van de leverancier een invetsering en van de GGD’en een (vertragings)schadevergoeding (zie Hoofdverklaring B). ▹ De leverancier zou zelf €1,2 miljoen geïnvesteerd hebben in het ontwikkelen van het GGiD (Bron: leverancier). ▹ De leverancier is in deze evaluatie niet gesproken. In welke mate budgettaire overwegingen rondom eigen investeringen een rol hebben gespeeld in wat zij deed en waarom, zijn daarmee niet met

99

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

zekerheid vast te stellen. Wél kan gesteld worden dat het financieel gezien vanaf een bepaald moment niet aantrekkelijk meer was nadere inzet te plegen.

Deelverklaringen ▹ Te lage inschatting benodigd budget (Verklaring A.3.a.) ▹ Mogelijk te weinig financiële prikkel voor de leverancier (Verklaring A.6)

*In de praktijk was er overigens zowel sprake van meer- en minderwerk, zie ook Hoofdverklaring B.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.4.b: personele wisselingen Verklaring Het naleven van de gemaakte afspraken over de ontwikkeling van het GGiD werd bemoeilijkt door vele personele wisselingen aan de kant van de leverancier.

Ondersteunende bevindingen Hoe hebben de personele wisselingen invloed gehad op de aansturing? ▹ Uit documenten blijkt dat tussen 2018 en 2022 er vijf verschillende programmamanagers van de leverancier op verschillende (opeenvolgende) momenten bij de ontwikkeling betrokken waren. ▹ Er vonden ook verschillende directiewissels plaats bij de leverancier, waardoor gedurende het ontwikkeltraject vier verschillende directeuren vanuit de leverancier betrokken waren. ▹ Ook de Product Owner is (op voorspraak van de leverancier) gedurende het ontwikkelproces gewisseld.

100

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

▹ In gesprekken noemen betrokkenen dat personele wisselingen in sleutelposities aan de kant van de leverancier een belemmerende factor vormden. De programma-organisatie had hierdoor te maken met steeds andere samenwerkingspartners. De kwaliteit van deze partners werd door onze gesprekspartners als wisselend ervaren. Dit maakte het lastig om grip te houden op het proces en de continuïteit van de ontwikkeling te waarborgen. Deelverklaringen ▹ De veel grotere duur van het traject heeft ook een rol gespeeld in het aantal wisselingen.