231207 Bijlage 1 Raadsinformatiebrief Evaluatie GGid Evaluatie GGiD - GGD Hollands Noorden

Ondersteunende bevindingen ▹ De gewenste agile werkwijze stond echter op spanning met de vereisten en randvoorwaarden: Wat betekende het dat de kaders met elkaar op gespannen voet stonden? ▹ Er was sprake van een aanbesteding waarbij het eindproduct ▹ Er waren verschillende van dergelijke kaders: de inhoudelijke vooraf voldoende beschreven moet zijn (in lijn met de wettelijke vereisten (zoals geformuleerd in het Programma van Eisen (PvE)), de eisen rondom aanbestedingen). Er werd echter wel agile gewerkt; randvoorwaarden (budget en tijd beschikbaar voor het een werkwijze die uitgaat van een opener programma van eisen, implementatietraject) en de werkwijze voor ontwikkeling. waar waarbij opdrachtgever en opdrachtnemer samen al ▹ Voor deze laatste zijn twee type werkwijzen: de ‘Waterfall’ en ‘Agile’ werkende weg tot een concreet product komen. methoden. Deze eerste is werkwijze waarin de ontwikkeling stap voor stap verloopt en een volgende stap pas begonnen wordt,

Terug naar de samenvatting *Dit vormde later in het traject ook bron van onenigheid tussen beide partijen, omdat de 91 eisen nog zo weinig specifiek zijn, dat ze voor tweeërlei uitleg vatbaar zijn. Terug naar lessen hoofdverklaring A

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.2: kaders stonden met elkaar op gespannen voet (2/2) Ondersteunende bevindingen (vervolg) Deelverklaringen ▹ In lijn met de agile werkwijze was het beeld van het beoogde Waarom stonden de kaders met elkaar op gespannen voet? eindproduct aan het begin nog niet volledig uitgekristalliseerd; er ▹ Onervarenheid van de GGD’en (Verklaring A.1.c.I). was sprake van een vrij open PvE*. Dat werd nader ▹ De wettelijke kaders rondom aanbesteding eisen dat het budget geconcretiseerd via het formuleren van gebruikersbehoeften vast ligt: voor een (Europese) aanbesteding geldt dat een te grote vanuit het kernteam bouw (user stories). Echter stonden het toename van het benodigde bedrag als een ‘wezenlijke wijziging’ budget (aanbestedingstechnisch) en de deadline wél vast. gezien wordt, die opnieuw aanbesteden noodzakelijk maakt. ▹ Doordat middelen en planning vastlagen, ontstond er gaandeweg een spanningsveld tussen wat er opgeleverd moest worden en de tijd en middelen die daarvoor beschikbaar waren. ▹ Er is (in een vrij vergevorderd stadium) overigens tussentijds nog gewijzigd in een werkwijze die meer ‘waterfall’ was, maar tegen die tijd was het product al verder uitgekristalliseerd.

Terug naar de samenvatting *Dit maakt ook dat de precieze eisen vanuit het PvE daarmee voor interpretatie vatbaar waren. 92 Dit vormde later in het traject ook bron van onenigheid tussen beide partijen. Terug naar lessen hoofdverklaring A

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.3: leverancier heeft haar voorstel niet in de praktijk kunnen brengen* Verklaring ▹ Veel geïnterviewden geven aan dat de sprintdoelen, die met de Deelproducten van de leverancier voldeden gedurende de leverancier samen werden gesteld, geregeld niet werden gehaald. In ontwikkeling herhaaldelijk niet aan de gestelde eisen en konden door plaats van onderhanden werk af te maken, ging de focus van de het ontbreken of niet werken van vitale functionaliteiten niet leverancier vervolgens uit naar nieuw te ontwikkelen onderdelen. geïmplementeerd worden. De leverancier heeft daarmee haar ▹ In interviews komt naar voren dat bij het testen van het dossier voorstel niet in de praktijk gebracht. Het vertrouwen in de oplevering herhaaldelijk bleek dat er geen goede aansluiting was op van een werkend eindproduct bij de GGD’en nam af. zorginhoudelijke processen en essentiële onderdelen simpelweg niet werkten. Ondersteunende bevindingen Waaruit blijkt dit volgens betrokkenen? Deelverklaringen ▹ Herhaaldelijk kwam in de ontwikkelfase aan de orde dat Waarom heeft de leverancier haar voorstel mogelijk niet in de praktijk opgeleverde tussenproducten niet voldeden. Eind 2018 kwam de kunnen brengen? eerste release niet door de acceptatietest.

Later in 2019 oordeelde ▹ Het betrof een geheel nieuw product, dat nog niet op de markt was de koplopersgroep dat dat het opgeleverde product niet en complex was om te ontwikkelen (Verklaring A.1.a). verantwoord geïmplementeerd kan worden. Ook de deelproducten ▹ Het door de leverancier geraamde budget was uitgeput zonder dat die na het addendum gebouwd zijn, voldeden volgens de GGD’en het product klaar was (Verklaring A.3.a) niet aan de gestelde eisen. ▹ De leverancier had geen eerdere ervaring met het opleveren van een werkend GGiD (Verklaring A.3.b).

Terug naar de samenvatting 93 Terug naar lessen hoofdverklaring A *Merk op dat de leverancier geen onderwerp of betrokkene van de evaluatie was. Er heeft dus ook geen wederhoor plaats kunnen vinden.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.3.a: het door de leverancier geraamde budget was uitgeput zonder dat het product klaar was Verklaring ▹ Bij het addendum in januari 2020 is er onder strikte De leverancier heeft haar voorstel niet in de praktijk kunnen brengen, randvoorwaarden en tegenover een (aanvullende) investering omdat het budget waarvoor zij voorgesteld had het GGiD te leveren, vanuit de leverancier een (vertragings-)schadevergoeding vanuit de op enig moment uitgeput was, zonder dat het product klaar was. De GGD’en verstrekt. mogelijkheden voor budgetuitbreiding waren erg beperkt. ▹ In gesprekken wordt duidelijk dat bij deze tweede budgetverhoging er ook nog (lang) geen sprake was van een werkbaar product dat in een testfase gebracht kon worden. Zo bleken meerdere vitale Ondersteunende bevindingen koppelingen en functionaliteiten van het digitale dossier nog niet af. Waaruit blijkt dat het budget uitgeput was zonder dat het product klaar De afspraken van het addendum en financiële kaders waren echter was? zodanig dat de verwachting van veel betrokkenen bij de GGD’en was ▹ De ontwikkeling van het resterende budget tijdens de eerste 16 dat het hiermee tot een werkend product ging leiden. maanden van het ontwikkeltraject is weergegeven in deze grafiek.

Deelverklaringen ▹ Er was sprake van een fixed budget voor de ontwikkeling van het GGiD* met beperkte ruimte voor het financieren van meerwerk Welke mogelijke verklaringen zijn er voor de te lage inschatting? (maximaal 10% volgens de aanbestedingswet). In december 2018 is ▹ Onervarenheid van de leverancier (Verklaring A.3.b) een aanvullende betaling voor meerwerk afgesproken. Op dit punt ▹ Onervarenheid van de GGD’en (Verklaring A.1.c.I) in de tijd was er geen sprake van een werkend product en werd de beoogde oplevering verschoven naar januari 2019.

Terug naar de samenvatting *Dit wordt bepaald door de aanbestedingswet. 94 Terug naar lessen hoofdverklaring A

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.3.b: leverancier beschikte niet over de ervaring op een soortgelijk dossier (1/2) Verklaring ▹ Terugkijkend geeft een groot deel van de gesprekspartners aan dat De leverancier heeft het beoogde voorstel mogelijk niet in de praktijk de leverancier niet de benodigde ervaring en expertise leek te kunnen brengen, omdat zij nog niet eerder een soortgelijke opdracht beschikken om het gevraagde product te ontwikkelen. Het had uitgevoerd en daardoor niet over specifieke ervaring beschikte die ontwikkelen van het gevraagde digitale dossier is een complexe hier wel voor nodig was. aangelegenheid. De leverancier leek in het bijzonder niet geëquipeerd op het gebied van de vele koppelvlakken. ▹ De ervaringseisen in de aanbestedingsprocedure waren vrij Ondersteunende bevindingen algemeen geformuleerd. Alleen potentiële deelnemers die over Waaruit blijkt dat de ervaring van de leverancier beperkt was? voldoende ervaring beschikten, werden uitgenodigd voor de ▹ Deze verklaring is gedurende onze opdracht niet met zekerheid vast dialoogfase van de aanbestedingsprocedure. Zij kregen punten te stellen, omdat de leverancier in kwestie niet gesproken kon toegekend op basis van 10 selectiecriteria. Van de vrij algemeen worden en wij niet in staat zijn om de expertise van de leverancier geformuleerde criteria luidde het meest zwaarwegende te beoordelen.

We baseren ons daarom alleen op de bevindingen bijvoorbeeld “ervaring met ontwikkelen cliëntportaal voor de vanuit interviews met de GGD’en en programma-organisatie. gezondheidszorg”. De gedachte achter het niet opnemen van een ▹ De leverancier wordt door gesprekspartners getypeerd als een criterium rondom een meer vergelijkbaar product was dat de generalist. Deze had bij aanvang van het traject geen eerdere GGD’en een ambitieus nieuw digitaal dossier wilden ontwikkelen en ervaring in het ontwikkelen van vergelijkbare systemen. Het dat focus op vergelijkbare projecten af zou doen aan die ambitie. overzicht van eerdere projecten op hun website ondersteunt deze bevinding. Bevindingen lopen door op de volgende pagina.

Terug naar de samenvatting 95 Terug naar lessen hoofdverklaring A

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.3.b: leverancier beschikte niet over de ervaring op een soortgelijk dossier (2/2) Ondersteunende bevindingen (vervolg) ▹ Ter nuancering hiervan moeten we aantekenen dat het ook in het ▹ Ook al tijdens de aanbesteding waren er signalen over de belang van de betreffende aanbieder was, om dit te stellen. Dit onervarenheid van de leverancier met betrekking tot een dergelijk gegeven heeft ook een grote rol gespeeld in de beoordeling van het product. Een gegadigde in de aanbesteding, die na de voorronde signaal door de GGD’en, zo wordt aangegeven. De rechter heeft van de aanbesteding werd uitgesloten voor de offertefase, maakte deze aanbieder overigens ongelijk gegeven. GGD’en vertrouwden hiertegen bezwaar. In het bezwaar geeft de gegadigde aan dat de op het oordeel van de rechter, naast de toen ingehuurde geselecteerde leveranciers niet de benodigde ervaring hebben voor onafhankelijke expertise, dat de leverancier niet te onervaren was. het ontwikkelen van het digitale dossier*. Door dezelfde concurrent Deelverklaringen die bezwaar aantekende in het aanbestedingsproces, wordt in een Geen. latere briefwisseling met de GGD’en gesteld dat het voor de gekozen leverancier vrijwel onmogelijk is om ‘from scratch’, binnen de gestelde kaders, een digitaal dossier te ontwikkelen.

*”Volgens [eiseres in de hoofdzaak/verweerster in het incident tot tussenkomst en subsidiair tot voeging] kunnen de Terug naar de samenvatting generieke ontwikkelaars, omdat zij nog geen ervaring hebben met het ontwikkelen en implementeren van een DD JGZ- 96 systeem […] zich geen goed beeld vormen van de opdracht.” (Bron: Uitspraak ECLI:NL:RBMNE:2017:4660) Terug naar lessen hoofdverklaring A

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.4: leverancier is haar afspraken meermaals niet nagekomen* Verklaring ▹ De deadlines voor de livegang werden herhaaldelijk niet gehaald Gedurende de ontwikkeling van het digitale dossier is de leverancier doordat het product niet door de acceptatietesten van de afspraken over oplevertermijnen en technische specificaties opdrachtgever kwam. herhaaldelijk niet nagekomen. Dit belemmerde de totstandkoming van ▹ Ook na het addendum werden de bijgestelde afspraken volgens het boogde product. betrokkenen onvoldoende nagekomen en was er veel onenigheid tussen de leverancier en de GGD’en over de mate waarin tussenproducten voldeden aan de gestelde eisen. Ondersteunende bevindingen Hoe weten we dat de leverancier afspraken niet is nagekomen?** ▹ Gesprekspartners vanuit de GGD’en geven aan dat na de eerste Deelverklaringen maanden van de ontwikkeling hen al snel duidelijk werd dat ▹ Het beschikbare ontwikkelbudget was op enig moment uitgeput Sprintdoelen niet gehaald werden door de leverancier. De output (Verklaring A.4.a) die werd opgeleverd, liep steeds achter op schema, terwijl de ▹ Personele wisselingen (Verklaring A.4.b) leverancier wel de geraamde uren stak in de ontwikkeling (blijkens de facturen). Uiteindelijk leidden deze signalen tot de (voorlopige) ingebrekestelling.

*Merk op dat de leverancier geen onderwerp of betrokkene van de evaluatie was. Terug naar de samenvatting Er heeft dus ook geen wederhoor plaats kunnen vinden. 97 Terug naar lessen hoofdverklaring A **We merken op dat we geen uitgebreide beoordeling van alle onderlinge afspraken gemaakt hebben om te taxeren in hoeverre deze daadwerkelijk niet nagekomen zijn.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.4.a: het beschikbare ontwikkelbudget was op enig moment uitgeput (1/2) Verklaring Begin 2019 was het initiële ontwikkelbudget uitgeput. Twee keer is aanvullend budget vrijgemaakt voor de leverancier. Hier bovenop Verbruikt budget t.b.v. ontwikkeling heeft de leverancier voor eigen rekening geïnvesteerd om de 160% meerkosten van de ontwikkeling te dekken. Aanvullende inzet was in

Verbruikt budget (% van ontwikkelbudget) 140% elk geval niet meer in haar financiële belang. 120%

100% Ondersteunende bevindingen 80% Wat wijst erop dat het ontwikkelbudget voor de opdracht uitgeput was? 60% ▹ In de grafiek op de volgende pagina is weergegeven hoe het verloop van het verbruikte budget voor ontwikkeling van het product eruit 40%

zag. Op de horizontale as is de tijd weergegeven, op de verticale as 20% het aandeel van het ontwikkelbudget. Deze gegevens zijn gebaseerd 0% op de facturen die onderdeel waren van de vrijgave-adviezen van sprints.* Via de gekleurde vlakken is de omvang van de verschillende budgetten aangegeven**. Ontwikkelbudget Meerwerk (max)

Investering aanbieder Verbruikt - cumulatief (%)

*Geen onderdeel hiervan zijn kleine correcties van orde 1.000 euro die tussentijds op de facturen Terug naar de samenvatting plaatsgevonden hebben. 98 **Dit geeft slechts de omvang van budgetten weer, in de praktijk zijn er al kosten ten laste van meerwerk Terug naar lessen hoofdverklaring A gegaan, toen het ontwikkelbudget nog niet uitgeput was. Dit vanwege de inhoudelijke status van het werk.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.4.a: het beschikbare ontwikkelbudget was op enig moment uitgeput (2/2) Ondersteunende bevindingen (vervolg) zekerheid vast te stellen. Wél kan gesteld worden dat het financieel gezien vanaf een bepaald moment niet aantrekkelijk meer was ▹ Uit de figuur op de vorige pagina is af te lezen hoe het budget na nadere inzet te plegen. ca. 12 maanden volledig was verbruikt. Een maand later (februari 2019) was ook de maximale ruimte voor meerwerk (10%) benut*. ▹ Het budget dat na dit punt is verbruikt, kwam voor eigen rekening Deelverklaringen van de leverancier. Deze kosten bouwden verder dan is af te lezen, ▹ Te lage inschatting benodigd budget (Verklaring A.3.a.) omdat de ontwikkeling nog meer dan twee jaar doorliep. ▹ Mogelijk te weinig financiële prikkel voor de leverancier (Verklaring A.6) ▹ Bij het addendum zijn nieuwe afspraken gemaakt over de verdeling van de resterende kosten. Dit vroeg van de zijde van de leverancier een invetsering en van de GGD’en een (vertragings- )schadevergoeding (zie Hoofdverklaring B). ▹ De leverancier zou zelf €1,2 miljoen geïnvesteerd hebben in het ontwikkelen van het GGiD (Bron: leverancier). ▹ De leverancier is in deze evaluatie niet gesproken. In welke mate budgettaire overwegingen rondom eigen investeringen een rol hebben gespeeld in wat zij deed en waarom, zijn daarmee niet met

Terug naar de samenvatting *In de praktijk was er overigens zowel sprake van meer- en minderwerk, zie ook Hoofdverklaring B. 99 Terug naar lessen hoofdverklaring A

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.4.b: personele wisselingen

Verklaring ▹ In gesprekken noemen betrokkenen dat personele wisselingen in Het naleven van de gemaakte afspraken over de ontwikkeling van het sleutelposities aan de kant van de leverancier een belemmerende GGiD werd bemoeilijkt door vele personele wisselingen aan de kant factor vormden. De programma-organisatie had hierdoor te maken van de leverancier. met steeds andere samenwerkingspartners. De kwaliteit van deze partners werd door onze gesprekspartners als wisselend ervaren. Dit maakte het lastig om grip te houden op het proces en de Ondersteunende bevindingen continuïteit van de ontwikkeling te waarborgen. Hoe hebben de personele wisselingen invloed gehad op de aansturing? ▹ Uit documenten blijkt dat tussen 2018 en 2022 er vijf verschillende Deelverklaringen programmamanagers van de leverancier op verschillende ▹ De veel grotere duur van het traject heeft ook een rol gespeeld in (opeenvolgende) momenten bij de ontwikkeling betrokken waren. het aantal wisselingen. ▹ Er vonden ook verschillende directiewissels plaats bij de leverancier, waardoor gedurende het ontwikkeltraject vier verschillende directeuren vanuit de leverancier betrokken waren. ▹ Ook de Product Owner is (op voorspraak van de leverancier) gedurende het ontwikkelproces gewisseld.

Terug naar de samenvatting 100 Terug naar lessen hoofdverklaring A