2 Evaluatierapportage GGiD

85

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

*Dit betekende ook dat de leverancier gefinancierd werd voor haar inspanningen voor de betreffende sprint.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.1: nieuw te ontwikkelen product Verklaring Er waren vooraf verschillende mogelijkheden voor hoe er tot een nieuw digitaal dossier gekomen kon worden. Uitkomst van de aanbesteding was dat er een nieuw product ontworpen ging worden. Hierbij is de kans op succes kleiner dan bij aankoop van een bestaand product. Ondersteunende bevindingen Waarom is de kans op slagen lager bij een nieuw te ontwikkelen product? ▹ Een bestaand product is ontwikkeld voor een grotere doelgroep. Dat betekent dat het al op schaal is getest en wordt gebruikt. Bij een nieuw te ontwikkelen product is de faalkans hoger, omdat vele regels code nieuw geschreven moeten worden en zeker bij koppelingen de kans op problemen met code vergroot wordt. ▹ Omdat er van tevoren ruimte kan ontstaan tussen de verwachtingen van de koper en de leverancier, omdat het fysieke product immers nog niet bestaat. ▹ Het lastig is om van tevoren precies in te schatten wat er nodig is

86

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

om het product gebruiksklaar en goed gekoppeld aan andere systemen te krijgen Deelverklaringen Waarom werd er een nieuw product gemaakt? ▹ Er werd in de aanbesteding niet ondubbelzinnig gekozen voor het ontwikkelen van een geheel nieuw product, maar aan het ambitieniveau van de gezamenlijke GGD’en, wat zich vertaalde in een ambitieus Programma van Eisen, maakte de kans dat er een nieuw product ontworpen moest worden erg groot (verklaring A.1.a). ▹ De markt voor dit domein was en is klein, met toentertijd vier leveranciers die een off the shelf-product aanboden (Gino, Topicus, Centric en Allegro Sultum). Deze aanbieders hebben niet gewonnen (verklaring A.1.b). ▹ De GGD’en zijn, o.a. op basis van ingehuurde expertise, uitgegaan van de haalbaarheid van het ontwikkelen van een nieuwe product, in al zijn complexiteit (verklaring A.1.c).

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.1.a: Hoog ambitieniveau droeg bij aan het nieuw bouwen van een product Verklaring Het ambitieniveau was hoog ten opzichte van de uitgangssituatie. Dit verkleinde de kans dat de ambitie te verwezenlijken was op basis van bestaande softwarepakketten.

Ondersteunende bevindingen Wat betekende het dat het ambitieniveau hoog was? De ambitie van de GGD’en die ten grondslag lag aan de aanbesteding wordt het best verwoord in hun gezamenlijke intentieverklaring: ▹ het applicatielandschap voor GGD’en te verbeteren, versimpelen en harmoniseren. Dit betreft in het bijzonder de applicaties voor bedrijfsvoering, planning en roostering en het cliëntdossier. ▹ Als eerste stap richting de verwezenlijking van deze ambitie willen zij tot één GGD-burgerdossier komen, waarin “inwoners […] de eigen vrijgegeven gegevens uit het dossier kunnen inzien […] met een ander te delen, zelf afspraken te maken […], waarbij het dossier van de inwoner op iedere werkplek altijd beschikbaar is en gegevens eenmalig worden vastgelegd.” 87

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

▹ De ambitie is verder om het burgerdossier voor zoveel mogelijk inwoners van Nederland gelijk te willen maken. Dit betekende concreet dat andere GGD’en de mogelijkheid moesten hebben om in tweede instantie aan te sluiten bij het GGiD. Het was dus niet alleen DD JGZ, maar een eerste stap in iets veel groters en breders: een volledig burgerdossier, voor alle GGD’en te gebruiken. Iets dat echt nog niet bestond. In de praktijk betekende dit dat er bijvoorbeeld een koppeling tussen het GGiD gemaakt moest kunnen worden met de bestaande software voor planning en roostering (ORTEC**) en voor bedrijfsvoering zoals HRM-gegevens (AFAS, Raet Beaufort). Ook moest er koppeling zijn met verschillende andere gegevensbronnen buiten de GGD’en (de BRP, het RIVM, berichtenverkeer in de zorg, etc.)*. Elke verbinding met andere softwareproducten vormt een uitdaging op zich en het aantal van dit soort verbindingen (‘koppelvlakken’) was aanzienlijk. Tijdens de aanbesteding is veel tijd gestoken in het expliciet beschrijven van de benodigde koppelingen. Daarnaast waren er verschillende (tussentijds veranderde) wettelijke kaders waarmee het product compatibel moest zijn, zoals de AVG. Deelverklaringen Geen. *Bron: Programma van Eisen GGiD.

**Niet voor alle GGD’en.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.1.b: onbehulpzame marktcondities vergrootten de kans op het maken van een nieuw product Verklaring Er was op het moment van de ambitie geen pakket in de markt dat aan de eisen voldeed. Het alternatief is dan om zelf iets te ontwikkelen, of om een bestaand pakket aan te (laten) passen.

Ondersteunende bevindingen Hoe hielp de markt precies niet mee? ▹ Er waren (en zijn) verschillende partijen die een digitaal dossier JGZ bieden. Alle betrokken GGD’en maken gebruik van MLCas. Daarnaast waren Kidos van Gino en KD+ van Topicus bestaande pakketten. ▹ Geen enkele van deze producten kwam tegemoet aan de ambities van de betreffende GGD’en (zie verklaring A.1.a). ▹ Los van of deze partijen deelgenomen hebben aan de aanbesteding, als zij dat gedaan zouden hebben, zou dat betekend hebben dat zij tenminste hun al bestaande product aanzienlijk aan hadden moeten passen om aan de ambities / het programma van eisen tegemoet te komen.

88

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

Deelverklaringen Wat veroorzaakte dat de markt niet meewerkte? ▹ Het betreft een kleine markt van 37 JGZ-organisaties, die elk binnen krappe financiële kaders moet opereren, omdat zij van hun middelen afhankelijk zijn van gemeenten. ▹ Dit zorgt ervoor dat JGZ software een niche markt is met vier partijen (Gino, Topicus, Allegro Sultum en (toen Centric, nu) Eljakim) en de Return-on-Investment (ROI) gering is. ▹ Dit maakt dat aanbieders geen prikkel hebben om te innoveren richting een product dat aan de hoge ambities van de GGD’en voldoet. Het aanbesteden van een nieuw product op grotere schaal zou dit moeten doorbreken, zo was de gedachte.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.1.c: de GGD’en hebben haalbaarheid van dit project verondersteld Verklaring De GGD’en hebben in de aanbesteding verondersteld dat het überhaupt mogelijk was om een nieuw product met veel features en koppelvlakken met andere systemen succesvol te bouwen binnen de geldende randvoorwaarden. Ze hebben vertrouwd op het aanbod van een (nieuwe) leverancier en de ingebouwde checks & balances (Bevorderende factor 5), waaronder de marktconsultatie en inschatting van ingehuurde experts. Echter, met de kennis van nu is de complexiteit om de eisen te vertalen naar een softwareproduct mogelijk onderschat. Ondersteunende bevindingen Waaruit blijkt dat de GGD’en uitgingen van de haalbaarheid? ▹ De belangrijkste aanwijzing is simpelweg dat ze de aanbestedingsprocedure doorlopen hebben. ▹ Een concurrent die in de aanbestedingsprocedure afviel en naar aanleiding daarvan een kort geding aanspande, gaf in 2017 aan dat: ▹ “De opdracht onvoldoende bepaalbaar was, zeker voor partijen zoals […], zijnde een generalist die nog geen ervaring had met de realisatie van een DD JGZ-systeem en relevante koppelingen;

▹ Een disproportionele termijn voor oplevering en acceptatie, waarvan het niet realistisch is dat partijen zoals […], die nog niet beschikt over een DD JGZ-systeem en relevante koppelingen, in staat zijn deze termijn te halen.” ▹ De rechter gaf de GGD’en echter gelijk, waardoor er voor GGD’en onvoldoende reden was om te twijfelen aan haalbaarheid ▹ De GGD’en hebben een aanbieder (de betreffende leverancier) geselecteerd, hoewel zij niet verplicht waren om een aanbieder te selecteren. Er waren dus op basis van de offerte van de leverancier niet voldoende gronden om aan de haalbaarheid te twijfelen. Ook ingehuurde experts gaven geen reden om daaraan te twijfelen. Dit laatste is ook door gesprekpartners bevestigd. ▹ Veel geïnterviewden gaven echter aan dat ze met de kennis van nu geen nieuw product zouden laten bouwen, omdat het proces, meer dan verwacht, erg bewerkelijk is gebleken. Deelverklaringen Hoe kan het dat de GGD’en uit zijn gegaan van de haalbaarheid? ▹ Onervarenheid van de GGD’en (Verklaring A.1.c.I)

89

Terug naar de samenvatting

Terug naar lessen hoofdverklaring A

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.1.c.I: onervarenheid van de GGD’en Verklaring Doordat GGD’en weinig tot geen ervaring hadden met ICT-projecten van deze omvang, zowel op het niveau van bestuur als uitvoering, waren ze niet in staat om de complexiteit goed in te schatten. Ze hebben daarom moeten vertrouwen op externe expertise (o.a. een marktconsultatie) bij de beoordeling of dit project haalbaar is. Ondersteunende bevindingen Waaruit bleek dat GGD’en onervaren waren? ▹ Twee van de drie GGD’en hadden niet eerder een ICT-project van deze omvang uitgevoerd, dat zoveel componenten en koppelingen met externe bronnen kende; ▹ Er was beperkte ICT-capaciteit aanwezig. De expertise die wel aanwezig is, is voornamelijk gericht op beheer. ▹ Er is daarom expertise extern aangetrokken om hieraan tegemoet te komen. Toch bleek dit geen afdoende oplossing. Gesprekspartners geven o.a. aan dat: ▹ De informatie (‘jargon’) vanuit externen lastig bleek om te duiden 90

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

voor de GGD’en, waardoor het een deel van de mensen aangaf geen beeld te hebben waar ze ja tegen zeiden. Dit hangt ook samen met dat managers en bestuurders zonder ICTachtergrond besluiten moesten nemen over een complex ICTproject. ▹ Om dit te ondervangen werd periodiek extra externe expertise ingehuurd worden om de stand op te maken (‘audit’). Deze gaven een beeld op hoofdlijnen zonder langer betrokken te zijn bij het traject. Enkele geïnterviewden gaven aan dat dit niet altijd genoeg inzichten en handvatten bood om verder gaan. Deelverklaringen Geen.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.2: kaders stonden met elkaar op gespannen voet (1/2) Verklaring De kaders die de programmaorganisatie en leverancier hebben gehanteerd voor de ontwikkeling van het GGiD, stonden met elkaar op gespannen voet. Aan de ene kant werd gekozen voor een relatief ‘open’ programma van eisen en werkmethodiek gekozen. Daartegenover stonden een strakke planning en budget. Dit zorgde voor het tussentijds uitwerken en verfijnen van de behoeften, terwijl geld en tijd eindig waren en snel opraakten. Hierdoor werd het project steeds moeilijker beheersbaar. Ondersteunende bevindingen Wat betekende het dat de kaders met elkaar op gespannen voet stonden? ▹ Er waren verschillende van dergelijke kaders: de inhoudelijke vereisten (zoals geformuleerd in het Programma van Eisen (PvE)), de randvoorwaarden (budget en tijd beschikbaar voor het implementatietraject) en de werkwijze voor ontwikkeling. ▹ Voor deze laatste zijn twee type werkwijzen: de ‘Waterfall’ en ‘Agile’ methoden. Deze eerste is werkwijze waarin de ontwikkeling stap voor stap verloopt en een volgende stap pas begonnen wordt,

91

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

wanneer de vorige afgerond is. Agile is een werkwijze waarin er in meer nauwe samenwerking en interactie met de klant, in korte sprints tussenproducten opgeleverd worden. Dit is een meer organische werkwijze om tot het eindresultaat te komen. ▹ Agile is daarmee ook geschikter voor een context waarin eisen en behoeften vanuit de klant nog niet volledig uitgekristalliseerd zijn en/of waar ICT projecten complex zijn. Veel geïnterviewden geven aan dat de agile werkwijze was te prefereren voor een dergelijk complex project als deze. ▹ De gewenste agile werkwijze stond echter op spanning met de vereisten en randvoorwaarden: ▹ Er was sprake van een aanbesteding waarbij het eindproduct vooraf voldoende beschreven moet zijn (in lijn met de wettelijke eisen rondom aanbestedingen). Er werd echter wel agile gewerkt; een werkwijze die uitgaat van een opener programma van eisen, waar waarbij opdrachtgever en opdrachtnemer samen al werkende weg tot een concreet product komen.

*Dit vormde later in het traject ook bron van onenigheid tussen beide partijen, omdat de eisen nog zo weinig specifiek zijn, dat ze voor tweeërlei uitleg vatbaar zijn.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.2: kaders stonden met elkaar op gespannen voet (2/2) Ondersteunende bevindingen (vervolg) ▹ In lijn met de agile werkwijze was het beeld van het beoogde eindproduct aan het begin nog niet volledig uitgekristalliseerd; er was sprake van een vrij open PvE*. Dat werd nader geconcretiseerd via het formuleren van gebruikersbehoeften vanuit het kernteam bouw (user stories). Echter stonden het budget (aanbestedingstechnisch) en de deadline wél vast. ▹ Doordat middelen en planning vastlagen, ontstond er gaandeweg een spanningsveld tussen wat er opgeleverd moest worden en de tijd en middelen die daarvoor beschikbaar waren. ▹ Er is (in een vrij vergevorderd stadium) overigens tussentijds nog gewijzigd in een werkwijze die meer ‘waterfall’ was, maar tegen die tijd was het product al verder uitgekristalliseerd.

92

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

Deelverklaringen Waarom stonden de kaders met elkaar op gespannen voet? ▹ Onervarenheid van de GGD’en (Verklaring A.1.c.I). ▹ De wettelijke kaders rondom aanbesteding eisen dat het budget vast ligt: voor een (Europese) aanbesteding geldt dat een te grote toename van het benodigde bedrag als een ‘wezenlijke wijziging’ gezien wordt, die opnieuw aanbesteden noodzakelijk maakt.

*Dit maakt ook dat de precieze eisen vanuit het PvE daarmee voor interpretatie vatbaar waren. Dit vormde later in het traject ook bron van onenigheid tussen beide partijen.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.3: leverancier heeft haar voorstel niet in de praktijk kunnen brengen* Verklaring Deelproducten van de leverancier voldeden gedurende de ontwikkeling herhaaldelijk niet aan de gestelde eisen en konden door het ontbreken of niet werken van vitale functionaliteiten niet geïmplementeerd worden. De leverancier heeft daarmee haar voorstel niet in de praktijk gebracht. Het vertrouwen in de oplevering van een werkend eindproduct bij de GGD’en nam af. Ondersteunende bevindingen Waaruit blijkt dit volgens betrokkenen? ▹ Herhaaldelijk kwam in de ontwikkelfase aan de orde dat opgeleverde tussenproducten niet voldeden. Eind 2018 kwam de eerste release niet door de acceptatietest. Later in 2019 oordeelde de koplopersgroep dat dat het opgeleverde product niet verantwoord geïmplementeerd kan worden. Ook de deelproducten die na het addendum gebouwd zijn, voldeden volgens de GGD’en niet aan de gestelde eisen.

93

▹ Veel geïnterviewden geven aan dat de sprintdoelen, die met de leverancier samen werden gesteld, geregeld niet werden gehaald. In plaats van onderhanden werk af te maken, ging de focus van de leverancier vervolgens uit naar nieuw te ontwikkelen onderdelen. ▹ In interviews komt naar voren dat bij het testen van het dossier herhaaldelijk bleek dat er geen goede aansluiting was op zorginhoudelijke processen en essentiële onderdelen simpelweg niet werkten. Deelverklaringen Waarom heeft de leverancier haar voorstel mogelijk niet in de praktijk kunnen brengen? ▹ Het betrof een geheel nieuw product, dat nog niet op de markt was en complex was om te ontwikkelen (Verklaring A.1.a). ▹ Het door de leverancier geraamde budget was uitgeput zonder dat het product klaar was (Verklaring A.3.a) ▹ De leverancier had geen eerdere ervaring met het opleveren van een werkend GGiD (Verklaring A.3.b).

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

*Merk op dat de leverancier geen onderwerp of betrokkene van de evaluatie was. Er heeft dus ook geen wederhoor plaats kunnen vinden.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.3.a: het door de leverancier geraamde budget was uitgeput zonder dat het product klaar was Verklaring De leverancier heeft haar voorstel niet in de praktijk kunnen brengen, omdat het budget waarvoor zij voorgesteld had het GGiD te leveren, op enig moment uitgeput was, zonder dat het product klaar was. De mogelijkheden voor budgetuitbreiding waren erg beperkt. Ondersteunende bevindingen Waaruit blijkt dat het budget uitgeput was zonder dat het product klaar was? ▹ De ontwikkeling van het resterende budget tijdens de eerste 16 maanden van het ontwikkeltraject is weergegeven in deze grafiek. ▹ Er was sprake van een fixed budget voor de ontwikkeling van het GGiD* met beperkte ruimte voor het financieren van meerwerk (maximaal 10% volgens de aanbestedingswet). In december 2018 is een aanvullende betaling voor meerwerk afgesproken. Op dit punt in de tijd was er geen sprake van een werkend product en werd de beoogde oplevering verschoven naar januari 2019.

94

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

▹ Bij het addendum in januari 2020 is er onder strikte randvoorwaarden en tegenover een (aanvullende) investering vanuit de leverancier een (vertragings-)schadevergoeding vanuit de GGD’en verstrekt. ▹ In gesprekken wordt duidelijk dat bij deze tweede budgetverhoging er ook nog (lang) geen sprake was van een werkbaar product dat in een testfase gebracht kon worden. Zo bleken meerdere vitale koppelingen en functionaliteiten van het digitale dossier nog niet af. De afspraken van het addendum en financiële kaders waren echter zodanig dat de verwachting van veel betrokkenen bij de GGD’en was dat het hiermee tot een werkend product ging leiden. Deelverklaringen Welke mogelijke verklaringen zijn er voor de te lage inschatting? ▹ Onervarenheid van de leverancier (Verklaring A.3.b) ▹ Onervarenheid van de GGD’en (Verklaring A.1.c.I)

*Dit wordt bepaald door de aanbestedingswet.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.3.b: leverancier beschikte niet over de ervaring op een soortgelijk dossier (1/2) Verklaring De leverancier heeft het beoogde voorstel mogelijk niet in de praktijk kunnen brengen, omdat zij nog niet eerder een soortgelijke opdracht had uitgevoerd en daardoor niet over specifieke ervaring beschikte die hier wel voor nodig was. Ondersteunende bevindingen Waaruit blijkt dat de ervaring van de leverancier beperkt was? ▹ Deze verklaring is gedurende onze opdracht niet met zekerheid vast te stellen, omdat de leverancier in kwestie niet gesproken kon worden en wij niet in staat zijn om de expertise van de leverancier te beoordelen. We baseren ons daarom alleen op de bevindingen vanuit interviews met de GGD’en en programma-organisatie. ▹ De leverancier wordt door gesprekspartners getypeerd als een generalist. Deze had bij aanvang van het traject geen eerdere ervaring in het ontwikkelen van vergelijkbare systemen. Het overzicht van eerdere projecten op hun website ondersteunt deze bevinding.

95

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

▹ Terugkijkend geeft een groot deel van de gesprekspartners aan dat de leverancier niet de benodigde ervaring en expertise leek te beschikken om het gevraagde product te ontwikkelen. Het ontwikkelen van het gevraagde digitale dossier is een complexe aangelegenheid. De leverancier leek in het bijzonder niet geëquipeerd op het gebied van de vele koppelvlakken. ▹ De ervaringseisen in de aanbestedingsprocedure waren vrij algemeen geformuleerd. Alleen potentiële deelnemers die over voldoende ervaring beschikten, werden uitgenodigd voor de dialoogfase van de aanbestedingsprocedure. Zij kregen punten toegekend op basis van 10 selectiecriteria. Van de vrij algemeen geformuleerde criteria luidde het meest zwaarwegende bijvoorbeeld “ervaring met ontwikkelen cliëntportaal voor de gezondheidszorg”. De gedachte achter het niet opnemen van een criterium rondom een meer vergelijkbaar product was dat de GGD’en een ambitieus nieuw digitaal dossier wilden ontwikkelen en dat focus op vergelijkbare projecten af zou doen aan die ambitie. Bevindingen lopen door op de volgende pagina.

Verdieping B | Beschrijving bevorderende en belemmerende factoren in proces (H4)

Verklaring A.3.b: leverancier beschikte niet over de ervaring op een soortgelijk dossier (2/2) Ondersteunende bevindingen (vervolg) ▹ Ook al tijdens de aanbesteding waren er signalen over de onervarenheid van de leverancier met betrekking tot een dergelijk product. Een gegadigde in de aanbesteding, die na de voorronde van de aanbesteding werd uitgesloten voor de offertefase, maakte hiertegen bezwaar. In het bezwaar geeft de gegadigde aan dat de geselecteerde leveranciers niet de benodigde ervaring hebben voor het ontwikkelen van het digitale dossier*. Door dezelfde concurrent die bezwaar aantekende in het aanbestedingsproces, wordt in een latere briefwisseling met de GGD’en gesteld dat het voor de gekozen leverancier vrijwel onmogelijk is om ‘from scratch’, binnen de gestelde kaders, een digitaal dossier te ontwikkelen.

96

Terug naar de samenvatting Terug naar lessen hoofdverklaring A

▹ Ter nuancering hiervan moeten we aantekenen dat het ook in het belang van de betreffende aanbieder was, om dit te stellen. Dit gegeven heeft ook een grote rol gespeeld in de beoordeling van het signaal door de GGD’en, zo wordt aangegeven. De rechter heeft deze aanbieder overigens ongelijk gegeven. GGD’en vertrouwden op het oordeel van de rechter, naast de toen ingehuurde onafhankelijke expertise, dat de leverancier niet te onervaren was. Deelverklaringen Geen.

*”Volgens [eiseres in de hoofdzaak/verweerster in het incident tot tussenkomst en subsidiair tot voeging] kunnen de generieke ontwikkelaars, omdat zij nog geen ervaring hebben met het ontwikkelen en implementeren van een DD JGZsysteem […] zich geen goed beeld vormen van de opdracht.” (Bron: Uitspraak ECLI:NL:RBMNE:2017:4660)