Bijlage 3 Second Opinion Evaluatie Gebiedsontwikkeling Technology Base

Second Opinion Gebiedsontwikkeling Technology Base

Juni 2022

Second Opinion Evaluatie Gebiedsontwikkeling Technology Base

Opgesteld door Jos Arts Hoogleraar milieu- & infrastructuurplanning Faculteit Ruimtelijke Wetenschappen Rijksuniversiteit Groningen Groningen, 9 juni 2022

Bij: Rapportage Evaluatie Gebiedsontwikkeling Technology Base (d.d. 13 juni 2022) Door: Berenschot In opdracht van: Provincie Overijssel en Gemeente Enschede

1

Second Opinion Gebiedsontwikkeling Technology Base

Juni 2022

1. Inleiding en vraagstelling second opinion Deze notitie bevat de second opinion op het rapport van Berenschot (d.d. 6 juni 2022) ‘Evaluatie Gebiedsontwikkeling Technology Base’ dat is opgesteld in opdracht van de colleges van de Provincie Overijssel en de Gemeente Enschede. Het evaluatieonderzoek betreft een brede evaluatie van de gebiedsontwikkeling Technology Base van de voormalige Luchtmachtbasis Twente met als doel “om te leren over de gebiedsontwikkeling tot nu toe en als input voor de te maken politiek en bestuurlijke keuzes over de resterende opgave van Technology Base”1. De opdrachtgevers (samen met de Provinciale Staten Overijssel en de Gemeenteraad Enschede) hechten aan de onafhankelijke kwaliteit van het onderzoek2. Om deze kwaliteit extra te borgen is gekozen voor een second opinion door een onafhankelijke deskundige, waarvoor ik ben benaderd als hoogleraar Milieu- & Infrastructuur Planning aan de Rijksuniversiteit Groningen 3. Mijn opdracht was een onafhankelijke, externe toets te doen op4: 1. de onderzoeksopzet (waaronder validatie van de onderzoeksvragen); en 2. op een methodologisch zuivere uitvoering van het onderzoek – in hoeverre volgen de lessen logisch op de feiten, meningen en beoordeling (navolgbaarheid). Gezien deze vraagstelling richt ik me in deze notitie m.n.

op de methodische aanpak en uitvoering van het evaluatieonderzoek, en niet zozeer op de beleidsinhoudelijke kant van de evaluatie en de conclusies en aanbevelingen5. Vanuit mijn onafhankelijke positie (zie hoofdstuk 2) doe ik in deze notitie verslag van mijn bevindingen over deze onderdelen. Het eerste onderdeel (onderzoeksopzet) wordt besproken in hoofdstukken 3 en 4. In hoofdstukken 5, 6 en 7 wordt ingegaan op het tweede onderdeel (uitvoering van het onderzoek). Tenslotte geef ik in hoofdstuk 8 een overall oordeel over het evaluatieonderzoek.

2. Reflectie op proces second opinion en rol als onafhankelijke deskundige Als onafhankelijk deskundige heb ik er voor gekozen om niet louter een summatieve evaluatie te verrichten – dat wil zeggen alleen achteraf een oordeel te geven “met de duim omhoog of omlaag” – maar voor een formatieve evaluatie-benadering – waarbij tussentijdse evaluaties worden verricht om tijdig bijsturen en verbeteren mogelijk te maken. Uitgangspunt zijn daarbij geweest de academische principes voor onafhankelijkheid en integriteit, voor zorgvuldig (evaluatie)onderzoek, en de richtlijnen voor goed evaluatieonderzoek bij de overheid6. Daartoe heb ik als onafhankelijke expert deelgenomen aan de bijeenkomsten van de begeleidingsgroep van het evaluatieonderzoek7, en op verzoek van de klankbordgroep met Provinciale Staten- en Gemeenteraadsleden deelgenomen aan de bespreking van de tussentijdse resultaten (d.d. 12 mei 2022). Na lezing van stukken en achtergronddocumentatie heb ik mijn tussentijdse commentaar 1

Offerteaanvraag Evaluatie technology Base, Provincie Overijssel en gemeente Enschede, 22 november 2021, p.3. Offerteaanvraag Evaluatie technology Base, Provincie Overijssel en gemeente Enschede, 22 november 2021, p.4. 3 Achtergrondinformatie auteur second opinion: Prof.dr. Jos Arts, hoogleraar Milieu- & Infrastructuur Planning aan de Faculteit Ruimtelijke Wetenschappen, Rijksuniversiteit Groningen. Ik heb ruime ervaring met ex-ante en ex-post evaluaties zoals milieu- en sociale effectbeoordeling. Mijn onderzoek richt zich op integrale gebiedsontwikkeling en infrastructuur-planning, met een focus op levenscyclus benadering, risicobeheersing en besluitvorming. Ik was promotor van dr. Klaas Veenma (werkzaam bij de provincie Overijssel), die in zijn PhD-thesis (“Ruimte voor Onzekerheid”) Vliegveld Twente als één van de cases heeft geanalyseerd. Zodoende had ik reeds (wetenschappelijk gefundeerde) kennis van het gebied en de betrokken partijen bij Techonolgy Base. 4 Zie door opdrachtgevers geaccepteerde offerte Evaluatie Technology Base Berenschot, 5 januari 2022, p.4. 5 Met andere woorden deze second opinion richt zich op de vragen of: is het evaluatieonderzoek goed opgezet en op een zorgvuldige wijze uitgevoerd.

Dat wil zeggen: zijn de juiste documenten geraadpleegd, wordt een compleet beeld geschetst van de gebiedsontwikkeling Technology Base? Zijn de juiste personen geïnterviewd en vertegenwoordigen zij een representatieve afspiegeling van alle (overheids- en niet-overheids-) betrokkenen? En, overall geeft het evaluatieonderzoek een gedegen kwalitatief zuivere basis voor de daaropvolgende politiek-bestuurlijke discussie en besluitvorming over de lessen van de totale gebiedsontwikkeling (terugblik) en over de resterende opgave (vooruitblik). 6 Zie bijvoorbeeld bij de nationale overheid gehanteerde de ministeriële Regeling Periodiek Evaluatieonderzoek (RPE, 2018), Ministerie van Financiën, 2018. 7 Te weten: 15 februari, 20 april, 30 mei 2022. 2

2

Second Opinion Gebiedsontwikkeling Technology Base

Juni 2022

gegeven op de tussenproducten van het externe adviesbureau dat het evaluatieonderzoek uitvoerde. Dit commentaar betrof de opzet (de methodische aanpak van het evaluatieonderzoek en de inrichting van het proces) en mijn reactie op concept-producten/-rapporten tijdens de uitvoering. Dit commentaar heb ik zowel mondeling (tijdens de begeleidingsgroep bijeenkomsten) als schriftelijk (aan het adviesbureau) gegeven. Een groot deel van die opmerkingen is meegenomen in de diverse tussenconcepten en de eindrapportage. Op basis van de eindconceptrapportage van het evaluatieonderzoek8 (door het externe adviesbureau) heb ik een conceptnotitie van de second opinion opgesteld. Daarbij hebben de leden van de begeleidingsgroep deze conceptnotitie gecheckt op eventuele feitelijke onjuistheden, maar uitdrukkelijk niet om het inhoudelijke oordeel van mijn second opinion te beïnvloeden – dit laatste in verband met mijn onafhankelijke positie als deskundige. De definitieve second opinion – i.c. deze notitie – is door mij opgeleverd aan de Provincie Overijssel en Gemeente Enschede – opdrachtgevers voor het evaluatieonderzoek.

3. Onderzoeksopzet: opdracht en uitwerking in onderzoekskader Het doel en de onderzoeksvragen voor het evaluatieonderzoek zijn door beide colleges van de provincie Overijssel en de Gemeente Enschede vastgesteld9, waarbij ook aandachtspunten vanuit de Gemeenteraad en Provinciale Staten zijn betrokken. Doel (1e een terugblik en 2e een vooruitblik op de resterende opgave) en vragen (1e resultaten gebiedsontwikkeling, 2e bestuurlijke samenwerking, en 3e inhoudelijke reflectie op het profiel) zijn neergelegd in de offerteaanvraag waarvoor Provincie formeel opdrachtgever is. Inde uiteindelijke evaluatierapportage heeft het adviesbureau dit 1e doel aangevuld – met de zinsnede: “Het doel is om te evalueren hoe dit proces is verlopen, wat er bereikt is, wat goed en minder goed is gegaan en zo lessen te trekken voor de toekomst”10. Deze aanvulling doet niet af aan het oorspronkelijke 1e doel maar bevat een nadere specificatie die behulpzaam is geweest bij de uitwerking van het onderzoek. De onderzoeksvragen in de opdracht/offerteaanvraag van Provincie en Gemeente betreffen eigenlijk meer 3 thema’s met daarbij deelvragen. Bij het operationaliseren van het onderzoek zijn deze deelvragen verder aangevuld ten opzichte van de offerteaanvraag11 (zie hieronder).

Om deze onderzoeksvragen te beantwoorden heeft het adviesbureau een onderzoekskader uitgewerkt waarbij het Publieke Waarde Model van Moore (1995)12 wordt gebruikt, een bekend en veel toegepast model uit de bestuurskunde over het creëren van publieke waarde waarbij een drietal samenhangende dimensies worden onderscheiden (publieke waarde, operationele capaciteit en legitimiteit/draagvlak). Gezien de vraagstelling over het functioneren van de Gebiedsontwikkeling Technology Base, is het model naar mening ook geschikt als onderzoekskader voor dit evaluatieonderzoek13. Het Publieke Waarde Model adresseert de ‘klassieke vragen’ die gesteld worden bij beleidsevaluatieonderzoek14: doeltreffendheid/ effectiviteit (publieke waarde) en 8

Evaluatie Gebiedsontwikkeling Technology Base, Berenschot, d.d. 6 juni 2022. Dit is inhoudelijk de eindrapportage die echter nog niet is gelay-out. Verwijzingen naar bepaalde pagina’s in deze second opinion betreffen dan ook deze versie (en er kunnen dus verschillen optreden met de paginanummers van de uiteindelijk gelay-oute vesie van het evaluatierapport). Bij het opstellen van deze second opinion, was de tevens opgedragen ‘praatplaat’/’infographic’ nog niet beschikbaar. 9 Brief aan de Provinciale Staten, Onderzoeksvragen evaluatie Technology Base, 14 september 2021 en brief aan de Gemeenteraad, Evaluatie GR Technology Base, 16 september 2021. 10 Evaluatie Gebiedsontwikkeling Technology Base, Berenschot, 6 juni 2022, p.5. 11 Offerteaanvraag Evaluatie technology Base, Provincie Overijssel en gemeente Enschede, 22 november 2021, p.3 en bijlage 1 van Evaluatie Gebiedsontwikkeling Technology Base, Berenschot, 6 juni 2022, p.62. 12 Moore, M. (1995), Creating public value, Strategic management in government, Harvard University Press, Cambridge (Mass.). 13 Dat wil niet zeggen dat er geen andere theoretische kaders gebruikt hadden kunnen worden gebruikt voor dit evaluatieonderzoek, te denken valt aan bijvoorbeeld de ‘Theory of Change’ (Weiss, 1995, 1998).

Een relevant aspect is echter dat het adviesbureau de nodige kennis en ervaring had met het toepassen van het Publieke Waarde Model in vergelijkbaar onderzoek hetgeen van belang is voor een goede, correcte toepassing als onderzoekskader. 14 Zie ministeriële Regeling Periodiek Evaluatieonderzoek (RPE, 2018), Ministerie van Financiën, 2018.

3

Second Opinion Gebiedsontwikkeling Technology Base

Juni 2022

doelmatigheid/efficiëntie (capaciteit), en daarnaast het recent meer (expliciete) aandacht krijgende aspect van draagvlak (legitimiteit) van beleid. Bij een goede balans tussen de drie dimensies ontstaat volgens Moore publieke waarde op een doelmatige, doeltreffende en gelegitimeerde manier. Het model en de relevantie ervan worden summier maar helder toegelicht in het evaluatierapport van het adviesbureau15 deze toelichting is van belang voor de validiteit van het onderzoek. Planologisch en bestuurskundig onderzoek leert dat beleid niet wordt uitgevoerd in een vacuüm, maar plaatsvindt in een dynamische (maatschappelijke) context. Naar mijn mening is het belangrijk om aan deze externe, contextuele factoren expliciet en afzonderlijk aandacht aan te besteden om daarmee beter: te kunnen duiden waarom de doelen wel of niet zijn behaald, lessen te kunnen formuleren uit de terugblik, en bruikbare informatie te genereren voor keuzes over de resterende opgave (vooruitblik). Het belang van contextuele factoren bij evaluatieonderzoek is besproken bij het startoverleg van de begeleidingsgroep, en om die reden is het onderdeel context aan het onderzoekskader toegevoegd16.

4. Onderzoeksopzet: uitwerking en validatie onderzoeksvragen Vervolgens heeft het adviesbureau de onderzoeksvragen zoals gegeven in de opdracht geordend en aangevuld en vertaald naar indicatoren – dit wordt (enigszins summier) toegelicht in hoofdstuk 1.3 en de bijlagen 1 en 2 van het evaluatierapport. Daarbij is onderscheid gemaakt in een ‘terugblik’ en ‘vooruitblik’ deel conform de 2 doelen uit de opdracht. Aanvullende vragen betreffen bijvoorbeeld “In hoeverre zijn de doelen gerealiseerd”, “In hoeverre boden de capaciteit, organisatievorm en besturing de juiste randvoorwaarden om de doelen te realiseren?”, “Hoe kijken stakeholders terug op de gebiedsontwikkeling”, “Welke kansen en belemmeringen zien de overige stakeholders”. Dit zijn naar mijn mening goede aanvullende, meer specifieke vragen die passend zijn bij het doel van dit evaluatieonderzoek en bij het gehanteerde Publieke Waarde Model als onderzoekskader17. Ter validatie van de onderzoeksvragen en de uitwerking ervan naar criteria (indicatoren) zijn deze uitgebreid besproken met de begeleidingsgroep, maar ook met de klankbordgroep (met daarin leden van Provinciale Staten en Gemeenteraad). Daarbij zijn beperkte aanvullingen gemaakt ter verbetering (m.n. aandacht voor zowel heden als verleden, en een aanvulling met betrekking tot kritische (succes)factoren).

De diverse criteria uit het onderzoekskader (bijlage 1) zijn ten behoeve van de documentenanalyse omgezet naar een ‘code-tree’ (bijlage 6). Waarbij de codes direct de vragen voor de dimensies Publieke Waarde en Capaciteit volgen. Voor de dimensie legitimiteit is bij de codering onderscheid gemaakt naar juridische en bestuurlijke vormgeving en de verschillende soorten partijen (politiek, bestuur, overige belanghebbenden). Dergelijke uitsplitsingen bij codering is gebruikelijk in kwalitatief onderzoek. Een slordigheid is dat in bijlage 6 de vraag over de GR (Gemeenschappelijke Regeling) niet eenduidig terug te vinden is in de codes voor de dimensie legitimiteit. Hetzelfde geldt voor de dimensie context. Op basis van het onderzoekskader (bijlage 2) is een interviewleidraad opgesteld met daarin vragen op hoofdlijnen die de basis zijn geweest voor de interviewgesprekken (bijlage 5). Deze gesprekken waren ‘semi-gestructureerd’ en tijdens de gesprekken zijn ook meer specifieke vragen 15

Evaluatie Gebiedsontwikkeling Technology Base, Berenschot, 6 juni 2022, p.9. Evaluatie Gebiedsontwikkeling Technology Base, Berenschot, 6 juni 2022, p.9. 17 Een kleiner punt is dat voor de dimensie Publieke Waarde de aanvullende vraag “welke invloeden hadden externe effecten en omstandigheden in het bereiken van de doelen” enigszins overlapt met de vraag voor de context dimensie “Hoe interacteren de drie domeinen (publieke waarde, capaciteit, legitimiteit) met elkaar over de tijd, en hoe spelen externe factoren en ontwikkelingen daarbij een rol”. Gezien het belang van doelbereiking, en het onderscheiden van contextuele aspecten daarbij, is een dergelijke overlap niet problematisch. 16

4

Second Opinion Gebiedsontwikkeling Technology Base

Juni 2022

(gebaseerd op het onderzoekskader) gesteld, afhankelijk van de gesprekspartner. Dit is een goede benadering om een balans te vinden tussen algemene punten voor alle gesprekspartners en specifieke aandachtspunten voor individuele gesprekspartners (bij kwalitatief onderzoek is het van belang om goed door te vragen naar specifieke punten). In bijlage 4 wordt een overzicht gegeven van de gesprekspartners waarmee interviews zijn gehouden.

5. Uitvoering onderzoek: onderzoeksmethoden en dataverzameling De onderzoeksmethoden voor dit evaluatieonderzoek zijn kwalitatief – gebruik is gemaakt van documentenanalyse, interviewgesprekken en workshops – wat passend is voor een dergelijk evaluatief syntheseonderzoek18 19. De gebruikte kwalitatieve methoden zijn vrij ‘recht-toe-rechtaan’, maar gebruikelijk voor een dergelijk onderzoek wat een belangrijk aspect is voor validiteit. Belangrijk voor de kwaliteit is dat het adviesbureau veel ervaring heeft met deze methoden. Het gebruik van meerdere methoden en bronnen (triangulatie) is van belang voor het verhogen van de betrouwbaarheid en validiteit van de uiteindelijke conclusies in het evaluatieonderzoek. Belangrijk is ook dat in de onderzoeksopzet expliciet onderscheid is gemaakt tussen feitelijke informatie (m.n. gebaseerd op de documentenanalyse), percepties (beelden van betrokkenen verkregen uit de interviewgesprekken) en de bevindingen (gebaseerd op de analyse door de onderzoekers). Bij de documentenanalyse is niet alleen uitgegaan van documenten aangeleverd door de opdrachtgever, maar zijn ook documenten geanalyseerd die gedurende het onderzoek naar voren kwamen, wat goed is om eventuele bias te beperken (zie par. 1.3 en bijlage 3 evaluatierapport).

In modern kwalitatief wetenschappelijk onderzoek is het zorgvuldig coderen en analyseren hiervan een must – dit om de betrouwbaarheid en navolgbaarheid van de analyse te verhogen. Naar aanleiding van opmerkingen van mij in de begeleidingsgroep heeft het adviesbureau dit goed opgepakt en is gewekr met expliciete codes (bijlage 6) daarbij gebruik makend van ATLAS.ti20. Voor de beelden – de ervaringen, inzichten en overwegingen van betrokkenen – is een behoorlijk groot aantal interviewgesprekken (23) gevoerd met 44 personen. Daarbij is op diversiteit geselecteerd wat van belang is voor een goede afspiegeling en goed inzicht in de verschillende perspectieven – zoals terecht wordt aangegeven door het adviesbureau21. Ter validatie is deze selectie van gesprekspartners besproken in de begeleidings- en klankbordgroep. Een aantal personen/instanties bleek niet bereid of bereikt voor een interviewgesprek – wat gezien de beperkte doorlooptijd reëel is. Dit is openlijk besproken in begeleidingsgroep. Voor de meeste groepen van betrokken partijen lukte het uiteindelijk om in ieder geval één interviewgesprek te voeren, behalve voor de Euregio – die het grensoverschrijdende perspectief vertegenwoordigde.

Na bespreking in de begeleidingsgroep is gekozen om deze non-response ondervangen door pragmatisch maar goed gebruik van informatie over grensoverschrijdende issues verkregen uit de documentenanalyse en uit de andere interviewgesprekken. Bij de analyse van de interviewgegevens is helaas niet gewerkt met expliciete codes – waarbij voor het adviesbureau de beperkt beschikbare (doorloop)tijd doorslaggevend was – een dergelijke codering had de betrouwbaarheid en navolgbaarheid verder kunnen vergroten. Voor het verkrijgen van goede informatie tijdens interview-gesprekken is zorgvuldig omgaan en anonymisering van data essentieel, wat goed is opgepakt door het adviesbureau. Gevolg is wel dat de informatie ook niet herleidbaar is naar 18

Zie ministeriële Regeling Periodiek Evaluatieonderzoek (RPE, 2018), Ministerie van Financiën, 2018. Een kwantitatieve onderzoeksbenadering met bijvoorbeeld gebruikmaking van enquêtes was minder geschikt gezien de bestuurlijke gevoeligheid, maar ook de beperkte doorlooptijd (ca. 4 maanden). 20 Zie Evaluatie Gebiedsontwikkeling Technology Base, Berenschot, 6 juni 2022, p.6. en bijlage 6. Zie ook eerdere opmerkingen over codering in deze notitie. 21 Zie Evaluatie Gebiedsontwikkeling Technology Base, Berenschot, 6 juni 2022, p.7 en bijlage 4. 19

5

Second Opinion Gebiedsontwikkeling Technology Base

Juni 2022

organisatieniveau. Om toch enig gevoel te geven naar hoe breed bepaalde beelden leven is bij de analyse gewerkt met een kwalitatieve duiding (één geïnterviewde, aantal, meerdere of veel gesprekspartners). Dit is gebeurd naar aanleiding van bespreking in de begeleidingsgroep, en is naar mijn mening een pragmatische en vaker gebruikte manier om toch inzicht te geven in de kracht en betrouwbaarheid van de resultaten. Het komen tot bevindingen door de onderzoekers is een belangrijke stap om te komen tot de uiteindelijke analyse en conclusies, en is dan ook uitgebreid besproken in bijeenkomsten van de begeleidingsgroep. Naar aanleiding daarvan is gewerkt met een beoordelingssystematiek met daarbij criteria voor de weging van de verkregen informatie zoals: hoeveel geïnterviewden, plausibiliteit (congruent, logisch, consistent), en ondersteuning door documentatie. De bevindingen zijn gevalideerd in een workshop met betrokkenen. In de evaluatierapportage wordt deze werkwijze (van triangulatie door gebruik van meerdere bronnen) helder toegelicht22. Bovengenoemde aanpak geldt voor het terugblikkende deel van het evaluatieonderzoek, voor de vooruitblik is gewerkt met een tweetal werksessies met respectievelijk betrokken bestuurders en met regionale stakeholders.

Dergelijke werksessies zijn in kwalitatief onderzoek een veelgebruikte methode om inzicht te verwerven over opties voor toekomstig beleid. Daarbij is door de onderzoekers voortgebouwd op de analyse en conclusies uit de terugblik. Vervolgens zijn aan de hand van de drie dimensies van het Publieke Waarde Model (i.c. het onderzoekskader) een drietal perspectieven besproken waarna een aantal scenario’s en aanbevelingen voor het oppakken van de resterende opgave wordt gegeven. Overall valt op dat in de onderzoeksopzet is verschil gemaakt tussen het terugblikkende deel en het vooruitblikkende deel van het evaluatieonderzoek23 hetgeen op zich passend is gezien de verschillende aard van de twee delen (en de opdracht). De terugblik heeft een meer beoordelend, ex-post evaluatief karakter, die dient ter beoordeling van het gebiedsproces van Technology Base tot nu toe, waarbij een zorgvuldige uitwerking en verantwoording van de feiten, de beelden en hoe de onderzoekers komen tot hun bevindingen veel aandacht behoefde en kreeg. De vooruitblik heeft een meer open, verkennend karakter die ondersteunend is voor verdere discussie en besluitvorming over het vervolg. De onderzoeksaanpak voor de vooruitblik is vrij beperkt24 en wordt slechts summier toegelicht in paragraaf 1.3 en hoofdstuk 7.1 van het evaluatierapport (alsmede bijlage 1 en 2).

Ik heb de indruk dat tijdgebrek op het einde van het onderzoek hierbij een rol heeft gespeeld25. Wellicht is dit gezien de beperkte doorlooptijd enigszins begrijpelijk maar wel jammer, omdat daarmee de informatiebasis en navolgbaarheid van m.n. de scenario’s en de aanbevelingen minder helder is, en omdat daardoor de vooruitblik zich noodgedwongen beperkt tot een eerste verkenning26. Er is dan ook relatief veel aandacht voor de terugblik en daardoor enige onbalans in de evaluatierapportage ten opzichte van de onderzoeksvragen (die meer gelijkelijk over terug- en vooruitblik waren verdeeld). 22

Evaluatie Gebiedsontwikkeling Technology Base, Berenschot, 6 juni 2022, p.8. Dit wordt slechts kort aangestipt op p.6 Evaluatie Gebiedsontwikkeling Technology Base, Berenschot, 6 juni 2022. 24 De basis beperkt zich hoofdzakelijk tot de de analyse en conclusies uit de terugblik en twee werksessies. Op zich hadden workshops/focusgroepen over de perspectieven en scenario’s en validatiesessies hierover en over de aanbevelingen kunnen worden gehouden. Ook had de uitwerking van de vooruitblik vergelijkbaar aan de terugblik kunnen gebeuren d.m.v. criteria en codes, maar dit laatste is mijns inziens een minder groot probleem omdat de uitgewerkte vragen (zie bijlage 1) al redelijk concreet waren. 25 Aan de timing van oplevering door het adviesbureau werd door de opdrachtgever veel waarde gehecht. Naar mijn mening is een tijdig opgeleverd evaluatierapport dat antwoord geeft op de belangrijkste (hoofd)vragen, te verkiezen boven een te laat opgeleverd rapport dat en detail antwoord probeert te geven op alle subragen. Ook heb ik de indruk dat de opdracht hier een rol heeft gespeeld; deze richtte zich m.n.

op het leveren van een zorgvuldige en kwalitatief zuivere analyse van de terugblik, en hoewel de vooruitblik veel aandacht kreeg in de onderzoeksvragen, was uitdrukkelijk niet de bedoeling dat door de onderzoekers teveel zou worden voorgesorteerd op de politiek-bestuurlijke discussie over de resterende opgave. Deze ‘evenwichtsoefening’ is vanaf het begin een belangrijk onderwerp van gesprek geweest in de begeleidingsgroep. 26 Het adviesbureau lijkt dit ook zelf te beseffen gezien het woordgebruik in paragraaf 7.1, p.50 van het evaluatierapportage – bijvoorbeeld “een eerste inventarisatie”, “deze scenario’s zijn bedoeld … om het gesprek te voeren”, “enkele aanbevelingen”. 23

6

Second Opinion Gebiedsontwikkeling Technology Base

Juni 2022

6. Uitvoering onderzoek: navolgbaarheid inhoud In het evaluatierapport heeft het adviesbureau een eenvoudige, heldere structuur aangehouden die de opdracht volgt: eerst een bespreking van de terugblik en daarna vooruitblik. Gezien de opdracht omvat de terugblik het grootste gedeelte van de evaluatierapportage (zie ook opmerking in het vorige hoofdstuk hierover). Omdat strikte replicatie van kwalitatief onderzoek door een andere onderzoeker meestal niet mogelijk is (in tegenstelling tot kwantitatief experimenteel onderzoek), is het criterium voor een betrouwbaar kwalitatief onderzoek vooral dat het navolgbaar is. Het onderzoek moet op een vergelijkbare manier uitgevoerd kunnen worden door een andere onderzoekers. Bij de terugblik is als hoofdstructuur voor de hoofdstukken het onderzoekskader – met de onderdelen context, publieke waarde, capaciteit, legitimiteit (conform het Publieke Waarde Model) – aangehouden, waarbij in elk hoofdstuk zorgvuldig onderscheid wordt gemaakt tussen het feitelijke deel (gebaseerd op de documentenanalyse), de beelden (gebaseerd op de interviewgesprekken) en de bevindingen van de onderzoekers van het adviesbureau (op basis van een afweging van de feiten en beelden). Deze heldere structuur, het volgen van het onderzoekskader, en het onderscheid tussen feiten, beelden en bevindingen verhoogt de navolgbaarheid en betrouwbaarheid.

In een afzonderlijk hoofdstuk (6) wordt een analyse gegeven (die m.n. ingaat op de context) en worden conclusies en lessen getrokken – waarbij de 3 thema’s uit de opdracht worden gevolgd (resultaten gebiedsontwikkeling, bestuurlijke samenwerking, inhoudelijke reflectie op het profiel). Door deze structuur heeft het adviesbureau een heldere relatie kunnen leggen met de onderzoeksvragen zoals uitgewerkt in bijlage 1 van het evaluatierapport wat de navolgbaarheid vergroot. Naar mijn mening zorgt deze structuur van het terugblikkende deel dat zorgvuldig wordt toegewerkt naar de conclusies en lessen dat goed herleidbaar is waar deze op zijn gebaseerd (feiten uit documenten, meningen betrokkenen, en analyse/beoordeling door de onderzoekers). De vooruitblik omvat een kleiner deel van de evaluatierapportage en wordt m.n. besproken in hoofdstuk 7, waarbij echter wel voortgebouwd wordt op de analyse en conclusies van hoofdstuk 6 en de delen van hoofdstukken 3, 4 en 5. Bijlage 2 is hierbij nuttig als overzicht; het geeft aan waar welke onderzoeksvraag van de vooruitblik (en ook de terugblik) waar in het evaluatierapport wordt besproken. Daarmee wordt de herleidbaarheid/navolgbaarheid van de evaluatieresultaten belangrijk vergroot. De structuur van hoofdstuk 7 volgt m.n.

de drie dimensies van het Publieke Waarde Model (het onderzoekskader) wat helpt voor het relateren aan de resultaten uit de voorgaande hoofdstukken en onderzoeksvragen. Bij het laatste deel van hoofdstuk 7.5 (aanbevelingen) is deze structuur niet meer aangehouden maar wordt vooral ingegaan procesmatige issues, wat wel begrijpelijk is gezien de evenwichtsoefening van het adviesbureau om m.n. goede beslisinformatie aan te leveren voor de vervolgdiscussie en besluitvorming maar nog niet zelf inhoudelijke keuzes te maken. Hierna geef ik kort mijn reflectie op de diverse hoofdstukken waarbij ik me richt op de onderbouwing en navolgbaarheid. Hoofdstuk 2 geeft een feitenrelaas van de contextuele ontwikkelingen over de tijd. De tijdlijn die wordt gegeven geeft een goed en helder overzicht van de ontwikkelingen op hoofdlijnen, en gebruikt daarbij een indeling in 3 fasen gebaseerd op een aantal duidelijke sleutelmomenten27. Dit hoofdstuk is gebaseerd op de documentenanalyse met daarbij uitgebreide verwijzing naar de 27

De inhoud van het hoofdstuk, zowel de schets van het plangebied als het feitenrelaas, is overeenkomstig met de kennis en (plan)documentatie die ik heb van de gebiedsontwikkeling, en met de (uitgebreide) discussie van de case Vliegveld Twente in het recente proefschrift van dr. Klaas Veenma waarbij ik promotor was. Zie: K. Veenma (2021), Ruimte voor Onzekerheid, Rijksuniversiteit Groningen, Groningen.

7

Second Opinion Gebiedsontwikkeling Technology Base

Juni 2022

onderliggende documenten28. Een dergelijke uitgebreide verwijzing maken de feitelijke beschouwing in dit hoofdstuk (en de volgende hoofdstukken) goed herleidbaar en navolgbaar wat – zoals eerder aangegeven – van belang is voor de betrouwbaarheid van een kwalitatief onderzoek zoals deze evaluatie. Het volgende hoofdstuk 3 van de evaluatierapportage gaat in op de dimensie publieke waarde uit het onderzoekskader. Allereerst wordt op basis van de documentatie een feitelijke beschouwing gegeven over Publieke Waarde waarbij wederom uitgebreid gerefereerd wordt29. Ook worden enkele tabellen en figuren gegeven (gerelateerd aan de resterende opgave en de (economische) impact) die gebaseerd zijn op de geanalyseerde documenten, wat naar mijn mening goed is omdat dit een meer kwantitatieve duiding en overzicht biedt30. De indeling van de subparagrafen relateert deels aan de vragen uit het onderzoekskader (zie bijlage 2 die hiervan een expliciet overzicht geeft, en daarmee de codes – zie bijlage 6 evaluatierapportage)31. In een duidelijk onderscheiden volgende paragraaf (3.2) worden percepties (ervaringen, inzichten en meningen) die voortkomen uit de interviewgesprekken besproken. Daarbij wordt – zoals eerder besproken – consistent gewerkt met kwalitatieve duidingen (met termen als één geïnterviewde, een aantal, meerdere of veel geïnterviewden) die inzicht geven hoe breed een beeld leeft.

Een expliciete verwijzing naar geïnterviewden was niet mogelijk vanwege de herleidbaarheid naar individuele personen of organisaties – wat niet mogelijk was vanwege een zorgvuldig omgaan met respondenten. De indeling van de subparagrafen lijkt met name inductief – naar issues/thema’s die de analyse naar voren zijn gekomen (wat niet ongebruikelijk is en lijkt te relateren aan de vrij brede onderzoeksvragen m.b.t. de beelden). Tenslotte worden de bevindingen van de onderzoekers op basis hun afweging van de feiten en beelden (zie ook eerdere bespreking). Deze bevindingen worden puntsgewijs (in ‘bullets’) gegeven wat overzichtelijk is de leesbaarheid ten goede komt, maar wel afdoet aan de directe herleidbaarheid. De bevindingen zijn echter naar mijn mening wel plausibel na lezing van de voorgaande paragrafen van het hoofdstuk (ze zijn compleet en vloeien logisch voort uit de feiten en beelden). Hoofdstuk 4 behandelt de dimensie capaciteit uit het onderzoekskader. Hierbij is een vergelijkbare opzet en aanpak gevolgd als in hoofdstuk 3 dus dat herhaal ik kortheidshalve hier niet. Op verzoek van de bespreking van de tussenresultaten in de klankbordgroep heeft het adviesbureau in dit hoofdstuk meer kwantitatieve en financieel-economische gegevens opgenomen.

Deze informatie helpt bij de onderbouwing van de feitelijke beschouwing en de bevinden van de onderzoekers in de laatste paragraaf. De opmerkingen gemaakt i.r.t hoofdstuk 3 (zie voetnoot 30) over wat meer referenties naar documenten en duidelijke titels en bronvermeldingen bij figuren en tabellen geldt ook hier – met name voor de eerste subparagraaf over capaciteit van de projectorganisatie. Dit zou de herleidbaarheid verder hebben versterkt. Doorgaans wordt na ‘close reading’ van de tekst wel duidelijk op welke documentatie een en ander is gebaseerd. Voor de paragrafen ‘Beelden’ en ‘Bevindingen’ gelden vergelijkbare opmerkingen als bij hoofdstuk 3. De laatste dimensie – legitimiteit – uit het onderzoekskader wordt besproken in hoofdstuk 5. Ook hier is weer consistent gewerkt met een vergelijkbare opzet en aanpak als in hoofdstuk 3 en 4, die gerelateerd is aan de onderzoeksmethodologie zoals besproken in hoofdstuk 1. Vergelijkbare opmerkingen zijn dan ook te geven als bij hoofdstuk 3 en 4 hierboven reeds zijn gegeven. De 28

Hierbij wordt de in de historische wetenschap gebruikelijke manier van verwijzen via voetnoten gevolgd. Een klein punt is dat er geen paginanummers bij de verwijzingen wordt gegeven wat de navolgbaarheid enigszins bemoeilijkt. In een wetenschappelijke onderzoeksrapportage was dit gewenst geweest, maar voor een professioneel beleidsonderzoek is dit te billijken. Een overzicht van de gerefereerde document en publicaties iste vinden in bijlage 3 (literatuurlijst). 29 Alleen bij de derde paragraaf over de uitwerking van het advies Commissie van Wijzen, missen expliciete verwijzingen. Wel blijkt uit de tekst dat de nieuwe gebiedsvisie van PS een belangrijke bron is. 30 Een slordigheid is wel dat een titel van tabellen en figuren veelal ontbreekt, alsmede een bronvermelding (onder tabellen/figuren). 31 En lijkt voor de rest emergent voor te vloeien n.a.v de documentanalyse, wat niet ongebruikelijk bij kwalitatief onderzoek.

8

Second Opinion Gebiedsontwikkeling Technology Base

Juni 2022

verwijzingen naar de documentatie zijn bij de feitelijke beschouwing in dit hoofdstuk naar mijn mening beter doorgevoerd, wellicht ook omdat de documentatie voor dit onderwerp eenduidiger en beter voorhanden is. In de paragraaf Beelden is de duiding van hoeveel geïnterviewden een bepaald issue naar voren brachten minder consistent doorgevoerd – vaak staat er alleen ‘uit de gesprekken’ – wat jammer is omdat dit minder helderheid geeft over hoe sterk een beeld wordt gedeeld. De paragraaf met Bevindingen is wat duidelijker gestructureerd met sub-bullets die een nadere onderbouwing geven van een viertal heldere bevindingen die naar mijn mening logisch voortvloeien uit de eerdere bespreking van feiten en beelden32. Hoofdstuk 6 voorziet in een overall analyse en conclusies met betrekking tot de terugblik. De structuur en opzet is dan ook anders dan de voorgaande hoofdstukken en volgt de drie overkoepelende thema’s voor de vragen uit de opdracht. Naar mijn mening is dit een krachtige structuur omdat die – zoals eerder aangegeven – aansluit bij de onderzoeksvragen en onderzoeksopzet (zie bijlagen 1 en 2 evaluatierapport).

De indeling van de voorgaande paragraaf 6.1 over de analyse is wat ‘losser’ en gaat in op een aantal issues die – wat mij betreft wel logisch – voortvloeit uit de eerdere bespreking van de context (met name hoofdstuk 2 maar ook wel contextuele bevindingen uit hoofdstukken 3, 4 en 5). Hoofdstuk 7, tenslotte, gaat in op de vooruitblik waarbij (weer) de dimensies van het Publieke Waarde Model worden gevolgd waardoor goed de relaties met de eerdere resultaten voor de terugblik hoofdstukken kunnen worden gelegd (zie ook eerdere opmerkingen). In Paragraaf 7.2 wordt de dimensie Publieke Waarde besproken en deze gaat dan ook logischerwijs in op de resterende opgave. Het gemaakte onderscheid bij de resterende opgave tussen de twee deelgebieden en daarmee 2 verschillende beleidsvraagstukken vloeit duidelijk voort uit de analyse van de terugblik (de eerdere hoofdstukken). Wel zijn de verwijzingen in de tekst soms onnodig vaag, bijvoorbeeld “Uit het onderzoek komen de volgende kritische succesfactoren naar voren”33 – hierbij was een meer eenduidige verwijzing naar eerdere paragrafen op zijn plaats geweest. De volgende paragraaf bespreekt de dimensies capaciteit en legitimiteit tezamen, waarom dit is gedaan wordt niet geheel duidelijk.

Deze paragraaf 7.3 bevat allereerst een nieuwe, juridischorganisatorische bespreking op basis van analyse van formele documenten en (naar het lijkt) interne expertise bij het adviesbureau. Vervolgens worden punten voor de vervolgdiscussie over het evaluatierapport waarbij informatie uit de twee werksessies over de vooruitblik input lijken te zijn (maar waar niet expliciet naar verwezen wordt) en bevindingen uit de eerdere hoofdstukken (wat wel herkenbaar is). Naar aanleiding van de bespreking van de eindconceptrapportage worden in paragraaf 7.4 een viertal scenario’s besproken. Deze 4 scenario’s zijn gebaseerd op een tweetal recht-toe-recht-aan dimensies (‘wat’ en ‘hoe’) waarbij door combinaties van de 3 dimensies van het Publieke Waarde Model relatie wordt gelegd met het overall onderzoekskader34. Gezien mijn eigen ervaring met gebiedsontwikkeling en dit evaluatieonderzoek, lijken de 4 scenario’s me heel reëel en ook goed bruikbaar als onderlegger voor de politiek-bestuurlijke discussie over de resterende opgave. De slotparagraaf met aanbevelingen richt zich zoals eerder aangegeven op procesmatige aspecten waarbij de tweedeling in de resterende opgave terug te zien is.

Wellicht had nog wel een sterkere relatie gelegd kunnen worden met de andere dimensies van het Publieke Waarde Model, vooral omdat volgens Moore35 publieke waarde op een doelmatige, doeltreffende en gelegitimeerde manier ontstaat bij een goede balans tussen deze drie dimensies. 32

Een (gezien de beperkt beschikbare tijd voor de evaluatierapportage wellicht begrijpelijke) slordigheid is dat in de eerste zin gesproken wordt over ‘capaciteit’ in plaats van ‘legitimiteit’. 33 Evaluatie Gebiedsontwikkeling Technology Base, Berenschot, d.d. 6 juni 2022, p.52. 34 De toelichting op deze 2 dimenssies en het relateren (wat en waarom) aan (de combinaties van dimensies van) het Publieke Waarde Model had nog wat nadere toelichting kunnen krijgen, maar hier heeft de zeer beperkte tijd die nog beschikbaar was het adviesbureau waarschijnlijk parten gespeeld. 35 Moore, M. (1995), Creating public value, Strategic management in government, Harvard University Press, Cambridge (Mass.).

9

Second Opinion Gebiedsontwikkeling Technology Base

Juni 2022

NB: hoewel niet expliciet behorend bij mijn opdracht, kan ik wel aangeven dat inhoudelijk de bevindingen uit het evaluatierapport (zowel de terugblik als de vooruitblik) heel herkenbaar zijn vanuit mijn eigen ervaring met gebiedsontwikkeling elders. Issues als verschil in ontwikkeling (voortgang) van onderdelen, competitie met vergelijkbare ontwikkelingen in de regio (of verder weg), hoge ambities die kwetsbaar blijken voor (onverwachte) dynamiek in de context (economisch, juridisch, politiek etc.), politiek-bestuurlijke druk om snel tot resultaat te komen waar ruimtelijke planvorming soms zijn tijd nodig heeft et cetera, et cetera, zijn ook veelal zichtbaar bij andere gebiedsontwikkelingen36.

7. Uitvoering onderzoek: proces Het adviesbureau (Berenschot) en de uitvoerende adviseurs hiervan hebben ervaring met het uitvoeren van evaluatieonderzoek bij vergelijkbare gebiedsontwikkelingen met een complexe politiek-bestuurlijk context. Dit is bevorderlijk geweest voor de opzet, aanpak en uitvoering van de beleidsdoorlichting. De begeleidingsgroep had een evenwichtige samenstelling met ervaren leden vanuit de Provincie Overijssel en Gemeente Enschede. Als onafhankelijke deskundige nam ik doorgaans ook deel aan de overleggen van de begeleidingsgroep. Naar mijn oordeel heeft de begeleidingsgroep goed gefunctioneerd: ze kwam regelmatig bijeen gedurende het evaluatieonderzoek, waarbij een open sfeer was met ruimte voor goede, kritische inbreng en waarbij er sprake was van een goede opkomst en inbreng. De opmerkingen en discussies richtten zich op de methodische aspecten en feitelijkheden, en als er iemand toch in de verleiding kwam om beleidsmatig gekleurde opmerkingen te maken werd dit goed gecorrigeerd door de andere leden. Het adviesbureau toonde daarbij een eigenstandige en open houding – bijvoorbeeld m.b.t. opname van de context dimensie in het onderzoekskader, aanvullende vragen, expliciet coderen, aanvullingen mb.t. documenten en te interviewen personen, opzet van hoofdstukken etc.

Voorts is gewerkt met een klankbordgroep bestaande uit leden van de Provinciale Staten en de Gemeenteraad die aan begin en halverwege betrokken zijn bij het onderzoek37. Daarbij is uitdrukkelijk uitgangspunt geweest dat betrokkenheid van Provinciale Staten en Gemeenteraad het doel heeft om te voorkomen dat er geen discussie ontstaat over de vraagstelling en het proces van het evaluatieonderzoek, maar dat het politieke debat plaatsvindt ná oplevering van het evaluatierapport. Uit het verslag van de klankbordbijeenkomst van 2 maart 2022 en mijn deelname (op verzoek van de klankbordgroep) aan de klankbordbijeenkomst van 12 mei 2022 heb ik kunnen zien dat de leden een grote betrokkenheid toonden en veel aandacht hadden voor een goede methodologische opzet en uitvoering van het evaluatieonderzoek. Daarbij bleek wel enige spanning tussen de wensen naar nog uitgebreider en diepgaand onderzoek en de beschikbare (doorloop)tijd en middelen vanuit de opdracht. Ook kwam eveneens de spanning naar voren om ook beleidsmatig gekleurde opmerkingen te maken, maar hier werd door de andere leden, de opdrachtgever als ook het adviesbureau goed op gecorrigeerd.

36

Vele wetenschappelijke publicaties uit de planologie en bestuurskunde zijn te noemen, maar ik verwijs hier even naar het eerder genoemde proefscrhift “Ruinte voor Onzekerheid” van Klaas Veenma dat niet alleen de casus Vliegveld Twente bespreekt maar ook nog een tweetal andere cases. 37 Dit op uitdrukkelijk verzoek van Provinciale Staten en Gemeenteraad. Zie ook p.7 Evaluatie Gebiedsontwikkeling Technology Base, Berenschot, 6 juni 2022.

10

Second Opinion Gebiedsontwikkeling Technology Base

Juni 2022

8. Overall Oordeel Al met al kan gesteld worden dat het evaluatierapport van de Gebiedsontwikkeling Technology Base gebaseerd is op een gedegen goed onderbouwd professioneel onderzoek dat voldoet aan de eisen die vanuit de academische principes voor onafhankelijkheid en integriteit, voor zorgvuldig (evaluatie)onderzoek, en de richtlijnen voor goed evaluatieonderzoek bij de overheid mogen gesteld worden. Daarbij heeft naar mijn mening ook het zorgvuldige proces van ‘checks and balances’ bij dit evaluatieonderzoek een belangrijke bijdrage geleverd. Het adviesbureau heeft eigenstandig het onderzoek kunnen uitvoeren, de begeleidings- en klankbordgroep waren zeer betrokken en de discussies waren open en constructief gericht op de methodologische kwaliteit, en ik kon zelf mijn rol als externe deskundige in onafhankelijkheid vervullen. De uitwerking van de opdracht – de 2 doelen m.b.t. terug- en vooruitblik en de 3 thema’s – in onderzoeksvragen en criteria (indicatoren, codes) is goed en zorgvuldig gedaan in goede samenspraak tussen adviesbureau, begeleidings- en klankbordgroep wat de validiteit heeft verhoogd. Voor de validiteit is ook een helder, relevant en bruikbaar onderzoekskader van belang, wat naar mening zeker geldt voor het gebruikte Publieke Waarde Model.

Dit is een bekend, veelgebruikt model in de planologie en bestuurskunde dat goed aansluit bij gebruikelijke vragen over effectiviteit, efficiëntie en legitimiteit bij evaluatieonderzoek. Voor de validiteit is ook van belang dat gebruikte methoden passend zijn voor de voorliggende vragen. Hoewel vrij recht-toerecht-aan zijn de toegepaste methoden van documentenanalyse, interviewgesprekken met betrokken en workshops gebruikelijk bij dergelijke beleidsevaluaties. De set van documenten die zijn geanalyseerd is op een zorgvuldige wijze tot stand gekomen evenals de (relatief grote en diverse) groep van geïnterviewde personen. Ook heeft er triangulatie plaatsgevonden tussen de verschillende bronnen – documenten, interviews en workshops – wat van belang is voor de validiteit en betrouwbaarheid van bevindingen. Daarbij is ook van belang dat het adviesbureau veel ervaring heeft met het toepassen van deze methoden, met het gebruikte Publieke Waarde Model, en met evaluatieonderzoek voor gebiedsontwikkeling. Voor de betrouwbaarheid is bij kwalitatief onderzoek is navolgbaarheid essentieel.

Hierbij zijn van belang geweest ondermeer: het werken codering bij de analyse, het zorgvuldig refereren naar documenten, het consistent aangeven hoe breed een beeld door de diverse geïnterviewden wordt gedeeld, en het werken met beoordelingsystematiek voor de afweging van feiten en beelden om te komen tot bevinden als onderzoekers. Voor de navolgbaarheid en onderbouwing is ook de goede bespreking van de onderzoeksaanpak in paragraaf 1.3 en de (wellicht wat gefragmenteerde bespreking in) diverse bijlagen van het evaluatierapport waarin duidelijke koppelingen worden gelegd met de dimensies van het onderzoekskader, de vragen, en de bespreking in de diverse hoofdstukken. Belangrijk is ook dat feiten, beelden en bevindingen afzonderlijk besproken worden en op een logische wijze op elkaar volgen en resulteren in geleerde lessen. Natuurlijk zijn er nog slordigheden en onvolkomenheden – zie de opmerkingen in de vorige hoofdstukken van deze notitie – maar dit is moeilijk te voorkomen in een onderzoek dat een beperkt beschikbare (doorloop)tijd heeft gehad. En, belangrijker nog, naar mijn mening staan deze slordigheden een goede politiek-bestuurlijke discussie over de getrokken lessen niet in de weg. Met name de terugblik heeft veel aandacht gekregen – wat passend is gezien de opdracht tot een zorgvuldige evaluatie – en geresulteerd in goede beslisinformatie.

De vooruitblik is beperkter van opzet (ook gezien de onderzoeksvragen) en de onderbouwing van dit deel is minder gedegen en diepgaand. De vooruitblik bouwt echter wel goed voort op de terugblik in zijn analyse van de drie dimensies uit het onderzoekskader. De terugblik biedt een gedegen, kwalitatief zuivere basis voor de vervolgdiscussie, en de vooruitblik (met scenario’s en aanbevelingen) is een relevante, eerste verkenning bruikbaar als onderlegger bij die vervolgdiscussie over de resterende opgave van de Gebiedsontwikkeling Technology Base waarbij politiek en bestuur aan zet zijn.

11