Bijlage 2 – Onderzoeksopzet SPRING-Consortium

SPRIN G

Bijlage 2 – Onderzoeksopzet SPRING-Consortium Door: SPRING1

1.1

Inleiding Dit onderzoek richt zich op hoe het programma Buurt aan Zet (BAZ) in de praktijk gebracht wordt en wat de impact hiervan is op de buurt, het netwerk en de gemeentelijke organisatie. Hiervoor wordt gebruikt gemaakt van verschillende kwalitatieve methoden: participatieve observaties, interviews, fotografie (door onderzoeker en door bewoners), en documentanalyse. De scope van het onderzoek beperkt zich tot de personen (professionals en bewoners) die direct betrokken zijn BAZ en activiteiten die onderdeel uitmaken van BAZ. In deze notitie wordt stilgestaan bij de manier waarop we de impact en voortgang van BAZ kunnen meten en de aanbeveling tot het uitwerken van een Theory of Change.

1.2

Werkplaats BAZ De wensen en behoeften van bewoners uit de buurt worden gebruikt als basis voor de inzet in de buurt (Raadsmemo 2023). Dit wordt gedaan in de vorm van een werkplaats, waarbij de kennis van bewoners, gemeente, netwerkpartners en wetenschap wordt gecombineerd (transdisciplinaire samenwerking). De precieze werkzaamheden van de onderzoeker liggen dan ook niet precies vast en hangen af van de ontwikkelingen en behoeften binnen de werkplaats. Het onderzoek bestaat uit drie fases: Fase 1 Inventarisatie en vertrekpunt (februari-april 2024) - Het in kaart brengen van de verschillende aspecten, dimensies, doelen en waarden achter de aanpak (wanneer is de aanpak geslaagd?), ten behoeve van de evaluatie. - Een beschrijving van de stand van zaken op de drie pijlers van het programma: de buurt en de bewoners, de netwerkpartners en de interne organisatie (vertrekpunt). Fase 2 Design interventies en monitoring small wins (mei 2024-oktober 2024) - In gezamenlijkheid en bovenal door de bewoners zelf worden interventies bedacht in de sociale, fysieke en organisatorische context en vervolgens uitgevoerd (getest) in de buurt. Hierbij wordt gebruik gemaakt van de inventarisatie van de wensen van bewoners die gedaan is op 15 nov 2023 en de bijeenkomst van netwerkpartners op 25 jan 2024.

Passend bij de aard van het onderzoek zal gedurende het onderzoek gekozen worden op welk niveau en op welk moment een interventie het meest gewenst is. Qua interventies wordt gedacht aan het gebruik van de ‘photo voice’ methode, waarbij bewoners worden gevraagd aan de hand van zelfgemaakte foto’s, verhalen te delen over de buurt. Dergelijke interventies worden in samenwerking met netwerkpartners opgezet. - Voor de monitoring van de voortgang wordt er gekeken naar small wins en de wijze waarop het programma in de praktijk wordt vormgegeven (governance). Qua interventie kan hierbij gedacht worden aan het organiseren van een reflectiesessie, zie paragraaf 1.3.4. Fase 3 Impactmeting en governance (november 2024-april 2025) - Tussenmeting van impact/effectiviteit van de buurtaanpak. Wat knelt en wat werkt? - Reflectie op de buurtaanpak. Hierbij ligt de nadruk op de governance en welke mogelijke generieke lessen te trekken zijn De activiteiten in deze fases van het onderzoek staan uiteraard niet los van elkaar, en zullen in integraliteit en verband met elkaar worden vormgegeven. In deze notitie wordt stilgestaan bij fase 1 en bij de wijze van monitoring in fase 2.

––––––––––––––––––––––––––––– 1 Societal Progress and Resilience for Individuals and Generations

1.3

Vertrekpunt en monitoring

1.3.1

Small wins De uitgangspunten van BAZ zijn integrale en domeinoverstijgende samenwerking, inzet van de ABCD methodiek, bottom-up werken, eigen speelruimte en experimenteren (Raadsmemo, 2023). Het programma beoogt een aantal grote ambities te bereiken op de lange termijn (10 jaar): - Leefsituatie van bewoners is verbeterd (ruimtelijk, sociaal, veiligheid, leefbaarheid) - Meer kansengelijkheid - Meer vertrouwen in de overheid - Het doorbreken van schotten binnen de gemeente Het programma tracht hiermee dus complexe maatschappelijke problemen aan te pakken. Binnen de literatuur worden dit ook wel wicked problems genoemd. Kenmerkend voor deze problemen is dat er geen eenduidige probleemdefinitie te formuleren is; oorzaken lastig aan te wijzen zijn; er geen afdoende oplossing bestaat en er verschillende stakeholders bij betrokken zijn (Head & Alford, 2015). Wicked problems gaan over de grenzen van organisaties, besturen en netwerken heen. Geen enkele organisatie heeft zelf alle kennis en middelen om deze complexe problemen zelfstandig aan te pakken. Het domeinoverstijgende en integrale uitgangspunt van BAZ, is dus een cruciaal onderdeel van het programma. Bovendien hebben wicked problems geen ‘stopping rule’, wat betekent dat het onduidelijk is wanneer het probleem naar tevredenheid is opgelost. Er kan altijd meer en het kan altijd beter (Rittel & Webber, 1973).

Deze kenmerken zorgen niet alleen voor uitdagingen bij het bedenken van oplossingen, maar ook voor het beoordelen van de effectiviteit van die oplossingen. Lineair-rationele evaluatiemethoden, bijvoorbeeld middels vragenlijsten of statische analyses, gaan uit van heldere causale verbanden tussen interventies en uitkomsten en hebben geen oog voor de hierboven beschreven complexiteit. Binnen de sociale wetenschappen is hiervoor een meer passende evaluatiemethode ontwikkeld: het small wins framework (Termeer & Dewulf 2019). Hierbij ligt de focus niet zozeer op het evalueren van resultaten, maar wordt de nadruk gelegd op de voortgang die wordt geboekt ten aanzien van de maatschappelijke problemen (Termeer & Dewulf, 2019). Het small wins framework veronderstelt dat kleine veranderingen kunnen opstapelen, versterkt worden en uiteindelijk resulteren in transformatieve veranderingen. Dit maakt het mogelijk om binnen de relatief korte looptijd van dit onderzoek (16 maanden), iets te kunnen zeggen over de voortuitgang die geboekt wordt met Buurt aan Zet. Of zoals een van de leden van het programmateam zei:

‘Hoe eet je een olifant? In kleine stukjes’. Het framework bestaat uit drie stappen (1). Het identificeren en waarderen van small wins (2). Het analyseren van de voorstuwingsmechanismen (3). Resultaten laten terugkomen in het beleidsproces Deze drie stappen worden de komende zestien maanden steeds doorlopen, gezamenlijk met de betrokkenen. Een methode die helpt om small wins effectief te identificeren en in het grotere plaatje te plaatsen, is het opstellen van een Theory of Change. De volgende paragraaf gaat hier verder op in.

1.3.2

Vertrekpunt Om de voortgang en resultaten van het programma in kaart te brengen, heeft de gemeente SPRING verzocht om te starten met een ‘nulmeting’ bij aanvang van het programma. Deze wens komt voort uit de vraag om inzicht te krijgen in effecten van het programma in de loop van de tijd. De term ‘nulmeting’ suggereert een wetenschappelijke experimentele setting, waarbij na verloop van tijd causale relaties kunnen worden aangetoond. Zoals in hierboven beschreven is het voor programma’s zoals BAZ moeilijk, tot onmogelijk om harde uitspraken te doen over causale relaties, zeker op de korte termijn van één jaar. In dit onderzoek wordt daarom nu de term ‘vertrekpunt’ gehanteerd, waarmee de beschrijving van het vertrekpunt op een aantal onderdelen van het programma begin 2024 wordt bedoeld.

Voordat het vertrekpunt kan worden beschreven, is het van belang dat ook het andere onderdeel van fase 1 wordt doorlopen: het in kaart brengen van de verschillende aspecten, doelen en activiteiten binnen het programma. Op dit moment is nog niet voor alle doelen duidelijk, welke activiteiten en tussentijdse resultaten (outcomes) het programma BAZ beoogt. Community building middels ABCD wordt steeds als belangrijk onderdeel genoemd, maar het is nog niet duidelijk aan welk doel dit moet bijdragen. Is de verwachting dat community building leidt tot het oplossen van leefbaarheidsproblemen in de buurt, en hoe ziet dat pad er dan uit? Of is het vormen van een meer gemeenschapsgevoel een doel op zich? Welke onderdelen van het programma dragen bij aan het vergroten van kansengelijkheid of de veiligheid in de buurt? Welke activiteiten dragen bij aan het tot stand brengen van een nieuwe manier van werken bij de gemeente intern? Wat hierbij kan helpen is het formuleren van een ‘Theory of Change’ (ToC).

1.3.3

Theory of change Een ToC, of verandertheorie, bestaat uit de ideeën en hypothesen (theorieën) die mensen en organisaties hebben over hoe verandering tot stand komt (Hivos, 2015). Dit wordt vaak gebruikt voor veranderprocessen in complexe sociale systemen (Belcher, et al., 2020). Hierbij stel je een aantal testbare hypothesen op en definieer je de activiteiten (output) en tussentijdse resultaten (outcome) die bijdragen aan de lange termijn doelen (impact) (Belcher et al., 2020). Dit maakt het mogelijk om gedurende het programma tussentijds te monitoren op de voortgang. Hieronder een voorbeeld om een versimpelde ToC voor BAZ te illustreren. Het opstellen van een ToC gebeurt gezamenlijk met alle betrokkenen. Dit draagt bij aan het creëren van meer onderling begrip, gezamenlijke grond voor actie, evenals zicht op kansen en belemmeringen. Het formuleren van de verandertheorie vraagt ook om het benoemen van bepaalde aannames die ten grondslag liggen aan de activiteiten. Zo wordt in onderstaand voorbeeld aangenomen dat zichtbare verbeteringen in de buitenruimte bijdragen aan meer vertrouwen in de overheid.

Om small wins te identificeren en duiden binnen het programma, is het van belang om meer inzicht te verkrijgen in welke activiteiten naar verwachting leiden tot tussentijdse uitkomsten, die uiteindelijk bijdragen aan de ambities van BAZ. Dit geldt ook voor het vaststellen van het vertrekpunt. Zodra bekend is met welke interventies/doelen BAZ als eerst aan de slag gaat, kan voor die onderwerpen het vertrekpunt worden beschreven en vervolgens de voortgang gemonitord worden. Stel dat er als eerst wordt gestart met het aanpakken zwerfafval, dan wordt voor die onderdelen het vertrekpunt vastgelegd en de voortgang in kaart gebracht. Hierbij wordt gebruikt gemaakt van de methoden zoals beschreven in paragraaf 1.1. Een ander voorbeeld van de activiteiten binnen BAZ is de ABCD-training. In andere onderzoeken naar de effectiviteit hiervan, is gekeken naar het aantal bewonersinitiatieven en activiteiten in de wijk bij aanvang van het programma en na twee en drie jaar (Bodd, 2003). In bijlage 1 is een voorlopige inventarisatie te vinden van de activiteiten in Oud-Achterwillens in februari 2024. Een dergelijke inventarisatie kan dienen als vertrekpunt op dit onderdeel van het programma.

1.3.4

Vooruitblik Het opstellen van een ToC is daarom niet alleen helpend om tussentijdse resultaten te kunnen monitoren, maar draagt ook bij aan het verder invullen van het uitvoeringsplan. De volgende stap is daarom om gezamenlijk een ToC op te stellen, om meer helderheid te verkrijgen over de wijze waarop het programma BAZ beoogt om impact te maken. Reflectiesessies Een interventie tijdens dit onderzoek, is het organiseren van reflectiesessies. In deze bijeenkomsten worden de onderzoeksresultaten tot dan toe besproken, wordt gereflecteerd op de small wins, de eerste lessen en wordt gezamenlijk gekeken naar het vervolg van het programma en het onderzoek. Ook kunnen andere observaties en knelpunten, bijvoorbeeld over hoe BAZ georganiseerd wordt door de gemeente, worden gedeeld met betrokkenen. Indien van toepassing wordt er kennis uit wetenschappelijke literatuur gedeeld om de aanpak verder vorm te geven. Dit biedt de gelegenheid om te leren van de aanpak en eventueel tussentijds aanpassingen te doen aan de werkwijze van het programma of het onderzoek. Hierbij gaat het dus zowel om de impact die gemaakt wordt in de buurt, als om de wijze waarop de gemeente dit organiseert (governance).

De precieze invulling van deze reflectiesessies en de doelgroep (stuurgroep, programmateam of combinatie daarvan op basis van een thema) hangt af van het verloop van het programma en de uitkomsten van het onderzoek.

1.4

Planning Zoals eerder aangegeven sluiten de onderzoeksactiviteiten en interventies aan bij de behoeften vanuit het programma en de bewoners. Op voorhand ligt dus nog niet volledig vast welke interventies op welk moment uitgevoerd worden. De onderzoeker heeft regelmatig overleg met het kernteam en de stuurgroep, wat de mogelijkheid biedt om tussentijdse reflecties te delen. De eerste interventie vanuit het onderzoek is het faciliteren van het opstellen van een ToC. Daarnaast heeft de gemeente de wens uitgesproken voor een inspiratiesessie met een andere gemeente, om kennis en ervaringen uit te wisselen. In onderstaand overzicht is een ruwe planning van de onderzoeksactiviteiten te zien.

Activiteiten

Q1 ‘24

Q2 ‘24

Q3 ‘24

Q4 ‘24

Q1 ‘25

Uitwerken onderzoeksvoorstel Participatieve observaties bij bijeenkomsten over BAZ2 en in de buurt Afnemen van interviews met bewoners, gemeentemedewerkers en netwerkpartners Overige dataverzameling middels documentanalyse, fotografie, nieuwsberichten etc. Faciliteren van bijeenkomsten voor het opstellen van ToC Organiseren van inspiratiesessie Uitwerken onderzoeksrapport Opleveren eindverslag

––––––––––––––––––––––––––––– 2 Denk aan stuurgroep, kernteam, programmateam, bijeenkomsten met bewoners, ABCD training, aanwezigheid in de Bühne

Q2 ‘25

Bijlage 2.1 Overzicht activiteiten Oud-Achterwillens februari 2024 Belangrijke nuance: uit de gesprekken blijkt dat ondanks dat de De Bühne centraal gelegen is in de buurt OudAchterwillens, de meeste bezoekers en vrijwilligers van onderstaande activiteiten uit omringende buurten komen en niet uit Oud-Achterwillens zelf. Activiteit

Locatie

Frequentie

Papierwinkel

De Bühne

1x per week

Weggeefwinkel

De Bühne

2x per week

Voorlichting vrouwen in eigen taal

De Bühne

1x per week

Kinderclub 5-12 jaar

De Bühne

1x per week

Turkse gemeenschap

De Bühne

1x per week

Body balance beweegles

De Bühne

1 x per week

Ontbijtochtend met een thema

De Bühne

1x per week

Voorleesuurtje voor kinderen 612 jaar

De Bühne

1sx per week

Arabsiche les voor kinderen

De Bühne

1x per week

Vrouwen uit de buurt

De Bühne

1x per week

Studiekring Senioren

De Bühne

elke 2 weken

Repaircafé

De Bühne

1x per maand

Gouda Bruist Bruislab

De Bühne

1x per week

BuurtWarmte Achterwillens

De Bühne

1x per maand

Kerntem Netwerk Achterwillens

De Bühne

1x per maand

Spreekuur Buurt aan Zet

De Bühne

1x per maand

Spreekuur Buurt aan Zet

Huismeesterspost

1x per maand

4 Groen Moet Je Doen tuinen

Oud-Achterwillens

-

Aantal bezoekers

Bijlage 2.2 Bronnen Basisplan in wording (2022-2027). De Buurt is Aan Zet. Versie december 2023. Belcher, B. M., Davel, R., & Claus, R. (2020). A refined method for theory-based evaluation of the societal impacts of research. MethodsX, 7, 100788. Bodd, J. (2003). Evaluatie ABCD pilot Lijmbeek Eindhoven. Fontys Hogeschool Sociale Studies Eindhoven. Head, B. W., & Alford, J. (2015). Wicked problems: Implications for public policy and management. Administration & society, 47(6), 711-739. Hivos. 2015, Theory of change thinking in practice. Raadsmemo gemeente Gouda (31 oktober, 2023). Programma Buurt aan Zet: inhoud en aftrap. Rittel, H. W., & Webber, M. M. (1973). Dilemmas in a general theory of planning. Policy sciences, 4(2), 155-169. Termeer, C. J., & Dewulf, A. (2019). A small wins framework to overcome the evaluation paradox of governing wicked problems. Policy and Society, 38(2), 298-314.