Beantwoording technische vragen fractie CDA over Resultaten Inwonersenquête 2021

Technische Vragen d.d. 11 december 2021 Fractie: CDA Vragensteller: Tobias van der Hoeven Onderwerp: Inwonersenquete 2021 Zaaknummer: #

P,

1.

Zorgvuldigheid

2.

Respons per vraag

Vraag

Antwoord

a) Is het juist dat het voor de validiteit van kwalitatieve analyses en conclusies op basis van louter kwantitatieve data noodzakelijk is om scherp af te bakenen welke uitspraken over welke groep met welke mate van onzekerheid op basis van de data wel of niet gedaan kunnen worden? b) En om vervolgens ook geen uitspraken te doen die buiten de afgebakende scope liggen? c) Waarbij hetzelfde principe geldt op het moment dat verschillende datareeksen met elkaar worden vergeleken?

Validiteit betekent dat je meet wat je wilt meten. De inwonersenquête is geen wetenschappelijk onderzoek en is ook niet als zodanig gepresenteerd. Er is gebruik gemaakt van een representatieve steekproef op basis waarvan uitspraken worden gedaan over de inwoners van de gemeente.

In sommige sheets staat een specifieke N weergegeven (p. 39), soms ook in termen van een range (bijv. p. 59). Op sommige sheets staat die specifieke N dan weer niet weergegeven (p. 55).

a) Dat klopt b) De N wordt weergegeven als niet iedereen die vraag heeft gehad, dus als het een deelpopulatie betreft. c) Als er een range staat klopt het dat het aantal inwoners dat de vraag heeft beantwoord varieert. Dit kan ook komen doordat een deel afvalt vanwege het antwoord ‘weet niet’ of ‘n.v.t.’ die dan niet in de figuur zijn opgenomen.

a) b) c) d)

Is het juist dat de respons (N) per (sub)vraag sterk uiteenloopt? Wat bepaalt of wel of geen specifeke N is weergegeven? Wat betekent het als qua N een range is opgegeven? Is het juist dat voor vragen over de statistische significantie/representativiteit/betrouwbaarheid van de uitkomsten in 2019 en 2021 op zich, maar ook de vergelijking die tussen 2019 en 2021 getrokken wordt, de respons per vraag per jaar (mede)bepalend is?

3.

Statistische significantie

In de duiding vindt een vergelijking plaats tussen resultaten van de enquete 2021 en 2019, op basis van de verschillen in bevindingen. Niet duidelijk wordt of deze verschillen uberhaupt significant zijn. - Zijn de verschillen 2019-2021 statistisch significant? En zo ja, bij welke onzekerheid? Indien dit relevant is vanwege afwijkende aantal responsen per vraag, hier graag aandacht voor in de beantwoording.

4.

Representativiteit en betrouwbaarheid

In 2021 zijn 1.846 van de 25.000-26.000 inwoners uitgenodigd. 668 van hen hebben gereageeerd, deels na telefonisch rappel. Vervolgens heeft om uitspraken over de hele bevolking te kunnen doen een “weging van de resultaten plaatsgevonden naar geslacht en leeftijd”. a) Welke marges moeten aangehouden worden op basis van de respons in termen van foutmarge en betrouwbaarheid op basis van de respons 2019 en 2021 en de onderlinge vergelijking? Zou het niet beter zijn de resultaten met inachtneming van deze marges weer te geven? Waarom is hier door de onderzoekers niet voor gekozen? En zou het in acht nemen van de te hanteren marges her en der niet tot hele andere tekstuele duidingen hebben kunnen leiden? b) Waarom is leeftijd en geslacht relevant voor de beantwoording van de gestelde vragen?

d) Ja, het aantal respondenten per vraag is van invloed op de betrouwbaarheid van de uitkomsten. Voor een vergelijking tussen de jaren wordt niet gewerkt met significante verschillen vanwege de grote inspanning die dit vergt. De ontwikkeling in de tijd wordt weergegeven. Soms zijn de verschillen klein, soms groter en dat wordt vermeld. Ook moet worden opgemerkt dat het inwonersonderzoek geen wetenschappelijke studie is. In de opdracht naar de volgende inwonersenquête bekijken we of het meten van significantie in tijd moet worden meegenomen. a) Er wordt niet gewerkt met foutmarges. Bij de analyse kijken wij of er significante verschillen zijn naar doelgroepen en die zijn vermeld in de rapportage. Bij de ontwikkeling in de tijd worden de verschuivingen weergegeven zonder de significantie mee te nemen. b) Leeftijd en geslacht hebben invloed op de beantwoording van de vragen, omdat verschillende groepen zaken anders beleven. Dat is ook te

c) Moet “weging van resultaat naar geslacht en leeftijd” zo begrepen worden dat in feite sprake is van verschillende subgroepen (groepen Oegstgeestenaren naar geslacht en leeftijd)? d) Zo nee op c): hoe kan de respons van de ene respondent binnen een populatie zwaarder wegen, dan die van een andere respondent uit dezelfde groep? Is dit statistisch verantwoord? Zo ja waarom? e) Indien in termen van statistiek sprake is van meerdere subgroepen: biedt de respons voor al deze groepen dan voldoende basis om te kunnen concluderen dat resultaten voor die betreffende groep representatief zijn? Zo ja, waarom? Met welke marges? Zo nee, hoe is dan te rijmen dat nietrepresentatieve resultaten op het niveau van een groep binnen de gehele populatie zijn gewogen om een uitspraak over de gehele populatie te doen? Indien dit relevant is vanwege afwijkende aantal responsen per vraag, hier graag aandacht voor in de beantwoording.

lezen in de rapportage wanneer hier significante verschillen zijn. Het is relevant om te weten of er grote verschillen zijn tussen verschillende groepen voor het ontwikkelen van toekomstig beleid. c) Door te wegen corrigeer je voor de werkelijke verdeling in de populatie. Hierdoor worden de resultaten niet scheef getrokken door groepen die meer dan gemiddeld hebben meegewerkt aan het onderzoek. Bv. vaak een oververtegenwoordiging van ouderen en een ondervertegenwoordiging van jongeren. Iedere groep krijgt een weegfactor en die is voor de hele groep gelijk. Dus dat verschilt niet binnen een groep. d) N.v.t. e) Weging is dus nodig om voor het totaal representatieve resultaten te kunnen presenteren.

5.

6.

Concrete voorbeelden statistische validiteit / representativiteit / betrouwbaarheid vergelijkingen 2019 - 2021

“Neutraal” en tekstuele duiding p. 57

Twee voorbeelden, is het aannemelijk dat de volgende uitspraken/conclusies zoals gepresenteerd in de Inwonersenquete waar zijn:

De uitkomsten zijn inderdaad een stevige afwijking. Dit kan te maken hebben met het beperkt aantal respondenten dat deze vraag heeft 1. “Het percentage mantelzorgers dat voor hun ouders of gekregen (alleen de respondenten die schoonouders zorgt, is sterk toegenomen: van 26% in 2019 hebben aangegeven mantelzorg te naar 51% in 2021” verlenen). Hierdoor hebben de 2. Daar staat tegenover dat het aandeel dat voor de kinderen antwoorden van een beperkt aantal zorgt, is gedaald: van 29% in 2019 naar 9% in 2021 (sheet 15). respondenten een groot effect op de De mantelzorg voor ouders en schoonouders is aldus binnen twee jaar uitkomsten. Of de verklaring voor het resultaat dat veel minder mensen meer dan verdubbeld. De mantelzorg voor kinderen is kennlijk met mantelzorg verlenen aan kinderen een meer dan 300% gedaald. gevolg is van de coronapandemie is mogelijk maar op basis van deze a) Hoe is een dergelijke uitkomst te verklaren, anders dan om redenen van statistiek/methode? Is het aannemelijk dat door de resultaten niet te concluderen. Een kwart van de mantelzorgers is vanwege coronapandemie veel minder mensen voor kinderen zorgen? corona meer tijd kwijt aan mantelzorg (24%), 7% is hier juist minder tijd aan kwijt.

Opvallend is dat het aandeel “Neutraal” zowel in 2019 als in 2021 bij a) Of het leidt tot een betere of de vragen over gemeente en gemeentebestuur het verreweg meest mindere weergave van de opvatting van dominante alternatief is in de respons. respondenten is op basis van deze gegevens niet te bepalen. Bij alle vragen hadden inwoners ook de mogelijkheid a) Kan dit gegeven op zich geduid worden: Is een dergelijk om weet niet in te vullen als men dit verdeling bij dit typte vraagstelling te verwachten? Waarom niet kon beoordelen in de wordt bij andere vragen de categorie neutraal niet gehanteerd, bijv. p. 59? Zorgt het hanteren van het alternatief neutraal er in antwoordcategorieën die waren aangegeven en n.v.t. wanneer men op de regel voor dat de respons een betere weergave is van de die manier geen contact had gehad met opvatting van respondenten (bijv. omdat mensen genuanceerd de gemeente. zijn of geen sterke mening hebben) of een mindere (omdat het een relatief gemakkelijk alternatief is om aan te vinken)? b) Neutraal is inderdaad niet positief b) Neutraal is niet positief en niet negatief, is dit juist? niet negatief.

c) In de tekstuele duiding op p. 57 wordt inkleuring aan de statistiek gegeven in termen van “balans”, waarbij de categorie neutraal in het geheel vergeten lijkt te worden. Is een uitspraak “de balans slaat uit naar de negatieve kant” statistisch verantwoord, terwijl – los nog van onzekerheidsmarges - als het om het luisteren naar burgers gaat 25 procent van de respondenten in meer of mindere mate negatief is, en 75 dus niet negatief is? Zou een betere duiding op basis van de verzamelde kwantitatieve data bijvoorbeeld niet zijn dat met inachtneming van wel te hanteren maar vooralsnog onduidelijke onzekerheidsmarges, het beeld dat naar voren komt is dat een meerderheid van de respondenten neutraal antwoordt op de stelling dat de gemeente luistert naar de mening van burgers, dat 19% hier in meer of mindere mate positief en 25% procent in meer of mindere mate negatief over is? Zo nee, waarom niet?

c) In de rapportage is het aandeel dat positief is vergeleken met het aandeel dat negatief is. En wanneer het aandeel dat positief is (veel) groter is dan het aandeel dat negatief is dan wordt gezegd dat de balans uitslaat naar het positieve. En andersom wanneer het aandeel negatieven groter is dan het aandeel positieven dat slaat de balans om naar het negatieve. De voorgestelde tekst is ook een manier om dit weer te geven. Het is beide correct.