Bijlage.Feedback conceptrapport raadpleging plaatsing windturbines

Feedback op het conceptrapport raadpleging Er is door de onderzoeker feedback gevraagd op de interpretatie van de data. De onderzoeker wil objectief blijven en vraagt zich af welke data interessant zijn om met een latente klasse clusteranalyse naar voren te halen. Bij eerder onderzoek heeft de onderzoeker het belang van een second opinion benadrukt bij deze methode van onderzoek (pwe in combinatie met gesloten en open vragen) ook i.v.m. de experimentele aard van de methode. Wij vinden dit begrijpelijk en terecht. https://www.verdus.nl/assets/uploads/2019/11/NRC-Niek-Mouter-jun-14.pdf Wij willen ook graag meedenken maar wij hebben moeite met de vraagstelling in relatie tot de uitwerking in de opzet. Daarbij zien wij een aantal methodologische en opmerkelijke problemen, die wij hieronder verder uitwerken. Een second opinion is o.i. nodig vanwege de complexe vraagstelling en opzet, waarbij een ingewikkeld stedelijk vraagstuk is vertaald in acht situaties in samenspel met acht keuzeopties, die gewogen moeten worden aan de hand van een aantal factoren die per deelnemer verschillende waarden hebben. Vervolgens worden de resultaten in verband gebracht met een reeks antwoorden op open vragen en gesloten vragen (op een 5-puntsschaaal). Gezien de grote hoeveelheid en verschillende soorten data kan dit makkelijk tot interpretatieproblemen leiden.

Wij adviseren om een second opinion te vragen aan een expert in kwalitatieve data-analyse en statistiek (eventueel ook besliskunde). Wij adviseren de onderzoeker om dit voorstel op te nemen in de verantwoording van het onderzoek.

Problemen met representativiteit - Wij denken dat de enquete te lang en te moeilijk is voor een aanzienlijk deel van de inwoners bij de zoekgebieden, die veelal laaggeletterd zijn. De raadpleging is dus niet laagdrempelig. Dat is waarschijnlijk één van de redenen dat de inwoners van de achterstandswijken vlakbij de zoekgebieden (met name in Noord en Zuid-Oost), evenals de volkstuinders, niet aan de open raadpleging hebben deelgenomen. Dat deze inwoners niet hebben deelgenomen blijkt uit het hoge percentage (74 %) huisbezitters onder de respondenten uit de open raadpleging. - De enquete kan door iedere nederlands sprekende aardbewoner worden ingevuld, dus niet alleen door Amsterdammers. - Dezelfde deelnemers kunnen de enquete meerdere malen invullen via verschillende ip-adressen of andere manieren om registratie van deelname te omzeilen - Dit had voorkomen kunnen worden met een persoonlijke uitnodiging vergezeld van een inlogcode. Conclusie: Deelnemers zijn niet representatief voor de totale Amsterdamse bevolking en zeker niet voor de inwoners bij de zoekgebieden.

Problemen met validiteit Er zijn vraagtekens bij de validiteit van de online raadpleging, met name het onderdeel participatieve waarde-evaluatie (pwe). Het was de bedoeling om een totaalplaatje van de problemen met de plaatsing van windmolens voor te leggen in de pwe, maar dit is teruggebracht tot een aantal niet erg duidelijke problemen en maatregelen. De situaties en maatregelen geven te weinig achtergrondinformatie en daardoor een incompleet beeld. Hierdoor kunnen respondenten geen goede vergelijkingen en afwegingen maken. Daar komt bij dat de gegeven waarden van kosten, energieopbrengsten, aantal gehinderden en aantal huishoudens dat profiteert van schone energie, gebaseerd zijn op grove schattingen, waardoor 1

deelnemers geen realistische afweging kunnen maken. Aangezien respondenten niet dezelfde waarden te zien kregen en dus verschillende afwegingen maakten is de betrouwbaarheid van dit onderzoek niet goed te beoordelen. Het tweede deel, de gestructureerde vragenlijst met een 5-punts antwoordschaal en de daarbij horende open antwoorden, wordt beinvloed door de bias die bij de deelnemer kan zijn opgetreden vanwege de beperkte informatie in de pwe daaraan voorafgaand. De respondent die niet bekend is met de zoekgebieden heeft geen echte context behalve wat hij eerder te zien heeft gekregen en moet een nogal onduidelijke situatie beoordelen, terwijl de antwoorden later in verband worden gebracht met echte zoekgebieden, echte lokale situaties en daar aanwezige echte problemen. De echte problemen komen nergens duidelijk naar voren in de vraagstelling. Hieronder worden daar voorbeelden van gegeven. Verder ontbreken in het deel met gesloten en open vragen een aantal belangrijke controlevragen om de keuzes in het pwe deel te checken. Voorbeelden: - De vraagstelling is soms erg verwarrend. Ook de betekenis van de plus/min knop daarbij is soms onduidelijk. Een voorbeeld van een vraag waar spake is van onduidelijkheid is ‘bouw windmolens verder weg van de natuur aan de rand van de stad’.

Wat wordt precies bedoeld met de vraag en wat is de beperkende maatregel? Als de beperkende maatregel is om ze elders te bouwen dan is het belangrijk te weten waar dit is. In de buurgemeenten? Of betekent aan de rand van de stad aan de rand van de stedelijke bebouwing? En hoe moet men deze onduidelijke maatregel relateren aan de energieopbrengsten en de kosten? Hoe kan men kiezen als de vraag niet duidelijk is? - De vraag over de nachtrust van mensen op volkstuinen geeft geen juist beeld. Het gaat niet alleen om geluidsoverlast ‘s nachts. Het gaat stadsbreed om meer dan 4500 tuinders op minder dan 350 meter van windturbines, die overdag in de buitenlucht aan het werk zijn, onbeschermd tegen geluid. Een flink deel van deze tuinders (in elk geval veel meer dan 400) slaapt in ongeisoleerde tuinhuizen. Ook de aantallen gehinderden kloppen dus niet maar zijn in werkelijkheid veel hoger. In de vraag wordt benadrukt dat volkstuinders geen recht hebben op bescherming tegen geluid, maar wordt niet genoemd dat meerdere volkstuinparken overlappen met zoekgebieden. Ook wordt niet genoemd dat volkstuinders en bezoekers van de tuinparken daardoor bloot staan aan onveilige situaties. Dát zijn de problemen waar dit voorbeeld over had moeten gaan.

Door het ontbreken van kaarten en context weten respondenten niet dat de volkstuinen in veel gevallen juist de buffer vormen tussen windturbines en woonhuizen en dat alle maatregelen om geluidsoverlast op tuinparken te beperken voor alle inwoners dichtbij de zoekgebieden óók tot minder geluidsoverlast leidt. Aangezien deze informatie in de enquete ontbreekt, kiezen minder mensen deze maatregel. Het is opvallend in de raadpleging dat volkstuinders de enige groep inwoners zijn die nadrukkelijk benoemd wordt, wat aanleiding geeft tot verkeerde beeldvorming bij respondenten en daardoor beinvloeding van de beantwoording. Ook valt op dat voor de vraag over volkstuinen geen controlevraag is opgenomen in de rest van de enquete. Voor een aantal andere vragen in de pwe is dit wel gedaan. - De app kost in de enquête tussen de 2 en de 3,25 miljoen, en door gebruik van de app wordt er tussen de 2 en 10 Megawatt minder opgewekt. Die laatste marge is wel heel erg breed en leidt tot ver uiteenlopende keuzes van deelnemers waardoor het minder aannemelijk is dat deze keuzes weergeven wat iemand werkelijk vindt.

2

- In de enquete wordt geen informatie gegeven over de lokaties en er is geen context bij de situatie. Hoe kan een respondent een situatie beoordelen zonder de werkelijke context? Een deelnemer kan in de veronderstelling zijn dat er voldoende locaties in Amsterdam voor windturbines zijn waar geen overlast voor mens en natuur is. Met die gedachtegang kijk je heel anders naar de vragen, dan als je de locaties wel weet en maak je keuzes die je anders niet zou maken. Respondenten had verteld moeten worden dat windturbines hoe dan ook bij woningen en/of in natuur zouden komen. Dit probleem komt overal in de enquete voor: bijvoorbeeld bij de keuze voor de zoekgebieden. Deze moet gemaakt moet worden aan de hand van onduidelijke kaartjes waarop geen bebouwing of andere objecten, terreinen of gebieden te differentieren zijn. Hierdoor weet een respondent niet wat er allemaal speelt in de zoekgebieden. In de vraag over plaatsing bij infrastructuur wordt niet vermeld dat er in meerdere zoekgebieden pal naast die infrastructuur woonwijken en volkstuinparken liggen. Het gaat om veel mensen die hier wonen en tuinders die hier recreëren, die nu over het hoofd worden gezien.

- Een aantal problemen die voor veel Amsterdammers belangrijk zijn, zoals de invloed van windturbines op recreatie, of de aantasting van de hoofdgroenstructuur van de stad doordat zoekgebieden deze doorkruizen, komen niet in de voorbeelden voor. - De bedragen en wattages die bij een maatregel horen zijn gebaseerd op schattingen en staan mogelijk ver af van de werkelijke bedragen en wattages. Hoewel experts zijn geraadpleegd om deze (bandbreedte van) waarden vast te stellen lijken deze soms verre van realistisch. De uiteenlopende waarden die aan deelnemers worden gepresenteerd lijken te zijn gebaseerd op deze (nogal brede) bandbreedtes. Vervolgens leidt een set maatregelen voor de ene deelnemer tot een blokkade maar voor een andere deelnemer niet, aangezien de waarden per deelnemer (ver) uiteen kunnen lopen. Als men als eerste een ‘dure maatregel’ kiest kan een tweede dure maatregel al tot een blokkade leiden. Er zijn dan minder opties om nog uit te kiezen. Dit leidt tot een keuzeprobleem ten gevolge van irreele waarden en heeft niets meer met keuzepijn te maken. Ook rijst de vraag of al deze ver uiteenlopende deelnames wel vergelijkbaar zijn en gemiddeld mogen worden. Dit schuurt aan tegen onbetrouwbaarheid van de resultaten. Een onderzoek is betrouwbaar als de proportie stabiele variatie voldoende is, de rest is ruis. In een aantal vragen van het experiment zit veel ruis.

- De gemiddelden van de waarden die aan deelnemers gepresenteerd worden lijken behoorlijk af te wijken van de standaardwaarden die als uitgangspunt worden gegeven. Dit kwam naar voren door negen pwe’s te vergelijken. Deze vergelijking geeft geen zekerheid, maar lijkt wel een trend. - Het aantal gehinderden en het aantal huishoudens dat schone energie krijgt fluctueert in de zijlijn mee, terwijl deze onderwerpen voor een deel van de respondenten het centrale vraagstuk zijn, eerder dan de kosten voor een maatregel of de energieopbrengsten. - Ook lijken deze aantallen uit de lucht gegrepen. Het kan zo zijn dat een respondent hierdoor niet de keuze maakt die hij had willen maken als de aantallen realistischer waren geweest. - Ook zou het aantal huishoudens dat profiteert van schone energie gelijk moeten opgaan met de opbrengsten in MW, maar dat is niet altijd zo. In het ene geval leidt een afname van de capaciteit met 1 MW tot een vermindering van 500 huishoudens die gebruik kunnen maken van schone energie (bij volkstuinen) en in het andere geval tot een vermindering van 5000 huishoudens (bij strengere regels t.a.v. geluid). Waar komen deze grote verschillen vandaan? - Ook komt het voor dat het aantal mensen dat ernstige hinder ondervindt minder afneemt dan het aantal mensen met lichte hinder toeneemt. Dit zou hetzelfde aantal moeten zijn.

Conclusie: Dit leidt alles bij elkaar genomen tot afwegingen bij deelnemers waarvan de waarde discutabel is.

3

Probleem met de limiet/ blokkade: - De maatregel om geluidsoverlast te verminderen is één van de duurste maatregelen. Daar kunnen in de meeste versies van het experiment slechts één of twee goedkope maatregelen naast worden gekozen, terwijl een deelnemer een andere dure maatregel veel belangrijker kan vinden dan de goedkope maatregel(en). Uit het experiment komt in dat geval dus niet naar voren wat iemand echt had willen kiezen. Daarvoor in de plaats is gekomen wat iemand tegen wil en dank kiest omdat er een limiet is gesteld. In dit geval wordt geen inzicht verkegen in wat een deelnemer over heeft voor een bepaalde maatregel. Dit wordt zelfs helemaal gemist! - Ook het omgekeerde kan gebeuren. Een deelnemer kiest de twee voor hem meest belangrijke maatregelen. Het budget is dan op, waardoor hij een andere goedkope maatregel niet meer kan kiezen. Mogelijk vindt hij deze goedkope maatregel even belangrijk, maar omdat hij het budget wil opmaken (veel deelnemers doen dat) kiest hij voor de dure maatregel. In het echt zou dit niet gebeuren. Een bestuurder zou geen geld uitgeven alleen om het budget op te maken, maar zou eerder alleen de goedkopere maatregel kiezen. Ook door deze vorm van blokkade is geen inzicht verkregen in wat een deelnemer had willen kiezen, terwijl dit interessantere informatie oplevert dan wat hij tegen wil en dank kiest.

Conclusie: De situaties en de beperkende maatregelen bij de situaties die vergeleken en gewogen moeten worden, zijn dermate onduidelijk omschreven of hebben zo weinig verband met de werkelijkheid dat de antwoorden (de keuzes) van deelnemers niet zomaar met elkaar vergeleken kunnen worden en dus niet zonder meer bij elkaar opgeteld mogen worden. Daarnaast leidt de afweging zelf tot blokkades die geen realistische blokkades zijn en ook niet altijd (vaak niet) de mening van de deelnemer weergeeft omdat hij de keuzes die hij wil maken niet kan maken. De blokkades leiden ertoe dat deelnemers geen prioritering kunnen aangeven in hun keuzes maar een selectie moeten maken om tot een optelsom te komen. Daarbij is het niet zeker dat deze selectie aangeeft welke keuzes deelnemers van grotere waarde vinden dan andere keuzes, terwijl dit nou juist de bedoeling van de blokkade en van het pwe is. Vervolgens werkt de beperkte informatie die in de pwe is gegeven door in de rest van de enquete, waardoor dit deel van de enquete tot een bias leidt. Algemene bezwaren tegen de uitgangspunten van de enquête / onderzoek Niet alleen de bewoners die de gevolgen van windmolens ondervinden kunnen deze enquête invullen maar iedereen ter wereld.

Sterker nog, ook Amsterdammers die ver buiten de zoekgebieden wonen, zijn per mail, social media en per huis aan huis brief actief aangemoedigd om deze enquête in te vullen. Het is echter niet relevant om mensen die ver van de zoekgebieden afwonen om hun mening te vragen. Deze enquête kan alleen ingevuld worden door personen die achter de gemeentelijke windturbine plannen staan. Bewoners die niet achter de gemeentelijke plannen staan komen alleen voorbij de eerste vraag als ze aangeven akkoord te zijn met de plaatsing van extra windmolens. Dit maakt het voor de gemeente wel heel makkelijk om te concluderen dat Amsterdammers massaal achter de plannen van de gemeente staan. Na een algemeen begin volgt dezelfde vraag als in het omstreden draagvlakonderzoek: “Bent u het eens dat er extra windmolens komen in Amsterdam?” Voor bewoners in de zoekgebieden is het ondertussen duidelijk dat deze op zeer korte afstand van woningen geplaatst zullen worden, maar 4

mensen buiten de zoekgebieden zullen waarschijnlijk net als bij het draagvlakonderzoek ruimschoots kiezen voor de optie “(helemaal) mee eens”, ervan uitgaande dat de windmolens op ruime afstand van woningen geplaatst worden. Het niet volledig informeren zal direct invloed op de uitkomst hebben, zoals dit ook bij het draagvlakonderzoek het geval was. De volgende vraag kan op veel manieren uitgelegd worden: “De gemeente Amsterdam wil zoveel mogelijk schone energie opwekken in de gemeente zelf. Wat vindt u daarvan?” Het lijkt een retorische vraag, omdat (bijna) iedereen voorstander van schone energie is. Retorische vragen zijn echter niet gebruikelijk in onderzoeken, maar dienen wel een doel. Dit doel is volledig onduidelijk voor de respondent, en daarmee is deze vraag potentieel manipulatief. Vervolgens komt er een onderdeel dat vraagt wat de respondent belangrijk vindt als er windmolens komen. Er volgt een korte uitleg over de wetten en regels die er zijn, en daarop volgen acht beperkende maatregelen. Voeg je niets toe dan ben je dus akkoord met de genoemde regels, ook als deze in werkelijkheid niet bestaan. Vreemd is dat alles in geld vertaald wordt en dat het niet meer mag kosten dan 5 miljoen euro. Hoeveel iets kost en wat het opbrengt kan veel mensen niets schelen, ze hebben niet om windturbines gevraagd, zeker niet ten koste van zichzelf en/of anderen.

Het maken van dit soort keuzes weerspiegelt per definitie niet de manier waarop een deel van de respondenten tegen de keuzes aankijken en deze tegen elkaar afweegt. De pwe wordt een experiment genoemd maar er worden dezelfde statistische bewerkingen gedaan bij de analyse van de antwoorden als bij een echt onderzoek, en de resultaten worden op dezelfde manier in conclusies en uitspraken gegoten. De pwe wordt uitdrukkelijk geen draagvlakonderzoek genoemd. Toch is het zeer waarschijnlijk dat het voor een deel van de respondentnen zo wordt gezien en dat zij de vragen in hun eigen belang hebben beantwoord in plaats van dat zij zich in de bestuurders van de stad hebben verplaatst. Ook is het zeer waarschijnlijk dat de resultaten worden gezien als de uitkomst van een draagvlak onderzoek en in de media of door ambtenaren en bestuurders zo worden gebruikt. Een vraag aan de onderzoeker is wat hij daaraan kan doen.

5