D13 Inwoner (geanonimiseerd), wetenschappelijk rapport over stikstof.pdf

Van: Inwoner (geanonimiseerd door de griffie) Verzonden: dinsdag 28 oktober 2025 13:47 Aan: Griffie-Hillegom <Griffie-Hillegom@HLTsamen.nl> Onderwerp: De illusie van een betrouwbare stikstof-modelwerkelijkheid Geachte griffie medewerkster, Bijgaand stuur ik u een belangrijk wetenschappelijk rapport over stikstof, geschreven door dhr. Meester, hoogleraar Waarschijnlijkheidsrekening aan de Vrije Universiteit Amsterdam. Omdat deze informatie belangrijk is voor diverse thema’s die ook in Hillegom invloed uitoefenen op de bewoners van Hillegom hierbij mijn vriendelijk verzoek om dit belangrijke rapport aan het college en de leden van de gemeenteraad te sturen. Tevens met het verzoek aan een ieder om dit rapport aandachtig te lezen en te bedenken welke veranderingen in beleid en visie dit rapport te weeg kan brengen. Met vriendelijke groet, Inwoner (geanonimiseerd door de griffie)

De illusie van een betrouwbare stikstof-modelwerkelijkheid Een onderzoek naar de onzekerheden in het wetenschappelijke stikstofdiscours; Aerius/OPS, Kritische Depositiewaardes, Natuurdoelanalyses, en de adviezen van de Ecologische Autoriteit

Ronald Meester1

17 oktober 2025

1

Ronald Meester is hoogleraar Waarschijnlijkheidsrekening aan de Vrije Universiteit Amsterdam. Hij publiceert ruim en breed over kansrekening, statistiek, het gebruik van wiskundige modellen en over de relatie tussen wetenschap, techniek, levensbeschouwing en samenleving. Hij treedt regelmatig als forensisch statistisch expert op bij rechtszaken om te adviseren over de gebruikte logica, berekeningen en modellen, en adviseert verschillende gremia. Recente publicaties zijn bijvoorbeeld Van aardbeving tot zoönose – over de inzet van modellen voor beleid, De onttovering van AI – een pleidooi voor het gebruik van gezond verstand (beide met Marc Jacobs, Mazirel Pers), Kan dat geen toeval zijn – een kritische blik op statistische bewijsvoering (met Klaas Slooten, AUP), en Wetenschap als nieuwe religie (Ten Have). Hij doceert naast de VU bij SSR (het opleidingsinstituut van de rechterlijke macht) en De Filosofische School Nederland, en is een veelgevraagd spreker. Hij neemt actief deel aan het publieke debat over de inzet van modellen.

1

Samenvatting

Ik heb allereerst vastgesteld dat de natuurdoelanalyses (NDA’s) en de adviezen van de Ecologische Autoriteit (EA) blijk geven van een ‘maakbaar’ wereldbeeld waarin metaforische knoppen zijn bedacht waar we aan kunnen draaien teneinde een bepaald doel te bereiken. Kritische depositiewaardes (KDW’s) zijn in dit wereldbeeld unieke en exacte getallen. Uitkomsten van Aerius/OPS berekeningen zijn reëel en worden zonder marges of onzekerheden gebruikt. De natuur zal herstellen als de depositie onder de KDW komt, en boven de KDW zal of kan stikstofdepositie ‘significante’ schade aan de natuur toebrengen. Ik heb bijzondere aandacht geschonken aan de bepaling van deze KDW’s en de daarmee samenhangende drempelwaardes. De statistiek kan niet zeggen wat ‘kritisch’ is, om verschillende redenen: er zijn grote methodologische problemen, en een beroep op het streven naar statistische significante veranderingen en/of een definitie in die termen heb ik gemotiveerd afgewezen. Statistische significantie heeft weinig te maken met dingen die voor ons of voor de natuur belangrijk zouden kunnen zijn. De gedachte dat er een unieke en wel gedefinieerde KDW zou bestaan voor individuele habitats is onjuist. Het is evident dat er te veel stikstofdepositie kan zijn, voor elke redelijk criterium, om de simpele reden dat van alles te veel kan zijn.

Echter, ik heb geen enkele wetenschapper gesproken die vanuit die wetenschap een unieke (exacte) waarde verdedigt. Er zijn wel wetenschappers die unieke waardes propageren omdat de politiek en de rechterlijke macht deze accepteert of zelfs eist. Dat heeft echter niets met wetenschap te maken; wetenschappers zouden een dergelijke verleiding moeten weerstaan. Het huidige gebruik van KDW’s, in de NDA’s, in de adviezen van de EA en in de vergunningverlening, is daarmee vanuit statistisch perspectief onwetenschappelijk, ondeugdelijk en dus niet verdedigbaar. Vervolgens heb ik de onzekerheden en onbepaaldheden van het Aerius/OPS rekenmodel zélf bestudeerd. Zoals elk model geeft Aerius/OPS slechts terug wat de makers erin hebben gestopt. De prestaties van het model op individueel niveau bij vergunningverlening worden omgeven met onzekerheden die niet kwantificeerbaar zijn, omdat gemodelleerde (toename van) deposities te klein zijn. Dat de onzekerheden hier veel 2

groter zullen zijn dan bij landelijke (globale) gemiddeldes is een wiskundig en geen empirisch gegeven. Deze globale modeluitkomsten worden zelf al omgeven met tientallen procenten onzekerheid, voortkomend uit veelsoortige onzekerheden. Controle van modelprecisie en onzekerheid is niet mogelijk omdat er geen meetdata voor stikstofdepositie voorhanden zijn – deze worden primair afgeleid uit atmosferische concentraties waarvan de onzekerheid zelf ook moeilijk te kwantificeren is. Voor alle duidelijkheid, stikstofdepositie wordt niet zélf gemeten. Samengenomen concludeer ik dat we met de combinatie van de onzekerheden in de KDW’s en de door het model berekende deposities van Aerius/OPS feitelijk niet weten wat we aan het doen zijn. We zijn blind modeluitkomsten aan het volgen, zonder de mogelijkheid te hebben om te controleren waar we mee bezig zijn. Er wordt veel beweerd over stikstof, maar er is vrijwel geen enkele kwantitatieve claim die daadwerkelijk controleerbaar is. Het werken met de combinatie KDW/Aerius acht ik vanwege dit alles niet wetenschappelijk. Uitspraken over proefondervindelijke standen van zaken met verstrekkende juridische consequenties (stikstofemissie en –depositie) behoren namelijk verifieerbaar te zijn, en dat zijn ze niet.

Een antwoord dat dit “het beste is wat we hebben” is onbevredigend en onduldbaar omdat het uitgaat van de gedachte dat de wetenschap móet leveren. In plaats van net te doen alsof we precieze informatie hebben en daar beleid met zeer grote maatschappelijke, juridische en particuliere gevolgen op baseren, kunnen we beter accepteren dat we bepaalde dingen niet kunnen weten, en dat ‘de’ wetenschap hierop ook geen antwoord gaat geven. Wetenschap wordt in dit dossier overvraagd. Ook langs de weg van de beginselen van behoorlijk bestuur laat ik zien dat modelgebruik in dit dossier problematisch is. De aard van wiskundige modellen maakt dat niet ingezien kan worden dat aan deze beginselen wordt voldaan in het huidige beleid. Wetenschappers horen te interveniëren als hun resultaten incorrect geïnterpreteerd of zelfs misbruikt worden. Dat interveniëren gebeurt in dit discours te weinig of zelfs helemaal niet. Samenvattend is de model-wetenschappelijke benadering van het stikstofdiscours zowel praktisch, theoretisch als filosofisch problematisch. We hebben een benadering nodig die vanuit de empirie werkt in plaats van langs de weg van wiskundige modellering; de Europese Habitatrichtlijn geeft ons die ruimte. Het dossier moet van het bord van de 3

modelleurs af, en terug op het bord van beleidsmakers. Deze dienen verantwoordelijkheid te nemen voor beslissingen op basis van een maatschappelijk en politiek debat in plaats van op basis van een onwetenschappelijke omgang met modellen. Wetenschap en bestuur dienen gescheiden te blijven; wetenschappers moeten hun bevindingen publiek maken zonder zich af te vragen wat de rechter ervan zal vinden. Ik doe een voorstel voor een aantal normerende regels waaraan modelgebruik gehouden zou moeten zijn, en sluit af met een stappenplan om dit alles in Nederland te realiseren binnen de mogelijkheden die de Europese regelgeving biedt.

4

1 - Inleiding en algemene beschouwing

De staatssecretaris van Landbouw, Visserij, Voedselzekerheid en Natuur heeft mij gevraagd om een notitie op te stellen waarin: •

gereflecteerd wordt op de wijze waarop in de huidige handreiking NDA’s (en dus toegepast in de huidige NDA’s) met de statistische relevantie van de berekende stikstofdepositie op Natura 2000-gebieden wordt omgegaan en aanbevelingen te doen om hier verbetering in aan te brengen ten behoeve van de nieuwe handreiking;

•

het gebruik van stikstofmodellen in een historisch perspectief wordt geplaatst;

•

de algemene principes rondom het gebruik van statistische modellen in hoofdlijnen worden geschetst.

Voor u ligt de notitie die ik hierover heb opgesteld. Uiteraard ben ik niet de eerste die vanuit de wetenschap een kritiek geeft op het dossier. De commissie Hordijk besloot al in 2020 tot de ongeschiktheid van het Aerius/OPS rekenmodel voor het berekenen van stikstofdepositie zoals dat gebruikt wordt voor vergunningverlening.2 De onzekerheden in de modeluitkomsten zijn volgens die commissie veel te groot, zeker gezien de huidige drempelwaarde die bij het wel of niet verlenen van toestemming wordt gebruikt. De Nieuwe Denktank schreef hierover enkele jaren later in 2023 het volgende:3

“De onzekerheden hebben tot gevolg dat het stikstofmodel, hoe gesofisticeerd het ook mag zijn, een toepassingsbereik heeft: uitkomsten buiten dit toepassingsbereik zijn zo onzeker en zeggen zo weinig over de werkelijkheid dat zij niet als basis kunnen dienen voor de besluitvorming. [...] Dat leidt tot schijnzekerheid, willekeur en rechtsongelijkheid.”

Over de Nederlandse praktijk wat betreft stikstofberekeningen zegt hetzelfde rapport dat deze4

2

Meer meten, robuuster rekenen | Rapport | Rijksoverheid.nl Uit de stikstofcrisis – verantwoord omgaan met onzekerheid, www.denieuwedenktank.nl, blz. x. 4 Ibid, blz. xi. 3

5

“[...] niet getuigt van het zich beter of strikter houden aan Europese natuurwetgeving, het getuigt evenmin van het belang van de natuur. Het getuigt enkel van een onwetenschappelijke omgang met modeluitkomsten.”

Het rapport spreekt verder van een toestemmingsverlening in Nederland die “zich afspeelt in een parallel, modelmatig universum dat los staat van de werkelijkheid” en vindt Nederland “het onhandigste jongetje van de klas”.5 Dat zijn voorwaar allemaal geen milde oordelen. De Nieuwe Denktank doet ook suggesties over hoe we hier mee om zouden moeten gaan. Deze figureren allemaal binnen het huidige juridische kader, waarin het gebruik van het Aerius/OPS rekenmodel in de Omgevingsregeling is vastgelegd6 - daarover later meer. Kort gezegd komt het advies van de Nieuwe Denktank erop neer dat we een drempelwaarde zouden moeten kiezen tussen de 1 en 35 mol/ha/jaar in plaats van de huidige 0,005 mol/ha/jaar. Wat betekent deze drempelwaarde? Welnu, Nederland hanteert een zogenaamde kritische depositie waarde (KDW) die ruwweg aan zou moeten geven hoeveel stikstofdepositie een bepaalde habitat kan verdragen zonder schade.7 Als deze KDW (bijna) is overschreden geldt een drempelwaarde voor stikstofdepositie voor activiteiten. In Nederland is deze drempelwaarde dus 0,005 mol/ha/jaar. We hebben in principe de vrijheid om e.e.a. zo in te richten, maar ook om deze drempelwaarde te verhogen zoals De Nieuwe Denktank voorstaat. Immers, de Europese Habitatrichtlijn verplicht lidstaten om te onderzoeken of nieuwe plannen “significante” invloed kunnen hebben op Natura 2000-gebieden.

Hoe die beoordeling plaatsvindt wordt aan de lidstaten overgelaten. Frankrijk en Italië bijvoorbeeld, kijken zelfs helemaal niet naar stikstofdepositie. Denemarken en Duitsland rekenen wel aan depositie, maar hun drempelwaardes zijn met respectievelijk 35 en 21 mol/ha/jaar onvergelijkbaar met die in Nederland. Volgens De Nieuwe Denktank en haar adviseur Arthur Petersen zou deze

5

Ibid, blz. xi. Zie bijvoorbeeld Artikel 4.15 in wetten.nl - Regeling - Omgevingsregeling - BWBR0045528. 7 Ik zal straks preciezer worden. 6

6

benadering de vergunningverlening in Nederland weer op gang kunnen brengen, en is deze benadering volgens hen ook wetenschappelijk verantwoord.8 Het feit dat in sommige landen stikstofdepositie helemaal geen rol speelt in hun natuurbeleid is interessant. We spreken in Nederland vaak over het ‘stikstofbeleid’ maar strikt gesproken hebben we dat niet. We hebben ‘natuurbeleid’, en hebben ons verplicht om een aantal natuurgebieden te beschermen. Hoe we dat doen en wat we onder “beschermen” precies verstaan, is aan Nederland zelf. Er is geen Europese regel die ons dwingt om alleen (of überhaupt) naar stikstofdepositie te kijken. We hebben met stikstof een specifieke maatstaf gekozen die het beleid bepaalt. Deze keuze is natuurlijk niet neutraal, maar tegelijkertijd kunnen er goede redenen voor zijn. Het feit dat een specifieke maatstaf vaak het beleid bepaalt staat bekend als de ‘Wet van Goodhart’.9 Volgens deze wet kunnen maatstaven heel makkelijk zomaar een eigen leven gaan leiden, en wordt het beleid feitelijk op de maatstaf gericht in plaats van op het oorspronkelijke beleidsdoel. In het natuurdebat lijkt dat in Nederland inderdaad gebeurd te zijn: de maatstaf ‘stikstof’ is de rol gaan vervullen van de oorspronkelijke doelstelling. Is stikstof een goede maatstaf? Ik ben geen ecoloog dus in directe zin kan en zal ik daar weinig over zeggen.

Maar in het debat over het natuur- en stikstofbeleid spelen onzekerheden en statistiek een grote rol, en het is dáár waar mijn bijdrage betrekking op heeft. Ook zonder specifieke ecologische kennis kan een statisticus de situatie beoordelen. Ik geef twee voorbeelden ter illustratie hiervan. Allereerst is het in de praktijk samenvatten van een extreem gecompliceerde situatie in slechts één parameter (hier stikstofdepositie) in het algemeen zelden zinvol – er wordt te veel informatie en context weggelaten, en een statisticus heeft hier veel ervaring mee. Ten tweede is het zo dat een begrip als ‘statistische significantie’ (dat we vaak tegenkomen wanneer het over veranderingen in het veld gaat) in zichzélf niet veel betekenis heeft. Het is namelijk zo dat statistisch significante resultaten in het veld irrelevant kunnen zijn. Dat punt

8

Zie ook Arthur Petersen, Expertoordeel onderbouwing maximale rekenafstand bij project-specifieke berekeningen van stikstofdeposities, geschreven in opdracht van het Ministerie van Infrastructuur en Waterstaat. 9 november 2022; https://www.ucl.ac.uk/steapp/sites/steapp/files/dutch__expert_judgement_arthur_petersen_11-11-202235.pdf. 9 Zie bijvoorbeeld D. Manheim en S. Garrabrant, Categorizing variants of Goodhart’s law, arXiv:1803.04585, 2018 en S. Kerr, On the folly of rewarding A, while hoping for B, The Academy of Management Executive 9, 1995.

7

adresseer ik straks uitgebreid; langs deze weg kan begrepen worden dat de huidige statistische omgang met stikstof geen goede maatstaf kán zijn. In deze notitie onderzoek ik een aantal zaken in relatie tot statistische onzekerheid van stikstofdepositie en de bijbehorende vergunningverlening in de context van de natuurdoelanalyses (NDA’s) en de corresponderende adviezen van de Ecologische Autoriteit (EA). Je zou dit rapport dan ook kunnen zien als een aanvulling en een vervolg op de rapportage van de commissie Hordijk, met de nadruk op de vraag hoe we de modeluitkomsten en berekeningen statistisch moeten duiden; vanuit het perspectief van onzekerheid dus. Het rapport is als volgt opgebouwd. Allereerst heb ik onderzocht hoe in de huidige NDA’s en de bijbehorende adviezen van de Ecologische Autoriteit omgegaan wordt met onzekerheid van de berekeningen van het Aerius/OPS rekenmodel en de ‘kritische depositie waardes’ (de KDW’s) en drempelwaardes. Dat beschrijf ik in Hoofdstuk 2. In Hoofdstuk 3 vindt u het verslag van mijn onderzoek naar KDW’s. Waar komen die vandaan, wat betekenen ze, hoe worden ze gebruikt en welke onzekerheden worden daar wel of niet in meegenomen? Daarna, in Hoofdstuk 4, richt ik mijn aandacht op het Aerius/OPS rekenmodel zelf, en onderzoek ik de onzekerheden in dat model en de manier waarop het model wordt gebruikt.

De combinatie van de KDW’s, drempelwaardes en het Aerius/OPS model bepaalt de gang van zaken van de vergunningverlening in Nederland, en mijn onderzoek leidt tot een totaalbeeld over de onzekerheden die met het rekenen met Aerius/OPS in combinatie met vergunningverlening gepaard gaan. Vervolgens ga ik in Hoofdstuk 5 in op de aard van modellen in het algemeen, en ga ik na hoe de beginselen van behoorlijk bestuur richtinggevend zijn voor het werken met wiskundige modellen, en met Aerius/OPS in het bijzonder. Mijn onderzoek laat hierbij heldere grenzen zien voor wat betreft de vraag wat we wel en wat we niet aan een model kunnen uitbesteden. Het werken met modellen in een beleidsomgeving is in het algemeen geen sinecure. In een eerder publicatie10 hebben Marc Jacobs en ikzelf een lijst van aandachtspunten samengesteld die bij elk modelgebruik belangrijk zijn. Ik zal deze lijst hier in Hoofdstuk 6

10

Marc Jacobs en Ronald Meester, Van aardbeving tot zoönose – over de inzet van modellen voor beleid, Mazirel Pers 2023.

8

gebruiken om uit te leggen wat in het algemeen de gevaren zijn van het gebruik van modellen voor beleid en deze toepassen op dit dossier. Ik eindig in Hoofdstuk 7 met een samenvatting en een advies over het gebruik van Aerius/OPS, drempelwaardes en KDW’s in relatie tot de NDA’s, de adviezen van de EA en de vergunningverlening.

9

2 - De NDA’s en de adviezen van de EA Ten behoeve van dit rapport heb ik 133 NDA’s met corresponderende adviezen van de EA bestudeerd. De studie is naar de EA-adviezen is gedeeltelijk geautomatiseerd uitgevoerd. Ik was vooral geïnteresseerd in het ‘wereldbeeld’ dat spreekt uit de NDA’s en de adviezen; hieronder wordt duidelijk wat ik daarmee bedoel. Ik bespreek eerst de NDA’s en daarna de adviezen van de EA. De NDA’s Bij het opstellen van NDA’s worden Aerius berekeningen veelvuldig en routinematig gebruikt. De uitkomsten van deze berekeningen en ook de waardes van de KDW’s worden hierbij letterlijk genomen; er zijn vrijwel geen opmerkingen die blijk geven van een bepaalde mate van bewustzijn over onzekerheid hierover. Ik zal deze beweringen staven met enkele representatieve citaten.

“De kamsalamander is gevoelig voor stikstof wanneer door eutrofiëring zuurstofgebrek optreedt in zijn leefgebied, habitattype H3130. Dat gebeurt pas bij een hogere depositie dan de KDW van het habitattype H3130 (571 mol N/ha/jaar).”11

“De kritische depositiewaarde (KDW) voor het habitattype Stuifzandheiden, Droge heiden en voor Zandverstuivingen is 714 mol N/ha/jaar.”12

“De kritische depositiewaarde van Zwakgebufferde vennen voor stikstof is 500 mol/ha/jr.”13

“Wanneer er teveel stikstof valt, zal de kwaliteit en uiteindelijk ook het oppervlakte van de habitattypen afnemen. Voor ieder habitattype en leefgebied is landelijk een zogeheten Kritische Depositie Waarde (KDW) vastgesteld. Valt er meer stikstof dan

11

NDA Korenburgerveen. NDA Maasduinen. 13 Ibid. 12

10

de KDW, dan gaat het habitattype er op termijn in kwaliteit en oppervlakte op achteruit.”14

“De hierna getoonde prognoses zijn verkregen door het gebruik van AERIUS Monitor 2022. De getoonde percentages geven aan welk deel van het totale gekarteerde oppervlakte overbelast is, dat wil zeggen waar de stikstofdepositie boven de KDW (Kritische Depositiewaarde) ligt.”15

“De KDW van het habitattype H2330 van 714 mol N/ha/jr wordt zowel in het referentiejaar 2020 alsook in de prognose van 2030 overschreden.”16

“Als gevolg van overschrijding van de KDW bestaat het risico dat de kwaliteit van het habitattype wordt aangetast door verzuring en/of vermesting door stikstofdepositie, met mogelijke gevolgen voor bodem en waterkwaliteit.”17

“De KDW is de grens waarboven schade aan het habitattype optreedt.”18

“Bij een toename van de stikstofdepositie boven de kritische depositiewaarde kan de veenmosvegetatie niet alle stikstof meer vastleggen; het ‘veenmosfilter’ is dan verzadigd geraakt met stikstof.”19

“De kritische depositie waarde (KDW) wordt daarbij als volgt gedefinieerd: ‘De grens waarboven het risico bestaat dat de kwaliteit van het habitat significant wordt aangetast door de verzurende en/of vermestende invloed van atmosferische stikstofdepositie.’”20

14

NDA Wijnjeterperschar. NDA Eilandspolder. 16 NDA Brabantse Wal. 17 Ibid. 18 NDA Bargerveen; deze definitie is overigens onjuist. 19 Ibid. 20 NDA Brabantse Wal. 15

11

Het beeld is hiermee wel duidelijk. De KDW wordt zonder omhaal gebruikt als een unieke waarde; merk op dat bijvoorbeeld in het laatste citaat gesproken wordt over “de” grens waarboven iets gebeurt. Onder de KDW is er binnen deze visie geen probleem, daarboven wel. Die grenzen zijn heel expliciet en numeriek. In de NDA Buurserzand en Haaksbergerveen vinden we bijvoorbeeld KDW’s ter grootte van respectievelijk 1071, 500, 1429, 1143, 714, 1214, 571, 1768 en 1857 mol/ha/jaar, allemaal voor verschillende soorten habitats. Dat deze KDW’s echt letterlijk genomen worden, wordt in vele NDA’s expliciet bevestigd. In dezelfde NDA als zojuist lezen we bijvoorbeeld dat

“De langdurige overschrijding van de KDW heeft geleid tot een ernstige aantasting van de structuur en het functioneren van Natura 2000-habitats, maar ook van buiten Natura 2000-gebieden gelegen stikstofgevoelige natuur.”

Voor de verantwoording van deze en dergelijke claims wordt veelal verwezen naar artikelen uit de wetenschappelijke literatuur.21 Desalniettemin bevestigde een van de auteurs van dit artikel, ecoloog Roland Bobbink, dat KDW’s “ranges” zijn, en “geen unieke waardes”.22 Dat is uiteraard een veel plausibelere gedachte dan unieke waardes. Bij de beoordeling van de vraag of de KDW’s overschreden worden, wordt geheel in lijn met de eerder genoemde Omgevingsregeling het rekenmodel Aerius/OPS gebruikt. Dat mag geen verbazing wekken. Sterker nog, het wordt voorgeschreven door diezelfde Omgevingsregeling. Het is daarom niet nodig om dit feit met een lange lijst van citaten te illustreren. Het volgende citaat is exemplarisch:

“Bij de beoordeling van de mate van (over)belasting door stikstofdepositie op de instandhoudingsdoelen is gebruik gemaakt van AERIUS Monitor 2022.”23

Aerius/OPS is een deterministisch model: als je er twee keer hetzelfde ‘instopt’ komt er ook twee keer hetzelfde uit. Toch lijkt het dat in sommige NDA’s bepaalde

21

Bijvoorbeeld naar Bobbink, R., G. van Dijk, E. Remke & H. Tomassen (2022). Herstelbaarheid van door stikstofdepositie aangetaste Natura 2000-habitattypen: een overzicht. Onderzoekcentrum B-WARE, Nijmegen. Rapportnummer RP-21.117.21.95. 22 Persoonlijke communicatie. 23 NDA Brabantse Wal.

12

onzekerheidsmarges worden gerapporteerd. In de NDA Landgoederen Brummen vinden we bijvoorbeeld deze figuur:

Er wordt bij de figuur opgemerkt dat dit de gemiddelden en de bijbehorende 10% en 90% percielen zijn. Dit lijkt in eerste instantie een uitspraak over onzekerheid te zijn, maar dat is toch niet zo. Wat hier gebeurt is dat gekeken wordt naar ‘hexagonen’ (dat zijn zeshoekige stukjes land waarin een gebied is ingedeeld). Bijvoorbeeld, in 2018 geldt dat Aerius zegt dat in 10% van de hexagonen de depositie lager is dan 1271 mol/ha/jaar en in 10% hoger dan 1956 mol/ha/jaar. Het is dus geen onzekerheid in de Aeriusberekening zelf, maar een observatie over het geheel van (deterministische) deposities op alle relevante hexagonen. De adviezen van de EA Alvorens na te gaan hoe de EA adviseert en welke taal men daarvoor gebruikt eerst een paar woorden over de EA zelf. Volgens het instellingsbesluit24 is een van haar taken

“te adviseren over relevante wetenschappelijke inzichten voor besluitvorming ten aanzien van brede ecologische vraagstukken, met inbegrip van vraagstukken over klimaat en abiotische randvoorwaarden voor natuur zoals bodem, water en atmosferische depositie.” 24

Instellingsbesluit Ecologische Autoriteit.pdf, Artikel 3b.

13

Hoewel de EA naar eigen zeggen zelf geen onderzoek doet is het natuurlijk niet mogelijk om te adviseren over wetenschappelijke vraagstukken zonder die wetenschap helemaal te doorgronden, in alle facetten die nodig zijn voor haar taak. In die zin is de EA een wetenschappelijk instituut, of zou het moeten zijn. Elke wetenschapper dient zich te verhouden tot onzekerheid, zeker wanneer er kwantitatieve beweringen en uitspraken worden gedaan aan de hand van modellen. Om te onderzoeken in welke mate de EA-adviezen aandacht besteden aan het thema onzekerheid in de context van Aerius, heb ik 133 documenten met EA-adviezen geanalyseerd, met behulp van de AI software van Elicit. Deze documenten zijn als PDF gedownload van de publieke website van de Ecologische Autoriteit.25 Binnen Elicit gebruikten we drie zoekprompts: 1. “Wordt er expliciet gereflecteerd op onzekerheid of betrouwbaarheid van metingen en berekeningen specifiek door het rekenmodel Aerius, inclusief termen zoals onzekerheid, bandbreedte, significantie, skill, prestatie, betrouwbaarheid of bias? Het gaat hierbij uitsluitend om reflecties op het Aerius-model zelf.” 2. “Expliciete reflecties op Aerius in de context van onzekerheid, bijvoorbeeld aan de hand van termen zoals onzekerheid, bandbreedte, significantie, skill, prestatie, betrouwbaarheid of bias” 3.

“Statistische onzekerheid Aerius” Deze zoekopdrachten leverden respectievelijk 0, 16 en 8 documenten met matches op. Na validatie bleek echter dat geen van deze resultaten daadwerkelijk aansloot op de onderzoeksvraag. Het beperkte aantal bruikbare resultaten vormde aanleiding om een diepgaandere analyse uit te voeren met behulp van een geavanceerder Large Language Model (LLM). Doel van deze uitgebreide analyse is om zoveel mogelijk kandidaat-citaten te identificeren die potentieel relevant zijn voor de onderzoeksvraag, om deze citaten daarna zelf te beoordelen. Hiervoor hebben we een analysemethode ontwikkeld waarin gebruik wordt gemaakt van de meest geavanceerde OpenAI GPT modellen. Deze methode

25

ecologischeautoriteit.nl.

14

combineert geautomatiseerde AI-tekstanalyse met menselijke validatie en omvat de volgende drie stappen: 1. Extractie van de tekst uit de EA-advies PDF documenten. 2. Tekstanalyse met een AI-zoekopdracht (prompt) 3. Menselijke beoordeling van de LLM output op relevantie voor de onderzoeksvraag. Voor de technische details van deze procedure verwijs ik naar Appendix A. Ik verwijs naar Appendix B voor de volledige collectie van geselecteerde citaten. Hieronder vat ik de citaten samen - aan de hand van voorbeelden. De ‘taalomgeving’ is hierbij van belang, omdat ze iets vertelt over de filosofie van de EA. Taal serieus nemen is voor mij een belangrijk hermeneutisch principe. De EA adviseert kennelijk vanuit een deterministisch wereldbeeld, zoals Aerius inderdaad een deterministisch model is. Er is geen spoor te vinden van onzekerheid in Aerius-uitkomsten, de KDW’s en de consequenties die deze uitkomsten hebben op de onderzochte ecologie. Er wordt dus, metaforisch gesproken, een ecologie getoond waaraan ‘knoppen’ zijn verbonden waar naar believen aan kan worden gedraaid, met bijbehorende schijnbaar voorspelbare ecologische uitkomsten. Dat is in zichzelf een boeiende constatering die ik aan de hand van een groot aantal voorbeelden zal staven. Na elk voorbeeld volgt mijn commentaar.

Voorbeeld 1: “Daarbij wordt het voorbehoud gemaakt dat er daadwerkelijke stikstofreductie plaatsvindt zoals in het AERIUS-model wordt voorspeld, en dat bij het terugdringen van de nitraatuitspoeling in landbouwgronden (met groot effect op habitats) er prioriteit wordt gegeven aan een stevige en voortvarende aanpak in deelgebied Noord.” (5042 Bunder- en Elslooërbos, blz. 6)

Het bijvoeglijk naamwoord “daadwerkelijk” is empirisch van aard, maar verwijst hier naar het Aerius-model dat blijkbaar (wiskundig en met de input van NEMA26 getallen en KDW) voorspellend te werk kan gaan. Dat leidt tot een verwarrende zinssnede die een empirische ‘hardheid’ suggereert die niet kan bestaan gezien de modelmatige verwijzing. De 26

Het National Emission Model for Agriculture, zie Hoofdstuk 4.

15

“voortvarende aanpak” onderstreept deze tweeslachtigheid.

Voorbeeld 2: “De NDA analyseert de effecten van de huidige en toekomstige stikstofdepositie. De NDA beschrijft dat in 2020 voor vrijwel alle habitattypen sprake was van een overschrijding van de kritische depositiewaarden (KDW’s). Alleen op een deel van het habitattype alluviale bossen is geen sprake van overschrijding. Voor 2030 verwacht de NDA, op basis van Aerius Monitor, dat de stikstofdepositie op 100% van het oppervlak van zwakgebufferde vennen (tevens leefgebied van kamsalamander), droge heiden, heischrale graslanden en blauwgraslanden nog steeds boven de KDW ligt. Voor de andere habitattypen is er sprake van een gedeeltelijke overschrijding van de KDW’s, of is geen sprake meer van overschrijding.” (5126 Stelkampsveld, blz. 11)

Hier wordt een vergelijkbare deterministische ecologie geventileerd. De zin “Alleen op een deel van het habitattype alluviale bossen is geen sprake van overschrijding” straalt een grote stelligheid uit. Die stelligheid wordt tweeledig als er wordt opgemerkt dat “op basis van AeriusMonitor, dat de stikstofdepositie op 100% van het oppervlak van zwakgebufferde vennen (tevens leefgebied van kamsalamander), droge heiden, heischrale graslanden en blauwgraslanden nog steeds boven de KDW ligt.” Zowel Aerius als KDW zijn empirisch en modelmatig eenduidig, aldus de EA, waarmee beleid kan worden vastgesteld en uitgevoerd.

Voorbeeld 3: “Voor een analyse van de veranderingen in atmosferische stikstofdepositie is het nuttig om ook de metingen van de ammoniakconcentratie in de lucht van het RIVM in een grafiek te tonen en te bespreken (RIVM-MAN16). Dit is geen essentiële ecologische informatie voor deze versie van de NDA, maar wordt geadviseerd in de volgende versies mee te nemen. Beschrijf daarin wat de relatie is tussen de uitkomsten van stikstofdepositie uit AERIUS en de ammoniakmetingen van het RIVM.” (5087 Drentsche Aa-gebied, blz. 11)

Op welke wijze MAN-data met Aerius moet wordt vergeleken is een vraag op zich, waarbij onzekerheid een cruciale rol speelt. Hoe de ruwe MAN-gegevens (die niet openbaar zijn) worden omgezet in atmosferische concentraties is een belangrijke vraag. Ook de koppeling van de bewerkte MAN-data met Aerius uitkomsten moet worden besproken. Dit alles is voor mij op dit moment niet na te gaan, maar dat hierbij ook (grote) onzekerheid een rol speelt 16

leidt geen twijfel.

Voorbeeld 4: “Verdere verslechtering moet ook worden voorkomen door beperking van de stikstofdepositie. De huidige depositie ligt in het gebied nu tussen 1497 en 1936 mol N/ha/jaar. De meest kritische depositiewaarde (van H3130 Zwakgebufferde vennen) is veel lager, namelijk 500 mol N/ha/jaar (dit betreft de aangepaste KDW, zie tekstkader hieronder). De Ecologische Autoriteit rekent uit dat de stikstofdepositie dus met 75% omlaag moet om de natuurdoelen te behalen. De NDA presenteert alleen de KDW en huidige (en verwachte) deposities, maar verbindt hier verder geen (gekwantificeerde) conclusies aan.” (5083 Lonnekermeer, blz. 10)

De EA interpoleert lineair tussen KDW en Aerius calculaties zonder enige reflectie op onzekerheden in beide. Daarnaast wordt KDW hier specifiek opgevat als een harde grens. Eén van de definities van de KDW luidt echter als volgt: “De kritische depositie is een kwantitatieve schatting van de blootstelling aan één of meer verontreinigende stoffen, waar beneden geen significante schadelijke effecten optreden aan gespecificeerde gevoelige elementen in het milieu, volgens de huidige stand van kennis.”27 Hoewel deze definitie tal van zaken ontbeert - zoals een tijdsschaal waarop schade van een bepaald gedefinieerde soort zichtbaar moet worden - kan het absoluut niet als een harde grens worden opgevat zoals de EA hier poneert.28

Voorbeeld 5: “Voetnoot 7: Voor het bepalen in welke mate stikstofdepositie een drukfactor is kan gebruik gemaakt worden van de AERIUS-calculator. Kijk daarbij ook naar verschillen in stikstofdepositie op hexagoonniveau. Die verschillen kunnen namelijk relevant zijn bij de keuze voor herstelmaatregelen (hoe groter de overschrijding van de kritische depositiewaarde, hoe ingrijpender de maatregelen die nodig zijn). Beoordeel op basis van gebiedskennis ook de mate waarin historische belasting van stikstof een beperking vormt voor de ontwikkeling van de habitat en het leefgebied. Bedenk dat de effecten van stikstofdepositie door droogte nog versterkt kunnen worden. In het advies van de TEO wordt ingegaan op relevantie van verschillende overschrijdingsklassen van de kritische 27 28

https://edepot.wur.nl/245248 Zie het volgende Hoofdstuk.

17

depositiewaarde (KDW) die bij de beoordeling van deze drukfactor relevant zijn.” (5007 Broekvelden, blz. 6)

Hexagoon stikstofdepositie wordt zonder reflectie als maat genomen ten opzichte van andere hexagoon stikstofdeposities en de keuze voor herstelmaatregelen in relatie tot KDW: “hoe groter de overschrijding van de kritische depositiewaarde, hoe ingrijpender de maatregelen die nodig zijn”. Deze formulering verraadt een rotsvast vertrouwen in de gedachte dat een overschrijding van de KDW een maat is voor de actie die ondernomen zou moeten worden. Maar zoals ik later zal laten zien is dat onjuist, niet alleen omdat onzekerheden verbloemd worden maar ook omdat de statistiek en de modelering in zichzelf geen enkele uitspraak kunnen doen over wat zou moeten gebeuren en op basis waarvan, nog los van de onzekerheden in de resultaten van genomen maatregelen.

Voorbeeld 6: “Hoogveen heeft een zeer lage kritische depositiewaarde van 500 mol N/ha/jaar. Deze wordt momenteel sterk overschreden: de huidige stikstofdeposities zijn gemiddeld 1283 en 1428 mol N/ha/jaar voor actieve en herstellende hoogvenen. Dit is in de vegetatie te zien in de vorm van vergrassing, toename van adelaarsvaren en opslag van bomen. De atmosferische stikstof komt nog bovenop de stikstof die als gevolg van interne eutrofiering door verdroging (zie hierboven). De NDA presenteert alleen deze cijfers, maar maakt vervolgens niet expliciet duidelijk wat de totale benodigde stikstofreductie in het gebied is. De Ecologische Autoriteit rekent zelf uit dat de KDW dus met een factor 2,5 tot 3 wordt overschreden. Dat betekent dat er een reductie nodig is van zo’n 65%.” (5077 Aamsveen, blz. 12)

Dit voorbeeld is vergelijkbaar met Voorbeeld 4. Er wordt door de EA eenzelfde lineaire vergelijking gemaakt tussen KDW, stikstofdepositieberekeningen door Aerius en de gedachte stikstofreductie. Ook hier laat de EA geen bewustwording zien van de experimentele realiteit van KDW-bandbreedtes, onzekerheden daarin en alle onzekerheden in Aerius modelleringen.

Voorbeeld 7: “Ondanks het ontbreken van gegevens, kunnen sommige conclusies wel degelijk al getrokken worden, bijvoorbeeld omdat de mate van onzekerheid kleiner is dan de 18

omvang van het effect.” (Meerdere EA documenten, zoals bijvoorbeeld 5008 Oldenzaal)

De vraag is hoe dat kan, in de context van (i) ontbrekende gegevens, (ii) de bijbehorende maatregel-onzekerheden, en (iii) de niet in kaart gebrachte onzekerheden van stikstofdepositiemodellering en KDW onzekerheden. De hoop is waarschijnlijk dat de mate van onzekerheid kleiner is dan de omvang van het effect, maar dan moeten beide tot op zekere hoogte fundamenteel kenbaar kunnen zijn en binnen grenzen in beeld zijn gebracht.

Voorbeeld 8: “Uit de natuurdoelanalyse blijkt dat op vrijwel alle habitattypen en leefgebieden in het Natura 2000-gebied sprake is van overbelasting met stikstof. De Ecologische Autoriteit constateert dat de stikstofbelasting per habitattype in de NDA niet volledig is beschreven. Zo is niet duidelijk voor welk jaar de stikstofbelasting is beschreven en of er sprake is van lichte, matige of sterke overbelasting door stikstof. Bovendien ontbreekt voor sommige habitattypen een prognose van de situatie in 2030. Dit is van belang omdat voor het vaststellen van de omvang van aanvullende bronmaatregelen de achtergronddepositie in 2030 de referentie is.” (5111 Dwingelderveld, blz. 9)

De EA poneert hier zekerheden over stikstofdeposities per habitattype. De Aerius berekeningen die betrekking hebben op geprojecteerde stikstofemissies voor 2030 worden zonder enige twijfel geaccepteerd.

Voorbeeld 9: “Door B-Ware is in 2022 voorgesteld om de KDW van habitattypen van de lage tot hoge kwelder met een derde te verlagen. Dat geldt in ieder geval voor het habitattype Schorren en zilte graslanden (H1330). Stikstof is voor dit habitattype dus mogelijk een hogere drukfactor dan op basis van de gebruikte versie van AERIUS geconcludeerd wordt.” (5093 Greveling, blz. 12)

Aerius wordt ook hier contrafeitelijk ingezet: - als de KDW lager moet zijn dan is de stikstof drukfactor potentieel hoger. De EA lijkt niet geïnteresseerd te zijn in de vraag hoe nauwkeurig Aerius en de KDW’s feitelijk kunnen zijn.

Voorbeeld 10: “Onlangs zijn de KDW’s voor verschillende habitattypen en leefgebieden van 19

soorten op basis van nieuw wetenschappelijk onderzoek nader ingevuld. Dit is verwerkt in de nieuwe versie van AERIUS Monitor (5 oktober 2023), samen met onder andere de nieuwe cijfers over de totale stikstofdepositie op Natura 2000-gebieden. De nieuwe KDW’s en nieuwe cijfers over de totale depositie waren op het moment van opstellen van de NDA nog niet beschikbaar. Toch zijn deze relevant voor de actuele opgave voor dit gebied.” (5043 Geleenbeekdal, blz. 12)

Ondanks deze voorbeelden is er in de adviezen van de EA sporadisch sprake van de herkenning van onzekerheden. Hier is een voorbeeld:

Voorbeeld 11: “De grootste opgave tot het komen tot systeemherstel is het reduceren van stikstofdepositie (via lucht en via water) dat leidt tot vermesting en verzuring. Er zijn daarom bronmaatregelen nodig die de stikstofuitstoot flink verlagen. De Ecologische Autoriteit onderschrijft daarbij dat de kleine daling die wordt voorspeld in het AERIUS-model grote onzekerheden heeft. Ook de NDA geeft terecht aan dat de afgelopen jaren de feitelijke daling van stikstofdepositie stagneert. Er zijn daarom (aanvullende) maatregelen nodig om de stikstofbelasting sterk te reduceren. Ook als stikstofreductie is bereikt, zal er nog vele jaren sprake van na-ijleffecten zijn. Geef aan in welke mate de stikstofbelasting moet worden teruggedrongen.” (5025 Bemeler- en Schiepersberg, blz. 8)

Het is onduidelijk over welke onzekerheden het hier gaat, en de argumentatie is moeilijk navolgbaar. Er wordt wel over onzekerheden gesproken maar er lijkt geen consequentie aan verbonden te worden. Tenslotte merk ik op dat er bij de adviezen van de EA sprake lijkt van een zekere tunnelvisie. Ook als Aerius géén overschrijding van de KDW vaststelt, worden de gevolgen in het veld tóch aan stikstofbelasting toegeschreven. Hier is een voorbeeld.

Voorbeeld 12: “De NDA stelt dat stikstofdepositie, ten opzichte van andere drukfactoren, voor het gebied maar een beperkt knelpunt is. Ook hexagonen die in Aerius geen overschrijding van de KDW laten zien blijken in het veld wel degelijk de negatieve effecten van stikstofoverbelasting, zoals verruiging, te ondervinden.” (5094 Krammer-Volkerak, blz. 12) 20

De modelmatige uitkomsten van Aerius per hexagoon geeft een ‘onderschrijding’ aan van de KDW die desalniettemin in twijfel wordt gebracht door de gesignaleerde “verruiging” die wordt gezien als een stikstofoverbelasting. Dat is verwarrend omdat in dit geval Aerius geen uitsluitsel geeft over stikstofbelasting; de gesignaleerde “verruiging” wordt één-op-één gekoppeld aan stikstofoverbelasting zonder duidelijke argumentatie. Verificatie en conclusie Ter illustratie en bevestiging van onze bevindingen hebben we een ChatGPT prompt ontworpen om het beeld dat we hebben te verifiëren. De “citaten” waarover gesproken wordt zijn de citaten die onze eerdere zoektocht hebben opgeleverd.

“Dit is een overzicht van citaten uit ecologische autoriteit adviezen die inzicht geven in hoe omgegaan wordt met statistische onzekerheid en het AERIUS model. Doe een grondig onderzoek en generaliseer de top 10 unieke meest voorkomende thema's over onzekerheid en kwantificeer aantal citaten in thematieken, en ook in hoeveel unieke EA adviezen + het percentage van de adviezen het voorkomt. Vul de sheet aan met deze gegevens en output het bestand in een downloadable csv bestand. Geef ook een oordeel over omgang met statistische onzekerheid van de EA. Geef ook aanvullende informatie of opvallendheden terug. In elke bewering moet je ook aantallen kwantificeren. Ga door totdat je de hele csv gevuld hebt en een betrouwbaar resultaat hebt.”

Uit het antwoord bleek dat het belangrijkste thema “KDW and Aerius” was. Maar één van de gerapporteerde 10 thema’s betrof “Lack of reflection on statistical uncertainty in model outputs”, en daar trof ik deze passage aan:

“Strikingly, almost none of the NDAs or EA discussions explicitly address the statistical uncertainty of the AERIUS model results (e.g. no confidence intervals, no error margins). This absence is so consistent that it becomes a theme in itself – essentially a systematic omission. In only a couple of advisories did the EA point out that there was no reflection on the reliability or uncertainty margins of the calculated deposition. In those cases the EA clearly states that the NDA failed to discuss 21

statistical uncertainties (implicitly suggesting this is something that should be included). The low frequency of this theme shows that statistical uncertainty is rarely made explicit in these documents.”

Deze samenvatting is consistent met onze eigen bevindingen. Ik concludeer dat de EA adviseert vanuit het perspectief van vrijwel totale maakbaarheid, specifiek langs de lijn van stikstofdepositie: niet alleen zijn de KDW’s duidelijke en unieke getallen, maar ook maakt Aerius/OPS precies duidelijk aan welke metaforische knoppen gedraaid moet of kan worden om een bepaald doel te bereiken. De vraag die voorligt is of dit wereldbeeld gerechtvaardigd is. Ik merk op dat deze kennelijke maakbaarheid blijkt uit wat de EA zélf opschrijft. In mijn gesprek met de EA bleek echter dat de EA de KDW’s veel minder letterlijk zou willen nemen dan uit hun schrijven blijkt, en dat ze de KDW’s eerder als ordegroottes zou willen zien. Dat moge zo zijn, maar dat blijkt zoals gezegd niet uit hun publikaties. Ik schreef al eerder dat ik als hermeneutisch principe taal serieus neem: er staat wat er staat en ik lees niet tussen de regels door. De komende twee hoofdstukken gaan nu dieper in op respectievelijk de KDW’s en Aerius/OPS. Ik zal laten zien dat het deterministische en maakbare wereldbeeld zoals dat uit de adviezen van de EA opdoemt niet onderbouwd kan worden.

22

3 - KDW’s, statistiek en significantie KDW’s zijn ranges, geen unieke waardes Het is duidelijk dat de KDW’s een cruciale rol spelen in de hele problematiek. Deze waardes bepalen immers of een bepaalde activiteit met een gegeven berekende depositie wel of niet kan plaatsvinden. In Nederland gebruiken we voor de KDW’s unieke waardes, dat wil zeggen dat berekende deposities onder of boven die waarde liggen. Echter, elke wetenschapper begrijpt dat een dergelijk scherp omslagpunt niet kan bestaan, en dat KDW’s in feite ‘ranges’ zijn – ik schreef dat al eerder. Toch produceren wetenschappers wel degelijk unieke waardes. In Van Dobben et al. lezen we bijvoorbeeld:29 “Critical loads for nitrogen are increasingly used as standards in legislation. Standards have to be unique values, whereas critical loads are usually ranges. We produce unique values by combining simulates and empirical values.” In Bobbink et al. lezen we:30 “The procedure yielded N critical loads for most Annex I habitat types in the Netherlands. In most cases, empirical ranges and/or reliable model estimates were available, and critical loads could be set based on published information. In about 70 per cent of all the habitats, the models yielded critical load values within the given empirical range.

In those cases where simulated critical loads were outside the empirical range, the critical load was set to the nearest extreme of the CLemp N values. The difference between the middle of the CLemp N range and the modelled values per habitat type was on average less than 1 kg/ha/year 60 out of the 75 habitat types found in The Netherlands were sensitive to N deposition (CLN < 34 kg N/ha/year). These critical loads for N deposition are the given standard in The Netherlands, and are also accepted by the government and by the judges of the highest administrative court. And because these critical loads have unique values

29

H.F. van Dobben et al., Revision of nitrogen critical loads for Nature 2000 Habitat types in The Netherlands, Science of Total Environment 974,(2025) 179203 (mijn cursivering). 30 Roland Bobbink et al., Review and revision of empirical critical loads of nitrogen for Europe, blz. 326 -327, 2022; Publikationen | Umweltbundesamt, (mijn cursivering).

23

instead of ranges, it is clear whether or not the critical load of a specific habitat is exceeded. The habitat-specific critical loads are used together with detailed maps of habitat occurrences and detailed deposition maps to reveal exceedances across Natura 2000 nature reserves.” De citaten zijn veelzeggend. Alle auteurs zijn zich wel degelijk bewust van onzekerheid in de KDW’s of beter gezegd: van het feit dat ‘de’ KDW niet kan bestaan. Echter, uit de (door mij) gecursiveerde gedeeltes blijkt dat deze wetenschap bij de toepassing ervan de facto onmiddellijk overboord gezet wordt, en dat de KDW’s in de praktijk unieke waardes krijgen, zonder ranges en zonder onzekerheidsmarges. Bovendien wordt kennelijk geaccepteerd dat rechters en overheid in Nederland deze unieke waardes gebruiken, en probeert men het bevoegd gezag van dienst te zijn door dergelijke unieke waardes te produceren. De geschiedenis van dit dossier verraadt dat de gekozen wetenschappelijke aanpak in ieder geval mede het gevolg is geweest van de gekozen beleidsrichting. Al in de Hinderwet uit 1981 komen afstandstabellen voor in het kader van depositiewaardes. Om beleid te maken vanuit de filosofie van deposities is een bepaalde kwantificering nodig waar de wetenschap voor moest zorgen.

De vraag is dan: kan de wetenschap dat? Een van de definities van de kritische depositiewaarde luidt als volgt: “de hoeveelheid depositie die een ecosysteem over langere tijd kan verdragen zonder dat significante schade optreedt aan de structuur of het functioneren van dat systeem.”31 Hoewel er zoals gezegd zeker bewustzijn is dat de KDW geen uniek getal kan zijn (voor een gegeven ecosysteem en voor een gegeven soort depositie), is er nog een ander, fundamenteler, probleem met deze en gelijksoortige definities. Wat hier bedoeld wordt met “significante” schade is namelijk niet erg duidelijk, want er zijn twee heel verschillende manieren om dat woord “significant” te verstaan. Ik zal dit nu uitgebreid bespreken omdat het (verkeerd) gebruik van het woord “significant” exemplarisch is voor de technocratische manier waarop Nederland met de stikstofproblematiek omgaat. Het volgende stuk is niet bedoeld om het belang van goed natuurbeleid te ontkennen of te frustreren. Integendeel: het technisch gebruik van het begrip “significant” kan juist schadelijke effecten hebben, ook of juist op natuurbehoud, die we allemaal liever zouden vermijden. 31

Kritische depositiewaarde - Wikipedia

24

Significantie “Significant” kan als gewoon Nederlands woord staan voor zoiets als “veelbetekenend”32, “belangrijk”, “groot”, “rijk aan implicaties”, “samenhangend”, “betekenisvol”, en vergelijkbare woorden. Wanneer iemand in gewone spreek- of schrijftaal zegt: “Dit is significant”, dan kondigt hij of zij aan dat er iets heeft plaatsgevonden dat de moeite van onze aandacht waard is. Ik noem deze invulling van het begrip “belangrijk-significantie”. Zo was de aanval op de Twin Towers zeker belangrijk-significant, want deze had een zeer grote impact op de geopolitieke dynamiek van de decennia erna. Maar er is een tweede invulling van het woord “significant”, namelijk zoals gebruikt in de wetenschap en in het bijzonder in de statistiek. In de Dikke van Dale wordt deze tweede betekenis ook expliciet genoemd, en omschreven als “verantwoorde conclusies toelatend”. Binnen de statistiek bestaat er een methode waarmee, zoals algemeen gedacht, bepaald zou kunnen worden welke wetenschappelijk verantwoorde conclusies uit data getrokken kunnen worden: als de data verantwoorde conclusies toelaten, dan heten deze conclusies “significant”. Ik noem dit, naar analogie van belangrijk-significant, dan ook “statistisch-significant”. Deze twee verschillende contexten van het woord “significant” lijken wellicht op het eerste gezicht in elkaars verlengde te liggen.

Immers, als iets kennelijk statistisch-significant wordt bevonden, en dus verantwoorde conclusies impliceert, waarom zou dat iets dan ook niet automatisch belangrijk-significant zijn? Andersom, als iets belangrijk-significant is, waarom zou de statistiek dat eveneens niet laten zien? Ik zal hieronder proberen uit te leggen dat statistisch-significant, zoals deze doorgaans wordt gebruikt, op geen enkele manier iets te maken heeft met “verantwoorde conclusies toelaten” zoals Van Dale definieert, en al helemaal niet met belangrijk-significant. Dit wetende zijn de problemen duidelijk: een statisticus concludeert dat een bepaald effect significant is. Hij bedoelt dat als statistisch-significant, maar de leek die het leest kan niet anders dan denken dat dit over belangrijk-significant gaat en het misverstand is geboren. De meeste mensen zullen het woord woord “significant” lezen als belangrijk-significant, want dat is hoe het woord gebruikt wordt in normaal taalgebruik. Echter, zoals we zullen zien

32

Dit is de beschrijving in de Dikke van Dale.

25

bedoelt men vaak wel degelijk statistisch-significant. Ik zal nu eerst uitleggen wat statistischsignificant is, en in iets meer detail de verwarring bespreken. Stel je bent als onderzoeker geïnteresseerd in de vraag of een bepaalde stikstofdepositie veroorzaakt wordt door een bepaalde bron, zeg een stal met vee. Hoe gaat een statisticus dan te werk? Meestal gaat dat als volgt. De onderzoeker begint met de zogenaamde “nulhypothese”: de bedoelde mogelijke oorzaak is niét de oorzaak van de depositie. Als nu deze aanname zeer moeilijk verenigbaar lijkt met de waargenomen data, dan trekt men veelal de conclusie dat de oorspronkelijke aanname – de nulhypothese – onjuist is én dat de bedoelde oorzaak dus juist wél de bron is. Deze procedure gaat formeel ongeveer als volgt. De mate waarin de data opmerkelijk is als de nulhypothese waar zou zijn, wordt numeriek uitgedrukt met een zogenaamde ‘pwaarde’. Een kleine p-waarde betekent dat de uitkomst opmerkelijk is als de nulhypothese waar zou zijn. Anders gezegd: Een kleine p-waarde betekent dat de feitelijke uitkomst van ons experiment ‘onverwacht’ is als de nulhypothese waar is. Omdat de uitkomst toch is opgetreden, ‘geloven’ we daarom niet meer in die nulhypothese.33 Echter, deze logica van de p-waarde faalt.

Dat is niet moeilijk te bevatten, omdat een kleine p-waarde, of een p-waarde van welke grootte dan ook, niet logisch impliceert dat de nulhypothese onwaar is of zelfs onwaarschijnlijk. Immers, de p-waarde zegt iets onder de aanname dat de nulhypothese waar is. Deze kritiek is uiteraard algemeen bekend in de statistiek,34 maar om de een of andere reden blijft de legende van het belang van statistisch-significantie voortleven. De nadelige gevolgen van het hanteren van de p-waarde en statistisch-significantie zijn nauwelijks te overschatten. In een belangrijke publicatie rekende epidemioloog John Ioannidis voor dat het niet anders kan dan dat de meeste wetenschappelijke hypotheses die statistisch-significant zijn bevonden, helemaal niet waar zijn.35 Het statistiekwoord heeft geen enkele relatie met het Nederlandse succeswoord, hooguit bij toeval kunnen beide samenvallen. Omdat er geen verband is tussen statistische theorie en de Nederlandse taal, ontstaat, zoals nu duidelijk moet zijn, de drogreden van

33

De technische details doen er hier niet toe, en laten we achterwege. Zie bijvoorbeel Richard Royal, Statistical Evidence, CRC Press 1996; Ronald Meester en Klaas Slooten, Kan dat geen toeval zijn? – een kritische blik op statistisch bewijs, AUP 2021; William M. Briggs, Uncertainty: the soul of probability, modeling & statistics, Springer 2016. 35 J. P. A. Ioannidis, Why most published research findings are false, Plos Medicine 2005. 34

26

dubbelzinnigheid. Dit gebeurt wanneer het statistiek-woord wordt verward met het succeswoord, wanneer “statistisch-significant” wordt verward met “belangrijk-significant”. De situatie wordt verergerd door wat we de toevals- of correlatiedrogreden zouden kunnen noemen. Alle wetenschappers weten, en het is inderdaad een elementair principe van de logica, dat correlatie niet logischerwijs oorzaak en gevolg impliceert. Toch is de verleiding nauwelijks te weerstaan om wanneer een kleine p-waarde is gevonden, de correlatie waarop de kleine p-waarde is berekend, een oorzaak te noemen. De correlatiedrogreden wordt verergerd wanneer deze wordt gekoppeld aan de drogreden van dubbelzinnigheid. Want niet alleen wordt een correlatie ten onrechte beschouwd als een oorzaak, het wordt beschouwd als een belangrijk-significante oorzaak. Er zijn echter nog meer redenen om niet naar statistiek-significantie te kijken. Naast vragen over de waarheid en onzekerheid in elke stelling of voorgestelde oplossing, moeten er namelijk ook altijd kosten en verwachte baten van eventueel handelen worden overwogen. Daarbij moeten we minimaal met de volgende dingen rekening houden: 1. Wat is de schade en hoeveel onzekerheid hebben we daar eigenlijk over? Deze onzekerheid is nodig om te kunnen beoordelen of acties eigenlijk wel gewenst en doelgeschikt zijn. 2.

Wat is de mogelijke schade of gevolg van de oplossing? De oplossing kan variëren van “niets doen” tot een hele reeks aan activiteiten. De exacte voorgestelde oplossing of oplossingen moeten duidelijk worden gespecificeerd. Vage oplossingen zijn wetenschappelijk nutteloos, hoe politiek vruchtbaar ze ook mogen zijn (in de politiek loont het vaak om vaag en onduidelijk te zijn). Bijvoorbeeld, laten we veronderstellen dat een oplossing is om een grote boerderij, in de buurt van een locatie waar vermoed wordt dat groei van ‘onkruid’ is toegenomen vanwege hoge stikstofemissies, te sluiten. Deze oplossing kan al dan niet zeker zijn in haar beweerde effecten. De onzekerheid van dit beoogde effect moet worden vermeld. In de meeste gevallen is het zelden zo dat de oplossing zekere effecten sorteert. 3. Wat zijn de kosten? Het sluiten van een boerderij zal grote kosten met zich meebrengen. Deze moeten nauwkeurig worden gespecificeerd, niet alleen in de directe kosten, zoals het verlies van levensonderhoud voor velen en het 27

daaropvolgende verdwijnen van voedselproducten die de boerderij produceerde, maar ook in de indirecte kosten, zoals de kansen op verhoogde kosten van voedsel, de kosten van het geven van meer macht aan de staat, en dergelijke. Al deze kosten zullen onzekerheden met zich meebrengen en die moeten allemaal worden vermeld. 4. Wat zijn de voordelen? Het voordeel kan bijvoorbeeld zijn dat de kans op ongewenste groei van ‘onkruid’ wordt verminderd. Er zal echter, net als bij de kosten, slechts een kans zijn dat de voordelen worden gerealiseerd. De onzekerheden moeten daarbij ook worden vermeld.

Dit alles betekent dat we sowieso met een complexe wetenschappelijke situatie te maken hebben, die niet zinvol samengevat kan worden in een p-waarde of in welk ander getal dan ook. Alle genoemde vragen dienen bij een beoordeling meegenomen te worden. KDW’s en significantie Als het inderdaad zo is dat een p-waarde (de waarde die bepaalt of een bevinding statistischsignificant is) niet veel zegt over de vraag hoe belangrijk het effect is, dan ligt het voor de hand om in combinatie met KDW’s de belangrijk-significantie interpretatie te kiezen. Helaas is het echter zo dat dit in feite onmogelijk is, omdat de KDW werd geboren in een puur statistische omgeving. Hier is de oorspronkelijke definitie:36

“A quantitative estimate of an exposure to one or more pollutants below which significant harmful effects on specified sensitive elements of the environment do not occur according to present knowledge".

Dit is vanwege de gevraagde kwantitatieve natuur niet als belangrijk-significant te begrijpen. Je kunt zelfs stellen dat wanneer een wetenschapper het woord “significant” gebruikt, het eigenlijk altijd statistisch-significant moet zijn, want dat is de enige manier om als wetenschapper het woord te gebruiken. Immers, wetenschap kan ons niet vertellen wat belangrijk-significant is en wat niet, want daar gaat de wetenschap niet over. Dit wordt

36

Nilsson, S.I. en P. Grenfeldt (eds.), 1988. Critical Loads for Sulphur and Nitrogen. NORD 1988: 97. Kopenhagen: Nordic counsel of ministers.

28

bevestigd door bijvoorbeeld het volgende citaat uit een rapport van Wageningen University:37

“Anders dan in de studie naar de door struikhei gedomineerde heiden, waren er in deze studie wél voldoende waarnemingen in de laagste depositieklasse om statistisch significante uitspraken te doen bij lage depositieniveaus. [...] De totale soortenrijkdom nam significant af met toenemende stikstofdepositie. De sterkste afname lijkt op te treden tussen de klassen 15-20 kg N/ha/j. en 20-25 kg N/ha/j. Deze conclusie hangt wel af van de precieze lijn die wordt getrokken door de punten: een lineaire regressielijn is significant, maar een exponentiële afname is significanter.”

Het is evident dat significantie hier als statistisch concept gebruikt wordt. De Europese Commissie stelt echter, en mijns inziens terecht, dat significantie primair moet worden verstaan als “belangrijk-significantie”. Dit blijkt zonneklaar uit twee e-mails die Daniela Stocheva, Press Offices for Environment, Maritime Affairs and Fisheries stuurde toen haar werd gevraagd naar de manier waarop we volgens haar het begrip significantie moeten duiden:

“In the terms you are using below, I would tend to think the interpretation would be as ‘important significant’.”38

“The guidance documents on the interpretation of Article 6 and methodological guidance on Article 6(3) (4) provide some clarification how “significance” should be understood. The analysis of significance of effect has to be done on a case-by-case basis and in view of the conservation objectives set for the site. What may be significant for one site may not be significant for another. Significance of the effects will vary depending on factors such as the magnitude of impact, the type, extent, duration, intensity, timing, probability, cumulative effects and the vulnerability of the habitats and species concerned. For example, a loss of a hundred square meters of

37

G.W.W. Wamelink et al., Relaties tussen de hoeveelheid stikstofdepositie en de kwaliteit van habitattypen, Rapport 3089, 2021, blz. 21 respectievelijk blz. 25. 38 Persoonlijke communicatie, 5 oktober 2023.

29

habitat may be significant for a small rare orchid site, while a similar loss in a large steppe site may be insignificant if it does not affect the site’s conservation objectives.”39

Dit antwoord laat aan duidelijkheid niet veel te wensen over. We zoeken niet naar statitisch-significante effecten, maar naar effecten die wij mensen belangrijk of veelbetekenend achten. Dat zijn geen zaken waar een wetenschappelijk antwoord op te geven valt. Immers, het zijn mensen die iets ‘belangrijk’ vinden; daar gaat wetenschap helemaal niet over en de statistiek al helemaal niet. Terugkerend naar de KDW’s moet nu duidelijk zijn dat statistisch-significantie in zichzelf niet gebruikt kan worden bij het beantwoorden van de vraag wat nu precies kritiek is en wat niet.40 Het begrip ‘kritiek’ kan niet aan de hand van een statistisch concept worden gedefinieerd, maar moet gebaseerd zijn op het ‘veld’: biologie, chemie, ecologie, ethiek en ongetwijfeld nog andere zaken. Zodra een goed idee van ‘kritiek’ algemeen wordt geaccepteerd, is het daarna natuurlijk wel mogelijk om met behulp van statistiek iets te zeggen over geobserveerde of verwachte waarnemingen. Met andere woorden: statistiek in zichzelf kan niet bepalen wat wij belangrijk vinden en wat niet; die keuzes zijn niet aan de wetenschap maar aan de maatschappij. Statistiek mag ook niet voor dat doel misbruikt worden. Hoe worden KDW’s bepaald? Het is natuurlijk zo dat ‘te veel’ stikstof schadelijk kan zijn, om de simpele reden dat dit voor alles geldt. Te veel stikstof kan een negatief effect hebben op de biodiversiteit.