‘Wetenschappelijk onderbouwd, wat betekent dat?’

In de exacte wetenschap is een belangrijk uitgangspunt de nulhypothese: er is géén effect of verschil, totdat uit onderzoek blijkt dat deze hypothese kan worden verworpen. Dat is echt iets anders dan actief op zoek gaan naar bewijs voor een bepaalde stelling of een bepaald verband.

Goed wetenschappelijk onderzoek vereist bovendien dat materialen en methoden nauwkeurig worden beschreven, zelfs inclusief merknamen, zodat anderen het onderzoek kunnen herhalen (reproduceerbaarheid). Ook moeten zoveel mogelijk andere factoren worden uitgesloten. Het aantal herhalingen en de juiste statistische analyse zijn daarbij essentieel.

‘Significant’ zorgt daarbij nogal eens voor verwarring. In de gewone taal betekent het belangrijk of aanzienlijk. In de statistiek betekent het dat uit een statistische toets blijkt dat de gevonden afwijking voor 95 procent zeker niet aan toeval kan worden toegeschreven. Dat betekent overigens niet automatisch dat het effect ook groot of maatschappelijk belangrijk is.

Als we kijken naar onderzoek naar gewasbeschermingsmiddelen in natuurgebieden en bij omwonenden, vallen er wat mij betreft zaken op. Veel onderzoeken zijn moeilijk te beoordelen of te herhalen, omdat bijna nooit duidelijk wordt beschreven welke materialen zijn gebruikt, hoe er gemonsterd is, hoeveel monsters er zijn genomen, hoe de resultaten zijn berekend en welke statistische analyse is toegepast.

Neem een eenvoudige monstername. Stel: er wordt op een akker en in een aangrenzend natuurgebied gemonsterd. Waar is begonnen? Op de akker of juist in het natuurgebied? En als vervolgens steeds verder van de akker wordt gemonsterd: zijn er handschoenen of werktuigen gebruikt die tussen de monsters zijn gewisseld? Dat is geen detail. Als een onderzoeker eerst bij de akker monstert en daarna verder het natuurgebied in loopt, kunnen stoffen via de handen of materialen worden overgebracht. Een afname van gevonden gewasbeschermingsmiddelen met de afstand tot de akker kan dan moeilijker te interpreteren zijn.Zijn ongebruikte handschoenen, zakjes en andere materialen ook getest op achtergrondverontreiniging? Een keer werd een ongebruikt PUF-filter voor luchtmetingen getest en dat bleek al meerdere chemische stoffen te bevatten. Wat betekent dat voor de interpretatie van de daadwerkelijke metingen? Ook valt op dat in rapporten soms foto's staan van monstername met blote handen. Dat roept vragen op over mogelijke contaminatie en daarmee over de betrouwbaarheid van de resultaten.

Daar komt nog bij dat praktisch altijd een statistische toets ontbreekt waarmee wordt vastgesteld of wat gevonden is, betrouwbaar (statistisch significant) afwijkt van nul.

Met bovenstaande probeer ik niet weg te wuiven dat gewasbeschermingsmiddelen in natuur en bij omwonenden terecht kunnen komen. Dat is ongewenst, punt. Maar laten we ingrijpend beleid, zoals het verbieden van het gebruik van gewasbeschermingsmiddelen en het aanleggen van zonering, wel baseren op onderzoek dat correct is opgezet en uitgevoerd.Herhaalbaar. Controleerbaar. Statistisch getoetst. Met zo veel mogelijk uitsluiting van andere invloeden. Om zodoende werkelijk wetenschappelijk onderbouwd beleid te gaan voeren.