RIVM, National Institute of Public Health and the Environment

RAPPORT COMMISSIE VAN TOEZICHT RIVM, N.A.V. PERSPUBLICATIES OVER INTEGRITEIT RIVM

8 februari 1999

Inleiding

Recent is in de media van diverse kanten twijfel geuit aan de betrouwbaarheid van het milieuonderzoek van het RIVM. De Commissie van Toezicht (CvT, zie bijlage) van het RIVM is in maart 1997 door de Ministers van VWS en VROM ingesteld om toe te zien op het wetenschappelijk niveau van de werkzaamheden van het RIVM (artikel 8, Wet op het RIVM). Naar aanleiding van de berichtgeving in de media heeft de CvT een onderzoek ingesteld naar het waarheidsgehalte van deze beweringen.

Werkwijze CvT

De verantwoordelijkheid van de CvT bestrijkt het werkterrein van het gehele instituut: de vaccinontwikkeling, het
volksgezondheidsonderzoek, het terrein van stoffen en risico's, het analytisch-chemisch onderzoek en het milieu-onderzoek. Voor een overzicht van de activiteiten van de commissie wordt verwezen naar de jaarverslagen over 1997 en 1998.

Na haar instelling heeft de CvT zich allereerst georiënteerd op de werkwijze en de cultuur van het RIVM. Daartoe zijn bezoeken afgelegd op locatie bij alle instituutsonderdelen. Onderzoekers van het RIVM hebben presentaties gegeven over hun onderzoek, gehanteerde methoden en modellen en over procedures voor kwaliteitsborging. In de vergaderingen van de commissie werd verschillende malen met de Directie van het RIVM gesproken over de strategische ontwikkeling van de expertise (waaronder milieu-expertise) op het instituut, als voorwaarde voor het handhaven van een goed wetenschappelijk niveau. Dat gebeurde tevens tegen de achtergrond van lopende en aangekondigde bezuinigingen op het milieuonderzoek van het RIVM. Daarbij werd herhaaldelijk gewezen op het bestaan van een spanningsveld tussen meten en rekenen.

De bevindingen betreffende de werkwijze van het RIVM, de wetenschappelijke attitude en de open wetenschappelijke sfeer die de CvT de afgelopen twee jaar aantrof (zoals ook blijkt uit interne rapporten over onzekerheden), hebben haar tot nu toe geen twijfel gegeven over het wetenschappelijk niveau of de wetenschappelijke integriteit van het RIVM.

Hoewel de CvT breed is samengesteld, uit onafhankelijke deskundigen over het gehele werkterrein van het RIVM, is zij niet in staat diepgaande evaluaties uit te voeren. Daarom worden in aanvulling op de eigen waarnemingen onder auspiciën van de CvT visitaties gehouden van alle sectoren van het RIVM. Voor dergelijke visitaties worden gerenommeerde internationale deskundigen op het desbetreffende deelterrein uitgenodigd. In 1999 zal de sector Volksgezondheid aan zo'n visitatie worden onderworpen, de sector Milieu-onderzoek is gepland voor het jaar 2000. De CvT zal de resultaten evalueren en eventuele vervolgactiviteiten toetsen.

De CvT meent dat deze werkwijze een goed oordeel over het wetenschappelijk niveau mogelijk maakt. Niettemin hebben de voorliggende kwesties de commissie genoopt zich op korte termijn nader te verdiepen in de kritiek op de milieurapporten van het RIVM. Gelet op de huidige discussie in de media achtte de CvT het gewenst daarbij met name de toepassing van modellen en in het bijzonder de zorgvuldigheid en integriteit, nader te onderzoeken.

De CvT heeft zich nader verdiept in de werkwijze rond de thema's verkeer, broeikasgassen, verzuring en vermesting. Daarbij heeft zij met name gelet op de volgende aspecten:

* de wijze waarop modellen worden getoetst
* de actualiteit van de gebruikte gegevens
* de weergave van onzekerheden

* de integriteit en de gevoeligheid voor politieke druk

De commissie heeft de relevante rapportages bestudeerd, gesproken met de directie en een aantal gesprekken gehouden met onderzoekers van de bovengenoemde thema's.

Nader onderzoek naar het gebruik van modellen en gegevens

toetsing van modellen

In alle onderzochte gevallen is er naar het inzicht van de CvT sprake van een verantwoorde combinatie van verschillende vormen van toetsing, zoals gerapporteerd in RIVM-rapporten en wetenschappelijke publicaties. De gehanteerde modellen blijken aan kritiek te zijn blootgesteld, door ze in te brengen in nationale en internationale samenwerkingsverbanden. Over de modellen is in de (aan peer review onderworpen) wetenschappelijke literatuur gepubliceerd. De meeste modellen worden nog voortdurend onderworpen aan verdere verbeteringen.

Voor alle duidelijkheid: de CvT heeft zich geen oordeel gevormd over de juistheid van de gebruikte modellen. Daar zal expliciet naar worden gevraagd bij de visitatie van het milieu-onderzoek volgend jaar.

de gebruikte gegevens

Er blijken voldoende mechanismen te zijn om te waarborgen dat geen verouderde gegevens, of gegevens waarvan vermoedens bestaan dat ze onjuist zijn, worden gebruikt. De CvT heeft met name voorbeelden die in de pers zijn vermeld getoetst en vastgesteld dat deze ongefundeerd waren. Zo zijn recente inzichten over de uitstoot van stoffen door auto's wel degelijk verwerkt in de emissieramingen van het RIVM. Ook zijn de ramingen van de Nederlandse uitstoot van CO2 het resultaat van een zorgvuldige werkwijze, die goed gedocumenteerd is en het resultaat van een goede samenwerking met andere instituten en overheidsinstanties.

Het ontbreken van gegevens kan in sommige gevallen een beperkende factor zijn voor het ontwikkelen en valideren van modellen. De oorzaken daarvan kunnen velerlei zijn. Ze zijn slechts gedeeltelijk op te lossen met uitbreiding of aanpassing van meetprogramma's, bijvoorbeeld omdat sommige metingen technisch niet uitvoerbaar zijn of buitengewoon kostbaar.

weergave van onzekerheden

Er wordt een onderscheid gemaakt in verschillende soorten afwijkingen en onzekerheden bij de metingen en de uitkomsten van modellen. De betekenis daarvan varieert met de achterliggende vraagstelling. Zo zijn vertekeningen van niveauschattingen niet altijd storend bij het beoordelen van de ontwikkeling van dat niveau in de tijd. Indien de ammoniakemissie de beleidsdoelen met een factor 4 overschrijdt, is een onzekerheid van circa 30% in de waarde van de modeluitkomst niet van groot belang. Zodra in 1998 bleek dat emissiemetingen en modeluitkomsten een dergelijk verschil vertoonden, werd dit onmiddellijk aan de CvT gemeld en door het RIVM actie ondernomen om het gehanteerde model voor de berekening van de ammoniakuitstoot te verbeteren. In de Milieubalans is deze discrepantie expliciet gepresenteerd.

In rapporten en publicaties van het RIVM met gedetailleerde wetenschappelijke beschrijvingen van uitgevoerde metingen en berekeningen wordt meer aandacht besteed aan onzekerheden, dan in de samenvatting van al deze rapporten in de Milieubalans. De commissie heeft in de door haar gevoerde gesprekken absoluut niet de indruk gekregen dat dit proces van vereenvoudiging tot selectiviteit in de berichtgeving leidt.

integriteit

In perspublicaties is het RIVM verweten gegevens en conclusies zo te sturen, dat deze een beleidsmatig gewenste uitkomst zouden vertonen. Allereerst moet worden gesteld dat de commissie niet heeft onderzocht wat beleidsmatig gewenst is. Zowel op basis van gesprekken met medewerkers als op grond van de inhoud van de geproduceerde rapporten heeft de CvT echter geen aanwijzing gevonden dat de inhoud van RIVM-rapporten is beïnvloed door beleidsmatige of maatschappelijke druk. Specifiek is aandacht besteed aan de RIVM-rapportage inzake Schiphol. Daarbij bleek dat, waar het RIVM geacht werd te rapporteren op basis van wettelijke voorschriften, het instituut ongevraagd en in alle duidelijkheid heeft vermeld wat de tekortkomingen van de rekenregels uit deze voorschriften zijn. Tevens is vermeld wat de consequenties zouden zijn als deze voorschriften worden vervangen door regels die meer representatief zijn voor de werkelijke blootstellingssituatie.

Overwegingen

De commissie constateert dat het vertrouwen in de samenleving van berichtgeving door instanties als 'de overheid', 'het rijk' of 'de wetenschap' afgenomen is. De roep om onafhankelijkheid, transparantie en verantwoording is inmiddels een eis geworden.

Systematische evaluatie van de gebruikte gegevens en het documenteren van alle gehanteerde procedures en werkwijzen is daarom noodzakelijk. Het RIVM maakt al op geruime schaal gebruik van zo'n systeem van kwaliteitszorg, met externe certificering, en zal dit dienen uit te strekken naar het gehele werkterrein, met prioriteit voor het beleidsrelevante milieu-onderzoek.

Voorts is de CvT van oordeel dat het voor een optimale communicatie tussen onderzoek en beleid van belang is dat het instituut de conclusies op een zorgvuldige en zo duidelijk mogelijke wijze naar buiten brengt.

Conclusies

Op grond van haar bevindingen gedurende de afgelopen twee jaar en op basis van gesprekken met medewerkers en directie van het RIVM heeft de Commissie van Toezicht het volgende geconcludeerd:
* Het gebruik van modellen en gegevens geschiedt op het RIVM met de nodige zorgvuldigheid. Er is voldoende openheid over toegepaste modellen en de gebruikte gegevens.

* De presentatie van onzekerheden in model- en meetuitkomsten is toereikend. Wel wordt geconstateerd dat in het kader van de Milieubalans minder ruimte is voor uiteenzettingen over onzekerheden dan in de onderbouwende rapporten. Gelet op de doelstelling van de Milieubalans acht de commissie dat begrijpelijk. Desondanks geeft de CvT de directie van het RIVM in overweging om ook in deze publicaties meer aandacht te besteden aan onzekerheden in de uitkomst van metingen en berekeningen.
* Er zijn geen aanwijzingen gevonden dat het RIVM conclusies uit onderzoek laat beïnvloeden door beleidsmatige druk.

Al met al komt de Commissie van Toezicht tot de slotsom dat de beweringen in de media dat het RIVM niet onafhankelijk zou opereren en onzorgvuldig zou omgaan met modellen en gegevens ongefundeerd zijn.

Aanbevelingen

De Commissie van Toezicht adviseert de directie van het RIVM
* een systematische evaluatie van meetprogramma's voor modelberekeningen uit te voeren,

* de presentatie van onzekerheden in de milieubalans te evalueren,
* beide bovengenoemde evaluaties ter toetsing voor te leggen tijdens de geplande visitatie van de sector milieu-onderzoek,
* het systeem van externe certificering verder uit te breiden.
* meer aandacht te besteden aan de communicatie van de resultaten van onderzoek van het instituut naar buiten.

Deel: ' Rapport CvT RIVM n.a.v. perspublicaties over integriteit '




Lees ook