Wanneer leveren onderzoeksresultaten voldoende bewijs voor een hypothese? Wetenschappers in de psychologie blijken dit meestal niet goed te kunnen beoordelen en verlangen vaak meer bewijs dan nodig is. Het gevolg is dat onderzoek soms onterecht in de bureaulade belandt en dat therapieën of interventies met potentie nooit de behandelkamer bereiken. Ook kan de strenge beoordeling ervoor zorgen dat onderzoekers resultaten - bewust of onbewust - in de richting van een gewenst effect sturen. Dit heeft een averechtse uitwerking op de betrouwbaarheid van onderzoek. Dat meldt Tilburg University.
Een onderzoeksartikel in de psychologie bestaat vaak uit meerdere studies op basis waarvan wordt geconcludeerd of er al dan niet kan worden gesproken van een effect, bijvoorbeeld een effectief medicijn of psychologische behandeling. In het onderzoek van Van den Akker komt naar voren dat onderzoeksresultaten al sterk wijzen op een effect als slechts twee van vier gedane studies een statistisch significant resultaat laten zien. Echter, na het ondervragen van meer dan 1.800 psychologieonderzoekers uit de hele wereld bleek slechts 2 procent dit te beseffen. De meeste van deze onderzoekers verlangen dat iedere afzonderlijke studie binnen een artikel een resultaat in dezelfde richting laat zien, voordat men overtuigd is dat een bepaald effect bestaat. Dit wordt weerspiegeld door gepubliceerde artikelen in de psychologie, die vrijwel allemaal uitsluitend bestaan uit studies met statistisch significante resultaten.
P-waarde
Deze situatie leidt tot meerdere problemen, stelt Van den Akker. In de wetenschap wordt het bewijs voor een bepaalde hypothese vaak weergegeven met een p-waarde. Als een p-waarde lager is dan 0.05 wordt dat doorgaans als voldoende bewijs gezien voor een bepaalde relatie tussen variabelen. Het probleem is dat er een fenomeen optreedt dat ‘p-hacking’ heet, waarbij onderzoekers na het bekijken van de data sturen op een ‘p-waarde’ die onder die 0.05 ligt. Het bewijs wordt dan kunstmatig gemanipuleerd in plaats van dat onderzoekers de data voor zich laten spreken. Mede door p-hacking is er momenteel sprake van een replicatiecrisis in psychologisch onderzoek, waarbij het in veel gevallen niet lukt om hetzelfde effect te vinden als je een onderzoek herhaalt. Bovendien kan de strenge houding richting wetenschappelijk bewijs ervoor zorgen dat valide oplossingen voor allerlei psychologische problemen onterecht op de plank blijven liggen.
Door: Nationale Zorggids
