Spinnen met RCT’s

U bent wetenschapper en zet een Randomised Controlled Trail (RCT) op. Alles netjes en zo, met een hypothese en een ‘primary outcome’. Aan het eind van het onderzoek blijkt dat u geen statistisch significante resultaten hebt gevonden.

“We hebben dit of dat onderzocht met deze patiëntengroepen. We dachten iets te vinden maar dat is niet zo. Dank voor uw aandacht en tot ziens.”

Dat is niet sexy. Dus u draait er een punt aan.

Onderzoek gepubliceerd in het Journal of the American Medical Association (JAMA) concludeerde dat men de resultaten van onderzoeken met een niet significante uitslag nog wel eens een beetje ‘opleukt’.

Reporting and Interpretation of Randomized Controlled Trials With Statistically Nonsignificant Results for Primary Outcomes, Isabelle Boutron, MD et al. [abstract]

De hoofdconclusie kunt u lezen in het abstract:

In this representative sample of RCTs published in 2006 with statistically nonsignificant primary outcomes, the reporting and interpretation of findings was frequently inconsistent with the results.

Ook de belangrijkste cijfers staan in het abstract. Omdat een plaatje toch meer zegt dan lettertjes:

klik voor groter

Maar wat is ‘spin’? De auteurs definiëerden het zo:

In the context of a trial with statistically nonsignificant primary outcomes, spin was defined as use of specific reporting strategies, from whatever motive, to highlight that the experimental treatment is beneficial, despite a statistically nonsignificant difference for the primary outcome, or to distract the reader from statistically nonsignificant results.

Hoe houden we u voor de gek? Een paar trucjes:

Focus op uitkomsten die wél een significant resultaat opleveren.

Secundaire onderzoeksuitkomsten. Vergelijkingen maken binnen één groep (in een RCT vergelijk je groepen met elkaar) of subgroepanalyses.

Non-significante uitkomsten presenteren als resultaat:

Kijk! Dit middel of deze behandeling werkt even goed als het andere middel of behandeling waar we het mee vergeleken. (in een RCT onderzoek je bijna altijd of het één significant beter werkt dan het andere, de uitkomst moet zijn: dat hebben we bewezen of niet bewezen)

Gewoon toch claimen of benadrukken dat het middel of de behandeling een positief effect heeft ondanks een statistisch niet significant resultaat.

Kijk! Het middel/behandeling of de middelen/behandelingen werken! De onderzoeksgroepen begonnen aan de studie in conditie X en dat is verbeterd >> conditie Y (dit is een onjuiste voorstelling van zaken omdat het een ‘wedstrijdje’ was tussen de twee).

In een andere tabel in het onderzoek kunnen we het nog wat gedetailleerder bekijken. Hierin betrekken de onderzoekers ook de mate waarin gespind is (level of spin). De uitleg van de levels staat onderin de tabel.

klik voor groter

In een derde van de onderzochte conclusies in de abstracts en in een kwart van de onderzochte conclusies in de hoofdtext werd het hoogste level van spinnen geconstateerd. (definitie: no uncertainty in the framing, no recommendations for further trials, and no acknowledgment of the statistically nonsignificant results for the primary outcomes or recommendations to use the treatment in clinical practice)

Opvallend is dat er in de conclusies van bijna 6 van de 10 van de geselecteerde RCT’s gespind werd.

Dat is van belang.

Die conclusie komt in het abstract (samenvatting) te staan. In veel gevallen leest men eerst het abstract van het artikel en besluit dan de rest van het artikel te lezen.
Daar komt nog bij dat veel mensen geen toegang hebben tot de full text artikelen en hierop hun mening moeten baseren. In sommige gebieden van de wereld moeten artsen bij gebrek aan toegang tot fulltext-artikelen hun beslissingen soms nemen op basis van alleen het abstract.

Kunnen we aan de hand van het bovenstaande concluderen dat er gespind wordt in alle RCT’s? Nee. De focus bij dit onderzoek lag bij RCT’s met een niet significante uitkomst. Zoals eerder genoemd is een niet significante uitkomst niet sexy. Onderzoekers en eventuele sponsoren zitten daar eigenlijk niet op te wachten. Er is in het onderzoek veel tijd en geld gaan zitten en niet significante resultaten kunnen zorgen voor aanzienlijke vertragingen als het bijvoorbeeld gaat om een middel in te voeren in de klinische praktijk. Daarbij wordt het lastiger de studie gepubliceerd te krijgen in een goed aangeschreven vakblad.

De onderzoekers kunnen ook niet nagaan of de ‘spin’ opzettelijk in het onderzoek is geïntegreerd. Ze stellen dan ook dat meer onderzoek nodig is op verschillende gebieden die nu nog onderbelicht zijn gebleven.

Besluit ik de bespreking met de laatste zin van de JAMA onderzoekers:

We hope that highlighting this issue may lead to more vigilance by peer reviewers and editors to reduce the use of these questionable strategies, which can distort the interpretation of research findings.

Ik help het ze hopen.