Spinnen met RCT’s

U bent wetenschapper en zet een Randomised Controlled Trail (RCT) op. Alles netjes en zo, met een hypothese en een ‘primary outcome’. Aan het eind van het onderzoek blijkt dat u geen statistisch significante resultaten hebt gevonden.

“We hebben dit of dat onderzocht met deze patiëntengroepen. We dachten iets te vinden maar dat is niet zo. Dank voor uw aandacht en tot ziens.”

Dat is niet sexy. Dus u draait er een punt aan.

Onderzoek gepubliceerd in het Journal of the American Medical Association (JAMA) concludeerde dat men de resultaten van onderzoeken met een niet significante uitslag nog wel eens een beetje ‘opleukt’.

Reporting and Interpretation of Randomized Controlled Trials With Statistically Nonsignificant Results for Primary Outcomes, Isabelle Boutron, MD et al. [abstract]

De hoofdconclusie kunt u lezen in het abstract:

In this representative sample of RCTs published in 2006 with statistically nonsignificant primary outcomes, the reporting and interpretation of findings was frequently inconsistent with the results.

Ook de belangrijkste cijfers staan in het abstract. Omdat een plaatje toch meer zegt dan lettertjes:

klik voor groter

Maar wat is ‘spin’? De auteurs definiëerden het zo:

In the context of a trial with statistically nonsignificant primary outcomes, spin was defined as use of specific reporting strategies, from whatever motive, to highlight that the experimental treatment is beneficial, despite a statistically nonsignificant difference for the primary outcome, or to distract the reader from statistically nonsignificant results.

Hoe houden we u voor de gek? Een paar trucjes:

Focus op uitkomsten die wél een significant resultaat opleveren.

Secundaire onderzoeksuitkomsten. Vergelijkingen maken binnen één groep (in een RCT vergelijk je groepen met elkaar) of subgroepanalyses.

Non-significante uitkomsten presenteren als resultaat:

Kijk! Dit middel of deze behandeling werkt even goed als het andere middel of behandeling waar we het mee vergeleken. (in een RCT onderzoek je bijna altijd of het één significant beter werkt dan het andere, de uitkomst moet zijn: dat hebben we bewezen of niet bewezen)

Gewoon toch claimen of benadrukken dat het middel of de behandeling een positief effect heeft ondanks een statistisch niet significant resultaat.

Kijk! Het middel/behandeling of de middelen/behandelingen werken! De onderzoeksgroepen begonnen aan de studie in conditie X en dat is verbeterd >> conditie Y (dit is een onjuiste voorstelling van zaken omdat het een ‘wedstrijdje’ was tussen de twee).

In een andere tabel in het onderzoek kunnen we het nog wat gedetailleerder bekijken. Hierin betrekken de onderzoekers ook de mate waarin gespind is (level of spin). De uitleg van de levels staat onderin de tabel.

klik voor groter

In een derde van de onderzochte conclusies in de abstracts en in een kwart van de onderzochte conclusies in de hoofdtext werd het hoogste level van spinnen geconstateerd. (definitie: no uncertainty in the framing, no recommendations for further trials, and no acknowledgment of the statistically nonsignificant results for the primary outcomes or recommendations to use the treatment in clinical practice)

Opvallend is dat er in de conclusies van bijna 6 van de 10 van de geselecteerde RCT’s gespind werd.

Dat is van belang.

Die conclusie komt in het abstract (samenvatting) te staan. In veel gevallen leest men eerst het abstract van het artikel en besluit dan de rest van het artikel te lezen.
Daar komt nog bij dat veel mensen geen toegang hebben tot de full text artikelen en hierop hun mening moeten baseren. In sommige gebieden van de wereld moeten artsen bij gebrek aan toegang tot fulltext-artikelen hun beslissingen soms nemen op basis van alleen het abstract.

Kunnen we aan de hand van het bovenstaande concluderen dat er gespind wordt in alle RCT’s? Nee. De focus bij dit onderzoek lag bij RCT’s met een niet significante uitkomst. Zoals eerder genoemd is een niet significante uitkomst niet sexy. Onderzoekers en eventuele sponsoren zitten daar eigenlijk niet op te wachten. Er is in het onderzoek veel tijd en geld gaan zitten en niet significante resultaten kunnen zorgen voor aanzienlijke vertragingen als het bijvoorbeeld gaat om een middel in te voeren in de klinische praktijk. Daarbij wordt het lastiger de studie gepubliceerd te krijgen in een goed aangeschreven vakblad.

De onderzoekers kunnen ook niet nagaan of de ‘spin’ opzettelijk in het onderzoek is geïntegreerd. Ze stellen dan ook dat meer onderzoek nodig is op verschillende gebieden die nu nog onderbelicht zijn gebleven.

Besluit ik de bespreking met de laatste zin van de JAMA onderzoekers:

We hope that highlighting this issue may lead to more vigilance by peer reviewers and editors to reduce the use of these questionable strategies, which can distort the interpretation of research findings.

Ik help het ze hopen.

Advertisements

4 Responses to Spinnen met RCT’s

  1. wilmamazone says:

    N.a.v. deze artikelen kan ik mij wel voorstellen dat er een behoefte tot wat opleuken kan ontstaan:

    https://cryptocheilus.wordpress.com/cryptonieuwsbox/#comment-18890

    quote:

    In de eerdergenoemde 1,5 tot 3,5 miljard euro zijn niet alleen alle directe ontwikkelingskosten en overhead opgenomen van het betreffende medicijn, maar ook van de producten die het niet hebben gehaald. Dat zijn er veel, want slechts 1 op de 10.000 stoffen die beloftevol zijn, haalt de eindstreep. Het gros daarvan sneuvelt al in het begin van het traject, wanneer een veelbelovende stof giftig blijkt of een gewone cel in een kankercel kan veranderen. In dat geval is het einde oefening. De kosten voor die mislukkingen moeten wel worden terugverdiend.

    Komt een potentieel middel door die eerste fase van laboratorium en proefdieren, dan volgen studies bij mensen. In verschillende fasen worden daarbij bij kleine groepen patiënten werkzaamheid, dosering en ernstige bijwerkingen bepaald. Sneuvelt het middel daar, dan zijn de gemaakte kosten al hoger, want behalve het klinische onderzoek moest ook de veilige productie van het middel worden geregeld.

    De laatste fase, een grootschalige klinische studie in diverse landen – de fase-III studie – is het duurst. Voor veel middelen zijn dan studies met meer dan 10.000 patiënten vereist. Valt het product daar af, dan gaan al snel 250 miljoen euro aan patiëntenonderzoek door de gootsteen, afgezien van de investeringen in een grootschalige productie van het middel.

    Als alles in één keer goed gaat, heeft de ontwikkeling van een medicijn bij het op de markt komen ongeveer een miljard euro gekost. Daarnaast zijn er de productiekosten van het medicijn, die in het algemeen zeer laag zijn, en de – hoge – marketingkosten. Een totaalbedrag, inclusief mislukkingen, van 2,5 miljard euro voor elk nieuw medicijn dat op de markt komt, lijkt niet onredelijk. Dat moet worden terugverdiend in de 8 tot 10 jaar die er meestal overblijven van de 20 jaar die de octrooibescherming biedt.

    Zelf ben ik intussen van mening dat het net zo belangrijk is om te publiceren/daar een aparte Pub Med ofzo voor te maken:

    Dat zijn er veel, want slechts 1 op de 10.000 stoffen die beloftevol zijn, haalt de eindstreep. Het gros daarvan sneuvelt al in het begin van het traject, wanneer een veelbelovende stof giftig blijkt of een gewone cel in een kankercel kan veranderen. In dat geval is het einde oefening.

    M.a.w: De uitvallers/mislukkingen/geen toegevoegde waarde ect. in elke fase van onderzoek kunnen ook benoemd worden als belangrijke successen die niet weggestopt hoeven te worden, integendeel.

  2. That’s a serious bug in medicine…

  3. Hier nog even man en paard. Hogelijk illegaal maar u wilt het toch. Supplement bij het onderzoek

    Alle onderzoeken met commentaar van de onderzoekers.

    https://cryptocheilus.files.wordpress.com/2010/05/jamaspindetail.pdf (deze link kan zich zomaar weer vanzelf vernietigen)

    @ your service.

  4. Pingback: Omega-3-vetzuren na hartfalen « Cryptocheilus Weblog

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers liken dit: