Bugs in medicine: Ben Goldacre over publicatie bias

Ben’s CV

‘Bias’ is – in het kort – ieder verschil (in gevonden effect) tussen een onderzoek en de werkelijkheid. Er zijn al lang veel verschillende vormen bekend en beschreven[1]. Vele hebben te maken met het opzetten en uitvoeren van individuele onderzoeken en zijn niet altijd te voorkomen (maar vaak ook wel). Een bijzonder vervelende vorm van bias heeft echter niet direct van doen met het opzetten en utivoeren van onderzoek: publicatie bias. Bij deze vorm van bias is er sprake van een scheve verdeling tussen de eigenschappen van onderzoeken die wel gepubliceerd zijn en onderzoek die niet gepubliceerd zijn. Velen zullen zich de affaire rond antidepressiva [2] of Tamiflu[3] herinneren hetgeen een zeer duidelijk gevalletje publicatie bias aan het licht bracht.

Wie beter dan Ben Goldacre om er een boekje over open te doen? Het filmpje is niet zeer recent, maar niettemin nog steeds relevant[4] als het gaat om deze duidelijke bug in medicine:

Bronnen

  1. Sackett, D. L. (1979). Bias in analytic research. Journal of chronic diseases, 32(1-2):51-63.
  2. Kirsch, I., Deacon, B. J., Huedo-Medina, T. B., Scoboria, A., Moore, T. J., & Johnson, B. T. (2008). Initial severity and antidepressant benefits: A Meta-Analysis of data submitted to the food and drug administration. PLoS Med, 5(2):e45+. [fulltext]
  3. Doshi, P., Jefferson, T., and Del Mar, C. (2012). The imperative to share clinical study reports: Recommendations from the tamiflu experience. PLoS Med, 9(4):e1001201+. [fulltext]
  4. Hart, B., Lundh, A., and Bero, L. (2012). Effect of reporting bias on meta-analyses of drug trials: reanalysis of meta-analyses. BMJ, 344 [fulltext]

met dank aan een studiegenoot die me op de hoogte bracht van het filmpje!

Advertenties

Tikkie, u bent de lul. Verstoppertje spelen op z’n wetenschaps.

Uw zorg, onze wetenschap. Pillen, poeders, operaties, MRI-scans en het plaatsen van een blaaskatheter. U kunt het zo gek niet bedenken, of er is wel een of ander onderzoek naar gedaan. En als we dan een heleboel onderzoeksgegevens hebben, gooien we ze allemaal op een hoop, analyseren de hele boel, om een eindoordeel te vellen: de meta-analyse.

Nu verwacht u natuurlijk de grote maarrrr. Komt ‘ie: een grote berg data blijft moedig weerstand bieden aan regels en ethiek en maakt het leven van patiënt en zorgverlener bepaald niet gemakkelijk. A serious bug in medicine… Lees meer over dit bericht

Waarom uw arts het soms even niet meer weet… deel II

In het vorige deel van ‘waarom uw arts het soms even niet meer weet’ kon u lezen dat die moeilijk bepaalbare ziekten, het stellen van een juiste diagnose en de keuze wat (niet) te doen uw dokter soms danig parten speelt. Maar het is nog niet gedaan met die klinische onzekerheid, nee, er zijn meer hordes te nemen. Want: wat is er nu eigenlijk allemaal gebeurd sinds die hernia operatie? En: wat vindt u daar nu zelf allemaal?

In een klassieker die bijna zo oud is als ikzelf, geeft meneer Eddy [1] aan waar de schoen wringt: zes gebieden van klinische onzekerheid. Hier volgen de laatste drie:

Lees meer over dit bericht

Waarom uw arts het soms even niet meer weet… deel I

Goed, u hebt besloten naar de dokter te gaan. Die hoofdpijn duurt al twee weken en die zeurende pijn in uw onderrug gaat ook maar niet over. De dokter weet vast wel wat er aan de hand is. En wat er gedaan moet worden natuurlijk. Nu ja, vaak is dat natuurlijk ook het geval, maar dat gaat niet zonder slag of stoot. En hoe komt het dat arts A een andere diagnose stelt dan arts B?

In een klassieker die bijna zo oud is als ikzelf, geeft meneer Eddy [1] aan waar de schoen wringt: zes gebieden van klinische onzekerheid. Hier volgen de eerste drie (deel II vindt u overigens hier):

Lees meer over dit bericht

Bugs in biomarkers

John 'de gesel' Ioannidis. Bron: medisch contact.

Als John Ioannidis van zich laat horen is het vaak hommeles. Deze keer zijn de pijlen gericht op biomarkers, merktekens in of aan uw lichaam die uw dokter bekijkt om te zien of u een verhoogd risicio hebt op medische ellende. Het BRCA1-gen is zo’n biomarker: bepaalde mutaties in dit gen, dat normaliter meehelpt bij het repareren van genetische schade, verhogen de kans op borst- en eierstokkanker. En zo zijn er nog vele, vele biomarkers,  zie hier voor een lijstje met een paar markers. Voor verdere uitleg kunt u terecht op de KWF-website.

Bepaalde onderzoeken naar biomarkers worden veel geciteerd: er is veel over te doen. En als er onderzoekstechnisch ergens veel over te doen is, is Ioannidis er als de kippen bij. Zeker als het gaat om relatief nieuwe onderzoekgebieden, waarin de onderzoeksgrootte niet altijd om over naar huis te schrijven is. Dus pakte John zijn evidence-zweepje, hees zich in een sexy leren onderzoekspakje en stelde zich de volgende vragen: kloppen de veel besproken onderzoeken naar die biomarkers, als we ze vergelijken met meer betrouwbare en/of grotere datasets? En: hoe betrouwbaar zijn de biomarkers nu écht als we de beste data bekijken? De gesel ging er weer eens goed overheen…

Lees meer over dit bericht

Bugs in medicine: op de grote berg schijten?

[update 12-4-2014] De sectie over het overzicht van BMJ Clinical evidence is aangepast, o.a. met de nieuwe grafiek. – Bram Hengeveld

Wist u dat meneer Salk, de ontdekker van het vaccin tegen polio, vond dat het vaccin zo belangrijk was dat hij er geen patent op heeft aangevraagd? Een geschenk aan de mensheid. Over integriteit gesproken. Sinds het uitkomen van Salk’s vaccin heeft de malle molen van de wetenschap natuurlijk niet stil gestaan. Wat heet….

Bij de les blijven

Gepubliceerde trials tussen 1950 en 2007. Afb. Bastian et al, 2010. Klik voor groter

Hedentendage worden we bestookt met ‘evidence’. De stroom aan wetenschappelijke publicaties in wetenschappelijke tijdschriften over klinisch onderzoek is enorm toegenomen. Enige tijd geleden verscheen er in PLoS Medicine een alleraardigste publicatie waarin de huidige stand van zaken wordt aangegeven. (Bastian et al. 2010) De auteurs komen tot de conclusie dat we tegenwoordig te maken hebben met publicatie van 75 RCT’s en 11 systematische reviews. Per dag. De grafiek hiernaast geeft de groei van het aantal gepubliceerde trials weer (m.u.v. de systematische reviews). Het begrip ‘explosie’ komt in me op.

De mensen van het interessante weblog Retraction Watch spreken over een dikke 850.000 publicaties totaal voor het jaar 2009. Chalmers et al hebben het over een miljoen (Chalmers et al. 2009). Om alles bij te houden moeten zorgverleners bij wijze van spreken hun baan opzeggen.

Lees meer over dit bericht

Bugs in medicine: Cargo Cult Science.

Feynman sez: pay attention!Een zeer vermakelijke boodschap die Richard Feynman (1918-1988) ons allen heeft nagelaten is de Calltechlezing die hij hield in 1974, getiteld ‘Cargo Cult Science’.

De lezing betreft een aanklacht tegen de stand van zaken in de verschillende wetenschappelijke disciplines. (Feynman was niet vies van knuppeltjes in hoenderhokken) Volgens Feynman produceert men nogal eens cargo cult science: wetenschap die ‘doet alsof’ en niet de resultaten levert waar we naar op zoek zijn: betrouwbare resultaten.

Alsof we verwachten dat het neerzetten van fakkels naast een zandbaan resulteert in landende vliegtuigen, zoals cargo cults dat deden.

Lees meer over dit bericht