Bugs in biomarkers

John 'de gesel' Ioannidis. Bron: medisch contact.

Als John Ioannidis van zich laat horen is het vaak hommeles. Deze keer zijn de pijlen gericht op biomarkers, merktekens in of aan uw lichaam die uw dokter bekijkt om te zien of u een verhoogd risicio hebt op medische ellende. Het BRCA1-gen is zo’n biomarker: bepaalde mutaties in dit gen, dat normaliter meehelpt bij het repareren van genetische schade, verhogen de kans op borst- en eierstokkanker. En zo zijn er nog vele, vele biomarkers,  zie hier voor een lijstje met een paar markers. Voor verdere uitleg kunt u terecht op de KWF-website.

Bepaalde onderzoeken naar biomarkers worden veel geciteerd: er is veel over te doen. En als er onderzoekstechnisch ergens veel over te doen is, is Ioannidis er als de kippen bij. Zeker als het gaat om relatief nieuwe onderzoekgebieden, waarin de onderzoeksgrootte niet altijd om over naar huis te schrijven is. Dus pakte John zijn evidence-zweepje, hees zich in een sexy leren onderzoekspakje en stelde zich de volgende vragen: kloppen de veel besproken onderzoeken naar die biomarkers, als we ze vergelijken met meer betrouwbare en/of grotere datasets? En: hoe betrouwbaar zijn de biomarkers nu écht als we de beste data bekijken? De gesel ging er weer eens goed overheen…

Samen met collega Panagiotou ging Ioannidis [1] op zoek naar veel geciteerde onderzoeken om de uitkomsten te vergelijken met het grootste onderzoek en de meta-analyse werd uitgevoerd. Ze doorzochten de archieven van 24 high impact tijdschriften. Na een bult ziftwerk hielden ze 35 publicaties over – betreffende 31 verschillende biomarkers – die meer dan 400 maal waren genoemd in de literatuur en waarvan een bijbehorende meta-analyse werd gevonden. Het ging daarbij om genetisch risicofactoren, bloedwaarden, infectiemarkers en nog enkele andere markers. Kanker en cardiovasculaire uitkomsten waren het sterkst vertegenwoordigd.

Lang verhaal kort:

grafiek: veel geciteerde publicatie vs. grootste studie (A) en meta-analyse (B). Rode cirkel toegevoegd door ondergetekende. Bron: JAMA

Ieder puntje stelt een onderzochte biomarker voor en de plek in de grafiek geeft aan hoe de veel geciteerde publicatie en het grootste onderzoek of meta-analyse zich tot elkaar verhouden. In het ideale geval liggen alle puntjes op de diagonale lijn. Dat zou nl. betekenen dat uitkomsten uit de veel geciteerde studie (horizontale as) betrouwbaar genoemd kunnen worden.

Ter illustratie heb ik een uitkomst rood omcirkeld: in de vaak geciteerde publicatie werd een relatief risico van bijna 30 gevonden. Als deze biomarker afwijkend is, zou de kans dat er iets aan de hand is dertig keer zo groot zijn in vergelijking met iemand bij wie de biomarker zich binnen normale grenzen bevindt. Tenminste, volgens de veel geciteerde publicatie. We laten in het midden wat dat ‘iets’ is, het interessante is de waarde die we vinden op de de verticale as. Daar is nl. af te lezen welk risico in de grootste studie werd gevonden: deze komt net boven 1 uit. De kans dat er iets aan de hand is bij een afwijking van de marker is nu ineens nauwelijks groter dan bij een normale waarde! (de marker heeft geen discriminerende waarde) Het verschil tussen de twee onderzoeken is enorm.

Uitkomsten

In 30 van 35 gevallen toonde de meest geciteerde publicatie een groter effect aan dan het grootste onderzoek, in 3 gevallen kwamen ze overeen en in 2 gevallen werd in het grootste onderzoek een groter effect gevonden. Bij 29 van de 35 veel geciteerde publicaties vond de meta-analyse een kleiner effect. In 15 gevallen vond de grootste studie een statistisch significant verband en daarvan hadden er 7 een relatief risico groter dan 1,37. Dit gold in 32 van de 35 meta-analyses, waarvan 18 een relatief risico groter dan 1,37 vonden. Vrij teleurstellend.

overzicht gevonden waardes biomarkers verdeeld naar studie klik voor groot

 

Niettemin stellen Ioannidis en Panagiotou dat sommige markers wel degelijk goede voorspellers zijn (bijv besmetting met Helicobacter Pylori en het risico op maagkanker). Het laat zich echter raden wat overschattingen van risico’s voor de medische praktijk betekenen: deze zullen de gezondheidszorgkosten onnodig opdrijven door het vinden van verbanden die er niet zijn. En wat te denken van behandelingen die worden ingesteld op basis van een nietszeggende biomarker? Dat u het even weet: niet als een bok op de haverkist springen als er weer eens een stofje of beest wordt gevonden dat verband zou houden met een ziekte. (XMRV anyone?)

Literatuur

  1. Ioannidis, J. P. A., & Panagiotou, O. A. (2011). Comparison of effect sizes associated with biomarkers reported in highly cited individual articles and in subsequent meta-analyses. JAMA: The Journal of the American Medical Association, 305 (21), 2200-2210. [DOI]
    [fulltext plaatje]
Advertisements

12 Responses to Bugs in biomarkers

  1. Zie je wel! Ze weten he-le-maal niets!!

    Die dure testjes van ze zijn alleen om hun zakken te spekken en mensen aan de chemische medicijnen te krijgen. Big Pharma profiteert dubbel; dubieuze testen en bijbehorende ziektebeelden en dus pillen!!

    Dubbelkassa!

    Dood moeten ze!!

  2. Nee, wat dat betreft kan je beter terecht in de alto-wereld. De biomarker van het energetisch verstoorde veld is ontzettend betrouwbaar en de ingestelde therapie bijzonder evidence based. En al die toxinen uit uw vullingen!

  3. @ Bram

    Tu quoque.

    Alternatieve biomarkers werden niet onderzocht. Wel aangewezen!!

  4. @ crypto

    Damn, you got me. Ik dacht even de medische wereld te redden door de aandacht af te leiden. Maar nee… Al die interne kritiek ook. Verwerpelijk.

  5. LK says:

    Jammergenoeg is er geen medicijn tegen bijvoorbeeld het BRCA-gen. De enige optie is het verwijderen van de borsten en eierstokken. Daar heeft big pharma niet direct zoveel aan. Zelfde geldt voor vitamine D (zie ander topic) wat gewoon zonder recept verkrijgbaar is. Daar verdient Davitamon weer goud geld aan, gok ik zo…

    Ik heb mij laten vertellen dat je bij meta-analyses over het algemeen hetzelfde patroon ziet: hoe meer studies je includeert, dus hoe groter de N, hoe groter het relatief risico de 1 nadert. Bij werkzame middelen zal dit risico boven de 1 blijven, bij niet werkzame middelen niet…

    Meta-analyses staan vaak hoog aangeschreven, maar je hebt meer aan één goed uitgevoerde studie, dan aan een hoopje studies met slecht ontwerp die een ‘meta-analyse’ worden genoemd…

  6. je hebt meer aan één goed uitgevoerde studie, dan aan een hoopje studies met slecht ontwerp die een ‘meta-analyse’ worden genoemd…

    Waar. In het geval van deze studie en de onderwerpen heb ik hierover weinig twijfel. Het maakt namelijk in deze meta niet uit hoe de originele studies tot hun resultaat komen. Als jij kritiek hebt op de metá’s gebruikt zul je dat specifieker moeten omschrijven. Anders is wat je zegt te algemeen.

  7. correctie: ik gaf aan dat Ioannidis en co door 29 high impact journals hadden gezocht, dit moet 24 zijn.

  8. Een nieuwe, grote biomarker studie (CRP, C-reactief proteïne, is een biomarker die duidt op een ontstekingsreactie):

    Allin, H. et al. (2011) Elevated pre-treatment levels of plasma C-reactive protein are associated with poor prognosis after breast cancer: a cohort study. Breast Cancer Research. [link] [PDF]

    Introduction
    We examined whether plasma C-reactive protein (CRP) levels at the time of diagnosis of breast cancer are associated with overall survival, disease-free survival, death from breast cancer, and recurrence of breast cancer.

    Methods
    We observed 2,910 women for up to seven years after they were diagnosed with invasive breast cancer (median follow-up time was three years). Plasma levels of high-sensitivity CRP were measured at the time of diagnosis and we assessed the association between CRP levels and risk of reduced overall and disease-free survival, death from breast cancer, and recurrence of breast cancer by using the Kaplan-Meier method and Cox proportional hazards regression. During follow-up, 383 women died (225 of whom died from breast cancer) and 118 women experienced recurrence of breast cancer.

    Results
    Elevated CRP levels across tertiles at the time of diagnosis were associated with reduced overall and disease-free survival and with increased risk of death from breast cancer (log-rank trend for all, P <0.001), but not with recurrence. The multifactor-adjusted hazard ratios (HR) of reduced overall survival among women in the middle and highest versus the lowest tertile of CRP were 1.30 (95% CI, 0.97 to 1.73) and 1.94 (1.48 to 2.55), respectively. Corresponding HRs of reduced disease-free survival were 1.16 (0.89 to 1.50) and 1.76 (1.38 to 2.25) and of death from breast cancer 1.22 (0.84 to 1.78) and 1.66 (1.15 to 2.41). Dividing CRP levels into octiles resulted in a stepwise increased risk of reduced overall survival (P for trend <0.001) and the multifactor-adjusted HR among women in the highest versus the lowest octile of CRP was 2.51 (1.53 to 4.12). Compared to women with CRP levels in the 0 to 25% percentile (<0.78 mg/L), the multifactor-adjusted HR of reduced overall survival among women with CRP levels [greater than or equal to]95% percentile ([greater than or equal to]16.4 mg/L) was 3.58 (2.36 to 5.42). Among women with HER2-positive tumours, the multifactor-adjusted HR of reduced overall survival for the highest versus the lowest tertile of CRP was 8.63 (2.04 to 36.4).

    Conclusions
    Elevated CRP levels at the time of diagnosis of breast cancer are associated with reduced overall and disease-free survival and with increased risk of death from breast cancer.

    Met afstand het grootste (n=2910) onderzoek tot op heden naar deze biomarker (grootste tot dusver was volgens auteurs 700). De grootste studies uit Ioannidis onderzoek hadden een mediaan van 1820 [IQR 721-5747] en de mediaan voor ‘events’ lag op 509 [123-1121]. (in deze studie: 383 overleden, waarvan 225 aan borstkanker en 118 maal terugkerende borstkanker)

  9. Tabel toegevoegd.

  10. Als deze biomarker afwijkend is, zou de kans dat er iets aan de hand is dertig keer zo groot zijn in vergelijking met iemand bij wie de biomarker zich binnen normale grenzen bevindt. Tenminste, volgens de veel geciteerde publicatie. We laten in het midden wat dat ‘iets’ is

    Prijsvraag!

  11. wilmamazone says:

    http://medischcontact.artsennet.nl/Nieuwsartikel/Broddelwerk-in-tumorprofilering.htm

    Broddelwerk in tumorprofilering

    Een onderzoeksteam op het gebied van tumorprofilering met biomarkers van de Amerikaanse Duke-universiteit heeft jaren gepubliceerd in grote tijdschriften, fondsen binnengesleept en patiënten behandeld. Tot uitkwam dat hun onderzoek broddelwerk was.

    De ‘Duke-affaire’ begon met een publicatie in Nature Medicine in 2006 van onderzoekers Anil Potti en Joseph Nevins, waarin zij met een genoomtest lieten zien welke chemotherapie het beste zou werken bij een bepaalde tumor. Andere onderzoekers wilden het werk reproduceren, maar ontdekten al snel statistische fouten in de publicatie. Hun alarm was tevergeefs, grote bladen waren niet geïnteresseerd in hun kritiek. Pas toen vorig juli bleek dat onderzoeker Potti zijn curriculum vitae had vervalst, door een prestigieuze prijs toe te voegen die hij niet had gewonnen, schrok iedereen wakker en werden………

  12. Pingback: Alternatieve geneeskunde: de kloof, de troost, de wetenschap « Cryptocheilus Weblog

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers liken dit: