Tikkie, u bent de lul. Verstoppertje spelen op z’n wetenschaps.

Uw zorg, onze wetenschap. Pillen, poeders, operaties, MRI-scans en het plaatsen van een blaaskatheter. U kunt het zo gek niet bedenken, of er is wel een of ander onderzoek naar gedaan. En als we dan een heleboel onderzoeksgegevens hebben, gooien we ze allemaal op een hoop, analyseren de hele boel, om een eindoordeel te vellen: de meta-analyse.

Nu verwacht u natuurlijk de grote maarrrr. Komt ‘ie: een grote berg data blijft moedig weerstand bieden aan regels en ethiek en maakt het leven van patiënt en zorgverlener bepaald niet gemakkelijk. A serious bug in medicine…

Even in het kort het EBP idee: om de hoeveelheid onzekerheid in de zorg zo klein mogelijk te houden worden er experimenten en onderzoeken uitgevoerd. Daarmee kan men systematische review en meta-analyse maken, waarin data uit onderzoeken wordt samengevoegd om meer precieze uitslagen te krijgen. Die uitslagen zijn of positief (het werkt!), dubbelzinnig (eh…) of negatief (geen werking gevonden) en aldus kan men de informatie betrekken bij bepalen van wat te doen bij patiënt X met probleem Y.

Prachtig idee, met een scala aan voor u en mij positieve effecten. Maar kritisch blijven is van levensbelang: het prachtige idee valt namelijk in duigen zodra men verstoppertje gaat spelen met uitslagen. Nu is het geen geheim dat bijvoorbeeld positieve uitslagen vaker worden gepubliceerd dan negatieve uitslagen. (dat verkoopt niet echt…) Dit werd al eerder aangetoond in het geval van antidepressiva. [1] (dikke rel!)

Recente publicaties in het BMJ tonen aan dat  het probleem op meerdere vlakken speelt. Zo includeerden Hart et al. [2] ongepubliceerde data in een reeks meta-analyses van onderzoek naar verschillende medicijnen:

42 meta-analyses (41 efficacy outcomes, one harm outcome) for nine drugs across six drug classes were reanalysed. Overall, addition of unpublished FDA trial data caused 46% (19/41) of the summary estimates from the meta-analyses to show lower efficacy of the drug, 7% (3/41) to show identical efficacy, and 46% (19/41) to show greater efficacy. The summary estimate of the single harm outcome showed more harm from the drug after inclusion of unpublished FDA trial data.

Het kan dus zowel positief als negatief uitpakken, die ongepubliceerde data. Bijna de helft van de opnieuw uitgevoerd analyses gaven een positiever beeld dan de originele – halfslachtige – analyses. Maar ook de auteurs van meta-analyses kunnen er een potje van maken, in de selectie van publicaties voor hun reviews, zo ontdekten Ahmed et al. [3]:

Only nine (29%) of the 31 meta-analyses included individual participant data from “grey literature” (such as unpublished studies) in their primary meta-analysis, and the potential for publication bias was discussed or investigated in just 10 (32%). Sixteen (52%) of the 31 meta-analyses did not obtain all the individual participant data requested, yet five of these (31%) did not mention this as a potential limitation, and only six (38%) examined how trials without individual participant data might affect the conclusions. In nine (29%) of the meta-analyses reviewer selection bias was a potential issue, as the identification of relevant trials was either not stated or based on a more selective, non-systematic approach. Investigation of four meta-analyses containing data from ≥10 trials revealed one with an asymmetric funnel plot consistent with publication bias, and the inclusion of studies without individual participant data revealed additional heterogeneity between trials.

Voor een stukje fijne nuance kunnen we melden dat Wieland et al. [4] ontdekten dat bij het indexeren van artikelen in de Pubmed-database er ook één en ander mis kaan gaan. Ze onderzochten in hoeverre gerandomiseerde onderzoeken (RCT) als zodanig waren ‘getagged’ in de Pubmed database:

Based on the results for 2005, at least 3000 records describing randomised controlled trials but not indexed using RCT [pt] may have been entered into Medline between 2006 and 2011. Researchers and healthcare decision makers relying on using RCT [pt] may be missing important evidence in their searches, particularly for design and methods, baseline characteristics, long term follow-up, and secondary data analyses.

Wellicht vraagt u zich ondertussen af hoe het dan zit met die trial registers. Voordat een onderzoek tegenwoordig begint met het rekruteren van deelnemers dient een registratie plaats te vinden in zo’n register. Een beetje tijdschrift vereist zo’n registratie voordat het woord publicatie ook maar gedroomd mag worden. Binnen een jaar na afsluiting van de trial dient er een samenvatting van de uitkomsten te worden vrijgegeven. (klik hier, zoek p. 50). In de VS heeft de FDA vergelijkbare regulering op poten gezet. Dat vraagt gewoon om ‘ff checken’ en dat deden Prayle et al voor de situatie in de states [5]:

Most trials subject to mandatory reporting did not report results within a year of completion.

Met het toenemen van de fase van het onderzoek neemt de mate van publicatie weliswaar toe, maar het blijft benedenmaats. Enigszins interessant:

More solely industry funded studies (126/317; 40%) had reported results than had those not solely industry funded (37/421 (9%); 95% confidence interval for the difference 24.7% to 37.3%; χ2 test, P=2.2×10−16).

Wat betreft tijdige publicatie in peer reviewed tijdschriften doen Ross et al. [6] een duit in het zakje:

Despite recent improvement in timely publication, fewer than half of trials funded by NIH are published in a peer reviewed biomedical journal indexed by Medline within 30 months of trial completion. Moreover, after a median of 51 months after trial completion, a third of trials remained unpublished.

Minder dan de helft van de door de NIH gesubsidieerde onderzoeken vond binnen 30 maanden z’n weg in een peer reviewed tijdschrift. (wat dan weer kan lijden tot publicatie bias: repeat from start). De editors van BMJ vatten het bondig samen in hun editorial [7]:

[…] this is no academic matter, because missing data about harm in trials can harm patients, and incomplete data about benefit can lead to futile costs to health systems. Moreover, researchers or others who deliberately conceal trial results have breached their ethical duty to trial participants.

Het kan patiënten schaden, nodeloos veel kosten voor de gezondheidszorg met zich meebrengen en de onderzoekers die met opzet hun data verstoppen treden hun ethische verplichten jegens deelnemers aan klinisch onderzoek met voeten. Verstoppertje spelen? Tikkie, u bent de lul.

referenties

  1. Kirsch, I., Deacon, B. J., Huedo-Medina, T. B., Scoboria, A., Moore, T. J., & Johnson, B. T. (2008). Initial severity and antidepressant benefits: A Meta-Analysis of data submitted to the food and drug administration. PLoS Med, 5(2):e45+. [fulltext]
  2. Hart, B., Lundh, A., & Bero, L. (2012). Effect of reporting bias on meta-analyses of drug trials: reanalysis of meta-analyses. BMJ, 344. [fulltext]
  3. Ahmed, I., Sutton, A. J., & Riley, R. D. (2012). Assessment of publication bias, selection bias, and unavailable data in meta-analyses using individual participant data: a database survey. BMJ, 344.v [fulltext]
  4. Wieland, L. S., Robinson, K. A., & Dickersin, K. (2012). Understanding why evidence from randomised clinical trials may not be retrieved from medline: comparison of indexed and non-indexed records. BMJ, 344. [fulltext]
  5. Prayle, A. P., Hurley, M. N., & Smyth, A. R. (2012). Compliance with mandatory reporting of clinical trial results on ClinicalTrials.gov: cross sectional study. BMJ, 344. [fulltext]
  6. Ross, J. S., Tse, T., Zarin, D. A., Xu, H., Zhou, L., & Krumholz, H. M. (2012). Publication of NIH funded trials registered in ClinicalTrials.gov: cross sectional analysis. BMJ, 344. [fulltext]
  7. Lehman, R. and Loder, E. (2012). Missing clinical trial data. BMJ, 344. [fulltext]

11 Responses to Tikkie, u bent de lul. Verstoppertje spelen op z’n wetenschaps.

  1. wilmamazone zegt:

    http://medischcontact.artsennet.nl/Nieuws-26/Tijdschriftartikel/107637/Gebakken-lucht.htm

    Gebakken lucht

    Publicatie Nr. 51-52 – 21 december 2011
    Jaargang 2011
    Rubriek Artikelen
    Auteur Hans van Maanen

    De medische wetenschap kan van grote importantie zijn. Helaas vervallen overijverige onderzoekers maar al te vaak tot navelstaarderij. Met statistisch relevant doch betrekkelijk nutteloos onderzoek tot gevolg. De oogst van 2011 in vijf bedrijven.

  2. wilmamazone zegt:

    http://medischcontact.artsennet.nl/Nieuws-26/Nieuwsbericht/108388/Veel-onderzoeksdata-blijven-verborgen.htm

    4 januari 2012

    Veel onderzoeksdata blijven verborgen

    Een groot deel van de resultaten van klinisch onderzoek wordt nooit in de openbaarheid gebracht en dat wat wel wordt gepubliceerd bevat vaak onvolkomenheden. Dat blijkt uit een serie onderzoeken gepubliceerd in BMJ.

    eindquote:

    Volgens Richard Lehman en Elizabeth Loder maakt de huidige praktijk, waarin onderzoeksdata lukraak of incompleet worden gepubliceerd, het bijna onmogelijk om een systematische review te maken die een goed beeld geeft van de voor- en nadelen van een medicijn. In een commentaar op de studies stellen zij dat het in de la houden van onderzoeksdata moet worden beschouwd als een ernstige tekortkoming en dat onderzoekers die zich hieraan schuldig maken, moeten worden aangepakt door hun beroepsverenigingen.

  3. DaSilva zegt:

    Goed artikel Bram. Onderstaand een artikel wat in mijn ogen naadloos aansluit op jouw artikel en de vraag stelt “Is het denkbaar dat de wetenschap als objectieve standaard voor beleid verdwijnt?”

    Wetenschappers vertellen ons dat het klimaat verandert en dat omega 3 goed is voor hart en bloedvaten. Wetenschappelijke beweringen zijn een belangrijke basis voor alledaagse beslissingen en zeker ook voor beleid. Dan is het belangrijk dat het vertrouwen in wetenschap groot en breed gedeeld is. De afgelopen tijd was het vertrouwen in de wetenschap meermalen onderwerp van discussie, onder meer rondom het klimaatprobleem, de Mexicaanse griep, baarmoederhalskankervaccinatie en CO2-opslag. De veronderstelling daarbij was vaak dat het vertrouwen in wetenschap afneemt. Inderdaad, de vaccinatiecampagnes hebben veel weerstand ondervonden. Maar is dat een teken van dalend vertrouwen in “de wetenschap”? En wat betekent het als het vertrouwen in de wetenschap daalt? Is het denkbaar dat de wetenschap als objectieve standaard voor beleid verdwijnt? Deze vragen waren aanleiding voor de AWT om het vertrouwen in de wetenschap in kaart te brengen. Hoe staat het met het vertrouwen in wetenschap, hoe komt dat en welke gevolgen heeft dit?
    Meer…

    Vertrouwen in wetenschap niet langer vanzelfsprekend.

    Edit WMZ: 14.20 uit spamfilter

  4. Renate zegt:

    Oef, de TU Delft. Heb ik daar eigenlijk nog wel vertrouwen in?
    http://www.kloptdatwel.nl/2011/12/31/coen-vermeeren-en-het-anecdotische-bewijs/

    Edit WMZ: Om 17.22 uit spamfilter.

  5. DaSilva zegt:

    Het is me wat met dat spamfilter.

    @Renate
    Klopt het artikel niet?

    Edit WMZ: 19.23 uit spamfilter.

  6. Renate zegt:

    Weet ik niet, maar als men iemand als Coen Vermeeren een podium biedt, dan zou je bijna gaan twijfelen aan het wetenschappelijk gehalte van de TU Delft, waar ik vroeger graag had willen studeren.

    Edit WMZ: 19.38 uit spamfilter

  7. wilmamazone zegt:

    Het IOCOB op 5 of 6 januari -datum e.d. vermelden nog steeds te lastig- met:
    http://www.iocob.nl/gezondheidscolumn/medische-wetenschap-legt-bom-onder-zichzelf.html

    Medische wetenschap legt BOM onder zichzelf

    Begin 2012, het einde van de Maya-kalender, blaast de medische wetenschap zichzelf op in het januari-nummer van de BMJ. Al die richtlijnen, waar wij al veel kritiek op hebben gegeven, zijn gebaseerd op zeer fragmentarische kennis. Het merendeel van de feiten die we tot onze beschikking hebben, wordt namelijk niet in de meta-analyses die de basis vormen voor onze medische wetenschap, meegenomen.

    Met deze BMJ-publicatie komt de hoovaardij van de hedendaagse Evidence Based Medicine in een vrije val. Laten we delen uit het BMJ artikel citeren. De auteurs vonden namelijk een groot aantal ongepubliceerde studies, en als ze die resultaten mee lieten tellen in de meta-analyses, zoals dat hoort, veranderden de resultaten enorm. Ze verwoorden het ‘leermoment’ aldus:…….

    quote:

    In de cyclus Kritiek op EBM, hieronder een aantal links uit IOCOB’s gezondheidscolumns, is bovenstaande situatie door IOCOB al herhaaldelijk in de schijnwerpers geplaatst, maar steeds was er hoongelach.
    Uit dit schokkende relaas in het BMJ, een van de belangrijkste medische tijdschriften, blijkt eens te meer dat de scherpe kritieken van professor Ludwig von Feyermorgen toch zeer serieus genomen dienen te worden. We hebben hem eerder op de IOCOB website aangehaald. Zijn boodschap is dus Zeer Actueel. Eerder publiceerden we dit in onderstaande publicatie n.a.v. een schokkend bericht in de JAMA. Nu dus wederom in de BMJ. Onze hieronderstaande [publicatie heeft dus niets aan actualiteit ingeboet.
    Uit een eerdere IOCOB entry: ……

    eindquote:

    Oeps, en daar is wel al ons weten en medisch handelen op gebaseerd, inclusief onze farmaco-economische berekeningen…..

    Wat vooral duidelijk wordt, is dat Jan Marius Keppel Hesselink zijn alter ego Ludwig von Feyermorgen blijkbaar ook in 2012 ten tonele blijft voeren en prangende vragen over o.a. deze handel en wandel onbeantwoord laat:
    http://iocob.wordpress.com/

    quote:

    Kennismaking met prof. dr. von Feyermorgen
    november 2, 2010
    7
    Er is vanuit de contreien der IOCOB sprake van een niet aflatende barrage van onzin over vermeende tekortkomingen van Evidence Based Medicine. Desondanks is men telkenmale in staat slecht uitgevoerd (of slecht gelezen) onderzoek aan te voeren om de werking van placebische onzin als acupunctuur te ‘bewijzen’. Het fanatisme van het IOCOB kent hierin geen grenzen,… [Lees meer …]

    Het fanatisme van het IOCOB, en met name dat van Jan Marius, kent inderdaad (nog steeds) geen grenzen zo lijkt het en of dat nou ieders gezondheid ten goede komt?

  8. Ach ja, die Jantje. Ik zou me er bijna druk over kunnen maken. Maar iemand die zo van twee walletjes eet en waanbeelden ervaart kan slechts en alleen op mijn welgemeende medelijden rekenen. Niettemin wel even een reactie geplaatst onder het artikel op de IOCOB site. Kijken hoe lang et blijft staan🙂

  9. LK zegt:

    Hoho, het is wél de erudíete Jan Keppel Hesselink voor jou. (Sorry, ik kan niet serieus reageren als men de Maya kalender tevoorschijn haalt…)

  10. *kuch* PROFESSOR DOCTOR Jan Keppel Hesselink *kuch*

  11. LK zegt:

    Excuseer, ik kan mij niet meten aan zijn grootheid en dan zeg je wel eens rare dingen he…

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers op de volgende wijze: