Griep, mexicaanse griep en griepvaccinaties: is onderzoek van Big Farma altijd slechter? Een lesje in begrijpend lezen van wetenschappelijk onderzoek

Op het forum van de Grote Griep Meting is onlangs een discussie aangezwengeld waarin het volgende gesteld wordt: hoe hoger de financiële bijdrage van de farma-industrie aan onderzoek, hoe hoger de positieve uitkomst voor griepvaccinaties en hoe lager de kwaliteit van het onderzoek.
Als onderbouwing voor deze stelling wordt verwezen naar een onderzoek van de Cochrane Collaboration (een internationale onafhankelijke wetenschappelijke instelling die wetenschappelijk onderzoek beoordeelt) waaruit dit zou blijken. Dit zou ook gelden voor onderzoeken naar de effectiviteit van het vaccin voor de mexicaanse griep.

Waar gaat de studie waar ‘Sebastiaan’ mee kwam, nou eigenlijk over? In het onderstaande legt JennyJo het even voor u uit en ontleedt daarbij meteen de denkfouten die Sebastiaan (en anderen) vaak maken als het om het interpreteren van (dit) onderzoek gaat.

Hier het bewuste onderzoek:

Relation of study quality, concordance, take home message, funding, and impact in studies of influenza vaccines: systematic review, T Jefferson et al, BMJ 2009;338:b354, doi: 10.1136/bmj.b354 (Published 12 February 2009)
[fulltext]

Overal waar mensenwerk wordt verricht, gaan dingen mis. Dus ook in de farmaceutische industrie. Wij van Crypto weten dat net zo goed als vele anderen.

Een grote valkuil is echter de denkfout dat per definitie alles wat farma doet niet deugt en dat alle onderzoek van farma altijd van slechte kwaliteit is. Dat is namelijk niet zo.

Je kunt ook niet per definitie stellen dat alle onderzoek dat onafhankelijk is (zoals van de Cochrane Collaboration), dus altijd goed is. Elk onderzoek moet op zijn eigen waarde beoordeeld worden, want de ervaring leert dat het produceren van onderzoek van slechte kwaliteit niet is voorbehouden aan één speciale groep. Iedereen kan het.

Was het doel van de studie inderdaad om uit te zoeken door wie het meest betrouwbare onderzoek naar het effect van griepvaccins wordt gedaan?

Nee. Het doel van deze studie was om aan de weet te komen wat de relatie is tussen enerzijds “impact” (= invloed van een onderzoek door publicatie in een wetenschapelijk tijdschrift) en anderzijds kwaliteit van onderzoek, mate van ‘concordance’ (in hoeverre komt de hypothese terug in de uitkomst), gecommuniceerde uitkomst (‘take home message’) en wijze van financiering.

Iedereen die onderzoek doet, wil zijn onderzoek graag gepubliceerd hebben in een van de vooraanstaande wetenschappelijke tijdschriften. Want uit die tijdschriften wordt het meest geciteerd en vaak geciteerd worden betekent dat het onderzoek bekend wordt. Anders gezegd: het heeft veel impact. En dat is fijn, want je wil als wetenschapper tenslotte niet jarenlang in je lab en achter je computer voor niks zitten te zwoegen.

 ‘Bertha’ gaf op het Grote Griep Forum al een samenvatting van deze studie:

48% van de onderzoeken die zijn bestudeerd, werden gefinancierd door de overheid. Bijna de helft dus.

Van 23% van de onderzoeken was niet te achterhalen door wie ze gefinancierd waren.

Van 29% van de onderzoeken was bekend dat ze door farma gefinancierd waren.

Onderzoeken door de overheid gefinancierd zijn gemiddeld genomen iets minder vaak positief t.a.v. vaccins dan onderzoeken met andere sponsoring; het staat er heel omslachtig. Er was echter geen verschil in methodologische kwaliteit tussen overheidgefinancierd en farmagefinancierd.

De impactfactor van onderzoeken gefinancieerd door farma was flink hoger dan van andere onderzoeken (overheid en privaat). Anders gezegd: onderzoeken gefinancierd door farma komen vaker in vooraanstaande bladen dan andere onderzoeken en er wordt dus vaker uit geciteerd.

70% van de onderzoeken was van matige kwaliteit en gaven te optimistische conclusies. Aangezien 48% van de onderzoek gefinancierd was door overheid of anders en 29% door farma kun je dus niet zeggen dat alleen de onderzoeken van farma van matige kwaliteit waren. Dat zegt Jefferson (de onderzoeker; JJ) dus ook niet Er is geen verschil in methodologische kwaliteit tussen onderzoeken gefinancierd door farma en anders gefinancierde onderzoeken.

Er valt nog wat meer over te zeggen.

Naarmate de kwaliteit van de onderzoeken slechter was, waren de resultaten positiever (dit is overigens heel vaak zo, dus niet iets om van achterover te vallen.)

Naarmate de kwaliteit van de onderzoeken beter was, was er vaker sprake van concordance. Het was echter niet zo dat onderzoeken met meer concordance vaker geplaatst werden in vooraanstaande tijdschriften.

Uit andere onderzoeken is al gebleken dat in zijn algemeenheid zowel onderzoekers als tijdschriftredacties een sterke voorkeur hebben voor onderzoeken met positieve uitkomsten.

Onderzoeken die geen resultaat opleveren worden veel minder interessant gevonden. Dat betekent dat onderzoeken met negatieve uitkomsten veel later gepubliceerd worden en in minder vooraanstaande (= veelgelezen) tijdschriften dan onderzoeken met positieve uitkomsten. Ze hebben dus minder impact.

Uit deze studie blijkt verder dat onderzoeken gefinancierd door farma (met positieve uitkomsten) vaker gepubliceerd worden in vooraanstaande tijdschriften dan andere onderzoeken met positieve uitkomsten.

Jefferson et al zeggen niet zeker te weten hoe dit komt. Maar zij zullen ongetwijfeld, net als wij, daarover wel een vermoeden hebben: farma kan het zich veroorloven om er heel veel energie (= geld) in te steken om onderzoek gepubliceerd te krijgen. Ze vertalen bijvoorbeeld onderzoeken, maken mooie uitgaven voor conferenties, lopen conferenties en tijdschriften plat, etc, zodat het bekend raakt en eerder gepubliceerd in betere tijdschriften. Daarmee is echter niet gezegd dat het per definitie om onderzoek van slechte kwaliteit gaat.

Wat de onderzoekers ook nog zeggen (zie ook de belangrijke aanbeveling aan het eind):

We cannot say for certain why industry sponsored studies are more attractive to more prestigious journals, but such journals are preferentially targeted by all studies because of their prominence and prestige, so industry sponsored studies might have a higher probability of acceptance. The two mechanisms might be linked, but further research, especially in other specialties, is required. As a measure of transparency for readers and authors, however, we recommend that once a year editors and publishers should post all sources of income related to the running of the journal. (vet van de auteur)

In het bericht op het forum van de Grote Griep Meting worden twee zinnetjes uit het addendum helemaal aan het eind van de studie gepresenteerd als samenvatting van de studie. De ene opmerkingen in het addendum heeft echter geen betrekking op de uitkomsten van deze studie, maar refereert aan ander onderzoek. De andere opmerking (over matige kwaliteit van het onderzoek) refereert aan alle onderzoeken die bij de studie zijn gebruikt en heeft dus niet alleen betrekking op onderzoek door farma.

Een addendum kan sowieso niet gebruikt worden als samenvatting van een studie. Daar is een addendum helemaal niet voor.

Ook wordt de denkfout gemaakt te veronderstellen dat ‘sponsoring’ altijd betrekking heeft op sponsoring door farma. Maar zoals we ook in deze studie zien, zijn er veel meer vormen van sponsoring. Het aantal door farma gesponsorde onderzoeken is zelfs in de minderheid in deze studie.

Er staan overigens wel een paar interessante opmerkingen in het addendumpje. Interessant genoeg om wellicht eens een artikel aan te wijden hier.

21 Responses to Griep, mexicaanse griep en griepvaccinaties: is onderzoek van Big Farma altijd slechter? Een lesje in begrijpend lezen van wetenschappelijk onderzoek

  1. Tealon zegt:

    Wij van Crypto weten net zo goed als vele anderen dat er het nodige mis is in de farmaceutische industrie.

    Als farmaceut vraag ik me sterk af welke grote misstanden er wel niet zijn in deze bedrijfstak? Vooral als je nagaat dat het hier gaat om een industrie die te maken heeft met een zeer hoge graad van overheidsbemoeienis.

    EditJennyJo: vond zelf ook dat het iets genuanceerder kon maar had vanochtend geen tijd meer. Formulering is nu iets aangepast.

  2. Bertha zegt:

    Met name dit item doet mij veel genoegen vanwege de hoge kwaliteit.
    Voor alle duidelijkheid hier mijn comment daarover bij de GGM:

    http://www.degrotegriepmeting.nl/index.php?thissection_id=3&request=18177&thisreeks=1

    Mijn complimenten voor deze site, die alles in het werk stelt om mensen eerlijk en juist te informeren.

    Sterkte in de strijd!

  3. Interessant artikel Jennyj0, as usual. (zin om een stukkie te schrijven voor m’n literatuurstudietje? Op pag. 23 noem ik het onderzoek terloops. :D)
    https://cryptocheilus.wordpress.com/2009/11/06/alles-wat-u-over-de-griep-wilde-weten/

    Evenzogoed ben ik, gezien een aantal van de ontwikkelingen die de nare kanten van big farma hebben aangegeven, voor een voorzichtige benadering.

    Keihard roeptoeteren dat dit hel en verdoemenis betekent voor de wetenschap van vaccinaties zie ik overigens ook niet als een voorzichtige benadering. Jefferson is bijvoorbeeld nogal een rechtlijnig manneke. http://scienceblogs.com/effectmeasure/2009/10/journalists_sink_in_the_atlant.php

  4. jennyj0 zegt:

    Zeker heb ik daar zin in Bram!

    We moeten nooit de ogen sluiten voor misstanden. Maar we moeten ook niet de ogen sluiten voor de positieve kanten. Dit stuk was overigens niet bedoeld om farma een veer in de r… te steken, die zijn groot en sterk en kunnen zichzelf best redden, daar hebben ze dit kleine blogske niet voor nodig.

    Bij veel mensen heerst echter de opvatting dat alles wat farma doet, per definitie slecht is en alles wat alle anderen doen, dus per definitie goed. Er wordt dan even een onderzoekje van het internet geplukt om dit te ‘onderbouwen’, zonder dat het onderzoek zelfs maar gelezen wordt. Dat gebeurt dan onder het mom van ‘de mensen eerlijke informatie geven’. Maar dat is geen eerlijke informatie, dat is demagogie en daar heb ik het niet op. Ik ga dan dus zo’n onderzoek helemaal uitpluizen want ik wil weten hoe het zit. En dan irriteert het mij als ik zie dat er zo’n verkeerde voorstelling van zaken wordt gegeven.

    De opvatting dat farma alles verkeerd doet is net zo zinloos als de opvatting dat de anderen alles goed doen. Aan zulk plat zwart-wit denken hebben we helemaal niks.

    Dank voor de link trouwens. Op Science-Based Medicine heeft ook groot artikel over datzelfde onderwerp gestaan. Het grappige is dat de Cochrane Collaboration een andere grote studie heeft gedaan naar de effecten van griepvaccinaties die aanzienlijk positievere uitkomsten gaf. Maar griep en griepvaccinaties zijn ook een heel erg lastig ding, zo heb ik inmiddels geleerd.

  5. jennyj0 zegt:

    Er is genoeg kritiek te leveren op hoe de farmaceutische industrie te werk gaat.

    Denk dat we hier maar eens uitgebreider op dat onderwerp in moeten gaan, ook aan de overheidscontrole en hoe en wat er verbeterd moet worden daaraan.

  6. @ Tealon:

    Er is genoeg kritiek te leveren op hoe de farmaceutische industrie te werk gaat.

    De farmaceutische industrie is verantwoordelijk voor wat ze zelf doen. Het argument van overheidscontrole is een goeie. Ik moest er wel een beetje om lachen. We hebben allemaal gezien hoe de overheidscontrole werkt als het om banken gaat. Kalf en put.

  7. Tealon zegt:

    @Cryptocheilus,

    Ik ben het normaal altijd eens met je commentaar, maar nu laat je toch een steekje vallen.

    Ik kan me vaak vinden in de kritiek die mensen hebben op de marketing tactieken van de farmaceutische industrie, maar vergeet niet dat marketing in andere branches exact op dezelfde manier gaat. Mocht daar iets aan veranderd moeten worden, dan is dat een maatschappelijke kwestie en niet zo zeer iets van de industrie.

    Qua controle kent de farmaceutische industrie zijn gelijke niet. Het voorbeeld van banken is onzinnig, want die controle is/was een farce en totaal niet te vergelijken met de energie die de farmaceutische industrie in de phase 1 t/m 3 clinical trials moet steken. Ik zie de banken niet eens in de buurt komen van deze intense trials voor alle financiële producten die ze aanbieden. Jij wel?

  8. jennyj0 zegt:

    @Tealon,

    Wat mij tamelijk dwarszit is dat ik regelmatig merk en ook lees dat er nogal wat niet gepubliceerd wordt, of pas langere tijd na het onderzoek, met stille trom. Het gaat dan vaak om onderzoeken met negatieve uitkomsten. Dat vind ik zorgelijk. Weten dat iets niet werkt en waarom lijkt me ook zinvolle kennis.

    Nb: dat geldt overigens niet alleen voor onderzoeken van de farmaceutische industrie.

  9. tealon zegt:

    @Jennyj0,

    Zoals je zelf zegt is dit zeker niet alleen het geval voor de farmaceutische industrie, maar eerder een eigenschap van de gehele wetenschappelijke cultuur in de wereld.

    Overigens wordt in de farmaceutische industrie vaak mislukte experimenten en dergelijke wel degelijke gepubliceerd, maar dan in de patent literatuur.

  10. @ tealon

    Ik chargeer. Ook om de discussie open te gooien.

    vergeet niet dat marketing in andere branches exact op dezelfde manier gaat

    Tu quoque.

    Bovendien ken ik weinig takken van industrie die, zoals de farmaceutische industrie (soms tot 40% maar meestal 10 a 12% van het totale budget) reserveren voor marketing waarvan een groot gedeelte voor artsen en een toenemend gedeelte voor direct to consumers advertising (die overigens sinds 2006 ook weer afneemt door het aflopen van patenten en dus introductie van meer generieke, dus goedkopere, middelen).

    Nieuws.

    http://www.cbo.gov/ftpdocs/105xx/doc10522/12-02-DrugPromo_Brief.pdf

    De wal gaat het schip keren. Mark my words.

    Nog even wat huiswerk voor je:

    http://www.atkearney.com/images/global/pdf/Pharmaceuticals_Out_of_Balance_2.pdf

    Ben benieuwd naar je mening.

  11. Tealon zegt:

    @cryptocheilus

    Zoals ik al eerder aangaf ben ik het niet altijd eens met de markting strategy die bij vooral bij big pharma gehanteerd wordt. Overigens hoe groot het marketing budget is, doet er niet toe zolang het geld op een eerlijke manier gebruikt wordt. Omkoping van artsen en dergelijk is dus uit den boze. Bovendien ga je aan het feit voorbij dat in de farmaceutische industrie 40% tot 60% van het budget naar R&D gaat, iets wat we ook niet terug zien in andere takken van de industrie.

    Overigens zie ik niet echt het nut van mijn “huiswerk”. Ja, de farmaceutische industrie heeft misschien een achterhaald business model, maar ik neem aan dat je toch niet met misstanden doelde op het feit dat de aandelen in big pharma in de toekomst mogelijk flink kunnen dalen? Overigens is dit nogal conservatieve gedrag van de farmaceutische industrie wel te begrijpen. Als CEO van een grote farmaceut is de druk erg hoog om op de korte en lange termijn winstgevend te zijn. Om die reden zal men zich eerder richten op de huidige markten dan op een nieuwe markt waar totaal geen zekerheid bestaat over de grootte en de potentiële winstgevendheid.

    Bovendien zie ik de wal het schip nog niet zo snel keren. Big pharma zal gewoon afwachten en de nieuwe bedrijven die ontstaan opkopen om zo hun toekomst tijdens een eventuele market chance veilig te stellen.

    Tot nu toe ben ik eerlijk gezegd nog niet echt onder de indruk van de misstanden die je aandraagt. Pharma heeft grote marketing budgetten? Sure. Is dat erg? Natuurlijk niet, mits de marketing niet over de schreef gaat. Dat dit vroeger op grote schaal gebeurde was een kwalijke zaak, maar tegenwoordig kan je nog maar weinig artsen vinden die op vakantie gaan op kosten van farmaceuten.

  12. @ Tealaon:

    Over de marketingstrategieën zijn we het eens. Niet per definitie verwerpelijk. Het gaat inderdaad om wat, hoe en hoeveel.

    M.b.t. de budgetten voor R&D verschillen we van mening. Ik denk dat je een factor twee tot drie overdrijft. Het werkelijke percentage (plmn 20%) is te vinden in de bovenste link die ik al eerder gaf.

    […]the Pharmaceutical Research and Manufacturers of America (PhRMA) estimated that, among its members, domestic sales of pharmaceuticals and medicines totaled $189 billion in 2008 and domestic spending on research and development totaled $38 billion […]

    Hoewel het niet mijn core-business is kan ik kranten vullen met kritiek op de farmaceutische industrie. Kleine (recente) selectie?

    http://brianvastag.net/2009/10/cme/

    http://www.ahrp.org/cms/content/view/653/1/

    http://www.newsday.com/business/former-johnson-johnson-exec-charged-in-britain-1.1631361

    http://www.thestreet.com/story/10635164/1/swiss-fine-drug-firms-57m-for-price-fixing.html

    “Let’s face it, big pharma is contracting and the age of the blockbuster model is not sustainable,

    http://www.ft.com/cms/s/2/d0f7af5c-d7e6-11de-b578-00144feabdc0.html

    http://www.pharmatimes.com/ClinicalNews/article.aspx?id=17013

    http://www.pharmatimes.com/WorldNews/article.aspx?id=17019

    http://www.pharmatimes.com/WorldNews/article.aspx?id=17016

    http://www.theglobeandmail.com/life/health/medical-association-takes-heat-for-pfizer-funding/article1386224/

    http://www.reportingonhealth.org/blogs/mittleman-files-part-1-deposition-provides-treasure-map-ghostwriting-stories

    deel 2

    http://www.reportingonhealth.org/blogs/mittleman-files-part-2-just-another-day-ghostwriting-assembly-line

    http://industry.bnet.com/pharma/10005667/fda-has-only-2-inspectors-watching-drug-factories-in-china/

    Want more?

    Ik zal nog wat schrijven over mijn mening van de wal en het schip. Geduld.

  13. Dit lijkt me in deze ook wel een relevant artikel:

    Is the conflict of interest unacceptable when drug companies conduct trials on their own drugs?

    Goldacre vs. Lawton

    Linkje PDF: http://www.bmj.com/cgi/section_pdf/339/nov27_1/b4949.pdf

    linkje YES (Goldacre): http://dx.doi.org/10.1136/bmj.b4949

    linkje NO (Lawton): http://www.bmj.com/cgi/content/full/339/nov27_1/b4953

  14. Tealon zegt:

    Net als jouw percentage voor marketing was misschien mijn percentage voor R&D wat optimistisch. Nazoeken leert inderdaad dat dit ongeveer 20% is.

    Verder vind ik de artikelen waar je mee komt nog steeds niet overtuigend voor structurele misstanden in de industrie. Zaken gaan nou eenmaal niet altijd goed. Ik probeer dan ook niemand te overtuigen dat de farmaceutische industrie heilig is.

    Maar goed, ik wacht het verhaal van je boot af.

  15. jennyj0 zegt:

    Dat karige budget voor R&D is natuurlijk ook het thema dat steeds in de discussies terugkomt. Denk maar aan de uitzending van Tros Radar enige tijd geleden over de marketingtactieken en de omvang van het marketingbudget. Dat is echt dodelijk. Ik roep ook steeds tegen mensen dat onderzoek nu eenmaal heel duur is dat er daarom ook veel verdiend moet worden. Maar 20% voor R&D lijkt toch wel erg armzalig. Het is wellicht heel goed uit te leggen, maar ik hoor die uitleg nooit…

    De farmaceutische industrie heeft een slecht imago. Misschien niet terecht, maar het lijkt me toch goed dat men daar aandacht aan besteedt. Het heeft een olievlekachtig effect op allerlei andere zaken, zie deze vaccinatiecampagne en de HPV-campagne. Als het allemaal niet waar is wat er gezegd wordt, laat dat dan duidelijk horen en zien. Tenzij het imago de industrie niets kan schelen natuurlijk. Mogelijk heeft ook de publieke opinie geen invloed op de bedrijfsgezondheid en is het daarom geen issue. Maar men moet bedenken: hoe slechter het imago van de reguliere gezondheidssector, inclusief de farmaceutische industrie, hoe groter de verleiding van pseudowetenschap. Ik zie er daarom ook een maatschappelijke verantwoordelijkheid in.

  16. Carla zegt:

    http://www.bnr.nl/artikel/13753942/brussel-bezorgd-nepmedicijnen

    Brussel bezorgd over nepmedicijnen

    De Europese Commissie maakt zich zorgen over het grote aantal nepmedicijnen dat in Europa in omloop is. Bij douanecontroles werden in twee maanden tijd liefst 34 miljoen neppillen in beslag genomen, en dat is meer dan de Europese Commissie zelf had verwacht. Vooral mensen die via internet medicijnen bestellen, lopen risico.

  17. @ Crypto: toch die laatste van gisteren moeten laten staan…😀

    Niettemin wel on-topic, maar goed, jij was eerder Cryppie, ere wie ere toekomt.

  18. Tealon zegt:

    Ik heb nog wat navraag gedaan over het “karige” R&D budget dat we vonden. Het blijkt dat dit getal nogal verschillend geïnterpreteerd wordt. Waarschijnlijk gaat het hier namelijk om de harde R&D, namelijk het ontwikkelen en testen van medicijnen. Zaken zoals patenten en registratie wordt hierbij niet meegenomen.

    Verder misschien nog een interessant artikel over de kosten van R&D in de farmaceutische industrie:
    http://www.nature.com/nrd/journal/v8/n12/pdf/nrd2961.pdf

  19. jennyj0 zegt:

    Dank. ‘k Ga het lezen.

  20. Pingback: Farmatrents, win-win moet je doen! « Cryptocheilus Weblog

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers op de volgende wijze: