De roze bril van de homeopathie

Omstreeks dezelfde tijd (1990) publiceerden Catherine Hill en Françoise Doyon ook een meta-analyse. Kleijnen et al. hadden een uiterst soepel systeem bedacht om onderzoeken een cijfer te geven, waarmee niettemin slechts 16 van de 107 het tot een 6 of meer (in termen van schoolcijfers) brachten. Hill en Doyon keken slechts naar één enkel aspect: was er correct geloot of niet. Daardoor hielden ze er maar 40 over; een onderzoek dat een 7,5 scoorde bij Kleijnen et al. viel bijvoorbeeld af. Van die 40 gaven er 20 een positief effect te zien, en 20 niet, waarmee voor Hill en Doyon de kous af was: verder onderzoek naar de waarde van homeopathie is verspilde moeite.

2. Cucherat M, Haugh MC, Gooch M, Boissel JP. Evidence of clinical efficacy of homeopathy. A meta-analysis of clinical trials. HMRAG. Homeopathic Medicines Research Advisory Group. Eur J Clin Pharmacol. 2000 Apr;56(1):27-33.
Nummer twee concludeert dat ‘There is some evidence that homeopathic treatments are more effective than placebo’, waar rozebrildragers buitengewoon euforisch van kunnen worden, zeker in combinatie met een berekening van een gecombineerde p-waarde van 0,000036. De auteurs vervolgen echter: ‘however, the strength of this evidence is low because of the low methodological quality of the trials. Studies of high methodological quality were more likely to be negative than the lower quality studies.’

Deze conclusie van Cucherat et al. komt overeen met wat Kleijnen et al. ook al hadden gezegd. Die gaven het voorbeeld van verminderde darmwerking na operatie (‘ileus’). Na een operatie liggen de darmen soms helemaal stil, en die ileusperiode wil men natuurlijk bekorten. Diverse onderzoekers hadden gesuggereerd dat homeopathisch verdund opium of raphanus (wilde radijs) daar geschikt voor was. Dat was reden voor de Franse overheid om een groot onderzoek te doen opzetten door homeopaten en regulieren samen. Het totaal aantal patiënten dat hierbij betrokken was, overtrof het gezamenlijke aantal patiënten in alle voorgaande onderzoeken. Dit onderzoek scoorde een 9 bij Kleijnen et al., en het kwam negatief uit: geen verschil tussen placebo en het ‘echte’ middel. Het was voor Kleijnen et al. een van de redenen om te denken dat ook bij homeopathie de kwaliteit van het onderzoek van invloed was op de conclusies. Cucherat et al. beamen dit. In hun serie van 16 deugdelijke onderzoeken merken ze op dat de indrukwekkend lage p-waarde steeds minder indrukwekkend wordt als je je beperkt tot onderzoeken van hogere kwaliteit. Bij de hoogste kwaliteit heb je nog maar p = 0,08.

3. Linde K, Clausius N, Ramirez G, Melchart D, Eitel F, Hedges LV, Jonas WB. Are the clinical effects of homeopathy placebo effects? A meta-analysis of placebo-controlled trials. Lancet. 1997 Sep 20;350(9081):834-43.
Nummer drie is een heel bekend onderzoek. Het betrof 89 trials. De homeopaten citeren vaak het eerste deel van de conclusie: de klinische effecten van homeopathie zijn niet geheel toe te schrijven aan het placebo-effect. Ook hier slaat het rozebrileffect weer toe. Het tweede deel van de conclusie luidt namelijk: er is onvoldoende bewijs dat homeopathie duidelijk effectief is voor welke afzonderlijke kwaal dan ook. Ook dit feit was al duidelijk bij Kleijnen et al., en zij noemden dit expliciet in een naschrift bij diverse reacties (BMJ vol. 302, p. 960).

Het onderzoek van Linde is met dezelfde gegevens niet minder dan zesmaal overgedaan, waarvan tweemaal door Linde en enkele van zijn mede-auteurs, en de conclusie was minder positief. Dit valt na te lezen in een overzichtsartikel van Edzard Ernst uit 2002. Bij veel van de onderzoeken was niet of niet behoorlijk geloot (wat Hill en Doyon al hadden opgemerkt), en het duidelijk negatieve verband tussen de kwaliteit van het onderzoek en de uitkomst was ook evident bij Linde et al. Dat hadden Linde en medeauteurs zelf al geconcludeerd in 1999, en zij voegden er toen aan toe dat deze conclusies de bevindingen van hun oorspronkelijke meta-analyse verzwakten. Het meest positieve van genoemde zes heronderzoeken stelde dat er een effect leek te zijn voor individuele homeopathie, maar dat het wegens de povere kwaliteit van de onderzoeken niet overtuigend was. R. Barker Bausell merkt in zijn boek Snake Oil Science (2007) op dat nogal wat van de 89 onderzoeken van Linde et al. afkomstig waren uit bladen over irreguliere geneeskunde. Slechts 32 (36%) kwamen uit andere bronnen, en daarvan waren er slechts 13 die niet al door Kleijnen et al. waren beschouwd. Van die 13 waren er maar 6 die én voldoende kwaliteit én meer dan 100 proefpersonen hadden. Van die 6 was de helft significant positief ten gunste van homeopathie en de helft niet, precies zoals bij Doyon en Hill.

4. Shang A, Huwiler-Müntener K, Nartey L, Jüni P, Dörig S, Sterne JA, Pewsner D, Egger M. Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy. Lancet. 2005 Aug 27-Sep 2;366(9487):726-32.
Nummer vier in de lijst is eveneens een bekende studie. Deze ging speciaal in op opmerkingen die al diverse malen waren gemaakt. Kleijnen et al. hadden gezegd: in de reguliere geneeskunde heb je ook rommelig en bevooroordeeld onderzoek en publicatiebias; als je vergelijkt met homeopathie, wat zie je dan? Het antwoord van Shang et al. was: de beste onderzoeken in de reguliere geneeskunde (die uiteraard gedaan worden met medicamenten waar men om goede redenen wat van verwacht) geven een effect te zien, terwijl bij de homeopathie er dan van het effect niets overblijft.

Waarom dit staat in een lijst van onderzoeken die de voortreffelijkheid van de homeopathie moet aantonen is alleen door het rozebrileffect verklaarbaar. Shang et al. schrijven namelijk: ’there was weak evidence for a specific effect of homoeopathic remedies, but strong evidence for specific effects of conventional interventions.’ Als men slechts naar de eerste helft van deze zin kijkt, kan men zich misschien de vreugde de homeopaten wel voorstellen.

5. Jacobs J, Jonas WB, Jiménez-Pérez M, Crothers D. Homeopathy for childhood diarrhea: combined results and metaanalysis from three randomized, controlled clinical trials. Pediatr Infect Dis J. 2003 Mar;22(3):229-34.
Nummer vijf is dan het eerste echt positieve resultaat, een combinatie van drie min of meer eendere onderzoeken, afkomstig van hetzelfde groepje onderzoekers, en verricht in Nicaragua (twee stuks) en Nepal (eenmaal): homeopathie werkt tegen kinderdiarree. Een dergelijk onderzoek roept de vraag op of homeopathie dan toch werkt (al is het alleen maar bij kinderen in Verweggistan). Bij nadere beschouwing blijft er niet zoveel van over, en belangrijker: in een onderzoek in Honduras met meer proefpersonen dan in alle onderzoeken van deze meta-analyse bij elkaar bleef er niets van het effect over. Daarover later meer.

6. Vickers AJ, Smith C. Homoeopathic Oscillococcinum for preventing and treating influenza and influenza-like syndromes. Cochrane Database Syst Rev. 2006 Jul 19;3:CD001957.
Het antwoord op de vraag bij nummer vijf zien we als we nummer zes in detail bekijken. Dit is een meta-analyse van onderzoeken naar de werking van het middel oscillococcinum. Vickers en Smith besluiten met:: ‘Current evidence does not support a preventative effect of Oscillococcinum-like homeopathic medicines in influenza and influenza-like syndromes.’ Vickers en Smith noemen de resultaten echter ook ‘promising’ en ze merken op dat ‘Oscillococcinum treatment reduced the length of influenza illness by 0.28 days’.

Fouten in onderzoek

De twee belangrijkste onderzoeken van Oscillococcinum zijn die van Ferley et al. (1989) en Papp et al. (1998). Dat van Ferley scoorde een 8,8 bij Kleijnen et al. en beide onderzoeken werden ook meegenomen wegens hun hoge kwaliteit in het reeds besproken onderzoek van Cucherat et al. Elders heb ik betoogd dat beide onderzoeken niet deugen.

In de serieuze wetenschap hoort een hypothese (bijvoorbeeld homeopathie is niet te onderscheiden van placebo) te beginnen met het formuleren van een duidelijke onderzoeksopzet, en een afspraak over waar men precies naar gaat kijken. Dan komt het vergaren van gegevens. De bias waarover Kleijnen en anderen geschreven hebben kan op veel manieren een weerslag hebben in de einduitkomst, en niet pas in het stadium dat men gaat proberen een artikel gepubliceerd te krijgen. Men kan bijvoorbeeld al halverwege het onderzoek de blindering verbreken. Heeft men dan al ‘significantie’ bereikt, dan is de verleiding groot om te gaan publiceren. Het resultaat is dan een positief onderzoek met een verdacht klein aantal patiënten. Blijken de resultaten tegen te vallen, dan stopt men het onderzoek, of bedenkt een andere reden waarom de resultaten niet tellen. Maar ook als men tot het eind toe doorgaat, kan men achteraf proberen op allerlei manieren naar de uitslag te kijken, en de gegevens zo te rangschikken dat het nog wat lijkt. De onderzoeken van oscillococcinum illustreren het duidelijkst hoe zo iets kan gaan. Er zijn trouwens nog andere mogelijkheden, bijvoorbeeld het selectief verwijderen van de patiënten uit de verumgroep (na verbreking van de codes?) doordat men extra kritisch kijkt of die patiënten wel aan alle voorwaarden voldoen. Al met al is zo’n conclusie als ‘de effecten van homeopathie zijn niet geheel toe te schrijven aan het placebo-effect’ wel aannemelijk, als men dit leest als ‘het homeopathisch geloof veroorzaakt waarschijnlijk heel wat fouten in de onderzoekstechniek die allemaal één kant uit werken’.

Waarschijnlijk onbedoeld geven Vickers en Smith zelf ook een staaltje weg van dit proces van achterafgeknutsel, met de opmerking dat met oscillococcinum de duur van grieperigheid 0,28 dag (zeven uur) bekort wordt. De onderzoeken waren namelijk niet opgezet om een hypothese over de duur van de ziekte te toetsen. Statistische uitspraken, met betrouwbaarheidsinterval en al, zijn alleen maar zinvol als de proef was opgezet met als uitsluitend doel juist die uitkomst te toetsen.

Men mag natuurlijk wel van tevoren het plan maken om op diverse dingen te letten, maar dan moet de berekening daarop zijn ingericht.

Bij verslagen van dubbelblinde proeven met loting moet men er dus heel goed op letten of de eindpunten wel voorafgaande aan de proef gekozen waren, of dat er wellicht na het verzamelen van de gegevens door handig vissen in een grote hoeveelheid data in combinatie met kunstig rekenen iets wonderbaarlijks is gefabriekt.

Bayesiaans

Het probleem met achterafgeknutsel zoals dat van Vickers en Smith is niet dat de uitkomst niet zou kloppen, maar dat men niet weet op hoeveel manieren de gegevens achteraf zijn onderzocht om er iets positiefs uit te peuren, of beter: men weet niet hoeveel mogelijkheden de onderzoekers wel hadden willen onderzoeken voor ze hun pogingen zouden opgeven. Immers stel dat de onderzoekers in beginsel bereid waren geweest honderd rekenmanieren te proberen, dan is het niet zo verwonderlijk dat ze dan iets vinden dat ‘puur toevallig’, dus zonder een echt effect, maar eens per honderd keer optreedt. We weten in de praktijk helemaal niet hoe ver de onderzoekers zijn gegaan of hadden willen gaan met de data te martelen, dus achteraf gevonden p-waarden zeggen helemaal niets. Ze zijn vergelijkbaar met het oordeel van een loterijwinnaar dat er een wonder is verricht door een hogere macht.

Er is een tweede reden om geen waarde aan kleine p-waarden te hechten. Men kan beargumenteren dat een significant uitgevallen toets niet meer doet dan de odds dat een middel werkt (zie hier) vermenigvuldigen met 10 of 20. Als de odds tevoren al nul waren (dus de waarschijnlijkheid dat het middel werkzaam is, is gewoon nul), dan zijn ze na afloop van de ‘geslaagde’ test ook nul. De reden dat die odds extreem dicht bij nul zijn, is dat dit ook de odds zijn dat de natuurwetenschap (natuurkunde, scheikunde, biologie, farmacologie, geneeskunde) van de afgelopen tweehonderd jaar iets heel belangrijks over het hoofd heeft gezien.

Precies deze bewering is wat talloze genezers inderdaad stellen. Ze menen dat hun onsystematisch en niet-wetenschappelijk vergaarde ervaringen superieur zijn aan wat honderdduizenden nauwgezette onderzoekers hebben ontdekt en bevestigd.  

Deze zogeheten bayesiaanse interpretatie is wat zit achter de opmerkingen Kleijnen et al. Bij ‘gewone’ onderzoeken zijn de a priori odds niet extreem laag omdat er allerlei redenen zijn om de te onderzoeken bewering niet erg onaannemelijk te achten, en dat betekent dat die odds na een aantal positieve tests (vermeningvuldiging met een aantal factoren 10) behoorlijk groot zijn.

De rest

Over de overige items op de lijst van het positionpaper kan iets dergelijks gezegd worden. Op een enkele (bijvoorbeeld Taylor et al. 2000, nummer 9 hieronder, ook zo’n samenvatting van eigen onderzoek) na zijn de samenvattingen een litanie van: niet bewezen, onvoldoende bewijs, geen steun, tegenstrijdige resultaten en ondermaatse kwaliteit. Ongetwijfeld hebben de samenstellers van het PP in elk van die onderzoeken nog een lichtpuntje weten te ontdekken. Onderaan dit artikel staan alle artikelen gerefereerd, inclusief links, zodat u het zelf kunt zien met een druk op de knop.

Dergelijke roze brillen zijn, naar men mag aannemen, niet alleen aanwezig bij functionarissen van een homeopathische artsenclub, wanneer zij de literatuur afschuimen naar bevestiging van hun geloof. Dezelfde roze bril werkt waarschijnlijk ook bij de homeopaten die aan het onderzoeken slaan. Een artikel van Jan P. Vandenbroucke, dat ook in de Lancet verscheen, wees daar op. Als pakkend voorbeeld van hoe vooroordelen en roze brillen effect kunnen hebben, begon hij met het voorbeeld van het onderzoek van Linde et al. (1997) en merkte op dat als het niet over homeopathie ging, iedereen zou zeggen dat er een duidelijk effect was. De homeopaten demonstreren hun rozebrilligheid geregeld door juist deze opmerking aan te halen, en aldus Vandenbroucke voor hun karretje te spannen.

Als homeopaten bij het het bespreken van onderzoeken al zulke roze brillen op hebben, hoe moet het dan wel niet gaan buiten een onderzoekssituatie, gewoon in de spreekkamer met een patiënt erbij? Zal de roze bril er dan niet onafwendbaar voor zorgen dat een gunstig natuurlijk verloop van een aandoening wordt bijgeschreven bij de lange reeks van ‘zelf ervaren’ wonderen der homeopathie en de rest wordt vergeten?

7. Barnes J, Resch KL, Ernst E. Homeopathy for postoperative ileus? A meta-analysis. J Clin Gastroenterol. 1997 Dec;25(4):628-33.

8. Lüdtke R, Wiesenauer M. [A meta-analysis of homeopathic treatment of pollinosis with Galphimia glauca] Wien Med Wochenschr. 1997;147(14):323-7.

9. Taylor MA, Reilly D, Llewellyn-Jones RH, McSharry C, Aitchison TC. Randomised controlled trial of homoeopathy versus placebo in perennial allergic rhinitis with overview of four trial series. BMJ. 2000 Aug 19-26;321(7259):471-6.

10. Bellavite P, Ortolani R, Pontarollo F, Pitari G, Conforti A. Immunology and Homeopathy. Immunology and homeopathy. 4. Clinical studies-part 2. Evid Based Complement Alternat Med. 2006 Dec;3(4):397-409. Epub 2006 Jul 31.

11. Schneider B, Klein P, Weiser M. Treatment of vertigo with a homeopathic complex remedy compared with usual treatments: a meta-analysis of clinical trials. Arzneimittelforschung. 2005;55(1):23-9.

12. Ernst E and Barnes J. Are homoeopathic remedies effective for delayed-onset muscle soreness? A systematic review of placebo-controlled trials. Perfusion (Nürnberg) 1998 11: 4-8.

13. Ullman D. Controlled clinical trials evaluating the homeopathic treatment of people with human immunodeficiency virus or acquired immune deficiency syndrome. J Altern Complement Med. 2003 Feb;9(1):133-41. Review.

14. McCarney RW, Linde K, Lasserson TJ. Homeopathy for chronic asthma. Cochrane Database Syst Rev. 2004;(1):CD000353. Review.

15. McCarney R, Warner J, Fisher P, Van Haselen R. Homeopathy for dementia. Cochrane Database Syst Rev. 2003;(1):CD003803.

16. Owen JM, Green BM. Homeopathic treatment of headaches. A systematic review of the literature. Journal of Chiropractic Medicine. 3: 45-52.

17. Smith CA. Homoeopathy for induction of labour. Cochrane Database Syst Rev. 2003;(4):CD003399. Review.

18. Pilkington K, Kirkwood G, Rampes H, Fisher P, Richardson J. Homeopathy for depression: a systematic review of the research evidence. Homeopathy. 2005 Jul;94(3):153-63. Review.

19. Pilkington K, Kirkwood G, Rampes H, Fisher P, Richardson J. Homeopathy for anxiety and anxiety disorders: a systematic review of the research. Homeopathy. 2006 Jul;95(3):151-62.

20. Long L, Ernst E. Homeopathic remedies for the treatment of osteoarthritis: a systematic review. Br Homeopath J. 2001 Jan;90(1):37-43. Review.

21. Ernst E. Homeopathic prophylaxis of headaches and migraine? A systematic review. J Pain Symptom Manage. 1999 Nov;18(5):353-7.

Naschrift 22 juli 2009

De onderzoeken van Taylor en Reilly (zie nummer 9) waren ook minder postief dan de meta-analyse suggereert. Het gaat over het effect van homeopathie op allergische (immunologische) aandoeningen zoals hooikoorts en allergie voor huisstof, waarbij we maar niet te moeilijk moeten doen over de niet-homeopathische diagnosestelling en de min of meer isopathische behandeling die samen ‘homeopathische immunotherapie’ wordt genoemd.

Er zijn heel wat kritieken op geschreven zoals de te kleine hoeveelheid patiënten, de verschillende manieren om het resultaat te meten. In de ene studie was er geen verschil in de objectief gemeten waarden maar wel in de subjectieve evaluatie, in de andere was het juist omgekeerd. Toen dergelijke studies veel groter en met betere kwaliteit werden overgedaan door Lewith et al. was er geen enkel effect. De auteurs schrijven: Conclusion: Homoeopathic immunotherapy is not effective in the treatment of patients with asthma. The different patterns of change between homoeopathic immunotherapy and placebo over the course of the study are unexplained.

Zie: Lewith GT, Watkins AD, Hyland ME, Shaw S, Broomfield JA, Dolan G, Holgate ST.  Use of ultramolecular potencies of allergen to treat asthmatic people allergic to house dust mite: double blind randomised controlled clinical trial BMJ. 2002 March 2; 324(7336): 520.

Onder de 25 rapid responses die onder dit stuk staan, protesteert ongeveer tweederde dat het hier helemáál niet gaat om homeopathie, inclusief een reactie van een Nederlands lid van de VHAN. Maar wat doet de meta-analyse van Taylor et al. dan in een overzicht van ‘bewijzen’ van homeopathie in een ‘positionpaper’ dat mede ondertekend is door de VHAN?

Met dank aan Willem Betz.

Naschrtift oktober 2010
Het gedeelte ‘Bayesiaans’ is toegevoegd.

Nieuwsbrief

De Digitale Nieuwsbrief van de VtdK houdt u regelmatig op de hoogte van nieuwe artikelen op deze site.