Oscillococcinum

Dit artikel was op 2 april 2010
10.000 maal opgevraagd.

English summary

Nederlands

48 uur significant?

Het eerste onderzoek is dat van Ferley et al. (1989). Er deden rond 450 patiënten mee. De precieze aantallen zijn niet duidelijk, want de ene keer worden er 462 genoemd, dan weer 457, en van 50 patiënten waren enkele van de deelnemende 149 huisartsen de leeftijd vergeten op te schrijven. Als we de auteurs mogen geloven, dan hadden zij zich voor het experiment voorgenomen om uitsluitend te kijken naar de aantallen die binnen 48 uur ‘hersteld’ waren, dat wil zeggen dat de temperatuur onder de 37,5 graden was gezakt, en dat hoofdpijn, stijfheid, pijn in rug en gewrichten en rillingen verdwenen waren. Patiënten werden geacht griep te hebbben als zij zich bij de huisarts meldden met een temperatuur van meer dan 38 graden (rectaal) en ten minste twee van de genoemde symptomen. Er werd echter ook gelet op hoesten, loopneus en vermoeidheid.

Dat is al een vreemde opzet. Waarom 48 uur? Dan loop je toch het risico dat de aantallen veel te klein zijn? De enige garantie dat die paar honderd mensen griep hadden was dat het onderzoek plaats vond tijdens een griepepidemie. Maar hebben mensen die in 48 uur weer beter zijn wel echte griep?

Er waren 237 patiënten die het echte middel kregen toebedeeld, en 241 die een placebo kregen. Er was wat uitval na de verloting, zodat uiteindelijk de getallen 228 en 234 waren. In deze grote massa patiëntengegevens keek men echter alleen naar hen die binnen 48 uur genazen. Van deze waren de aantallen 39 en 24. Dat is een significant resultaat, en de auteurs komen uit op p = 0,03. Dat berekenen ze fout, want ze passen de zogenaamde continuïteitscorrectie niet toe. Ze horen ook uit te gaan van de oorspronkelijke getallen. Het is dus de vraag wat de kans is dat de 63 patiënten die in 48 uur genazen en niet om de een of andere reden uit de proef verwijderd werden, zó ongelijkmatig over die 237+241 verdeeld waren. Volgens mij levert de correcte berekening p = 0,049 (met Fishers exacte toets, tweezijdig), dat is op het randje significant.

Significant is hier een statistische vakterm die slechts aangeeft dat er mogelijk een reden is om nog eens wat beter te kijken: doet het middel wat en zo ja hoeveel, of is er een fout bij de proef gemaakt, of is het toch gewoon toeval? Dat is iets heel anders dan of het middel ook echt werkt.

Maar 0,03 of 0,05 is niet de belangrijkste fout. Ferley et al. geven namelijk de aantallen die na 0,5, 1, 1,5, 2 enzovoorts tot 7 dagen waren genezen, niet in cijfers, maar in een grafiek, die je met een liniaaltje moet nameten om achter de getallen te komen. Toevallig levert alleen ‘2 dagen’ een bruikbaar resultaat op. Het vermoeden ligt voor de hand dat ze pas na afloop zagen dat er bij twee dagen een bruikbare uitkomst was. Immers, als ze van meet af aan alleen van plan waren om uitsluitend naar ‘genezing in twee etmalen’ te kijken, waarom zouden ze dan ook nog extra moeite doen om veertien maal zoveel irrelevante gegevens te verzamelen? En waarom lette men niet op alle symptomen? Zouden de definities van ‘griep’ en ‘genezing’ misschien ook achteraf zijn aangepast? En zoals gezegd, is trouwens ‘griep’ die in twee dagen alweer over is wel echt griep?

Duplicatie

Eigenlijk kan men de Ferley-studie slechts beschouwen als een die een hypothese genereert. De bekende meta-analyse van Kleijnen, Knipschild en Ter Riet geeft dit artikel maar liefst 90 van de 100 punten voor kwaliteit. Ik vind dat het riekt naar onzin. Een van de auteurs van genoemde meta-analyse heeft me verzekerd dat volgens hem er weinig aanleiding is het artikel serieus te nemen.

De studie van Ferley et al. is korte tijd later (omstreeks Nieuwjaar 1991) overgedaan door Papp et al. (1998). Dat zou men kunnen beschouwen als een toetsing van de Ferley-hypothese. Maar te oordelen naar het verslag van Papp et al. is het geen goede toetsing geweest. Zowel de definitie van ‘griep’ als van ‘genezing’ was anders. Of iemand griep of niet had, hing af van temperatuur, hoofdpijn, gewrichtspijn, pijn op de borst, spierpijn, rugpijn, zere keel, hoesten, algemeen gevoel van ziek zijn; bovendien werd voor het bepalen van de ernst van de ziekte ook nog de indruk van de dokter genoteerd, alsmede hoe de patiënt zich voelde en hoeveel medicijnen deze nam en zelfs de datum dat de patiënt weer aan het werk ging. Voor de definitie van genezing werd alleen naar temperatuur plus verdwijning van hoofd- en spierpijn gekeken. Met deze nieuwe afwijkende definities waren de getallen 188 verum, 184 placebo, en genezing na 48 uur: 32/25. Zonder rekenen ziet men wel in dat dit niets voorstelt en met rekenen komt er p = 0,44 (eveneens tweezijdig) uit, met andere woorden een bijna 50/50 kans dat de 57 personen die in 48 uur genazen ten minste zo ongelijkmatig vertegenwoordigd zouden zijn in de twee groepen (aangenomen dat verum en placebo niets verschilden). In gebruikelijke statistische termen: de nulhypothese dat het verum en het placebo gelijkwaardig zijn, is niet verworpen. Einde verhaal, zou je zeggen.

Papp et al. noemen dit resultaat niet eens. Ze kunnen namelijk door knutselen aan de gegevens er toch iets significants uit construeren en vinden dan p = 0,0028. Dat deden ze door een nieuw type verbetering te definiëren, namelijk ‘aanzienlijk verbeterd’. Gezien de publicatiedatum van het artikel hebben ze kennelijk zes jaar nodig gehad om al dit gefröbel aan de gegevens rond te krijgen, of om te leuren met hun artikel tot ze uiteindelijk een tijdschrift vonden met referees die voldoende pap in de ogen hadden – een homeopathisch tijdschrift, hoe kan het ook anders?

WHO

De Wereldgezondheidsorganisatie WHO heeft of althans had een document in de maak waarin al het klinische onderzoek op het gebied van homeopathie wordt besproken. De homeopaten van de WHO proberen daarin zelf meta-annaliesje te spelen. In hun conceptrapport van december 2006 komen naast een groot aantal ‘positieve’ uitkomsten ook de twee hier besproken artikelen voor (uiteraard beide aangemerkt als ‘significant positief’) tezamen met een Cochrane meta-analyse (2004) van Vickers en Smith die wat zuiniger is. Hoewel zelfs Vickers en Smith stellen dat the evidence was not strong enough to use Oscillococcinum for routine treatment, maakt het concept WHO-rapport daarvan een in grote lijnen positieve conclusie over griep en een versterking van het algemene oordeel dat homeopathie helpt tegen onder meer griep.

Nauwkeurige lezing van beide artikelen leert echter dat de positieve resultaten waarschijnlijk een product zijn van creatief rekenen, en dat de onderzoekers het statistische beginsel ‘eerst hypothese opstellen, dan pas waarnemen en rekenen’ met voeten getreden hebben. Dat het lijkt alsof veel onderzoeken in de alternatieve sfeer positief uitvallen, is niet alleen een resultaat van fraude, slecht onderzoek of publicatiebias, maar ook van wijdverbreide praktijken van monomaan naar het gewenste antwoord toe rekenen. Ik ben bang dat dit ook buiten de alternatieve geneeskunde schering en inslag is, maar daar staan altijd vele andere wetenschappers klaar om wat niet deugt af te branden.

Literatuur

J.P. Ferley et al., A controlled evaluation of a homeopathic preparation in the treatment of influenza-like syndromes. British Journal of Pharmacology, vol. 87 (1989), p. 329-335.

Papp, R. et al. Oscillococcinum® in patients with influenza-like syndromes: A placebo controlled double-blind evaluation. British Homeopathical Journal, vol. 87 (1998) p. 69-76.

A. Vickers en C. Smith, Homeopathic Oscillococcinum for preventing and treating influenza and influenza-like syndromes (Cochrane review) In: The Cochrane Library, Chicester, UK: John Wiley and Sons, CD001957 (2004).

Nieuwsbrief

De Digitale Nieuwsbrief van de VtdK houdt u regelmatig op de hoogte van nieuwe artikelen op deze site.