Homeopathie werkt ook niet bij kinderdiarree

De meta-analyse in kwestie wordt bijvoorbeeld genoemd in het ‘positionpaper’ van de Nederlandse CAM-artsen als nummer 5. Zie: De roze bril van de homeopathie. Deze meta-analyse betrof drie onderzoeken:

Ni-90: een klein onderzoek (16 verum, 17 placebo), uitgevoerd in 1990 in Nicaragua, gepubliceerd 1993 (zie noot 1).
Ni-91: een onderzoek (40 verum, 41 placebo), uitgevoerd in 1991 in Nicaragua, gepubliceerd 1994.
Ne-94: een onderzoek (64 verum, 52 placebo), uitgevoerd in 1994 in Nepal, gepubliceerd 2000.

Het laatste onderzoek ving aan kort voor de publicatie van het middelste. Enige tijd na de meta-analyse werd een nog veel groter onderzoek opgezet:

Ho-04: een onderzoek (145 verum, 147 placebo), uitgevoerd in Honduras in 2004, gepubliceerd 2006. Merk op dat het aantal patiëntjes in dit onderzoek flink wat meer was dan in de vorige onderzoeken samen.

De drie eerste onderzoeken hadden de volgende opzet. Kinderen van 6 maanden tot en met 5 jaar (gemiddeld nog geen twintig maanden) met diarree kwamen naar de huisartsenpost. Wie al reguliere medicijnen had gehad, deed niet mee in het onderzoek, en wie al te sterk uitgedroogd was, werd meteen opgenomen in een ziekenhuis. Alle kindertjes kregen orale rehydratatie. Dat heeft geen invloed op de duur van de ziekte, maar wel op de overlevingskans.

Over de hele wereld gaan nogal wat kinderen dood aan diarree, simpelweg door uitdroging. In landen als Nicaragua en Nepal hebben kinderen gemiddeld eens per twee maanden een week lang diarree. Dat veroorzaakt natuurlijk ondervoeding (en daarmee vatbaarheid voor andere ziekten). Bovendien, als er niet goed gelet wordt op uitdroging, is de kans aanzienlijk dat zo’n kind sterft voor het volwassen is. Rond 1990 werden er ongeveer een half miljoen kinderen per jaar in Nepal geboren, maar er stierven 40.000 jaarlijks aan uitdroging door diarree, bijna de helft van de totale kindersterfte.

Behalve orale rehydratietherapie kregen alle kindertjes een homeopathische behandeling. Deze bestond uit een uitvoerig gesprek, waarna een ritueel met een computer werd uitgevoerd, en de kindertjes allemaal een flesje suikerkorrels kregen. Deze suikerkorrels waren tijdens de fabricage bewerkt (waarschijnlijk besproeid) met een mengsel van water en alcohol dat uiteraard daarna weer verdampt was. Het enige verschil tussen verum en placebo was dat bij de verumkorrels die alcohol volgens een homeopathisch ritueel was klaargemaakt. In feite waren er negentien rituelen, die evenveel van elkaar verschilden als wijwater dat door verschillende priesters gewijd is. Omdat de klassieke homeopathie nu eenmaal een recept is dat luidt: ‘zoek het beste middel op grond van een gesprek, en dien dat dan toe’ is dit in elk geval een opzet die recht doet aan de homeopathische leer. Voor de nulhypothese ‘hoogverdunde homeopathie werkt niet’ maakt de bereidingswijze van zulke suikerkorrels niets uit.

Niet of wel significant?
Ni-90 kwam niet significant uit. Het werd achteraf een pilot genoemd. Dan klinkt het minder erg. Maar het erge is dat de auteurs kennelijk gedacht hebben dat de homeopathie zo krachtig is dat je bij een proef met 34 proefpersonen al een duidelijk verschil vindt.

In het onderzoeksverslag wordt melding gemaakt van een significant verschil dat bij ‘explorative analysis’ gevonden werd. Dat is incorrect. De term ‘significant’ kan en mag alleen maar slaan op van tevoren geplande uitkomstmaten. Als de onderzoekers achteraf in de gegevens gaan grasduinen tot ze wat hebben gevonden, is het zinloos om waarde te hechten aan berekende kansen. Wie bijvoorbeeld een paar honderd keer vier dobbelstenen opgooit, kan ook niet wijzen op de paar keer dat vier gelijke ogenaantallen boven kwamen te liggen, en dan waarde hechten aan het feit dat zoiets zich slechts in 0,46 procent van de gevallen voordoet. Omdat bij ‘grasduinen’ in combinatie met gericht zoeken (‘exploratory analysis’) naar opmerkelijkheden in de gegevens niet bekend is hoe groot het universum van mogelijkheden is dat de auteurs bereid zouden zijn geweest te onderzoeken, hebben zulke achterafresultaten slechts anecdotische waarde.

Bij Ni-91 werd wel een statististisch significant verschil gevonden, zoals wel vaker met dit soort onderzoeken, net op de rand van de 5 procent. Men had als criterium genomen: de tijd die het duurde tot er op twee achtereenvolgende dagen ten hoogste tweemaal per dag vloeibare ontlasting (‘unformed stool’) werd geproduceerd. In het artikel zien we echter nog vier andere uitkomstmaten staan, en dat is zoals gezegd niet comme il faut. Dan wedt men op meerdere paarden tegelijk.

Kritiek
Een ernstig punt van kritiek is dat de getallen niet kloppen. De auteurs hebben hun 81 proefpersonen op allerlei manieren onderverdeeld en hebben zich diverse malen verteld. Zo beweren de auteurs dat ze geprobeerd hadden van alle 81 kinderen een beetje ontlasting te verkrijgen om die naar een lab te sturen dat moest kijken of er pathogene (ziekmakende) virussen, parasieten of bacteriën in zaten. Om te beginnen bleek deze poging maar bij 74 patiëntjes te lukken (?), en in het tabelletje met de uitkomsten staan er maar 71 (?). Dat tabelletje vertoont nog iets eigenaardigs. Bij kinderen waar niets in de ontlasting gevonden werd, was er geen verschil tussen verum en placebo. Het verschil zat alleen bij de andere kindertjes. Er waren geen verschillen tussen de verumgroep zonder pathogenen, de placebogroep zonder pathogenen en de placebogroep met pathogenen. Overigens was dit merkwaardige ‘effect’ bij Ni-90 ook al te zien.

Het belangrijkste punt van kritiek is echter dat de verschillen tussen placebo en verum klinisch onbelangrijk waren. Over de hele periode van vijf dagen follow-up, en exclusief de dag waarop de kinderen bij de kliniek kwamen, had de verumgroep gemiddeld 3,2 keer vaker vloeibare ontlasting bij een totaal van ruim een dozijn keer. Dat was net niet statistisch significant (p=0,07), maar dat werd verzwegen.

Men stelle zich even voor dat men bij een drogist staat om een middeltje tegen reizigersdiarree te kopen, en dat de drogist dan zegt: ‘Ach mevrouw, daar heb ik eigenlijk niks voor. U moet gewoon zorgen dat u niet uitdroogt, dan gaat het in minder dan een week over. Alleen dit middel hier helpt misschien iets, dat kost vijftig euro plus dat u een half uur kwijt bent met innemen, en dan hoeft u typisch maar 12 maal in plaats van 15 maal naar het toilet te hollen, althans volgens de fabrikant.’ (Vijftig euro is helemaal niet duur voor een consult van een half uur met een klassiek homeopaat.)

Het onderzoek in Nepal gaf oppervlakkig gezien ongeveer hetzelfde resultaat als Ni-91. Maar ook met dit artikel zijn een paar vreemde zaken aan de hand. Van tevoren waren er twee criteria opgesteld: weer de tijd tot ’twee dagen lang hoogstens tweemaal vloeibare ontlasting’ en ‘gemiddeld aantal maal ontlasting per dag’ (dus niet ‘vloeibare ontlasting’).

Het eerste criterium is niet terug te vinden in het artikel! In plaats daarvan is er gekozen voor een ingewikkelde statistische constructie, namelijk een log-rank test van een ‘Kaplan-Meier survival plot‘ van de duur van de diarree. Of dat in dit geval een zinnige berekening is, dus of er aan bepaalde waarschijnlijkheidstheoretische voorwaarden voldaan is, wordt niet toegelicht. Als reden wordt opgegeven dat men zo beter rekening kan houden met de uitval (vijf bij beide groepen).

Het tweede criterium leverde 16 maal ontlasting in de verumgroep en 23 maal in de placebogroep op. In de negen pagina’s tekst werden geen nadere gegevens over het tweede citerium verstrekt.

Puur toevallig (mogen we aannemen) was de gemiddelde leeftijd in de verumgroep een stuk lager (17 maanden) dan in de placebogroep (21 maanden). Dat maakt nogal wat uit, want oudere kinderen hebben vaak wat minder heftige diarree. In dit onderzoek is weer goed gekeken naar pathogene organismen in de ontlasting, maar we vernemen niets over de relatie met vlugger of minder vlug genezen.

Ik vind het tamelijk erg dat het artikel niets zegt over wat er uit de aangekondigde uitkomstmaat kwam. In de meta-analyse komt de aap uit de mouw. Daar staan de verzwegen gegevens namelijk wel. In Ne-94 was de verzwegen duur van de diarree niet statistisch significant (3,5 dagen vs. 4,2 dagen, p=0,06). We zien trouwens in de meta-analyse dat het aantal malen ontlasting in Nepal afwijkt van wat in het verslag Ne-94 werd gerapporteerd, namelijk 15,0 vs. 18,5. Mogelijk is dit omdat in de meta-analyse weer de ‘unformed stools’ geteld worden.

Hier zien we meteen wat er mis is met auteurs die hun eigen onderzoeken gaan meta-analyseren. Niet alleen kunnen ze kennelijk per onderzoek achteraf bedenken wat ze de moeite waard van het rapporteren vinden, waarbij de lezer maar moet raden naar de omvang van de gegevensberg waaruit dat moois is geselecteerd, maar bij de meta-analyse kunnen ze nog steeds de criteria kiezen die ze voor het totaal meenemen.

Hoe dan ook, in de meta-analyse werd weer een gemiddeld verschil van ruim driemaal een ‘unformed stool’ extra in vijf dagen (13,5 vs. 17,0) gevonden. Door het grote gezamelijke aantal proefpersonen was het nu wel statistisch significant.

Nu betekent statistisch significant alleen maar dat het een nader onderzoek waard is, niet dat een echt bewijs is, en dat geldt des te sterker als het om uitkomstmaten gaat die tamelijk duidelijk achteraf gekozen zijn, met volledige kennis van het materiaal waaruit gekozen wordt.

Nog een puntje van kritiek: het Nepalese onderzoek werd pas zes jaar nadat het was uitgevoerd gepubliceerd. Dat betekent dat de auteurs er toch flink lang mee hebben lopen leuren of zich heel lang het hoofd hebben gebroken hoe ze er iets met toch een paar lichtpuntjes van konden maken – of beide. Een heleboel referenten moeten op deze of vorige versies kritiek gehad hebben.

Overdoen in Honduras
Het is dus heel goed dat Jacobs (foto) et al. hun proeven nog eens over deden. Ze kozen Honduras uit. Ook in Honduras komt diarree bij kinderen vaak voor (ruim 2 maal per jaar per 100 kinderen onder de vijf jaar, dus wat minder vaak dan in Nicaragua en Nepal tien jaar eerder). De opzet was als tevoren, alleen werd de geïndividualiseerde behandeling achterwege gelaten, daarentegen werden de kinderen minimaal zeven dagen gevolgd en in elk geval tot de diarree voorbij was. De vijf populairste rituelen (arsenicum, zwavel, kalk enz.) uit de voorgaande studies werden nu gecombineerd in een enkel tablet. Elke ouder kreeg wat homeopathische tabletjes mee van een verpleegster. Er was dus geen langdurig gesprek meer met een echte homeopaat met een computer vol homeopathische kennis. Als kindje zachte of waterige ontlasting had, moesten de ouders het twee van die tabletjes geven. Hahnemann zou zich natuurlijk in zijn graf omdraaien, want de homeopathische leer schrijft overduidelijk dat lange gesprek voor, gevolgd door een eenmalige toediening van een simillimum. Zo makkelijk kunnen homeopaten van opvatting veranderen.

De auteurs geven als reden voor deze keuze op dat het in arme landen gewoon ondoenlijk is om voor dit soort ziekten een geïndividualiseerde behandeling toe te passen. Dat betekent dat ze het resultaat van hun vorige drie onderzoeken wel vonden opwegen tegen de rest van de wetenschap die zegt ‘waar niets in zit, kan niet werken’. Hun Hondurese proef was in hun beleving dus geen proef op de som, maar een poging om een ‘bewezen’ therapie praktisch toepasbaar te maken. Overigens moet gezegd worden dat ze meteen al in Ni-90 zeiden dat het ze ging om ‘finding an inexpensive treatment that would shorten the course of childhood diarrhoea’.

Het resultaat moet een grote teleurstelling geweest zijn. Er was geen statistisch significant verschil tussen beide groepen. De auteurs rapporteren dat ze nog geprobeerd hebben of de volgende factoren nog wat uitmaakten of een verschil te zien gaven: mediane tijd tot de diarree voorbij was, gemiddeld aantal vloeibare ontlastingen, mediane aantal vloeibare ontlastingen, jongetje/meisje, ernst diarree voor men bij de kliniek kwam, duur diarree voor men bij de kliniek kwam, ernst van de dehydratatie, borstvoeding ja/nee, gebruik antidiarreemiddelen, en soort ziekteverwekker (minstens zeven mogelijkheden die behoorlijk vaak voorkwamen) in de ontlasting. Het enige dat wat opleverde was dat er een flink verschil in gemiddelde snelheid van genezing was tussen de 19 verumkinderen met adenovirus en de 18 placebokinderen met hetzelfde virus.

Het zorgelijke is dat de auteurs het kennelijk volkomen in orde vinden op enkele tientallen verschillende manieren naar de data te kijken. Dat zullen ze dan ook wel bij vorige gelegenheden gedaan hebben. Dat is, denk ik, de verklaring van de curieuze vondst over de bacteriën in Ni-91: het is een toevalstreffer in een grote berg verzwegen achterafresultaten.

Dove bacteriën?
Wat vonden Jennifer Jacobs et al. van het resultaat? Besloten ze dat homeopathie bij nader inzien gewoon onzin is? Het voorspelbare antwoord is nee. Achteraf bedachten ze dat zo’n combinatietherapie misschien toch niet zo’n goed idee was. Of misschien werkten de verschillende ritueel toebereide vormen van niets elkaar tegen. Dat is precies wat Hahnemann dacht: alleen het simillimum werkt, en de rest is contraproductief of zelfs levensgevaarlijk. Handig, trouwens, om zo’n ontsnappingsroute meteen in je experiment in te bouwen. Misschien waren de ouders verantwoordelijk, dat ze het kostbare flesje homeopathisch middel niet goed bewaard hadden of dat ze de pilletjes niet volgens voorschrift hadden toegediend, namelijk pilletje laten smelten onder de tong. Ja hoor, geef anderen maar de schuld. En misschien wilden de Hondurese bacteriën niet luisteren naar homeopathie. Heus, dat staat er zo ongeveer. Ik vertaal het maar niet want ik kan de pompeuze stijl niet imiteren: ‘Another possibility is that the pathogens … in this study were less susceptible to homeopathic therapy in general, or to this specific combination therapy in particular.’ Het gaat om vier soorten virussen en vier soorten bacteriën en vijf soorten parasieten die dus collectief vertikten om zich weg te cijferen in de aanwezigheid van de geestelijke kracht der homeopathie. Alweer zou Hahnemann zich in zijn graf omdraaien, want de hele basis van de homeopathie is dat de symptomen (niet de diepere oorzaken van de ziekte) bepalen volgens welk ritueel het ‘niets’ bereid moet worden dat de patiënt toegediend krijgt.

De kritiek van Sampson Wallace en David Gorski
Uiteraard ben ik niet de eerste die kritiek heeft op de onderzoeken van Jacobs et al. Er is ook een stel recente artikelen van Wallace Sampson, Homeocracy, Homeocracy II, Homeocracy III, Homeocracy IV met kritiek op de eerste drie en de meta-analyse. Sampson is nog wat strenger dan ik, en sommigen zullen wel denken dat hij spijkers op laag water zoekt. Hij maakt veel werk van het feit dat er ‘eigenlijk’ 19 therapieën met onduidelijke indicaties werden onderzocht, waar ik er maar één zie, en hij is achterdochtig en denkt dat de minuscule suikerpilletjes stiekem een antibioticum bevat kunnen hebben. Bij Chinese ‘kruiden’ komt zulk gefoezel op grote schaal voor, maar dat je in suikerballetjes van nog geen tiende gram (waarschijnlijk een grein van 65 milligram) een effectieve dosis van een antiviraal, antibacterieel en antiparasitair middel kunt verstoppen is net zo onwaarschijnlijk als de homeopathie zelf. Maar in antwoord op deze kritiek hebben de auteurs in Nepal de ongebruikte flesjes nog laten onderzoeken. Een ander zwak punt van de kritiek van Wallace is dat hij zelf gaat zitten grasduinen in de gegevens.

Auteurs van wetenschappelijke artikelen moeten beginnen met uit te leggen waarom hun onderzoek zinvol is. Het volstaat niet om mede te delen dat er een bepaalde claim ligt, waar zoveel mensen in geloven dat het in het publiek belang de moeite waard lijkt om hem te toetsen. Je moet in de wetenschap (in tegenstelling tot skeptisch onderzoek) aannemelijk maken dat er wetenschappelijk gesproken wel wat in het te onderzoeken idee zit, en hoe je voortbouwt op gezekerde kennis. Dat kan bij homeopathie natuurlijk niet. Dus wat de auteurs daarover zeggen, kunnen we gevoeglijk overslaan. Het is toch onzin. Maar Wallace vlooit ook dit gedeelte door, en vindt natuurlijk de bekende symptomen van rozebrilligheid.

David Gorski op Science Based Medicine heeft nog een ander bezwaar. Dit soort proeven is waarschijnlijk onethisch. Het is erg te betwijfelen dat de onderzoekers, die allemaal intens geloven in homeopathie, de waarschijnlijk laag opgeleide ouders correct hebben verteld dat ze niet een 50/50 kans hadden om een echt werkzaam middel te krijgen, maar een 100 procent kans om pure suikerpilletjes te krijgen, en dat zelfs volgens het oprechte geloof van de onderzoekers een besparing van meer dan drie vieze luiers er niet in zat. En zouden ze na afloop van de laatste studie al hun 534 proefpersonen nauwkeurig hebben verteld: ‘Het spijt ons, maar de therapie die we op u hebben uitgeprobeerd blijkt nader inzien in het geheel niet te werken. Nog wel bedankt voor uw medewerking, hoewel we het zonder u eigenlijk ook wel hadden kunnen weten.’ Eerlijk gezegd geloof ik er niets van dat ze zoiets hebben gezegd tegen de inmiddels volwassen Nicaraguaanse kinderen en hun ouders. Integendeel, ze hebben impliciet in een arm land met ernstige gezondheidsproblemen de boodschap overgebracht dat homeopathie werkt, en die boodschap is overgebracht met al het gezag dat wetenschappers van vooraanstaande instellingen in rijke landen kunnen uitstralen.

 

Samenvattend, homeopathie is onzin, en bij kinderdiarree is dat ook keihard vastgesteld.

 

Noot

1. Jennifer Jacobs, Luz Margarita Jiminez, Steven Gloyd, Felix Esponiza Carares, Margarita Paniagua Gaitan, Dean Crothers, Homoeopathic treatment of acute childhood diarrhoea: A randomized clinical trial in Nicaragua. British Homoeopathic Journal, April 1993, Vol. 82, p. 83-86.