Met echinacea 58 procent minder verkouden?

In de zomer van 2007 verscheen er een opzienbarende studie (Shah et al., 2007) die allerwegen werd aangekondigd met ‘Echinacea vermindert kans op verkoudheid met 58 procent’ of woorden van soortgelijke strekking. Minder bekend was dat een van de auteurs, Craig I. Coleman, de nadruk legde op de conclusie: er moet nog heel wat onderzoek gebeuren voor echinacea standaardpraktijk kan worden om verkoudheid te voorkomen of te behandelen.

Vragensteller

Inmiddels wordt er in Nederland ook reclame met die 58 procent gemaakt. Iemand vroeg aan de VtdK waar dit eigenlijk op sloeg. In de eerste plaats ging het om een meta-analyse waarin een flink aantal uiteenlopende onderzoeken werden gecombineerd. Door de verscheidenheid aan echinaceamiddeltjes (van de ene of de andere plant, in diverse sterktes, van de wortel of het blad enzovoorts) en de verscheidenheid aan onderzoeksmethoden (wacht je tot je proefpersonen vanzelf verkouden worden of zorg je dat je dat ook in de hand hebt? Kijk je naar de kans op ziekte of naar de duur van de ziekte?) is het moeilijk om iets van alle onderzoeken samen te zeggen. Bovendien krijg je bijna zeker te maken met publicatiebias: onderzoeken die niet opleverden wat de onderzoekers graag zagen zijn misschien helemaal niet gepubliceerd. De meta-analyse van Shah et al. begon met 738 citaties van artikelen. Daar zochten ze de bruikbare van uit, en toen ze klaar waren, hadden ze er nog maar 14 over.

Eén echt goed onderzoek zegt veel meer dan een ongrijpbare meta-analyse. Zo’n goed onderzoek is ook gedaan door Ronald B. Turner van de Universiteit van Virginia. Deze verdeelde 437 deelnemers door loting in twee groepen. De ene groep kreeg placebo en de andere een door Turner zelf gemaakt echinaceamiddel. Daarna werden de deelnemers allemaal met hetzelfde verkoudheidsvirus besmet, en opgesloten in een hotelkamer onder toezicht van verplegend personeel. De aantallen die verkouden werden in de ene en de andere groep ontliepen elkaar niet. Andere onderzoeken die niets opleverden waren dat van Barrett et al. (2002) en dat van Taylor et al. (2003), die hier eerder besproken zijn. Exit echinacea.

Hoe is het dan mogelijk dat in de meta-analyse (dat ook de drie genoemde onderzoeken bevatte) zo’n drastische verbetering werd gevonden? Hoe kan het dan dat de auteurs er zelf zo voorzichtig over waren? De reden is dat die 58 percent een soort gemiddelde wedverhouding was, en dus ‘eigenlijk’ half zo groot was.

Wedverhouding

Om dat duidelijk te maken geef ik een voorbeeld met fictieve getallen. In dit fictieve voorbeeld zijn er twee groepen E (‘echinacea’) en P (‘placebo’), beide met 290 leden. Groep E blijkt te bestaan uit 90 v’s en 200 n’s (die letters staan voor verkouden en niet-verkouden). Groep P heeft 150 v’s en 140 n’s. In groep E zitten dus minder v’s namelijk 90/150 = 60 procent van het aantal v’s in groep P. Je kunt ook zeggen dat in de groep ‘echinacea’ er 40 percent minder verkoudheid is dan in de ‘placebogroep’.

Je kunt ook letten op de n’s. Mensen willen niet verkouden worden, daar gaat het toch uiteindelijk om. In groep P zitten er 140/200 = 70 procent n’s van wat we bij E aantreffen. Dus bij de placebo’s zit 30 percent minder niet-verkoudheid dan bij de echinacea’s.

Moet je nu zeggen dat het waargenomen effect van echinacea 40 of 30 procent is? Voor allebei is wat te zeggen. Het is raar maar waar dat als je op verkoudheid let je andere getallen krijgt (met dezelfde gegevens) dan waneer je op niet-verkoudheid let. Dat kun je op allerlei manieren oplossen. Je zou het gemiddelde kunnen nemen (35 procent) maar de statistici beschrijven om hun moverende redenen de situatie met het product van 60 procent en 70 procent, dat is 42 procent, wat 58 procent minder is dan 100 procent. Ziedaar de mysterieuze 58 procent.

Die 42 procent noemen de statistici de odds ratio. In die odds ratio komen (in dit geval) verkouden en niet-verkouden symmetrisch voor. Als de werkelijke percentages slaan op zeldzame ziekten, dan komt die odds ratio min of meer met verhoudingen van percentages overeen. Immers, of je nu 1 percent deelt door 2 percent (antwoord: 0,5) of dat je dat nog vermenigvuldigt met 98 percent gedeeld door 99 percent (is 0,99) maakt weinig uit. Bij berekeningen met zogeheten bayesiaanse statistiek zijn de odds en de odds ratio zelfs uitermate praktisch.

Paardenraces

Om de termen odds of wedverhouding te begrijpen moet je je voorstellen dat E een paardenrace in Edinburgh voorstelt, en P een race in Parijs. De paarden Victoria en Nancy zijn de enige deelnemers in beide races. Bij beide races wordt gewed.

In Edinburgh zetten 90 mensen in op Victoria, en 200 mensen op Nancy. Als Victoria wint, krijgen degenen die op haar hebben ingezet 200/90 van hun inzet terug, en als Nancy wint krijgen Nancy’s fans 90/200 maal hun inzet. Op die manier speelt de bookmaker altijd quitte als iedereen evenveel inzet. Die 200/90 zijn dus Victoria’s odds of wedverhouding. Als in Parijs de getallen anders zijn, kunnen daar de odds voor Victoria best 140/150 zijn (bijvoorbeeld omdat men weet dat ze in Edinburgh glansrijk gewonnen heeft). In Parijs zijn de odds dus 42 procent (140/150 : 200/90 = 0,42) van die in Edinburgh: de odds ratio (het quotiënt der wedverhoudingen) Parijs-Edinburgh is 0,42. Inderdaad zou een hypothetische gokker die op Victoria wedt, in Parijs 58 procent minder opstrijken dan in Edinburgh, tenminste als Victoria beide keren wint.

Door met wedverhoudingen te rekenen, maakt men getalletjes in de statistiek vaak ruwweg tweemaal zo groot als wanneer men met gewone percentages rekent. Men combineert (in dit voorbeeld) immers twee versies van hetzelfde gegeven met elkaar: het kleiner zijn van het aantal verkoudheidsgevallen in de ene groep en het kleiner zijn van het aantal niet-verkoudheidsgevallen in de andere groep. Het is net of je een gewicht in ponden in plaats van in kilo’s opgeeft. Dan lijkt het ook meer. Hoe misleidend dat is, blijkt wel uit het feit dat indertijd vrijwel niemand in de pers het heeft gesnapt. Het noemen van odds in krantenartikelen alsof het percentages zijn is een dubieuze praktijk!

In het artikel van Shah et al. gaat het niet om één enkele odds ratio, maar om wel 14 odds ratios waarvan een soort gewogen gemiddelde is genomen, waardoor de uitkomst nog ondoorzichtiger wordt. Je kunt helemaal niet zeggen hoe dit gekoppeld kan worden aan concrete aantallen patiënten die al dan niet ziek werden in de ene of de andere groep.

Onze vragensteller vond een antwoord in deze trant verhelderend. Ik heb veel gehad aan een artikel van de wiskundige Julie Rehmeyer dat ik op internet vond (en waar ook de illustratie bij dit artikel vandaan komt). Ik heb de vragensteller ook op dit artikel gewezen, maar daarvan vond ik de rekenkundige uitleg toch nog niet duidelijk genoeg.

Literatuur

Shah SA, Sander S, White CM, Rinaldi M, Coleman CI. Evaluation of echinacea for the prevention and treatment of the common cold: a meta-analysis. Lancet Infect Dis. 2007;7:473-80.

Jan Willem Nienhuys is wiskundige.

Naschrift oktober 2010

De vragensteller is naar de RCC gegaan naar aanleiding van een Biohorma-reclamefilmpje en heeftr met veel moeite gelijk gekregen, ook in hoger beroep. Zie:
Reclame Code Commissie laakt echinacea-reclame
Biohorma verliest weer: reclame voor echinacea misleidend

Nieuwsbrief

De Digitale Nieuwsbrief van de VtdK houdt u regelmatig op de hoogte van nieuwe artikelen op deze site.