Nepprofessoren plegen plagiaat

Begin 2004 schreven Emili García-Berthou en Carles Alcaraz een artikeltje waarin ze het doorgaans povere statistische werk in medische publicaties aan de kaak stelden.

Dat is niet erg nieuw. Om statistiek en waarschijnlijkheid te begrijpen, heb je een stevige wiskundige achtergrond nodig, anders ontaardt het in zinloos knoppen drukken met statistische pakketten. Dokters moeten al zo veel leren, en alle wiskunde die ze extra moeten leren gaat ergens anders vanaf (net zoals alles wat ze over homeopathie en meridianen leren onherroepelijk echte medische kennis weg zal drukken, zeker als ze daar jaren aan besteden). Dus dat ze vergeten hoe je correct afrondt, is niet verwonderlijk. Zelfs de technische universiteiten werden tien jaar geleden al overspoeld door leerlingen die zes maal zeven niet zonder calculator konden uitrekenen, dus dat een dokter wel eens een steek laat vallen bij wiskunde hoeft ons niet te verbazen. Dat sommige artsen kunnen geloven in homeopathie komt waarschijnlijk ook doordat grote getallen hun niets zeggen, en dat 30 maal 1 op 100 schudverdunnen voor hun gevoel net zo iets is als een verdunning van 1 op 3000.

Wie zogeheten ‘meta-analyses’ van niet-reguliere geneeskunde bekijkt, ziet geregeld dat de meest diverse zaken op één hoop geveegd worden, terwijl toch de basisregel van de statistiek is dat je geen appels en peren moet gaan vergelijken. Daar is bijvoorbeeld Lex Bouter in getuind, toen die twee goede IVF-appels samen met een vijftal rotte acupunctuur-peren meta-analyseerde alsof het om vergelijkbaar materiaal ging.

Volslagen onzin

Het artikel van García-Berthou en Alcaraz werd enige tijd later besproken door Alex Tillemans op een Duitse website. Tillemans bedacht er zelf nog een fout bij. Hij schrijft:

“ Diese auch P-Wert genannte Zahl gibt an, wie wahrscheinlich es ist, dass man sich irrt, wenn man das erhaltene Ergebnis für repräsentativ, also allgemeingültig, erklärt.”

Dit is volslagen onzin. Als de p-waarde 5% is, kan de waarschijnlijkheid dat men zich vergist vrijwel alles zijn tussen de 0% en 100%. Dat hangt af van de a priori waarschijnlijkheid van de onderzochte hypothese – voor zover men daarvan kan spreken. Als men bijvoorbeeld een hoogverdund homeopathisch middel netjes vergelijkt met een placebo, dan is de a priori waarschijnlijkheid dat het homeopathicum werkt 0%, en ongeacht wat er uit de proef komt (p=99%, p=5%, of p=0,001% of wat dan ook), is de waarschijnlijkheid na afloop ook 0%. Daarom is proeven doen met homeopathie volslagen onzin, zoals onze voorzitter Cees Renckens niet moede wordt te benadrukken. Als de a priori waarschijnlijkheid van de onderzochte hypothese ongeveer 50% is, dan is de p-waarde wel ongeveer gelijk aan de vergiskans. Een p-waarde van 5% kan men wel zelf als kans interpreteren, maar alleen op een heel kunstmatige manier, bijvoorbeeld zo: ‘als men 100 keer een homeopathisch middel netjes vergelijkt met een placebo, krijgt men ongeveer 5 keer een zogenaamd significante (p<0,05) uitkomst. Als men dan zo dom is al die 5 keren te oordelen dat het onderzochte middel iets doet, velt men 5 foute oordelen op de 100 keer, dat is 5%’. Ik ga hier verder niet op in, wie meer wil weten over hoe men met a priori kansen om kan gaan, leze hier mijn blogbijdrage van 1 september 2008.

Plagiaat en fraude

Er is iets veel interessanters aan de samenvatting van Tillemans. Jan Keppel Hesselink schrijft hele lappen van Tillemans’ stuk toe aan een professor Feyermorgen. Googel maar even op

“Umso wichtiger ist eine saubere statistische Auswertung der Daten”

(aanhalingstekens niet vergeten!). Iedereen heeft natuurlijk meteen door dat Ludwig von Feyermorgen nep is, net zo als er helemaal geen Duitse Vereniging tegen de Kwakzalverij bestaat, maar het is geen aprilgrap. De datum klopt niet. ‘Feyermorgen’ komt uit de koker van Keppel Hesselink zelf, die schaamteloos Tillemans heeft geplagieerd zonder zelfs maar de moeite te doen het in zijn eigen woorden na te vertellen of de bron aan te geven, gewoon om dat hij ‘morgen’ iets te vieren had. Bovendien heeft hij ook nog met de cijfers gefraudeerd en bijvoorbeeld volkomen onnodig 63 door 128 vervangen. Keppel Hesselink strooit met stoplichten op zijn website om de wereld kond te doen wat volgens hem wel mag (acupunctuur bijvoorbeeld) of niet mag (elektroacupunctuur bijvoorbeeld). Even voor de duidelijkheid: plagiaat mag niet en cijfers vervalsen al helemaal niet!

Mijn verhaal over de CAM-Nobelprijzen was natuurlijk ook een grap, dat lag er dik op. Het was echter waar dat de echte professor Martin Lambeck met redenen omkleed in het meest recente nummer van Skeptiker van de Gesellschaft zur wissenschaftlichen Untersuchung von Parawissenschaften e.V. (GWUP) betoogde dat als de claims van allerlei CAM-volk waar zouden zijn, ze zo 14 Nobelprijzen kunnen ophalen. Ik heb Lambeck nog even gemaild om te vragen hoe hij precies aan 14 kwam.

Tot overmaat van ramp heeft Keppel Hesselink ook nog autoplagiaat gepleegd door zijn stukje in te brengen in een discussie over de wenselijkheid van btw voor alternatieve geneeskunde in het blog van Hugo Verbrugh, waarin de bloggers geen van allen op het idee kwamen om even op onze website te kijken wat Renckens aan minister Klink schreef, maar wel het desbetreffende ANP-bericht overtikten. Altijd naar de bron, heren!

Naschrift 22 april
• De zondaar heeft bekend en zich verdedigd met: “Beter goed gejat, dan slecht bedacht”. Geeft hij nou toe dat hij zelf niets goeds kan bedenken? Over het moedwillig veranderen (goed jatten?) van de getallen geen woord.

• Bovenstaande tekst is op verzoek van enkele VtdK-leden wat aangepast.

English summary

An old article from 2004 explains that medical papers often contain various errors in the statistics. This is not very surprising as physicians don’t have the time to internalize the correponding math. A German summary of the article contained one of the usual misinterpretation of the p-value, namely that it is the chance of being wrong if one rejects the null hypothesis. It isn’t. It’s a certain computed chance where the computation is done under the assumption that the null hypothesis is correct. For more details see Wikipedia. To compute the chance of making a wrong judgment by rejecting the null hypothesis one needs the a priori probability of the tested hypothesis.This German summary was plagiarized, with changed numbers too, by a noted Dutch acupuncturist in a supposedly humorous article.

Nieuwsbrief

De Digitale Nieuwsbrief van de VtdK houdt u regelmatig op de hoogte van nieuwe artikelen op deze site.