Min granskning av den evidensbaserade litteraturen kring homeopati nummer I och II som jag skrev för två veckor sedan har lästs och kommenterats på åtskilliga andra bloggar. Jag skrev artiklarna av intresse för att följa föreningen Vetenskap och folkbildnings (VoF) spridning av ideologiskt färgade åsikter med hänvisning till vetenskapens rön. Det är nu dags att syna VoFs bluff i frågan om evidensläget för homeopati.
Evidensvärdering kontra rekommendationer
En genomgång av ett kunskapsområde inom medicinen består av två delar. Den första är evidensvärdering. Då går man igenom vad som är publicerat om t.ex. en drog eller behandling. Evidensvärderingen måste vara helt objektiv och man få inte ta hänsyn till eventuella konsekvenser av sina slutsatser. Uteslutning av potentiellt viktiga studier (selektion) får inte ske därför att man själv gärna vill framhäva ett visst resultat.
Den andra delen är att formulera rekommendationer. Hur de ser ut styrs inte enbart av evidensen utan även av praktiska, etiska och ekonomiska aspekter. De får också präglas av subjektivitet. När Socialstyrelsen arrangerar genomgångar av kunskapsområden så låter man evidensvärdering och formulering av rekommendationer skötas av olika personer som inte känner varandra. Varför? Jo, om en och samma person sköter båda uppgifterna så finns risk för att forskaren selekterar och snedvrider evidensvärderingen därför att man slutligen önskar landa på en viss rekommendation.
Varför snedvrids evidens?
Just detta är problemet med VoFs kampanj homeopati som ägt rum bland annat sommaren 2011. Det är helt i sin ordning att vara emot homeopati, och ett användbart skäl är förstås att en vetenskapligt bevisad mekanism för en eventuell effekt saknas. Men i sin iver att framställa ett självklart och entydigt budskap så kryper lögnerna fram.
VoF hävdar att det inte finns några studier alls som visar att homeopati har effekt. Den gamle VoF-ordföranden Dan Larhammar framställer i SvD evidensvärderingen som entydigt negativ för homeopati. Båda dessa påståenden är bluff. Här snedvrider man och selekterar evidensen för att de skall passa slutsatsen, vilket är ett missbruk av vetenskapens rön. En förening som säger sig vilja sprida kunskaper om vetenskap borde veta bättre. Det ligger även ett moraliskt problem i att VoF anklagar andra (i detta fall homeopater) för att bluffa när man samtidigt gör så själv.
Sanningen finns på nätet
För att värdera behandlingseffekter använder sig forskaren av randomiserade kliniska prövningar (RCT) och observationsstudier, där den första har störst bevisvärde. Det finns ovanligt många RCTs för homeopati, drygt 200 stycken. Tysken Klaus Linde visade i Lancet 1997 och i J Clin Epidemiol 1999 att majoriteten av dessa studier styrker att homeopati har en bättre effekt än placebo (som är en helt overksam substans). Om man väger samman alla behandlade patienter (meta-analys) så var homeopati ungefär dubbelt så effektivt som för placebo. Hur är det då med VoFs påstående (som de bl.a. framfört i TV) att det inte finns en enda studie som visar att homeopati fungerar? Jo, det är förstås en lögn. Här bluffar man om evidensläget.
Därför vill VoF glömma Lindes studier
Klaus Lindes två meta-analyser är transparenta. Här kan man stegvis följa vad forskaren gör med siffrorna. Det är mycket data, men det är bara bra. Det kan jag tyvärr inte säga om de skeptiska efterföljarna. Men när en kontroversiell slutsats publiceras så väcks skeptiker som har mer eller mindre krystade idéer om varför en stor del av RCTna om homeopati är ogiltiga.
Jag diskuterade Cucherats artikel i min första blogg. För att kunna rapportera en icke statistisk fördel för homeopati måste Cucherat avfärda alla 200 RCTs utom fem stycken, och även då blev det nära (P=0.08). Har han rätt att att bort så här mycket? Han tog bland annat bort alla studier som hade ett bortfall (patienter som inte fullföljde studien) på mer än 5%. Av ett ödets nyck har jag denna vecka gått en kurs på Socialstyrelsen som handlade om evidensvärdering och -gradering. Där ansåg man att 20% är en mer lämplig gräns, och det finns många statistiska metoder för att ändå kunna ha med studier med bortfall i en meta-analys. Exklusion av studier med så lågt bortfall som 5-10% ställde man sig frågande till.
VoF vill (som väntat) att vi helst glömmer Lindes studier. Skälet beskrivs av Dan Larhammar i boken ”Vetenskap eller villfarelse” (s. 93) och samma argument har framförts av Magnus Westerstrand i diskussioner med mig både i år och förra året. Senare genomgångar sägs visa att Linde haft fel och att han själv tagit tillbaka sitt påstående att homeopati är effektivare än placebo. Både i boken ”Vetenskap och villfarelse” och i sin SvD-artikel för Dan Larhammar särskilt fram Edzard Ernsts genomgång från 2002 och en meta-analys av Shang från 2005. Låt oss nu se varför man har anledning bör vara skeptisk till dessa studier.
Edzard Ernsts skumma konklusioner
Ända sedan jag ögnade igenom en knippe av Edzard Ernsts studier och berättat om dem på min blogg under 2010 har jag ansett att han är tendensiös, på gränsen till skojare. Jag skall här ge ett exempel på de tricks han praktiserar i den av Larhammar rekommenderade artikeln. Det kan tjäna som exempel på varför man inte skall tro på vad denne man skriver.
K Linde hade ju själv i sin Lancet-artikel 1997 märkt att studier med högre kvalitet, värderat enligt s.k. Jadad score, visade en mindre tydlig fördel för homeopati. I sin artikel från 1999 grupperade han studierna enligt Jadad score och visade han att de allra bästa studierna, de med Jadad score 5, hade odds ratio och 95% konfidensintervall på 2.00 (1.37-2.91) – det betyder att homeopati är dubbelt så effektivt som placebo, och att resultatet är statistiskt säkerställt.
Edzard Ernst hade redan året innan (i tidningen Perfusion) hävdat att de bästa studierna i Lindes studie visat att homeopati inte fungerar. Det hade han beräknat statistiskt genom att dra en linje genom de studier som hade lägre Jadad score än 5.
Om Ernst hade grundat sin beräkning på de 10 studier som verkligen hade Jadad score på 5 så hade han förstås tvingats dra slutsatsen att homeopati har effekt. Det hade ju varit enklast så. Nu stödde han istället sin beräkning på de 77 studier som hade lägre Jadad score, vilket förstås innebar ett betydligt större arbete. För mig finns bara en förklaring till varför Ernst utförde sina beräkningar på de 77 studierna som var sämre och inte på de 10 som var bäst men därefter indirekt beräknade resultatet som (teoretiskt) ansågs gälla. Och den förklaringen är att han då inte skulle ha fått det resultat han ville ha.
Det riktigt ohederliga greppet framkommer när Ernst gör sin genomgång 2002, vilket är precis den artikel som Dan Larhammar framhäver som så viktig. Då hänvisar Ernst fortfarande till sin felaktiga indirekta beräkning (som visar att homeopati saknar effekt) medan han också citerar studien med Lindes korrekta beräkning från 1999 (som visar att homeopati har effekt). Ur den senare artikeln citerar Ernst dock inte det korrekta resultatet för de bästa studierna enligt Jadad score, utan hänvisar till den mer okonventionella gruppindelning med 7 grupper som Linde gjort parallellt med Jadad-indelningen. Där framstår att homeopati är 55% bättre än placebo, men just här blir gruppen så liten att resultatet inte blir riktigt statistiskt säkerställt. De statistiska analyserna är nu så många att man faktiskt an förvänta sig att en signifikansberäkning slumpmässigt utfaller på oväntat sätt (är de fler än 20 förväntas slumpen ”sudda ut” minst en signifikans).
Faktiskt är 55% fortfarande en stor skillnad, och om den statistiska signifikansen just då gått förlorad så berodde det sannolikt på att materialet blivit för litet. Men Lindes syfte med den 7-gradiga indelningen är snarast att påvisa en trend, och rampljuset bör främst ligga på beräkningen enligt Jadad score eftersom den är vetenskapligt betydligt bättre accepterad och mer robust än den dittills oprövade och egenhändigt hopsnickrade 7-gradiga skalan. Det dataunderlag Ernst skulle referera till bestod alltså av följande: samtliga RCTs visar att homeopati är 150% bättre än placebo, och tar man de allra bästa studierna är skillnaden mellan 55% och 100% bättre. Hur man än vänder på siffrorna är det långt från noll effekt.
Men Ernst lyckas med detta! Trots att skiktning av alla RCTs enligt det enda vetenskapligt accepterade kvalitetsmåttet (Jadad score) verkligen visar att de homeopati är dubbelt så bra som placebo – ett resultat som är statistiskt säkerställt – så rapportera Ernst om två meta-analyser (både sin egen och Lindes re-analys) som båda påstås visa att skiktning av homeopati-studierna efter kvalitet tjänar bevis för homeopati saknar effekt.
Detta är tendensiös redovisning av resultat. Ernst saknar helt enkelt ambition att redovisa Lindes på ett hederligt sätt.
Ernst flyttar sig dessutom friskt mellan evidensvärdering och rekommendationer, allt eftersom det passar. När han finner fullödigt evidens för homeopati (såsom i fallet reumatiska åkommor) så byter han fot. Nu gäller det plötsligt inte längre om homeopati är bättre än placebo, som var ämnet i de meta-analyser han skulle göra meta-analys av, och fyndet göms undan som oviktigt.
Shangs meta-analys studie från 2005
Denna studie är föga transparent, och man kan inte se hur effekten av homeopati ändras när man successivt tar bort studier. Precis som tidigare bygger artiklar som motsäger att homeopati har effekt alltid på att man exkluderar 95-98% av de RCTs som finns. Den sista serien exklusioner sker på grund av ”storlek” (man tror att stora studier är bättre än små) och en tidigare större exklusion motiveras av att randomiseringsförfarandet inte var specifikt angivet. På Socialstyrelsen sade man att forskaren hellre bör fria än fälla i sådana fall, för det är faktiskt väldigt många författare som inte exakt beskriver hur man utfört randomiseringen. Det är inte en så allvarlig fråga att man får rätt att stryka bort alltihop.
Det är mycket ”tro” i Shangs hantering av exklusionskriterier, och det är verkligen tveksamt att genomföra ”funnel plots” baserat på ett så heterogent material som en sammanslagning av alla RCTs om homeopati. Här handlar de ju sannolikt om en blandning av tillstånd där homeopati har effekt och andra tillstånd där det inte har effekt. Att det är så antyds också av den heterogenicitet som RCTna visar. En läsare av denna blogg påpekade dessutom att om man bara tog bort en studie till från Shangs slutligt rapporterade så blev resultatet plötsligt positivt för homeopati igen. Det illustrerar de ”flip-flop”-fenomen man kan erhålla efter omfattande exklusion. Till slut kan man knappt dra några slutsatser alls.
Vad borde VoF ha sagt?
Det mest ärliga påståendet av Dan Larhammar hade varit att säga att han inte tror på homeopati därför att en eventuell verkningsmekanism är oklar. Vad gäller evidensen så visar huvuddelen av studierna att homeopati har en terapeutisk effekt. Larhammar kan tro att det beror på bias i någon form, men detta är ännu okänt.
Men Larhammar skriver inte så. Han framför istället att vetenskapen entydigt utvisar homeopati är humbug och bluff. Han har därvid selekterat evidenset så att det skall passa rekommendationerna. Det misstaget är tyvärr mycket vanligt. Edzard Ernst och Larhammar är inte ensamna. När så sker har man ett entydigt bevis på att forskaren är biased och partisk.
VoF-myter
Under de två veckor som gått sedan evidensartiklarna skrevs har jag ramlat på många myter som VoF-anhängare sprider. En är att RCTs om homeopati är så små och av så låg kvalitet att man inte behöver bry sig om dem. Inget tyder på att det skulle vara på det viset. En annan är att det skulle röra sig om få studier. Det är också fel, 200 RCTs är ett ovanligt stort antal.
Annat kommer fram på Mats Reimers blogg, ni vet barnläkaren och VoFFsingen som hatar allt vad antroposofi heter. Färska kommentarer därifrån har nyligen handlat mycket om mig. Några exempel:
”Robert Hahn vill försvara homeopatin till varje pris” – det påståendet är en sammanblandning av evidensvärdering och rekommendationer. Jag har aldrig ägnat mig åt det senare. Mitt syfte är att påpeka VoFs bluffande kring evidens.
”Läs vad Robert Hahn skriver om hur han kvalitetsgranskar de artiklar som han bygger sitt resonemang. Han anser att hälften av artiklarna bör vara okey. Detta är en naiv inställning. Alla artiklar i meta-analysen måste vara pålitliga annars blir slutresultatet fel.” – Nej du, jag kvalitetsgranskar inga artiklar eftersom jag här bedömt meta-analyser, och då har andra gjort granskningen. Jag påpekar att de skäl som anförs för exklusion av bl.a. Shang normalt sett inte föranleder exklusion när man gör meta-analyser. Man hanterar kvalitetsskillnader på andra sätt, och att exkludera 2/3 av materialet bara för att det explicit inte står angivet i texten hur randomiseringsförfarandet gått till är överdrivet.
Dessutom redovisar Shang inte hur statistiken ändrats under exklusionsprocessen, vilket också är suspekt. Jag har till sist illustrerat vilka problem man får vid omfattande exklusion (flip-flop-fenomen och bristfälligt statistiskt underlag) vilka introducerar slumpmässiga faktorer som gör att man kan få vilket resultat som helst i sin meta-analys.
”Om homeopati verkligen fungerade så skulle det vara lätt att bevisa. Det faktum att homeopaterna misslyckats med detta talar väl tydligt mot dem.” – Detta har jag hört många gånger! Den bästa och mest transparenta granskningen av homeopati utgörs av Lindes studie från 1999 som visar att de allra ”bästa” studierna uppvisar en mellan 55% och 100% positiv effekt för homeopati och att samtliga studier uppvisar att homeopati är 150% bättre än placebo. De siffrorna är mest trovärdiga, och ingen har hittills någon presterat något mer trovärdigt. Bevisen finns alltså men problemet är att du inte vet om dem, eller inte tror på dem. Det är dock ett annat problem än att de saknas.
Mats Reimer själv skriver: ”…det inte finns någon trovärdig forskning som talar för att homeopati fungerar.” Jag tror varken att han läst min blogg eller satt sig in i litteraturen. Det är som att hälla vatten på en gås.
Reimer skriver dessutom att jag är den ende svenske professor som ”backar upp” homeopatin. Återigen blandar Reimer ihop evidensvärdering med rekommendationer. Det måste vara jobbigt för Reimer att år efter år argumentera för att någonting inte fungerar när litteraturen visar motsatsen.
Jag märker ofta att VoFFsingarnas kommentarer om mig ständigt återkommer till att jag tror på Gud. En ansenlig del av den svenska befolkningen gör det även om deras trosuppfattning inte är känd för andra. Men VoF-gänget med Jesper Jerkert och Mats Reimer i spetsen gång efter annan i mitt fall, och missar sällan tillfället att göra sig lustiga över saken. Detta barnsliga drag, inte inte kunna skilja på sak och person, är dåligt förenligt med förmåga till vetenskaplig stringens.
Till sist – tror jag på homeopati? Många säger så, typiskt i anklagelseform eller i dikotimiserande form (antingen är du för eller emot). Jag intresserar mig inte för homeopati och kommer inte att göra det i framtiden heller. Dessutom skall jag inte tro något i en evidensvärdering. Det är inte min uppgift.
Däremot tror jag på, och intresserar mig för, kamp mot missbruk av vetenskapens rön. Det är särskilt illa att bluffa och samtidigt vilja rida på vetenskapens goda namn. Fler borde engagera sig i att påtala sådant.