Jag skall ägna två bloggar åt det vetenskapliga forskningsläget om homeopati. Detta är den första. Stödjer litteraturen att homeopati är till hjälp eller inte?
Under sommaren 2011 genomförde föreningen Vetenskap och folkbildning (VoF) en kampanj mot homeopati. Den innefattade bland annat att Dan Larhammar och andra från VoF styrelse författade insändare till Svenska Dagbladet som klassade homeopatiska läkemedel som ”bluff-medicin”. Som vetenskapligt stöd för att homeopati är verkningslöst anfördes två genomgångar av forskningsläget. Det gäller an artikel av Edzard Ernst från 2002 och en artikel i Lancet från 2005. Låt mig nu granska dessa och andra meta-analyser av homeopati.
Historien börjar egentligen på 1990-talet när begreppet ”evidens-baserad medicin” blev allmänt bekant. Principen för den är att samla all befintlig litteratur på ett område och göra en sammanfattande statistik av huruvida en terapi fungerar eller inte. Alla behandlade patienter slås samman så att man får en enda jättestor studie att räkna på. Det kallas meta-analys. Fördelen är att man nu då kan uttala sig om terapier där de enskilda studierna kanske varit för små för att ge ett entydigt svar.
Lindes studie i Lancet 1997
En meta-analys om homeopati publicerades av Klaus Linde och medarbetare i Lancet 1997 (Lancet 1997; 350: 834-43). Genomgången var ett samarbete mellan tyska och amerikanska forskare. Man sökte i databaser och fann 186 studier om homeopati, och av dessa uppfyllde 119 stycken kvalitetskriteriet att vara randomiserad dubbel-blindad och/eller randomiserad studie där homeopatiskt läkemedel jämfördes med placebo (verkningslöst sockerpiller). Dubbel-blindad betyder att varken patient eller terapeut vet om det homeopatiska medlet eller placebo ges. Randomiserad betyder att man låter slumpen avgöra vilket av dessa den enskilde patienten skall få.
Av de 119 studierna kunde data som möjliggjorde sammanfattande statistik bara fås från 89. Resultatet från dem visade att homeopatiska medel är 145% bättre än placebo (alltså mer än dubbelt så bra). Studien redovisar i överskådliga bilder vilka sjukdomsgrupper som studerats, och man kan lätt se var homeopati har effekt och när den inte har det.
Något som fångade kritikernas uppmärksamhet var att Linde berättade att effekten var något svagare för de 26 studier som hade högst kvalitet. Men effekten var fortfarande 66% bättre än placebo, och med god marginal statistiskt säkerställt. Det finns också något som heter publikations-bias som betyder att man har större chans att få en studie publicerad om en effekt påvisas än om den inte påvisas. Linde gjorde en korrektion för publikations-bias, men fortfarande var homeopati 78% bättre än placebo.
Det tycktes som om den samlade litteraturen nu var genomgången och resultatet tydligt – effekten av homeopati är bättre än placebo-effekten. Lindes studie innebar dock en stor utmaning för den skolmedicinska världen, som stördes av bristen på rationell förklaringsmodell. Dessutom såg alla läkemedelsföretag en trist konkurrent i denna terapi. Inte undra på att andra nu började göra om Lindes analys. Det man framför allt sköt in sig på var att effekten av homeopati tycktes vara svagare ju högre kvalitetskrav som studien uppfyllde.
Cucherats omgjorda meta-analys
M. Cucherat och medarbetare publicerade en ny analys av homeopati-litteraturen tre år senare (Eur J of Clin Pharmacol 2000; 56: 27-33). Nu börjar trend som jag är kritisk till, och det är att så många studier plockas bort av en eller annan anledning. Först tog forskarna bort alla studier som handlar om prevention. Studier där man t.ex. vill förhindra hösnuva fick alltså inte vara med i Cucherats meta-analys av om homeopati fungerar bättre än placebo.
Av de 118 studier som kvarstod, och som alla var dubbel-blindade och randomiserade, plockade man därefter bort 101 som man inte tyckte var tillräckligt bra. Åttiofem procent av de studierna som uppfyllde de urspungliga kvalitetskriterierna förbises alltså. Av de 17 kvarvarande studierna så visade 11 (65%) en statistiskt säkerställd fördel för homeopati. Endast 3 visade en tendens till att placebo var bättre. Författarna poolade patienterna från de 17 studierna. Resultatet visade att homeopati verkligen är statistiskt överlägset placebo bättre (risken var bara 0,4 på tiotusen att fördelen skulle kunna förklaras av en slump).
Men – om man väljer ut bara de 5 studierna där minst antal patienter avbröt studien i förtid så uppnår inte resultatet statistisk signifikans. Även med denna selektion, jag har tappat bort räkningen på alla exklusioner, så finns en risk på 8 på 100 att homeopatiska medlets effekt kan förklaras av en slump. Inom medicinen vill man uppnå en risk som är mindre än 5 på 100. Men vi ser till alla de 17 studier som uppfyllde de från början uppställda kvalitetskraven så var risken så liten som 0,4 på tiotusen att effekten av homeopati kan förklaras av en slump.
I Cucherats metod-del visar det dessutom att man inte, vilket läsaren gärna tror, slagit ihop alla patienter och gjort en enda stor analys, inte ens av de 5 studier man särskilt ville framhäva. Istället har författarna slagit samman de enskilda studiernas signifikansnivåer på 7 olika sätt och erkänner i det finstilta att man presenterar den ”mest konservativa” summeringen, alltså den som mest missgynnar effekten av homeopati. Om man valt en mindre konservativ metod hade sannolikt även de 5 utvalda studierna visar statistisk signifikans till fördel hur homeopati. Författarna vet nog svaret, men vi får inte veta det. Bara det låter skumt.
Min kommentar är att den här genomgången visar att homeopati har effekt. Modesta bortfall av inkluderade patienter behöver inte alls göra en studie ogiltig, vilket man implicerar här. Att så inte är fallet hade Linde dessutom redan visat i en re-analys av sitt material studie som publicerades året innan (se nedan). Det sista exklusions-steget, från 17 till 5 studier, skedde på felaktig tveksam grund.
Att börja plocka bort studier som uppfyller på förhand bestämda kvalitetskriterier är också dubiöst. Dels uppstår ett visst mått av gottfinnande i valt av selektion. Att välja ut kanske 5 studier och påstå att dess resultat bäst representerar flera hundra studier innebär också att slumpmässiga faktorer trätt in. Det är nämligen osannolikt att homeopati är effektivt vid alla sjukdomstillstånd. När man selekterar oberoende av vilket sjukdomstillstånd som behandlas så kan det bland de 5 studierna uppstå en relativ övervikt för sjukdomstillstånd där homeopati fungerar väldigt bra, mindre bra eller inte alls. Endast en liten skevhet i selektionen kan då grovt förvränga omdömet om helheten. Dessutom – ju färre studier man inkluderar ju mindre är chansen att en faktisk skillnad går att belägga statistiskt (alltså att risken är mindre än 5 på 100 att resultatet kan förklaras av en slump). Dessa tre skäl talar emot användande av omfattande selektion (>90%av materialet) vilket, som vi skall se, tämligen genomgående använts när effekten av homeopati förkastas.
Enligt min uppfattning är det bästa sättet att hantera kvalitetsbredd i studier att använda ett viktnings-förfarande. De bästa studierna ges då relativt sett större betydelse. Men att säga att vissa patienter inte alls får vara med alls trots att grundkraven uppfyllts (dubbel-blind ocj randomiserad studie) förstör hela idén med en meta-analys.
Jag ser en tendens hos Cucherat att vilja missgynna homeopati. Man anger inga odds ratio (effektstyrka) utan bara signifikansnivåer, man väljer en statistisk metod som explicit missgynnar homeopati, och budskapet avser bara en sub-grupp på mindre än 5% av de tillgängliga studierna som har valts så att resultatet precis inte blir signifikant. Exklusionen grundar sig på ett antagande om effekten av drop-outs, vilken redan av andra författare visats vara felaktig i precis det material man undersökte.
Lindes stratifierade re-analys
Redan året innan, 1999, hade alltså K Linde utvärderat effekten av studiekvalitet på effekten av homeopati genom att stratifiera (skikta) sitt urspungliga Lancet-material (J Clin Epidemiol 1999; 52: 631-6). Enligt min uppfattning har han gjort samma sak som Cucherat, fast bättre. Han har exkluderat studier i sekvens från sin ursprungliga grupp om 89 beroende på om de är explicit randomiserade, dubbel-blindade, har komplett uppföljning (dvs. få drop-outs) m.m. Här får man alla odds ratio och konfidensintervall serverade, och alla analyser i t.ex. Tabell 1 visar att homeopati är ungefär dubbelt så bra som placebo.
I nästa steg delar Linde in sina studier efter kvalitet, som vanligtvis graderas i s.k. Jadad score från 0 till 5. Här visar samtliga sub-analyser att effekten av homeopati är statistiskt säkerställd, oaktat studiens kvalitet. De allra bästa studierna visar till och med starkare siffror än de näst bästa!
Men sedan dyker en beräkning upp i Tabell 2 som kritikerna hungrigt satt tänderna i. En medarbetare i Lindes grupp hade hittat på ytterligare en kvalitetsskala, och det innebär att man inte enbart kunde dela in studierna på den konventionella Jadad-skalan från 0 till 5 utan även på en skala från 0 till 7. Då uppstod ett statistiskt fenomen beroende på ”power” – när så många smågrupper skapats blir underlaget för litet inom varje subgrupp för att precis varje enskild grupp skall uppnå statistisk signifikans. När Linde strimlar studierna på det viset är de allra ”bästa” studierna, alltså de som uppnått kvalitetssiffran 7, fortfarande 55% bättre än placebo men konfidensintervallet blir inte signifikant (dvs. omfattar 1.0). Först när han lägger på 2 studier till, och alltså värderar de med kvalitetssiffrorna 6 eller 7, så blir homeopati dubbelt så bra som placebo, och skillnaden är återigen statistiskt säkerställt – helt enkelt därför att underlaget nu är lite större.
Vantolkningen som gjorts av detta är att de bästa homeopatistudierna visar att homeopati saknar effekt. Så skriver bl.a. Edzard Ernst i sin genomgång av tidigare meta-analyser 2002, som jag skall diskutera i nästa blogg. Det är ju fel eftersom homeopati är 55% bättre än placebo. Att konfidensintervallet plötsligt omfattar 1.0 beror på att materialet hamrats sönder i smågrupper. Nittiofem procent av materialet är ju borta när Linde gör just den här beräkningen.
Intressant nog finner Linde att ofullständig uppföljning, eller många drop-outs, inte hade någon betydelse för utfallet – vilket var precis det skäl som Cucherat använde för att minska antalet ”bra” homeopati-studier från 17 till 5 med följden att homeopatins värde precis inte blev statistiskt säkerställt. Den exklusionen äger alltså inte giltighet enär Cucherat och Lindes analyser måste vara grundade på i stort sett samma material. Det finns mycket tro kring kvalitetsmått, och individuella tolkningar kan ges ibland stort spelrum.
Min bedömning av Lindes analys är att de kvalitetsmässigt allra bästa studierna visar att homeopati visserligen inte är 145% bättre än placebo, men att effekten borde stanna vid 55%-75%. Det är en skillnad mot Lancet-studien 1997, men inte en avgörande skillnad. Effekten av homeopati är ju fortfarande statistiskt säkerställd så länge man inte strimlar materialet i pytte-små grupper. Då uppstår ett förutsägbart problem med materialets ”power” vilket är ett välkänt begrepp i forskarkretsar. På samma grund skulle man kunna invalidera vilken meta-analys som helst, bara subgrupperna görs tillräckligt små.
Personligen anser jag att det är tveksamt att överhuvudtaget dra slutsatser på grund av konfidensintervall i subgrupper som omfattar 5% eller mindre av ett totalmaterial. Åtminstonde kan man inte, på grundval av det, extrapolera resultatet till helheten. Där kan man lätt bli lurad att förbise effekter som faktiskt finns. Det är istället odds ratio för subgrupperna som är det intressanta. De möjliggör en bedömning av vilka studier som bidragit till slutresultatet, som bör vara en värdering byggd på samtliga eller åtminstonde majoriteten av patienterna. Kriterierna för exklusion skall vara fastställda i förväg och inte modifieras så snart man finner att resultatet inte blir det man hoppades på.
Summering
Så här långt – klar fördel för att homeopati fungerar. För att uppnå ett annat resultat får man strimla litteraturen i små subgrupper så att den statistiska signifikansen fläckvis går förlorad. Eller också får man selektera materialet så att 95% av materialet försvinner. Då kan slumpmässiga effekter avgöra om homeopatin förefaller vara bra eller inte bra beroende på vilka sjukdomstillstånd som behandlas i det lilla stickprov man till sist gör statistik på. Det är inte alls säkert att så små stickprov är representativa.
Men skall senare författare kunna knäcka homeopatin?
Nästa blogg (se länken här) granskar de två studier som Dan Larhammar speciellt hänvisade till när kan påstod att homeopati är ”bluff-medicin”, nämligen Edzard Ernsts genomgång i Br J Clin Pharmacol från 2002 och Shangs meta-analys i Lancet 2005. Väl mött igen!
PS. Vetenskapliga studier kan vanligen sökas och laddas hem (ibland mot en avgift) via PubMed.