Jag skall ägna två bloggar åt det vetenskapliga forskningsläget om homeopati. Detta är den första. Stödjer litteraturen att homeopati är till hjälp eller inte?
Under sommaren 2011 genomförde föreningen Vetenskap och folkbildning (VoF) en kampanj mot homeopati. Den innefattade bland annat att Dan Larhammar och andra från VoF styrelse författade insändare till Svenska Dagbladet som klassade homeopatiska läkemedel som ”bluff-medicin”. Som vetenskapligt stöd för att homeopati är verkningslöst anfördes två genomgångar av forskningsläget. Det gäller an artikel av Edzard Ernst från 2002 och en artikel i Lancet från 2005. Låt mig nu granska dessa och andra meta-analyser av homeopati.
Historien börjar egentligen på 1990-talet när begreppet ”evidens-baserad medicin” blev allmänt bekant. Principen för den är att samla all befintlig litteratur på ett område och göra en sammanfattande statistik av huruvida en terapi fungerar eller inte. Alla behandlade patienter slås samman så att man får en enda jättestor studie att räkna på. Det kallas meta-analys. Fördelen är att man nu då kan uttala sig om terapier där de enskilda studierna kanske varit för små för att ge ett entydigt svar.
Lindes studie i Lancet 1997
En meta-analys om homeopati publicerades av Klaus Linde och medarbetare i Lancet 1997 (Lancet 1997; 350: 834-43). Genomgången var ett samarbete mellan tyska och amerikanska forskare. Man sökte i databaser och fann 186 studier om homeopati, och av dessa uppfyllde 119 stycken kvalitetskriteriet att vara randomiserad dubbel-blindad och/eller randomiserad studie där homeopatiskt läkemedel jämfördes med placebo (verkningslöst sockerpiller). Dubbel-blindad betyder att varken patient eller terapeut vet om det homeopatiska medlet eller placebo ges. Randomiserad betyder att man låter slumpen avgöra vilket av dessa den enskilde patienten skall få.
Av de 119 studierna kunde data som möjliggjorde sammanfattande statistik bara fås från 89. Resultatet från dem visade att homeopatiska medel är 145% bättre än placebo (alltså mer än dubbelt så bra). Studien redovisar i överskådliga bilder vilka sjukdomsgrupper som studerats, och man kan lätt se var homeopati har effekt och när den inte har det.
Något som fångade kritikernas uppmärksamhet var att Linde berättade att effekten var något svagare för de 26 studier som hade högst kvalitet. Men effekten var fortfarande 66% bättre än placebo, och med god marginal statistiskt säkerställt. Det finns också något som heter publikations-bias som betyder att man har större chans att få en studie publicerad om en effekt påvisas än om den inte påvisas. Linde gjorde en korrektion för publikations-bias, men fortfarande var homeopati 78% bättre än placebo.
Det tycktes som om den samlade litteraturen nu var genomgången och resultatet tydligt – effekten av homeopati är bättre än placebo-effekten. Lindes studie innebar dock en stor utmaning för den skolmedicinska världen, som stördes av bristen på rationell förklaringsmodell. Dessutom såg alla läkemedelsföretag en trist konkurrent i denna terapi. Inte undra på att andra nu började göra om Lindes analys. Det man framför allt sköt in sig på var att effekten av homeopati tycktes vara svagare ju högre kvalitetskrav som studien uppfyllde.
Cucherats omgjorda meta-analys
M. Cucherat och medarbetare publicerade en ny analys av homeopati-litteraturen tre år senare (Eur J of Clin Pharmacol 2000; 56: 27-33). Nu börjar trend som jag är kritisk till, och det är att så många studier plockas bort av en eller annan anledning. Först tog forskarna bort alla studier som handlar om prevention. Studier där man t.ex. vill förhindra hösnuva fick alltså inte vara med i Cucherats meta-analys av om homeopati fungerar bättre än placebo.
Av de 118 studier som kvarstod, och som alla var dubbel-blindade och randomiserade, plockade man därefter bort 101 som man inte tyckte var tillräckligt bra. Åttiofem procent av de studierna som uppfyllde de urspungliga kvalitetskriterierna förbises alltså. Av de 17 kvarvarande studierna så visade 11 (65%) en statistiskt säkerställd fördel för homeopati. Endast 3 visade en tendens till att placebo var bättre. Författarna poolade patienterna från de 17 studierna. Resultatet visade att homeopati verkligen är statistiskt överlägset placebo bättre (risken var bara 0,4 på tiotusen att fördelen skulle kunna förklaras av en slump).
Men – om man väljer ut bara de 5 studierna där minst antal patienter avbröt studien i förtid så uppnår inte resultatet statistisk signifikans. Även med denna selektion, jag har tappat bort räkningen på alla exklusioner, så finns en risk på 8 på 100 att homeopatiska medlets effekt kan förklaras av en slump. Inom medicinen vill man uppnå en risk som är mindre än 5 på 100. Men vi ser till alla de 17 studier som uppfyllde de från början uppställda kvalitetskraven så var risken så liten som 0,4 på tiotusen att effekten av homeopati kan förklaras av en slump.
I Cucherats metod-del visar det dessutom att man inte, vilket läsaren gärna tror, slagit ihop alla patienter och gjort en enda stor analys, inte ens av de 5 studier man särskilt ville framhäva. Istället har författarna slagit samman de enskilda studiernas signifikansnivåer på 7 olika sätt och erkänner i det finstilta att man presenterar den ”mest konservativa” summeringen, alltså den som mest missgynnar effekten av homeopati. Om man valt en mindre konservativ metod hade sannolikt även de 5 utvalda studierna visar statistisk signifikans till fördel hur homeopati. Författarna vet nog svaret, men vi får inte veta det. Bara det låter skumt.
Min kommentar är att den här genomgången visar att homeopati har effekt. Modesta bortfall av inkluderade patienter behöver inte alls göra en studie ogiltig, vilket man implicerar här. Att så inte är fallet hade Linde dessutom redan visat i en re-analys av sitt material studie som publicerades året innan (se nedan). Det sista exklusions-steget, från 17 till 5 studier, skedde på felaktig tveksam grund.
Att börja plocka bort studier som uppfyller på förhand bestämda kvalitetskriterier är också dubiöst. Dels uppstår ett visst mått av gottfinnande i valt av selektion. Att välja ut kanske 5 studier och påstå att dess resultat bäst representerar flera hundra studier innebär också att slumpmässiga faktorer trätt in. Det är nämligen osannolikt att homeopati är effektivt vid alla sjukdomstillstånd. När man selekterar oberoende av vilket sjukdomstillstånd som behandlas så kan det bland de 5 studierna uppstå en relativ övervikt för sjukdomstillstånd där homeopati fungerar väldigt bra, mindre bra eller inte alls. Endast en liten skevhet i selektionen kan då grovt förvränga omdömet om helheten. Dessutom – ju färre studier man inkluderar ju mindre är chansen att en faktisk skillnad går att belägga statistiskt (alltså att risken är mindre än 5 på 100 att resultatet kan förklaras av en slump). Dessa tre skäl talar emot användande av omfattande selektion (>90%av materialet) vilket, som vi skall se, tämligen genomgående använts när effekten av homeopati förkastas.
Enligt min uppfattning är det bästa sättet att hantera kvalitetsbredd i studier att använda ett viktnings-förfarande. De bästa studierna ges då relativt sett större betydelse. Men att säga att vissa patienter inte alls får vara med alls trots att grundkraven uppfyllts (dubbel-blind ocj randomiserad studie) förstör hela idén med en meta-analys.
Jag ser en tendens hos Cucherat att vilja missgynna homeopati. Man anger inga odds ratio (effektstyrka) utan bara signifikansnivåer, man väljer en statistisk metod som explicit missgynnar homeopati, och budskapet avser bara en sub-grupp på mindre än 5% av de tillgängliga studierna som har valts så att resultatet precis inte blir signifikant. Exklusionen grundar sig på ett antagande om effekten av drop-outs, vilken redan av andra författare visats vara felaktig i precis det material man undersökte.
Lindes stratifierade re-analys
Redan året innan, 1999, hade alltså K Linde utvärderat effekten av studiekvalitet på effekten av homeopati genom att stratifiera (skikta) sitt urspungliga Lancet-material (J Clin Epidemiol 1999; 52: 631-6). Enligt min uppfattning har han gjort samma sak som Cucherat, fast bättre. Han har exkluderat studier i sekvens från sin ursprungliga grupp om 89 beroende på om de är explicit randomiserade, dubbel-blindade, har komplett uppföljning (dvs. få drop-outs) m.m. Här får man alla odds ratio och konfidensintervall serverade, och alla analyser i t.ex. Tabell 1 visar att homeopati är ungefär dubbelt så bra som placebo.
I nästa steg delar Linde in sina studier efter kvalitet, som vanligtvis graderas i s.k. Jadad score från 0 till 5. Här visar samtliga sub-analyser att effekten av homeopati är statistiskt säkerställd, oaktat studiens kvalitet. De allra bästa studierna visar till och med starkare siffror än de näst bästa!
Men sedan dyker en beräkning upp i Tabell 2 som kritikerna hungrigt satt tänderna i. En medarbetare i Lindes grupp hade hittat på ytterligare en kvalitetsskala, och det innebär att man inte enbart kunde dela in studierna på den konventionella Jadad-skalan från 0 till 5 utan även på en skala från 0 till 7. Då uppstod ett statistiskt fenomen beroende på ”power” – när så många smågrupper skapats blir underlaget för litet inom varje subgrupp för att precis varje enskild grupp skall uppnå statistisk signifikans. När Linde strimlar studierna på det viset är de allra ”bästa” studierna, alltså de som uppnått kvalitetssiffran 7, fortfarande 55% bättre än placebo men konfidensintervallet blir inte signifikant (dvs. omfattar 1.0). Först när han lägger på 2 studier till, och alltså värderar de med kvalitetssiffrorna 6 eller 7, så blir homeopati dubbelt så bra som placebo, och skillnaden är återigen statistiskt säkerställt – helt enkelt därför att underlaget nu är lite större.
Vantolkningen som gjorts av detta är att de bästa homeopatistudierna visar att homeopati saknar effekt. Så skriver bl.a. Edzard Ernst i sin genomgång av tidigare meta-analyser 2002, som jag skall diskutera i nästa blogg. Det är ju fel eftersom homeopati är 55% bättre än placebo. Att konfidensintervallet plötsligt omfattar 1.0 beror på att materialet hamrats sönder i smågrupper. Nittiofem procent av materialet är ju borta när Linde gör just den här beräkningen.
Intressant nog finner Linde att ofullständig uppföljning, eller många drop-outs, inte hade någon betydelse för utfallet – vilket var precis det skäl som Cucherat använde för att minska antalet ”bra” homeopati-studier från 17 till 5 med följden att homeopatins värde precis inte blev statistiskt säkerställt. Den exklusionen äger alltså inte giltighet enär Cucherat och Lindes analyser måste vara grundade på i stort sett samma material. Det finns mycket tro kring kvalitetsmått, och individuella tolkningar kan ges ibland stort spelrum.
Min bedömning av Lindes analys är att de kvalitetsmässigt allra bästa studierna visar att homeopati visserligen inte är 145% bättre än placebo, men att effekten borde stanna vid 55%-75%. Det är en skillnad mot Lancet-studien 1997, men inte en avgörande skillnad. Effekten av homeopati är ju fortfarande statistiskt säkerställd så länge man inte strimlar materialet i pytte-små grupper. Då uppstår ett förutsägbart problem med materialets ”power” vilket är ett välkänt begrepp i forskarkretsar. På samma grund skulle man kunna invalidera vilken meta-analys som helst, bara subgrupperna görs tillräckligt små.
Personligen anser jag att det är tveksamt att överhuvudtaget dra slutsatser på grund av konfidensintervall i subgrupper som omfattar 5% eller mindre av ett totalmaterial. Åtminstonde kan man inte, på grundval av det, extrapolera resultatet till helheten. Där kan man lätt bli lurad att förbise effekter som faktiskt finns. Det är istället odds ratio för subgrupperna som är det intressanta. De möjliggör en bedömning av vilka studier som bidragit till slutresultatet, som bör vara en värdering byggd på samtliga eller åtminstonde majoriteten av patienterna. Kriterierna för exklusion skall vara fastställda i förväg och inte modifieras så snart man finner att resultatet inte blir det man hoppades på.
Summering
Så här långt – klar fördel för att homeopati fungerar. För att uppnå ett annat resultat får man strimla litteraturen i små subgrupper så att den statistiska signifikansen fläckvis går förlorad. Eller också får man selektera materialet så att 95% av materialet försvinner. Då kan slumpmässiga effekter avgöra om homeopatin förefaller vara bra eller inte bra beroende på vilka sjukdomstillstånd som behandlas i det lilla stickprov man till sist gör statistik på. Det är inte alls säkert att så små stickprov är representativa.
Men skall senare författare kunna knäcka homeopatin?
Nästa blogg (se länken här) granskar de två studier som Dan Larhammar speciellt hänvisade till när kan påstod att homeopati är ”bluff-medicin”, nämligen Edzard Ernsts genomgång i Br J Clin Pharmacol från 2002 och Shangs meta-analys i Lancet 2005. Väl mött igen!
PS. Vetenskapliga studier kan vanligen sökas och laddas hem (ibland mot en avgift) via PubMed.
Äh jag kan inte hålla inne min nyfikenhet.
Jan D.
Jag svarar inte direkt eftersom du tydligen ställer frågan direkt till Robert Hahn.
Vad ser du …och Lars Collste? En välsignelse för alla patienter att vidhålla att homeopati inte fungerar?
Nu kommenterar jag inte de studie analyser som gjorts eftersom jag inte kan, men undrar vad det betyder att 100 000 tals människor bara i Sverige har positiva erfarenheter av homeopati behandling och i världen i övrigt är det många miljoner. Vad säger ni till dem? Varför skall homeopatisk behandling, som fungerar, inte tillåtas inom sjukvården? Jag tycker det är en dålig förklaring att man inte kan godkänna den för man inte vet varför det fungerar. Det håller inte ur det perspektiv läkare och vårdinrättningar bör ha. Så tycker jag
Lars Collste: Jag googlade ditt namn och fick upp en pensionerad urolog, är det du det?
Ta och bemöt honom i sak istället om du kan! Nej just det, du kan visst inte det… eller hur?
Lars Collste är min forskningshandledare från 1980-talet. Vi har inte haft kontakt på 20 år. Här framför han ingen sakfråga alls så jag förstå inte vad du syftar på.
Jag syftar på att han yttrar sej nedlåtande om dej utan att specificera varför, men att det väl är kopplat till vad du skriver om homeopati då han yttrade sej under det ämnet. Det är ju annars typiskt skeptiker att ta till olika retoriska knep för att framställa meningsmotståndare i dålig dager utan att gå närmare in i själva sakfrågan. Jag tycker det är dålig stil.
Mvh
Ronny
Hej Robert!
Jag ställer mig inte alls lika oförstående som Du tycks göra.
För mig är Collstes lilla rad väldigt tydlig, med en pikant biton av förvåning och besvikelse.
Och också, är det inte i själva verket så att Du (i bästa fall) bara ser det Du verkligen vill se Robert?
Jag känner också den pikanta tonen av förvåning och besvikelse men fortfarande framför Collste ingen sakfråga.
Det verkar som om det har kommit in en Ronny till.
Jag är den Ronny som har gjort tidigare kommentarer och det här kommentaren har inte jag gjort.
Kan man sålla bort dubbletter på något vis så att man inte förväxlas med någon annan?
Robert, Robert… Vad håller Du på med?
Jag kan inte hålla med dig om ditt resonemang om att man bör godkänna c:a hälften av studierna. Det verkar väldigt godtroget. Och att vikta in tveksamma studier tycker jag också är tveksammt.
När vi exkluderat hälften av de randomiserade kliniska prövningarna är skillnaderna mellan de kvarvarande studierna rätt små och behöver inte alls betyda några kvalitetsmässiga förluster. I normalfallet exkluderar man exempelvis inte studier med ett bortfall på 5-20% utan hanterar det problemet statistiskt (t.ex. med intention-to-treat-förfarande). Att exkludera studier för att de är ”små” är en spekulation – vad säger att de är dåliga? Om man tar bort mer än 95% av de studier som finns så får man, som jag redan sagt, andra problem av statistisk art samt flip-flop-fenomen som medför att man kan få vilket svar som helst.
Vid så här omfattande exklusion bör man erkänna att analysen misslyckats och istället göra en systematisk översikt (utan meta-analys-förfarande). Det är den typ av utvärdering som Socialstyrelsen sätter högst. Då slipper man mycket av de här matematiska och exklusionstekniska problemen. Alternativt skall man bygga sin värdering på de observationsstudier istället. Det startar på en lägre evidensnivå men bör användas om vettiga RCTs saknas, och tar man bort nästan allt material från gruppen av RCTna ändå inget högt evidensvärde av skäl som jag redan nämnt. Inget av detta har homeopati-motståndarna av typ Cucherat, Ernst och Shang gjort. De har nämligen varit nöjda med att exkludera nästan allt material som finns och varit naiva nog att tro att några fjuttiga procent av alla studier skulle kunna representera helheten. Så måste man göra för att kunna basunera ut negativa resultat om ”ingen effekt” – annars går det inte, för då tar homeopatin hem spelet.
Du skriver:
”Enligt min uppfattning är idealet vid en meta-analys att man exkluderar ungefär halva materialet av kvalitetsmässiga skäl”
Bör man inte exkludera alla försök som inte håller måttet. Man kan väl inte utgå från att hälften är bra! Det tycker jag verkar lite godtroget.
Visst, 50% är inte alls någon statisk gräns.
Men vad är ”håller måttet”? Är det att du använde en slumpvalstabell istället för lottning vid randomiseringen? Eller att det inte står skrivet i material-delen att du explicit lottade mellan behandling och placebo med slutna kuvert? Eller att du hade mellan 5-10% bortfall av patienter som drog sig ur studien istället för mellan 0 och 5%. Eller att blodkemiska analyser inte utfördes på ett certifierat laboratorium? Alla forskare tycks har ju olika uppfattning om hur avgörande sådant är. Nästan alla studier har någon skönhetsfläck utan att de fördenskull helt förlorar sitt värde.
Jag håller visserligen med om att sådana faktorer något minskar betydelsen av en studie, men de är knappast avgörande och kan hanteras på andra sätt än genom exklusion. Man kan ta bort studier som saknar någon kvalitetsindikator i sekvens, som i Lindes re-analys. Eller också kan man vikta studierna efter ett kvalitetsmått, t.ex. efter Jadad score. Det har hittills ingen använt sig av här, vad jag kan se. Det är synd för det är en bra metod.
Risken med att exkludera nästan allt (95-98%) är, som jag redan framhållit, att man då får andra problem. Statistiken börjar bli allvarligt försvagad till nackdel för värdet av den substans man skall pröva. Dessutom har jag redan berättat om slumpmomentet man introducerar med höggradig exklusion. Det är som att börja singla slant med resultatet. Du kan få vad som helst, och resultat kan bli helt omkastat av att man ta bort en eller lägger till någon enstaka studie. Analysen förlorar sig stadga och utfallet kan därför lätt styras av forskaren. Det är en situation som ärliga forskare inte önskar sig.
Det finns alltså skäl som talar för exklusion men det finns också skäl som talar emot exklusion. Någonstans på halva vägen får man mötas. Tycker man fortfarande att det finns variationer i studiekvalitet efter att ha exkluderat de studier som inte är dubbel-blindade och randomiserade eller har vettiga behandlingsmål så går det, som sagt, att hantera på andra sätt. Jag förordar den vägen.
Om man gör en metaanalys av en mängd studier av tveksam kvalitet så blir väl resultatet också tveksamt.
Bör man inte göra en noggrann granskning av alla ingående studier först.
Och kan man verkligen lita på de studier som gjorts av homeopater? De är väl lite kända för sina kvasivetenskapliga experiment.
I alla meta-analyser har man gjort en noggrann granskning först, och efter den så visar det sig (alltid) att man har drygt 100 studier kvar. Det är en myt att studierna om homeopati skulle vara ”dåliga” – Shang (se nästa blogg) fann snarast att de höll högre kvalitete än de skolmedicinska studierna.
Det motståndarna till homeopati gör är att man i det läget, när man vaskat fram drygt 100 bra studier, av olika skäl fortsätter att exkludera tills man nästan inte har några studier kvar alls. Det kan mycket väl bero på att man inte gillar resultatet, för utfallet av analysen baserad på de 100 ”bra” studierna berättar man genomgående inget om. Det har bara Linde gjort.
Vad homeopati-motståndarna anser nedsätta en studies kvalitet växlar hela tiden. Alla säger olika. I min genomgång har du funnit åtminstonde 3 olika synsätt. En (Cucherat) tyckte sig kunna ta bort nästan allt därför att bortfallet av patienter nått en viss nivå (det var inte sant, enligt Lindes re-anlays). En annan tog bort det mesta för att materialet visserligen var randomiserat men att det inte fanns någon exakt redogörelse för hur randomiseringen gått till (slumpvalstabell, lottning, slutna kuvert etc.). Detta har en viss betydelse, men är inget avgörande tecken på att en studie är ”dåligt” gjord. Andra tror (t.ex. Shang) att stora studier är bättre än små – men är det sant? Det finns en omfattande brist på enhetligthet i synen (eller tron, är ett bättre ord) på vad som är god kvalitet på en studie, förutom att den skall vara dubbel-blindad och randomiserad förstås (det är alla ense om).
Enligt min uppfattning är idealet vid en meta-analys att man exkluderar ungefär halva materialet av kvalitetsmässiga skäl. Tar man bort 95-98% av materialet så introducerar man slumpmässiga faktorer där en enda studie (där kanske homeopati fungerar ovanligt bra eller ovanligt dåligt) kan avgöra hela utfallet. Då har man plötsligt förlorad den robusthet som en meta-analys skall ha, och resultat kan bli hur-som-helst.
En god lärdom av denna nyckfullhet ges av signaturen Ho.Se i kommentarerna till Blogg II om homeopati. I den här artikeln han länkar till visar det sig att om man bara tar bort en studie till ur Shangs meta-analys (som slutade på 8 studier, framselekterade av drygt 100) så erhålls omvänt resultat, och homeopati blir plötsligt en effektiv statistiskt säkerställd terapi. En enda studie avgjorde alltså alltihop. Detta är avigsidan med alltför långt driven exklusion på ibland nyckfulla kriterier.