Meta-analyserna av homeopati II

Detta är min andra blogg som granskar meta-analyser om homeopati.  I den förra gick jag igenom Lindes meta-analys i Lancet 1997, Cucherats re-analys 3 år senare, och Lindes egen re-analys 1999. I den här bloggen tittar vi på de två studier som Dan Larhammar speciellt hänvisade till när i Svenska Dagbladet påstod att homeopati är ”bluff-medicin”, nämligen Edzard Ernsts genomgång i Br J Clin Pharmacol från 2002 och Shangs meta-analys i Lancet 2005.
Edzard Ernsts översikt

Edzard Ernsts översikt av litteraturen från 2002 (Br J Clin Pharmacol 2002; 54: 577-582) är, sin titel till trots, ingen meta-analys utan en review-artikel. Han refererar till de olika uppföljningar och re-analyser som gjorts av Lindes studie i Lancet från från 1997. Ingen statistisk sammanvägning av materialet är gjort. Hur är det då med Edzard Ernsts förmåga att värdera litteraturen?

Jag har i en tidigare blogg kritiserat just Ernst för att vara tendentiös. Han har satt i system att utföra meta-analyser av olika alternativmedicinska terapier och av olika skäl exkludera 95-99% av materialet. Även om de kvarvarande studierna visar att en behandlingseffekt är statistiskt säkerställd så avfärdar han den ändå. Alltid hittar han något skäl! Och det mönstret följer han även här.

Vi skall nu se vad Ernst säger om Cucherats analys, som ju visade att risken bara var 0,4 på tiotusen att homeopati saknar effekt. Jo, han skriver att författarna inte tyckte att beviset var särskilt starkt! Det finns ”visst evidens” men inte mer. Det är en alldeles för klent hållen slutsats, och det borde Ernst ha begripit.

Ernst har listat Lindes re-analys från 1999 med kommentaren att ”de bästa studierna visar ingen fördel för homeopati”. Det stämmer ju inte, för de bästa studierna var 55% bättre än placebo. En klokare person hade förstått den statistiska försvagningen är ett resultat av att stratifiering så långt driven som till 8 subgrupper. Om vi istället stratifierat till 7 subgrupper uppstod ju signifikansen! Jag kan försäkra att seriösa epidemiologer hade dragit en helt annan slutsats än den Ernst gör här. Som vi diskuterat i den första bloggen är Lindes huvudnummer den sekventiella analysen, där alla data visar att homeopati har effekt. Alla beräkningar med Jadad score, som är kutym att använda vid kvalitetsbedömningar, visade ju också att homeopati är effektivt. Men Ernst framställer Lindes re-analys som väsentligen till nackdel för homeopati, och det är falskt.

Så här behandlar Ernst en meta-analys av WB Jonas (Rheum Dis Clin North Am 2000; 26: 117-123) som visar att homeopati är dubbelt så bra som placebo vid reumatiska sjukdomar.  Resultatet var dessutom väl statistiskt säkerställt. Jo, han kritiserar meta-analysens evidensvärde därför att man inte kunnat påvisa tillräckligt övertygande effekt vid någon specifik reumatisk sjukdom. När resultatet inte passade så byter Ernst sålunda frågeställning från den ursprungliga, som är huruvida homeopati är bättre än placebo.

Ernst medverkar själv i tre re-analyser av Lindes material. I sin första, som var en snabb replik på Lindes studie i Lancet, skalade han bort nästan allt underlag som fanns. Fem (!) studier där ”klassisk” homeopati användes i extremt höga utspädningar studerades utan att någon effekt stod att finna. Vid en snabb screening kan jag inte finna tidskriften Perfusion på nätet så jag kan inte kommentera detaljer i studien. Det låter dock som en märklig tidskrift att publicera en studie om homeopati i.

Därefter publicerade Ernst år 2000 en genomgång av Lindes 89 studier och gjorde en linjär regression av alla studier med olika kvalitets-mått (Jadad-score) från 1 till 4 och drog slutsatsen att homeopati skulle sakna effekt för de bästa studierna, alltså med ett Jadad-score på 5. Varför Ernst inte genomförde en analys av studierna som hade Jadad 5 från början känns konstigt. Det hade nämligen Linde själv gjort året innan (i J Clin Epidemiol, se ovan). De allra bästa studierna uppvisade faktiskt kraftfullare effekt till förmån för homeopati än de näst bästa studierna. Just det understryker en gammal statistisk sanning, nämligen att linjära regressioner kan vara missvisande om man rör sig utanför det intervall som regressionen bygger på.

När man ser en plot mellan Jadad score och odds ratio för homeopati (Lindes re-analys, Figur 1) så framstår spridningen som så stor att jag personligen aldrig skulle våga extrapolera något utifrån det sambandet. Det visste förstås Ernst, men han bröt mot den regeln för att få fram sin självklara poäng, nämligen – som alltid – att alternativmedicin inte fungerar. Slutsatsen av Ernsts genomgång är också att materialet inte ger ”sund evidens” för användning av homeopatiska mediciner.

Min slutsats är återigen att Ernst är tendentiös. Hans artikel sägs vara en ”meta-analys av meta-analyser” men det är ju ingen meta-analys utan en review-artikel. Han har själv genomfört 3 stycken re-analyser av Lindes material men uppvisar har ett uppenbart intresse av att kullkasta dennes resultat. Det jag själv har läst, och som refereras av Ernst, finner jag misstolkat. Idén med den linjära regressionen är det mest uppenbara försöket att lura läsarna – den genererade dessutom en felaktig slutsats, och borde därför inte ha tagits med i review-artikeln överhuvudtaget.

Detta är alltså den ena genomgången av litteraturen som Dan Larhammar hänvisar till som ”bevis” för att homeopati är ”bluff” (hårda ord som bör undvikas i vetenskapliga sammanhang). Jag tycker att Dan Larhammar skall spola Ernst som rättesnöre för vad som är sant och falskt inom vetenskapen. Artiklar av Edzard Ernst bör generellt sett lämnas utan avseende. Han har så uppenbart partisk att det han skriver inte är tillförlitligt.

Shangs studie i Lancet 2005

Den andra genomgången av litteraturen som Larhammar hänvisar till är en meta-analys som publicerades i Lancet några år senare (Lancet 2005; 366: 726-732). Den är betydligt mer seriös än Ernsts review-artikel men också mer svårläst.

Meta-analysen är designad för att jämföra homeopati med skol-medicinsk terapi. En intressant slutsats är att homeopatiska studier överlag har bättre kvalitet än skolmedicinska studier. Det omvända argumentet användes tidigare av M. Cucherat (se min förra blogg) för att medvetet förminska värdet av den höggradigt signifikant positiva effekten av homeopati. Att studier om homeopatika överlag skulle hålla låg kvalitet tycks alltså inte vara sant.

Shang fortsätter vägen som Cucherat påbörjade, nämligen att exkludera nästan allt material. Homeopati-studier togs först bort både på grund av dåligt upplägg eller att de inte matchade någon skolmedicinsk studie. Men ganska många (drygt 100) dubbel-blindande och randomiserade studier blev ändå kvar. De allra flesta homeopati-studierna (alla utom 21) togs bort därför att man ansåg det fanns inkompletta uppgifter om hur det slumpmässiga urvalet till behandling (homeopati eller placebo) gick till.

Den här exklusionen är jag ganska kritisk till – det är faktiskt först på de allra senaste åren som man börjat kräva redogörelse för hur randomiseringen gått till. Att man inte gjort i alla studier kan handla om tradition snarare än att studien genomförts  på ett undermåligt sätt. Detta bekymmer borde man istället ha löst genom att statistiskt vikta studierna. Nåväl, genom detta exklusionskriterium, som alltså plötsligt sopar bort majoriteten av forskningen kring om homeopati, har man blivit av med, får jag förmoda, de allra flesta av de äldre studierna.

Av de 21 kvarvarande studierna som uppfyllde alla kvalitetskrav och kriterier får vi tyvärr inte veta något. Författarna exkluderar nämligen ytterligare 13 studier och får kvar bara 8 stycken. Författarna tror att de studier som har lägst standardfel borde vara mest tillförlitliga, och grundar sina beräkningar på dem. Shang redovisar ett odds ratio på 0.88 men har vänt på siffrorna, så att de 8 kvarvarande studierna endast visar att homeopati är 14% mer effektivt än placebo. Det associerade konfidensintervallet blir inte statistiskt säkerställt, vilket knappast är överraskande när man exkluderat 93% av de studier som uppfyllde de på förhand uppställda kvalitetskraven.

I Shangs studie har man struntat i Jadad-score utan exkluderar alltså friskt. För att värdera bias används något som kallas ”funnel-plot”. Man ritar upp odds ratio på x-axeln och analysens standardfel (som är en del av konfidensintervallet) på y-axeln. Standardfelet blir lägre främst i stora studier men minskar också om behandlingseffekten är enhetlig. Funnel-plot för både homeopati och skolmedicinsk behandling antyder att bias finns mellan studier som har stora och små standardfel. Funnel-plots bygger på en teori om att odds ratio i små studier har större variation än stora. Asymmetri i plotten anses visa graden av bias.

När jag tittar på den ”avgörande” figuren i Shangs studie, som är övre delen av Figur 2, så visar den att studierna som har allra högst standardfel (kring 0,2 – skalan går till 1,6) ligger ganska nära odds ratio på noll. Men om jag bara tar mig lite, lite längre ner på skalan (till 0,3), så infaller en hel drös med studier vars odds ratio ligger rejält på den positiva sidan för homeopati. Om Shang hade ökat antalet studier från 8 till 15, eller varför inte till alla 21 av de allra ”bästa” studierna (han hade ju ändå exkluderat drygt 4/5 av materialet), så hade fördelen för homeopati blivit betydligt högre än 14%. Sannolikt hade den också blivit statistiskt säkerställd. Att Shang inte rapporterat vad resultatet hade blivit även för alla de 21 bästa studierna analyserats tyder på författar-bias, dvs. att författarna inte är objektiva utan medvetet utesluter potentiellt viktiga resultat. En uträkning grundad på de 21 bästa studierna har författarna säkerligen gjort (vore konstigt annars) men man har valt att inte rapportera det.

Meta-analysen i Lancet 2005 väcker många frågor. Författarna förklarar inte övertygande varför man bara räknade på 8 studier. Varför inte 15? Varför inte alla 21 som ansågs vara allra ”bäst”? Varför måste bara de 8 största studierna vara ”bäst” och få avgöra vad som är sant och inte? Vilka var de 8 studierna? Varför redovisas inte all statistik? Behöver en studie uteslutas som ovetenskaplig enbart för att det inte finns en explicit redogörelse för hur randomiseringen gick till? Varför inte använda viktning istället?

Till sist kan man fråga sig om vilken behandlingseffekt man kräver av homeopati. Huruvida 14% är dåligt eller acceptabelt är en medicinsk bedömning. Det beror förstås på vilken åkomma man behandlar. För många konventionella mediciner som används idag behöver inte effekten vara större än så. Siffran kan också vara resultatet av selektion beroende på vilka åkommor som ingick i det lilla stickprovet om 8 studier. Andra som gjort seriösa beräkningar av effekterna av bias och olika grader av kvalitet på utfallet har ju fått en betydligt högre siffra till fördel för homeopati. Men att 14% inte blir statistiskt säkerställt kan faktiskt vara ett ”power-problem” – som vi redan sett faller signifikanserna lätt bort när man tagit bort så mycket av underlaget att nästan allt försvunnit. Ju större underlag, ju större chans att säkerställa små skillnader. Ju mer material man plockar bort, ju mindre chans.

Det är spelandet med siffror, selektion, exklusion och bias-beräkningar som gör meta-analyser till en potentiell lekstuga för epidemiologer och statistiker. Med tyckande i högsätet drar personliga åsikter lätt resultatet åt ett visst håll. Jag har alltid hävdat att meta-analyser ger väldigt fritt spelrum för författarnas trosuppfattningar och manipulationer, medan läkemedelsföretagens kliniska prövningar ger minst spelrum åt sådana styrningar. Vad kan då konkluderas?

Sammanfattande bedömning

I litteraturen finns runt 200 publicerade studier om den medicinska effekten av homeopati.  Ungefär 2/3 av dem är av typen randomiserad klinisk prövning (RCT), alltså dubbel-blindad och randomiserad. Det är precis så man skall genomföra en studie av ett läkemedels effekt.

Om vi ser till samtliga dessa RCT så erhålls ett starkt stöd för homeopati. Sådana preparat ger ungefär dubbelt så god effekt som placebo. Att det är så framgår både av Lindes originalstudie, av hans re-analys, av Cucherats studie och av Figur 2 i Shangs meta-analys.
De tvivel om homeopatins positiva effekter i alla evidens-baserade analyser rör sig kring kraften i och betydelsen av bias. Här finns uppenbarligen ett bias som, enligt Shang, är av ungefär samma kraft som i skolmedicinska studier.

Frågan är hur man bäst hanterar ett bias. Metoderna som används idag är faktiskt ganska spekulativa. Jag tycker att det bästa sättet är att vikta studiernas betydelse efter kvalitet enligt Jadad score 0-5 eller att analysera i sekvens där studier som saknar en viss kvalitet utesluts. Så gjorde Linde i sin re-analys 1999, och hans resultat visade då helt klart att homeopati har en terapeutisk positiv effekt. Utöver det pekar Shangs studie från 2005 att man borde införa en viss viktning beroende på en studies storlek. Men stora studier blir ju ändå viktade högre än små om varje studerad patient ges lika stort värde.

Ett annat sätt att hantera ett bias är kanske att göra en sammanfattande bedömning av flera meta-analyser som grundas på samma material. Det gjorde Edzard Ernst 2002. Utan sammanfattande statistik hemfaller han dock åt subjektiva bedömningar och tyckande. Som vi redan sett är han inte helt ärlig utan har en klar uppfattning från början som han vill ge uttryck för. Hans påstådda meta-analys (som är en review-artikel) bör därför lämnas utan avseende.

Shangs ”funnel plot” är ett sätt att få en uppfattning om bias men inte vari dne består eller hur man skall hantera den. Hur Shang hanterade bias vet vi redan – nämligen att exkludera nästan hela underlaget. Tveksamheten i den studien ligger därför  i varför inte mer analysdata presenteras. Shang gör sina beräkningar enbart på de 8 studierna som har minst standardfel när han istället borde ha dragit strecket vid 15, eller vid 21. Hade han bara dragit strecket vid något fler studier så pekar hans Figur 2 på att resultatet blivit helt annorlunda, och till förmån för homeopati. På samma sätt – om Lindes kollega inte hittat på sin egen kvalitets-skala utan enbart hållit sig till den väl etablerade Jadad score så hade utfallet av hans re-analys blivit helt otvetydigt. Linde har varit ärlig och redovisat mycket statistik. Om han varit lika restriktiv (och kanske selektiv) som Shang så hade motståndarna till homeopati haft mindre att vantolka. Sådana små detaljer kan avgöra den vetenskapliga bedömningen av hundratals studier, särskilt när en värld av vetenskapsmän och läkemedelsföretag helst vill bli kvitt homeopatin.

Trosuppfattningar om bias florerar. Cucherat (se min förra blogg) trodde att bortfall i studierna skulle innebära ett bias. Cucherats statistik, den som förminskar homeopatins värde, bygger på det antagandet, trots att Linde året innan visat att det är fel. Ett annat exempel är att flera författare, bland annat Ernst, har påstått att homeopatiska studier håller låg metodologisk kvalitet. När Shang gör en undersökning av saken så visar det sig att studier av homeopati i regel håller en högre kvalitet än skolmedicinska studier.
Jag skall avsluta med att ge ett exempel på hur ologiskt vetenskapsmän kan resonera. Shang anger i sin studies Diskussions-del att homeopati för infektioner i övre luftvägarna är en effektiv behandling. Där är homeopati 180% bättre än placebo. Resultatet är statistiskt säkerställt med god marginal. Funnel-plot visar frånvaro av publikations-bias. Visar detta då inte att homeopati fungerar vid övre luftvägsinfektioner? Svaret är nej – den slutsatsen törs Shang inte dra, och fyndet omnämns inte ens i studiens Resultat-del.
Edzard Ernst gör precis tvärtom – när befintliga studierna om homeopati visar att behandlingen har en statistiskt säkerställd effekt vid reumatiska sjukdomar så underkänns den ändå på grundval av att de inte visats vara tillräckligt effektiva vid något specifikt sjukdomstillstånd.

Många vänder kappan efter vinden. Resultat finns, men ändå förklaras de bort. Det är inte svårt att se en systematik i detta. Den bakomliggande orsaken är möjligen undermedveten – men man måste förstå att det är otroligt svårt och riskfyllt för både forskare och tidskrifter att gå ut med något som strider mot det akademiska etablissemangets ställningstaganden. Den som tror att det är en lätt resa är naiv.
Om homeopati har bättre effekt än placebo eller inte tycks till synes och sist bero på vilken korrigeringsmetod för bias som vi tror på.