Flere homeopater viser til en studie fra England som angivelig viser at homeopati virker. Jeg bestemte meg for å gå nærmere inn i den. Her følger en vurdering. Innlegget er også postet til diskusjonsforumet på http://skepsis.no
NB innledningen til artikkelen ble endret 19. juli 2012
Studien er bl.a. sitert på nettsidene til Norske homeopaters landsforbund (Nhl). Der beskrives det at «75 % av pasientene med ulike kroniske lidelser ble bedre etter behandling med homeopati». Den ble også nylig nevnt av homeopat Heidi Johannessen i et leserbrev i Tønsbergs blad, og hun skriver: «En observasjonsstudie som gikk over seks år ved en poliklinikk i Storbritannia viste at homøopatisk behandling ga positive forandringer i helsen til 6.544 pasienter med ulike kroniske lidelser». Ifølge henne ble altså alle pasientene bedre, noe som må regnes som en sensasjon hvis det er sant.
Studien (lenke til artikkelen) er presentert i The Journal of Alternative and Complementary medicine, Volume 11, Number 5, 2005, pp. 793–798. Den gikk over 6 år og omfattet 6000 pasienter, så det ser i utgangspunktet lovende ut.
Men … det er et par problemer her:
1. Studien er en observasjonsstudie, altså ingen kontrollgruppe, ingen blinding, ingen placebogruppe. Ikke akkurat gullstandard.
2. Pasientgruppen er ikke akkurat et gjennomsnitt av befolkningen: 4000 kvinner og 1000 menn, de aller fleste (52%) mellom 33 og 64. bare 10% over 65. Det er 20 % barn, men vi vet ingenting om aldersfordelingen.
3. Resultatene er i form av pasientenes opplevelse av endring i helseplagene sine, scoret fra 1-7, hvor -3 er «mye verre», 0 er «ingen endring», +3 er «mye bedre». Opplevelse er jo ikke uvesentlig, men det regnes vanligvis ikke som nok til å påstå at noe har effekt. Det står riktignok at skåren ble supplert fra behandlerens side: «Objective parameters were incorporated in the assessment whenever possible». Men tabellene viser ikke hvor mye av endringen som var vurdert av pasientene og hvor mye som kom fra objektive parametre.
Det kommer ikke tydelig fram om skårene som presenteres i artikkelen er en formell sluttevaluering, eller fra den siste konsultasjonen.
4. Studien gikk over seks år, noe som i utgangspunktet kan virke solid (longitudinelle undersøkelser er ikke det verste man kan gjøre). Men mange helseplager vil endre seg over tid, og så lenge det ikke finnes noen kontrollgruppe, eller statistikk over hvordan ulike tilstander endrer seg over tid, er det umulig å vite om det er behandlingen eller tiden som har leget. Et annet problem er at det ikke stårhvor lenge hver enkelt deltok i studien, bortsett fra at de hadde «3 eller 4» konsultasjoner. Altså er det ikke lett å utlede hvor lenge de enkelte ble fulgt. Et halvt år? To år? seks år?
Nhl skriver i sin omtale av artikkelen:
«Blant gruppen av pasienter, var barna de som hadde best resultater av behandlingen med homeopati. Hele 89 % av barna som led av astma rapportert om bedring av symptomene sine.»
Videre ble 45% av barn med eksem mye bedre.
Det ikke står altså ingenting i artikkelen om hvor lenge disse barna ble fulgt, men hvis det var over år, ville en del ha blitt bedre uansett. Barneeksem er veldig vanlig, men det er få av eksembarna som fremdeles har plager når de kommer opp i tenårene. Det samme gjelder astma.
I artikkelen har de ikke delt opp barn i aldersgupper, dvs. de har delt dem opp i over og under 16 år. Var det flest 15-åringer, tro, eller mest 3-åringer? En ganske vesentlig opplysning når det gjelder det naturlige forløpet av eksem og astma.
Videre hadde de en gruppe kvinner med overgangsplager. Hvor gamle de var vites ikke, men antagelig var de rundt 50 da de kom. 35% var «mye bedre». 18% hadde ingen endring. Igjen står det ingenting om hvor lenge de ble fulgt.
De aller aller fleste overgangsplager, i hvert fall hetetokter, går over helt av seg selv i løpet av 2-3 år! Uten at jeg har tallene i hodet, vil jeg tro at forløpet til disse kvinnene er rimelig identisk med forløpet til en gruppe kvinner som ikke får behandling.
Videre: 18% av ME-pasientene var «mye bedre» etter seks år, 15% «litt bedre», 25% «bedre». Hos 25% var det ingen endring.
Hallo igjen! Svært mange ME-pasienter blir bra etter noen år, enten de spiser sukkerpiller eller står på hodet. Nærmere bestemt blir 60-80% helt eller delvis friske, og sykdomsvarighet er 3-9 år.
60-80%, det stemmer ganske godt med materialet fra denne studien: 58% ble helt eller delvis bedre.
Det samme med de deprimerte pasientene. 71% var litt bedre, bedre eller mye bedre. 25% ingen endring. Helt normalt! De fleste depresjoner varer 6 mnd til 2 år uten behandling. 10-30% blir aldri helt bra.
Det hadde vært enkelt for forfatterne å finne statistikk over hva som er vanlig forløp av de ulike sykdommene og hva slags resultater man har funnet ved andre typer behandling. Det burde de absolutt har gjort når de hadde en studie uten kontrollgruppe eller placebogruppe.
5: Tallmaterialet er, på tross av det store antallet pasienter, temmelig magert. De oppgir alder, fordeling av sykdomsgrupper, og skår fra 1-7, en tabell viser skårene i forhold til aldersgruppene, én viser skårene i forhold til sykdom. Man har altså ikke en gang koblet alder, sykdom og skår, noe som burde være relativt enkelt.
6. Opplysningene om pasientene er også magre. Det står ingenting om hvor lenge de hadde vært syke, hva slags behandling de hadde fått før, bortsett fra at «many had already been treated by one or more hospital specialists in the secondary care sector.»
Det står heller ingenting om de fikk annen behandling underveis. 300 av pasientene hadde kreft, så jeg vil tro de fikk annen behandling.
7. Det er kun én opplysning om dropouts, nemlig at 5% falt ut etter første konsultasjon. Data er bare tilgjengelige for dem som ble fulgt opp. Det er ingen opplysninger om hvor lenge de gikk der, bare at det var i snitt «3 eller 4» konsultasjoner per pasient. (3 ELLER 4? Kan de ikke regne ut gjennomsnitt en gang?). Heller ikke hvor mange som falt ut underveis – det må f eks være noen som døde underveis.
8. Det jeg har sett på av referansene virker ikke veldig imponerende, men jeg har på ingen måte gått gjennom alle, så jeg skal ikke påstå for mye.
9. Det er ikke opplyst hva slags statistikkverktøy de har brukt. Det er ingen beregninger bortsett fra ren aritmetikk. (Jeg er litt usikker på om man kan beregne p-verdier og konfidensintervall og alt det der (skrekkelig lenge siden jeg forsypet meg i statistikk), men det er i hvert fall ikke beregnet).
10. Diskusjonen og konklusjonen er et kapittel for seg, og jeg orker ikke gå inn på alt. Men jeg siterer dette fra konklusjonen:
og
«(…) it offers an important strand of evidence in favor of the effectiveness of homeopathy in the management of a wide range of chronic diseases.»
Jeg kan være enig i «strand», men ikke i «evidence» …
Summa summarum: studiedesign som ikke er egnet til å bedømme effekt av behandling; ingen blinding, ingen kontrollgruppe; kohorten ikke representativ for befolkningen; resulatene bedømt ved subjektiv skåring; ikke opplysninger om dropouts, dødsfall eller varighet av behandling; svak statistikk; mange muligheter for bias; mangelfulle opplysninger om pasientene; ingen vurdering av forløpet i studien vs naturlig forløp; ingen sammenligning av denne behandlingen og annen behandling; tvilsomme konklusjoner; sammenblanding av samvariasjon og årsak/virkning;
Kort sagt, de fleste kortslutninger og bias som tenkes kan.
Pernille Nylehns blog 