Worm Wars.

Historien om en akademisk kontrovers

Gi Effektivt anbefaler SCI Foundation, en organisasjon som driver med massebehandling mot innvollsormer, såkalt mass deworming. Dette er én av fire deworming-organisasjoner på topplisten til GiveWell. Anbefalingen deres kommer i kjølvannet av en lang og inngående akademisk diskusjon, kalt Worm Wars, som vi her skal gå i dybden på.

David Roodman, økonometriker hos GiveWell, oppsummerte Worm Wars i tre punkter:

1. GiveWell forsøker å finne særlig effektive givermuligheter gjennom dyptgående analyser og grundige undersøkelser. Bak deres topp-anbefalinger ligger det titusenvis av arbeidstimer fra eksperter.
2. GiveWell har, basert på sine undersøkelser, besluttet å anbefale fire organisasjoner som driver med massebehandling mot innvollsormer.
3. To akademiske kjemper, Cochrane og Campbell Collaboration, har gjennom sine forskningsoppsummeringer (systematic reviews) konkludert med at vi ikke har vitenskapelige bevis for at mass deworming fungerer.

Hvordan kan dette ha seg? Hvem tar feil? Svaret er at djevelen finnes i detaljene, så og si. Før vi kan avdekke dette, skal jeg fortelle litt mer om innvollsormer og behandlingen av sykdommene de forårsaker.

Innvollsormer - jordbårne og vannbårne parasitter

Vi skal ikke gå i dybden på innvollsormer og sykdommene de fører til, men en kort innføring er nødvendig. Kjenner du allerede til ormene, hvordan de lever, smitter og hvordan behandlingen fungerer, kan du godt hoppe videre til GiveWell i neste del under.

Innvollsormer står for en av de vanligste infeksjonssykdommene i verden og rammer særlig fattige og utsatte samfunn. Over en milliard mennesker behøver behandling mot innvollsormer årlig.

Infeksjonene fører sjelden til død, siden parasittene er avhengig av at verten overlever for å føre genene sine videre. Innvollsormer er imidlertid en av verdens største årsaker til sykdomsbyrde og fører til utmattelse, utviklingshemming og lærevansker – spesielt hos barn.

Det finnes ulike typer innvollsormer eller ikter (flatormer) som gir sykdom hos mennesker, og de kan deles opp i jordbårne (soil-mediated) og vannbårne (water-mediated) etter hvilket miljø de tilbringer livssyklusen sin utenfor verten. De mest vanlige artene er piskeorm, rundorm, hakeorm og schistosoma hvor den sistnevnte er vannbåren.

Disse ormene har stor utbredelse, men vi har likevel sett store fremskritt i å bekjempe dem de siste hundreårene. Dette er hovedsakelig på grunn av bedre sanitærforhold, men også utvikling av legemidlene albendazole mot jordbårne ormer og praziquantel mot schistosoma. Disse legemidlene er nå så gamle at patentene er gått ut og de kan masseproduseres for nesten ingen kostnad. Legemiddelselskapene donerer millioner av doser gratis til organisasjoner og myndigheter som driver med mass deworming. Kostnaden for behandling ligger utelukkende i planlegging og logistikk.

For å bedre forstå ormene og hvordan de smitter skal vi se litt nærmere på livssyklusen til hakeorm (en: hookworm), en jordbåren orm. De andre typene er ganske like, men schistosoma-ormen lever i ferskvann utenfor kroppen, ikke i jord.

Ormene smitter oralt eller ved å penetrere huden, ofte på føttene hvor de får tilgang, og tar seg videre til innvollene. Inne i tarmene tar de til seg den næringen mennesket spiser – noe som gir en ekstra byrde for mennesker i næringsfattige situasjoner. Der inne lever de i 1-10 år, avhengig av art, hvor de formerer seg og legger egg som kommer ut i miljøet gjennom ekskrement eller uring. Der klekker eggene og larver utvikler seg til voksne som kan smitte igjen. Schistosoma-ormen utskiller eggene i ferskvann hvor de infiserer ferskvannssnegler etter klekking som et stadium i livssyklusen. Derfor kalles schistosomiasis også sneglefeber på norsk.

Medisinene fungerer slik at ormer og egg man har i kroppen dør, så nye egg slippes ikke ut i nærmiljøet igjen. Når man behandler tilstrekkelig mange folk som ferdes i samme område, oppnår man en systematisk effekt der denne livssyklusen brytes og ingen eller mange færre ormer vil smitte på nytt i neste syklus.

Finn mer dyptgående informasjon og videre lenker om innvollsormer her.

GiveWells anbefalinger

GiveWell legger vekt på fire faktorer når de vurderer bistandsorganisasjoner:

• Evidence of effectiveness: Har vi god og solid støtte i forskningen for at organisasjonens tiltak fungerer?
• Cost-effectiveness: Gir tiltaket mye effekt per krone investert? Vi har bare en begrenset mengde penger tilgjengelig og ønsker at det skal rekke så langt som mulig.
• Room for more funding: Har organisasjonen mulighet til å oppskalere driften om de får inn mer penger? (Selv evidensbaserte, kostnadseffektive tiltak kan være begrenset av andre faktorer enn penger dersom de vil utvide driften.)
• Transparency: For å vurdere de tre foregående faktorene og for å være trygg på at videre drift fortsatt er god, er det essensielt at organisasjonen er gjennomsiktig med sin pengebruk, fremtidige planer og effektvurderinger. Derfor er gjennomsiktighet og vilje til å være åpen og samarbeide et eget kriterium.

Alle GiveWells anbefalte organisasjoner skårer høyt på disse fire faktorene. En inngående vurdering av alle organisasjonene – inkludert de fire organisasjonene som driver mass deworming – finnes på GiveWell sine nettsider.

Mens de to siste faktorene er spesifikke for hver bistandsorganisasjon, omhandler de to første selve tiltaket - i dette tilfellet massedistribusjon av medisin mot innvollsormer eller mass deworming.

At medisinene fungerer er ikke kontroversielt. Det er velutprøvde virkestoffer og billige piller. For å være nøyaktig: At pasienter som er infisert med innvollsormer kan bli kvitt infeksjonen med disse medisinene er ukontroversielt og utfordres ikke av verken Cochrane eller Campbell Collaboration. Det er i de påståtte videre effektene kontroversen ligger.

Medisinene er helt uten, eller med svært milde bivirkninger, og er dermed godkjent til behandling uten forutgående positiv diagnose. Det betyr at de distribueres til en stor andel av befolkningen i et infisert område på én gang, uten at man utfører diagnostisk test på alle pasientene først. Det er forholdsvis tidkrevende og dyrt å diagnostisere ormesykdommene, mens behandlingen er svært billig og enkel – kun én pille i sesongen. Heri ligger betydningen av massebehandling. Ofte gjennomføres tiltakene i samarbeid med skolevesenet hvor alle barn på en skole blir tilbudt behandling. Kampanjene behandler skolene én etter én, så man dekker store områder på kort tid.

Vi vet altså at medisinen fungerer mot sykdommen, og at behandlingen er svært billig – omtrent $0.5 per person. Hva er det så Cockrane og Campbell Collaboration mener er uten støtte i forskningen?

La meg først introdusere sidene i denne "krigen", før vi går videre til konfliktlinjene som kan bedre belyse perspektivene fra hver side.

Her er mange aktører som har tatt del i denne akademiske debatten, men hovedaktørene jeg vil trekke frem er på den ene siden Edward "Ted" Miguel, professor i økonomi ved U.C. Berkeley og hans tidligere doktorgradsveileder Michael Kremer, professor i økonomi og public policy ved University of Chicago. Sistnevnte vant fjorårets nobels minnepris i økonomi sammen med Esther Duflo og Abhijit Banerjee "for their experimental approach to alleviating global poverty". Dette er anerkjente, verdensledende økonomer kjent for sitt banebrytende arbeid innen praktisk økonomi.

På den andre siden står Cochrane og Campbell Collaboration og deres epidemiologiske forskningsoppsummering av studiene gjort på mass deworming. Disse to uavhengige akademiske kjempene er vidt anerkjent for deres grundige og strenge gjennomganger av forskningen på et område - såkalte systematic reviews. Cochrane er størst innen medisin, mens Campbell Collaboration også dekker andre fagfelt. de er også anerkjent i effektiv altruisme-bevegelsen og Open Philanthropy har til og med støttet Cochrane økonomisk. I Cochrane og Campbells forskningsoppsummeringer (her, her og her) konkluderer de med at forskningen ikke støtter generell bedring av helseutfall i befolkningen som følge av mass deworming. Fra en av Campbells oppsummeringer:

Mass deworming for soil-transmitted helminths probably has little to no effect on weight, height, school attendance, cognition measured by short-term attention, or mortality. There are no data on short-term quality of life and little evidence of adverse effects.

Og litt senere i samme oppsummering:

This independent analysis reinforces the case against mass deworming. In addition to a reconsideration of mass deworming programs in their current form, additional policy options need to be explored to improve child health and nutrition in worm-endemic areas.

Hvordan kan Miguel, Kremer og andre forskere stå på sitt etter disse gjennomgangene av forskningen på feltet? Begge sider er faktisk enige om fakta i saken, men uenige i konklusjonene og spesielt hvilken betydning forskningen har for beslutningstakere. For å forstå saken bedre hjelper det å belyse noen flere konfliktlinjer i saken.

Økonomi vs. epidemiologi

En del av kritikken til forskningen til Miguel, Kremer og andre som har bygget på deres studier kommer fra epidemiologi-miljøet. Epidemiologi er fagfeltet som studerer utbredelsen og effektene av helse og sykdom i en befolkning. Miguel og Kremer – derimot – er økonomer og har i stor grad brukt anerkjente metoder fra økonomifaget for å studere utviklingsøkonomiske spørsmål, som her overlapper med epidemiologi. Selv om vitenskap ideelt sett burde være ett og det samme, så finnes det ulike normer og standarder innen hvert forskningsmiljø tilpasset sin type forskning og forskningsspørsmål. Når man opererer i skjæringspunktet mellom forskningsfelt kan disse komme i konflikt og det blir vanskelig å avgjøre hvilke standarder som burde være gjeldende.

Beslutninger vs. konklusjoner

Neste konfliktlinje som kan gi et nyttig perspektiv på debatten går mellom beslutninger og konklusjoner. Økonomene er i hovedsak interessert i å bruke tilgjengelig evidens til å informere beslutningstakere. Målet er at de tar best mulig beslutninger for å løse samfunnsproblemer med kostnader og risiko tatt i betraktning. Cochrane og Campbell Collaboration, gjennom sine forskningsoppsummeringer, har som hovedmål å gjennomgå forskningen for å trekke faglige konklusjoner for de helsemessige effektene av mass deworming. For beslutningstakere er de helsemessige effektene bare en del av det helhetlige bildet – en viktig del – men fortsatt bare en del.

Kostnadseffektivitet vs. effekt

Siste perspektiv å belyse er at beslutningstakere vil finne de tiltakene som har høyest forventet kostnadseffektivitet. Det kan gi andre utslag enn om man ønsker robuste konklusjoner på effekt alene. Siden mass deworming er så oppsiktsvekkende billig å gjennomføre og kan skaleres opp til en stor befolkning, så kan man akseptere en lavere forventet effekt og fortsatt sitte igjen med god kostnadseffektivitet. Det er kanskje ikke umiddelbart intuitivt, men kostnaden per behandling er så liten at det ville vært urimelig å kreve enorme helsemessige effekter på individnivå. Selvfølgelig – dersom effekten er null, så vil enhver kostnad gi dårlig kostnadseffektivitet. La oss se nærmere på hvilken effekt forskningen til Miguel og Kremer faktisk fant.

Miguel and Kremer (2004) - Worms in Busia, Kenya

I 1998/99 gjennomførte Miguel og Kremer et stort randomisert, kontrollert forsøk for å teste effekten av mass deworming på skolebarn i Busia, Kenya. Denne studien, publisert i Econometrica i 2004, blir ofte omtalt som bare “Worms”.

75 skoler var med i studien hvor hver skole ble delt inn i én av tre grupper:

1. Kontrollgruppe uten behandling i studieperioden
2. Behandlingsgruppe I – kun behandling andre år
3. Behandlingsgruppe II – behandling både første og andre år

Dette er et typisk studiedesign for slike utviklingstiltak. Når man ruller ut et nytt tiltak i et område, har man uansett ikke kapasitet til å tilby tiltaket til alle med en gang. Hvis man da randomiser hvem som får tilgang først, kan man bruke de gruppene som enda ikke har fått tiltaket som kontrollgruppe – uten at noen grupper blir forfordelt.

Behandlingen i Worms-forsøket besto i å distribuere albendazole mot jordbaserte ormer og – der prevalens av schistosomiasis var 30% eller mer – også praziquantel. Worms konkluderte med følgende funn:

• Økt skoledeltagelse blant barn som fikk behandling.
• Også naboskoler til skolene hvor barn fikk behandling så en positiv effekt på skoledeltagelse, kanskje det viktigste funnet for denne debatten. Dette blir omtalt som en spillover-effekt.
• Moderat positiv effekt mot anemi, eller blodmangel, som måles av nivået av hemoglobin i blodet og er et sykdomstegn som blant annet fører til utmattelse, søvnighet og hodepine.
• Ingen målbar effekt på skoleprestasjoner eller andre helsefaktorer.

Worms-studien motiverte til en økt satsning på mass deworming, ikke bare som et helsetiltak, men også som et tiltak for økt skoledeltagelse. Faktisk viste effektene på økt skolegang flere hundre ganger så god kostnadseffektivitet som alternative tiltak som sponsing av skoleuniformer.

I 2015 fikk Worms-studien derimot et stort skudd for baugen. På oppdrag for Cochrane, foretok en gruppe forskere en reanalyse av dataene fra Worms. Selv om replikering er en av de viktigste bærebjelkene i den vitenskapelig metode, er slike reanalyser ganske uvanlige. Både motstand fra originale forskere, praktiske utfordringer og en lavere publikasjonsiver hos akademiske journaler står ofte i veien for at slike studier blir gjennomført. Miguel og Kremer gav villig tilgang til de originale dataene og software-koden de brukte i sine analyser. Dette fikk den britiske legen og vitenskapsjournalisten Ben Goldacre til å berømme:

“Miguel and Kremer had the decency, generosity, strength of character, and intellectual confidence to let someone else peer under the bonnet.”

Konklusjonene fra reanalysen slo ned som en bombe over ti år etter Worms-studien ble publisert. Epidemiologene som gjennomførte reanalysen fant store og små regnefeil og kodefeil. Mye var smått uten større konsekvenser – og noe man burde regne med å finne i en hvilken som helst stor studie – men noen av påpekningene endrer konklusjonene i den originale studien. Etter å ha rettet på regnefeilene mente epidemiologene at den moderate positive effekten på anemi forsvant – den var ikke lengre statistisk signifikant. Mest oppsiktsvekkende var likevel at de mente spillover-effekten for økt skolegang i naboskolene ikke var signifikant. Dette utgjør stor forskjell for den resulterende kostnadseffektiviteten av mass deworming. Dagen etter reanalysen ble publisert oppdaterte Cochrane sin forskningsoppsummering til å si at mass deworming “[has] no impact on nutrition, health and learning outcomes”.

Konklusjonene i reanalysen var derimot ikke uten kontrovers. Særlig avvisningen av spillover-effekten er Miguel og Kremer uenige i – selv om de anerkjente de fleste av regnefeilene. For å bedre forstå spillover-effekten og hvordan barn som ikke får behandling likevel har nytte av den, så har jeg stjålet noen illustrasjoner fra en annen artikkel om Worm Wars av Michael Clemens og Justin Sandefur hos Center for Global Development.

Se for deg følgende hypotetiske situasjon som er laget for å ligne situasjonen fra Worms-studien. Barna på en skole (sort hus i midten) blir behandlet mot innvollsormer. Andre skoler rundt (rundinger med tall i) er plassert etter deres geografiske avstand til skolen som får behandling. La oss kvantifisere den effekten på skoledeltagelse med et tall fra 0 til 4. Jo høyere tall, jo større positiv effekt på skoledeltagelse målte man for omkringliggende skoler. Her er også avstanden 3 km, 4 km og 6 km fra skolen som får behandling tegnet inn med fargede, stiplede sirkler – noe som blir viktig senere.

Behandlingen tar livet av ormene eller eggene barna har i kroppen og stopper dermed livssyklusen til mye ormer i samme område. Det betyr at i neste syklus er det færre ormer i jorda og det lokale badevannet som smitter igjen. Siden barna som går på omkringliggende skoler oppholder seg i samme miljø og dermed også opplever lavere smitterisiko, vil de også tjene på behandlingen – selv om de ikke får den selv. Som illustrasjonen over viser, så vil skolene som fysisk er nærmest barna som får behandling generelt ha størst nytte.

Fra illustrasjonen over er det ganske åpenbart at det er en spillover-effekt utover tilfeldige variasjoner i dataene. Tilfeldigheter ville vært jevnt fordelt, mens her er mønsteret helt tydelig fra behandlingsskolen i sentrum med høyest effekt nærmest midten.

Reanalysen ble derimot ikke gjort ved å se på illustrasjoner, men gjennom statistiske metoder. La oss si at vårt ønskede nivå for statistisk signifikans i dette eksempelet er lik 1. Den gjennomsnittlige effekten må være større enn 1 for at vi vil si med nok trygget at effekten er reell. Grafen over viser gjennomsnittlig effekt for skolene innenfor henholdsvis 1, 2, 3, 4, 5 og 6 kilometer fra behandlingsskolen. Vi kan se at innenfor 6 km er ikke den gjennomsnittlige spillover-effekten signifikant – den er under 1. Betyr det at spillover-effekten ikke er reell?

Woms-studien var sammenlignbar med denne hypotetiske situasjonen vi har illustrert over – Miguel og Kremer oppga en signifikant effekt ved 6 km og reanalysen viste at effekten faktisk ikke var signifikant ved 6 km.

Miguel og Kremer svarte på reanalysen hvor de oppklarte at 6 km var en skrivefeil: 4 km ville være korrekt. I grafen, hentet fra svaret deres, viser de hvor stor effekten og usikkerhetsnivået var for hver hele kilometer opp til 6 km. Det er korrekt at effekten ikke er signifikant ved 6 km, slik reanalysen rettet opp i, men å konkludere med at spillover-effekten ikke er reell blir åpenbart feil.

Så hva nå GiveWell?

GiveWell er helt prisgitt god, tilgjengelig forskning når de gjør sine vurderinger for å finne spesielt gode bistandsorganisasjoner. Worm Wars-debatten treffer rett inn i deres to første kriterier: “Evidence for effect” og “Cost-effectiveness”. Så hva er GiveWells respons på disse utfordringene? Hva betyr det for oss som ønsker å være evidensbaserte i våre beslutninger?

I artikkelen refert til øverst oppsummerer Roodman GiveWells posisjon. De påpeker at det er veldig positivt med grundige replikasjonsstudier og korrigeringene i reanalysen har oppdatert deres syn på mass deworming. Videre støtter de en del av kritikken om den tekniske gjennomføringen av studien og understreker at dette gir unødvendig høy usikkerhet i resultatene. Likevel konkluderer GiveWell med at de er mer sikker på spillover-effekten enn tidligere, basert på diskusjonen om saken. Spillover-effekten har stor betydning for kostnadseffektiviteten av mass deworming.

Videre poengterer GiveWell at økt skoledeltagelse bare er et proxymål, det vil si at vi er interessert i økt skoledeltagelse fordi det er korrelert med økt inntekt, mobilitet og helse i fremtiden. Worms-studien til Miguel og Kremer er viktig for GiveWells vurdering av mass deworming, men ikke avgjørende. Det finnes senere studier som også ser på økonomiske utfall, og disse danner evidensgrunnlaget for at GiveWell anbefaler mass deworming. La oss ta en nærmere titt på tre av disse.

“Worms at Work” (2011)

I 2008/9, ti år etter Worms, gikk en gruppe forskere tilbake til barna i Busia, Kenya – som da var kommet i arbeidsfør alder. Deres viktigste funn var at 2.4 ekstra år med ormebehandling i gjennomsnitt gav en inntektsøkning 10 år senere på 31% – en ufattelig stor effekt så lenge etterpå for en liten investering i ormemedisiner. Betydelig inntektsøkning for globalt fattige vet vi gir positive effekter på helse, mobilitet og videre skolegang for deres barn igjen. Denne studien, som ofte kalles “Worms at work”, er den viktigste GiveWell lener seg på.

Owen Ozier (2014)

En annen studie av Owen Ozier i Verdensbanken, gikk også tilbake til Busia, Kenya i 2009/2010 – men denne gangen for å studere småsøsknene til barna som fikk behandling. Disse småsøsknene var for unge til å få behandling i 1998/9, men Ozier fant at også her var det spillover-effekter i form av signifikant høyere skoledeltagelse blant småsøsknene. Han fant også positiv effekt på kognitive tester for denne gruppen. Slike parasittsykdommer er kjent for å hemme fysisk og kognitiv utvikling hos barn, så vi har grunn til å anta at effekten er reell.

Harmory et al (2020) – Working paper

Nytt av dette året er en studie gjennomført i 2018/19, fortsatt i Busia, Kenya for å følge opp de barna som fikk ormebehandling. Deres konklusjoner følger i stor grad Worms at Work, om enn noe lavere effektstørrelser. Hele 84% av de originale deltakerne er inkludert i denne oppfølgingsstudien. Funnene inkluderer:

• 14% økning i forbruk
• 13% økning i lønnsinntekt
• 9% økning i ikke-landbruksarbeid
• 9% høyere sannsynlighet for å bo i by

Størst var effekt for menn, og de eldste i studiegruppen.

Nå kan det være nyttig å gå tilbake til detaljene i konklusjonene til Cochrane og Campbell Collaboration om effektene av mass deworming. Cochrane konkluderte etter reanalysen at “mass deworming had no impact on nutrition, health and learning outcomes” (mine uthevinger). Forskningsoppsummeringene deres er epidemiologiske – ikke økonomiske. Det var ikke i deres mandat å se på langsiktige økonomiske effekter. Merk også at “learning outcomes” ikke betyr skoledeltagelse, men resultater fra standardiserte tester for å måle hvor mye av pensum de lærer.

Forskningen som GiveWell lener seg på for mass deworming-organisasjoner er altså ikke hva Cochrane og Campbell Collaboration kritiserer eller er uenige i, og GiveWell er i stor grad enig i kritikken. Det er i liten grad fakta i saken hvor uenigheten finnes, men heller i hva som er viktigst å legge vekt på og i hvilke spørsmål vi prøver å svare på.

Hva vet vi egentlig?

For å oppsummere:

• Vi vet at innvollsormer er et stort problem som rammer rundt en milliard mennesker hvert år og at det gir dårligere livskvalitet, dårligere helsetilstand, lærevansker og kan virke utviklingshemmende for barn. I kombinasjon med svekket immunforsvar eller andre komplikasjoner kan det til og med være dødelig.
• Medisiner som albendazole og praziquantel er velprøvd, effektive og med milde eller ingen bivirkninger. Behandlingen gir en sikker helbredende effekt.
• Mass deworming er svært billig per person som behandles.
• Effektene av mass deworming på generelle helsefaktorer er små og usikre.
• Usikkert er også effektene på skoleresultater, dersom de i det hele tatt er der.
• Effektene på økt skoledeltagelse er mer robuste, men noe kontroversielle.
• Mer deworming gir varig økt inntekt, langt høyre enn kostnadene av behandlingen

Men hvorfor?

Hvordan kan det ha seg at vi ser få eller ingen kortsiktige effekter, men en betydelig langsiktig effekt på inntekt? Hvilken kausal sammenheng er det mellom behandlingen og senere økt inntekt? Kan økningen i skoledeltagelse alene forklare den økte inntekten? Sannheten er at vi ikke vet – og det innrømmer GiveWell. Det er absolutt en svakhet, og bør gi oss høyere usikkerhet rundt disse funnene, men på tross at dette har vi god evidens for langvarig økt inntekt.

Forskning gir ofte flere nye spørsmål enn det gir svar, men vi får også mer evidens som vi kan bygge videre på. Alt kommer med usikkerhet, men usikkerheten kan vi kvantifisere og justere for systematisk. GiveWell tar utgangspunkt i funnene fra forskningen vi akkurat har gjennomgått, og så nedjusterer de estimatene sine for usikkerheten de mener er forbundet med funnene. Den fulle modellen deres med alle detaljer kan man finne på nettsidene, men noen eksempler er at de nedjusterer for problemene med mangel på dobbelblinding med 22%, den usedvanlige høye infeksjonsraten i 1998/9 med 65% og en god del for ulike utfordringer tilknyttet generaliserbarhet – siden Worms-forsøket ble bare gjennomført i ett distrikt i ett land. Til slutt ender de opp med å nedjustere forventet kostnadseffektivitet til under 1% av den opprinnelige verdien i Worms at Work. Likevel er resultatet en høyere kostnadseffektivitet enn direkte kontantoverføringer, gullstandarden som GiveWell sammenligner andre tiltak med.

I en kompleks akademisk diskusjon som denne, hvor beslutningene skal tas i en kaotisk verden, er det viktige nyanser man lett overser. Denne saken er veldig langt fra sort/hvitt og det er vanskelig å ha tunga rett i munnen. Usikre forskningsresultater er en utfordring, men det er en kvantifiserbar utfordring vi kan justere for når vi skal ta beslutninger. Det gjør GiveWell på en transparent og ryddig måte uten å feie upassende forskningsresultater under teppet. Det vitner om integritet og er kanskje den viktigste grunnen til at GiveWell sine anbefalinger er til å stole på.

Denne artikkelen er skrevet på bakgrunn av en rekke gode artikler og oppsummeringer fra vitenskapsmagasin og -blogger, samt selve de publiserte studiene (som heldigvis er åpent tilgjengelige for alle) og oppsummeringene til Cochrane og Campbell Collaboration. For dem som vil lese mer kan jeg anbefale disse kildene, løst sortert etter type (spesielt gode anbefalinger i fet type):

Artikler som gir god oversikt - sortert kronologisk

• Worm Wars Explained (Vox.com, Julia Belluz - 28.07.15)
• New study 20 years later (Vox.com, Kelsey Piper - 06.08.20)

Mer detaljert kommentarlitteratur - sortert kronologisk

• Scientists Are Hoarding Data and it’s Ruining Medical Research (BuzzFeed.news, Ben Goldacre - 07.22.15)
• Worming our way to the truth (Tim Harford personal blog - 04.08.15)
• Mapping the Worm Wars: What the Public Should Take Away (Center for Global Development, Sandefur and Clemens - 30.07.15)
• Should the WHO withdraw support for mass deworming? (Croke et al 2017)

GiveWell - Om Worm Wars og deworming generelt

• New deworming reanalyses and Cochrane review (Alexander Berger, 24.07.15)
• Deworming might have huge impact, but might have close to zero impact (Sean, 26.07.16)
• Why I mostly believe in Worms (David Roodman, 06.12.16)
• Mass Deworming intervention report (January 2018)
• Cost-effectiveness models and calculations ↗ (constantly ongoing work)
• Opptak av Q&A med GiveWell om Worm Wars - Workshop med EA NTNU (26.02.17) 

Original papers - sortert kronologisk

• Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities (Miguel and Kremer 2004)
• Exploitng Externalities to Estimate the Long-Term Effects of Early Childhood Deworming (Ozier 2015)
• First reanalysis of health and educational impacts (Aiken, Davey et al 2015a)
• Second reanalysis of health and educational impacts (Aiken, Davey et al 2015b)
• Reply to reanalyses (Hicks, Kremer and Miguel 2015)
• Worms at Work: Long-run Impacts of a Child Health Investment (Baird et al 2016)
• Twenty Year Economic Impacts of Deworming - Working Paper (Hamory et al 2020)

Andre kilder

• Cochrane mass deworming review conclusions (11.09.19)
• Campbell Collaboration review conclusions (January 2016)
• Information brochure on SCI (April 2017)

Artikkelen er basert på et foredrag med samme tema for Effektiv Altruisme Oslo 24. september 2020. Opptak av dette foredraget med spørsmål fra publikum finnes her.