Hvor store er forskjellene i kostnadseffektivitet mellom bistandstiltak?

Bistandsevaluatoren GiveWell estimerer at det er mulig å redde et liv for omtrent 39 000 kr til 61 000 kr gjennom deres anbefalte programmer.¹1.GiveWell (2023) "Cost-Effectiveness" (Hentet: 14.12.2023). Samtidig er vi i Norge villige til å bruke over 110 millioner kroner på å redde ett liv.¹1.Direktoratet for forvaltning og økonomistyring (DFØ) (2024) "Kap. 3.4 Tallfeste, verdsette og vurdere virkninger (fase 4)" (Hentet: 10.5.2024). Forskjellen mellom hva det koster å redde ett liv i et lavinntektsland sammenlignet med hva det kan koste i Norge tilsvarer dermed omtrent 2 000 ganger mer i Norge. Det vil si at helsetiltak i lavinntektsland er langt mer kostnadseffektive enn i høyinntektsland. Om en kun sammenligner ulike tiltak innad i lavinntektsland vil ikke forskjellene være like store, men fremdeles betydelige. Slike forskjeller har fremdeles store implikasjoner for effekten det er mulig å oppnå for hver krone. Videre ser vi på de faktiske forskjellene i kostnadseffektivitet mellom ulike bistandstiltak i lavinntektsland.

Data om kostnadseffektivitet for tiltak innen global helse bygger her på en sentral studie om prioriteringer av sykdomskontroll i utviklingsland fra 2006¹1.Jamison et. al (2006) "Disease Control Priorities in Developing Countries",  2. utgave, Washington, DC: World Bank and Oxford University Press . Denne studien samlet inn informasjon om 107 programmer, inkludert alt fra inngripende tiltak som operasjoner, til forebyggende tiltak. Kostnadseffektivitet beregnes ut ifra hvor mye sykdom og tidlig død tiltaket forhindrer i forhold til hvor mye det koster å gjennomføre. Gjennomsnittlig kostnadseffektivitet for alle tiltakene er 23 DALYs¹1.

DALY betyr leveår justert for funksjonshemming, og én DALY representerer tapet av tilsvarende ett leveår ved full helse. DALYs bruker til å beskrive sykdomsbyrde gjennom antall år tapt til sykdom eller tidlig død.

unngått per 10 000 kr, mens medianen bare er fem. Blant de aller beste tiltakene, de øverste 2,5%, er derimot den gjennomsnittlige kostnadseffektiviteten 250, altså over ti ganger høyere enn gjennomsnittet og over 50 ganger høyere enn medianen. Lignende forskjeller i kostnadseffektivitet har også blitt funnet innen klimatiltak for å redusere drivhusgassutslipp og utdanningstiltak i lav- og mellominntektsland.

Det er ofte mer rettferdig å sammenligne de aller beste tiltakene med gjennomsnittet, enn å sammenligne de med medianen eller de dårligste. Om en sammenligner de beste tiltakene med de dårligste, blir de beste tilnærmet uendelig mye mer kostnadseffektive. Mange givere og bistandsaktører vil derimot luke ut de åpenbart dårlige tiltakene, og heller velge blant de bedre. Om vi skal sammenligne de aller beste tiltakene med tiltak vi ikke vet hvor ligger på grafen, er det også best å bruke gjennomsnittet som en tilfeldig gjetning. Dette vil si at vi antar at givere også tilfeldigvis kan ha valgt blant de aller beste tiltakene. Gjennomsnitt kan derimot være påvirket av ekstremverdier, og i dette tilfellet vil de aller beste tiltakene være drivende for å løfte gjennomsnittet.

Det er sannsynlig at statistikken overdriver de sanne forskjellene mellom forskjellige tiltak. Selv om de beste 2,5% av tiltak i global helse er 52 ganger mer kostnadseffektive enn medianen betyr ikke det nødvendigvis at man kan utrette 52 ganger mer om man skal velge tiltak i dag. Dette er blant annet fordi studien ser bakover i tid, og ikke alltid er en god refleksjon av framtidige utfall. Det kan hende at flere tiltak virker like lovende, men at bare noen få faktisk lykkes, slik at store forskjeller først blir tydelig når en ser bakover i tid. Et fremtidsrettet blikk på forskjeller i kostnadseffektivitet må derfor vurderes sammen med mulige måter data kan overdrive eller underdrive disse forskjellene.

Studier måler ofte ikke alle utfallene av forskjellige tiltak. Den omtalte studien bruker DALY´s, noe som gir relativt lite innsikt i hvordan helsetiltak kan påvirke andre deler av samfunnet. Et bistandstiltak kan for eksempel også påvirke helseinfrastrukturen i et land gjennom å motvirke statlig investering, eller ved å lære opp mer helsepersonell. Slike bieffekter som ikke fanges i tallene kan være viktige om de er store. Et tiltak kan virke dyrt å implementere dersom man kun vurderer helseeffektene, derimot kan det ha betydelig god kostnadseffektivitet om man også ser på de større effektene av tiltaket. Det kan blant annet antas at gode organisasjoner utretter flere positive ikke-primære utfall. For eksempel har GiveDirectly utført mye forskning på sitt arbeid rundt forskjellige metoder for kontantoverføringer som igjen informerer bredt innen internasjonal fattigdomsreduksjon.

Studier er også ofte vanskelige å generalisere til andre kontekster i fremtiden. I tillegg er det slik at hele 20-50% av studier ikke kan repliseres, avhengig av fagfelt og metode. Om man tar høyde for slike mulige feil i estimatene peker dette mot et fenomen som kalles regresjon mot gjennomsnittet. Dette beskriver hvordan de aller beste tiltakene kan virke best basert på flaks. Når et utvalg av en tilfeldig variabel er ekstrem, vil det neste utvalget av samme tilfeldige variabel sannsynligvis være nærmere gjennomsnittet.

Dette betyr at den målte effekten av et tiltak er påvirket av både dens sanne effekt, men sannsynligvis også av tilfeldig variasjon. Et tiltak som virker veldig bra kan virke slik fordi dens sanne effekt er veldig bra, eller fordi andre faktorer som spilte inn tilfeldigvis var gode. Denne virkningen kan være stor, og den kan bety at fremtidige målinger av de beste tiltakene kan gi lavere kostnadseffektivitet. Av samme grunn kan også tiltak som virker dårlige vise seg å være mer kostnadseffektive i fremtiden.

Å fokusere på de aller beste tiltakene er heller ikke alltid mest gunstig, til tross for at de kan ha blitt forsket mye på. Det er fordi de kan være utilgjengelige. Si for eksempel at 1% av aktørene innen internasjonal bistand jobber forskningsbasert, og dermed er fokusert på de aller beste 1% av tiltakene. Jo mer finansiering som går til de beste tiltakene, jo mindre effektive blir de beste tiltakene sannsynligvis på marginen etter hvert. Derfor er det ikke nødvendigvis et direkte forhold mellom hva som historisk sett har vært de aller beste tiltakene i følge forskningen, og hva som er de beste tiltakene i dag.

Noen organisasjoner implementerer de samme tiltakene bedre enn andre, noe som kan øke forskjellene i kostnadseffektivitet mellom organisasjoner. Dette kan utgjøre mindre forskjeller om en antar at givere kan luke ut de åpenbart dårligste organisasjonene. Men i noen tilfeller kan det utgjøre større forskjeller om det gjelder komplekse tiltak som krever en finurlig implementeringsprosess, hvor hele tiltaket kan mislykkes om ikke alle skritt på veien er tatt riktig.

Å implementere samme tiltak i forskjellige geografiske kontekster kan også påvirke kostnadseffektiviteten. Dødstall fra malaria i Burkina Faso er for eksempel fem ganger høyere enn i Kenya, og 50 ganger høyere enn i India. Med et tiltak som myggnetting vil fordelene i utfallet være proporsjonalt med infeksjonsrisiko, som igjen utgjør en proporsjonal forskjell til kostnadseffektivitet.

Det kan finnes mange tiltak internasjonalt som ikke blir ansett som verdt å evaluere, enten fordi det ikke forventes interessante funn, eller på grunn av mangel på økonomisk støtte. Derfor kan givere anta at de tiltakene som har blitt evaluert allerede er bedre enn alle tiltakene som kunne vært evaluert. Funnene kan tolkes som spredning av kostnadseffektivitet blant tiltak som er antakeligvis gode, i stedet for alle tiltakene i området, hvor sistnevnte hadde vist større forskjeller.

Selv om eksperter estimerer at det er så mye som 100 ganger forskjell mellom de beste og de gjennomsnittlige tiltakene innen global helse¹1.Caviola, Lucius et al. (2020) "Donors vastly underestimate differences in charities’ effectiveness", Judgment and Decision Making, vol. 14, no. 4, s. 509-516, vil det ikke alltid være et meningsfullt estimat basert på de svakhetene vi allerede har diskutert. Slike antakelser kommer helt an på hvordan sammenligningen gjøres, men innenfor samme område vil det være mer forsvarlig å anta at de aller beste tiltakene er omtrent ti ganger mer effektive enn gjennomsnittet. Denne antakelsen er basert på studien om prioriteringer rundt sykdomskontroll i utviklingsland fra 2006, men også andre studier innen global helse som viser liknende resultater. Både en nyere utgave av den førstnevnte rapporten, og analyser fra Verdens helseorganisasjon viser liknende forskjeller i kostnadseffektivitet.

Å kunne forutse kostnadseffektiviteten av tiltak i global helse er vanskelig. På grunn av fenomener som regresjon mot gjennomsnitt vil det være én ting å se på store forskjeller presentert i et datasett, men en annen ting å kunne bestemme effekten samme tiltak vil ha igjen. En sammenligning av tiltak i global helse må derfor ta hensyn til hvordan data kan overdrive eller underdrive forskjellene, samtidig som det er viktig å vurdere hva de beste tiltakene sammenlignes med. Om noen allerede har valgt å støtte et bistandstiltak vi vet at ligger rundt medianen, kan vi med et bakovervendt syn si at forskjellen i kostnadseffektivitet kan være omtrent 100 ganger. Om vi derimot ikke vet noe om hvor tiltaket de har valgt ligger, er det mer meningsfullt å modellere at de velger tilfeldig, som gir oss gjennomsnittet av total kostnadseffektivitet.

Om en ser på effekten man kan utrette ved å velge bistandstiltak gjennom en datadrevet tilnærming, vil man muligens kunne øke effekten av sin donasjon omtrent tre til ti ganger innen ett område sammenlignet med å velge tilfeldig. Menneskehjernen har ikke en emosjonell sans for slike skalaer intuitivt, men dette er en stor økning med reelt god effekt. Tre til ti ganger økt effekt gjelder derimot kun for forskjeller innad i samme saksområde. Om vi sammenligner kostnadseffektivitet mellom saksområder, og mellom høyinntektsland og lavinntektsland, vil forskjellene være enda større.

Relativt små endringer i prioriteringer kan ha stor effekt på folks liv, og derfor ligger det ekstremt mye verdi i en datadrevet tilnærming til bistand. Om givere i større grad prioriterer støtte til de mest kostnadseffektive tiltakene vil det ha store positive konsekvenser.