GiveWell gjør også skjønnsvurderinger.

Denne artikkelen er tredje del av en serie som går i dybden på hvordan GiveWell jobber og hva de støtter. Den første artikkelen i serien forklarer hvordan GiveWell vurderer kostnadseffektivitet, og den andre artikkelen omhandler deres bruk av kontekstspesifikke vurderinger i sine analyser.  Denne serien skal gi bedre forståelse av GiveWell sin forskning, og beslutningsprosessene deres.

GiveWell sitt mål er å anbefale finansiering av de tiltakene og organisasjonene som de tror kan utrette størst effekt per krone. Det finnes ingen enkel oppskrift for å finne disse, derfor er det noen ganger også nødvendig å gjøre vurderinger basert på skjønn.

Denne artikkelen forklarer hvordan GiveWell gjør skjønnsvurderinger gjennom følgende tema:

• Hvordan GiveWell tar subjektive valg i situasjoner hvor de mangler tilstrekkelig informasjon.
• Konkrete eksempler på skjønnsvurderinger:
  • Kombinere data og intuisjon: Estimere effekten klorbehandling av vann har på dødelighet.
  • Vurdere ulike utfall: Sammenligne behandling av klumpfot med livreddende programmer.
  • Forutse beslutninger fra andre aktører: Predikere effekten av teknisk assistanse for undersøkelse og behandling av syfilis.

Forskning har begrensninger.

GiveWell aksepterer ikke forskningsresultater uten videre gransking. Som en kvalitetssikring gjør de også egne vurderinger før de kommer frem til et endelig estimat. De kan blant annet vurdere følgende:

• De metodologiske begrensningene til tilgjengelige studier.
• Sannsynligheten for publikasjonsbias¹1.Svartdal, Frode (2019) "feilkilder i forskning" (Hentet: 5.2.2024). eller feilaktige resultater.
• Hvorvidt det er sannsynlig at resultatene er representative for effekten av det spesifikke programmet de vurderer å finansiere, noe som innebærer å se på potensielle forskjeller i kontekst, og i programmene som implementeres.
• Hvor sannsynlige resultatene virker når man tar hensyn til annen relevant informasjon, inkludert om det finnes kjente mekanismer som kan forklare hvordan et program har en bestemt effekt.
• Ekspertråd.

Noen spørsmål er vanskelig å svare godt på gjennom forskning, men er fremdeles viktige å ta stilling til for å vurdere ulike tiltak. Eksempler på slike spørsmål er:

• Vil noen andre finansiere dette programmet hvis GiveWell ikke gjør det?
• Kan dette programmet etterhvert overføres til å styres av myndighetene der det gjennomføres?
• Hvor sannsynlig er det at kommer ny forskning som endrer GiveWells oppfatning to eller tre år fra nå?
• Hvor ille er opplevelsen av å ha sykdom A sammenlignet med opplevelsen av å ha sykdom B?

De vurderer flere perspektiver.

Givere og andre eksperter kan være uenige med GiveWell sine estimater. Selv om GiveWell streber etter å finne så nøyaktige estimater som mulig, vil analysene deres inneholde noen nødvendige subjektive vurderinger som kan påvirke anbefalingene deres.

Når det kommer til å sette verdier for viktige parametere, stoler ikke GiveWell blindt på meningene til enkeltforskere. I tillegg til å ta hensyn til eksisterende forskning, ønsker de også å utvide sin egen horisont gjennom følgende metoder:

• Samtaler med eksperter. Når GiveWell vurderer om de skal støtte et program snakker de ofte med eksperter for å høre deres synspunkter. Se eksempler på slike samtaler her.
• Intern fagfellevurdering. I en typisk evaluering vil to eller tre interne forskere som ikke har jobbet med en vurdering, gå nøye gjennom arbeidet og gi tilbakemeldinger på styrker og svakheter ved argumentasjonen. Noen ganger arrangeres også interne seminarer for å diskutere viktige spørsmål.
• Tilbakemeldinger fra eksterne eksperter. I noen tilfeller vil GiveWell bruke eksterne konsulenter for å gjennomgå deres arbeid eller spesifikke vitenskapelige studier. For eksempel, har seniorrådgiver David Roodman sett på noen utfordrende spørsmål for GiveWell, blant annet effekten ormekurer har på barns forbruk senere i livet.

Konkrete eksempler.

Kombinere data og intuisjon:
Estimere effekten klorbehandling av vann har på dødelighet.

Reduksjon i dødelighet er den aller viktigste faktoren når GiveWell modellerer kostadseffektivitet ved klorbehandling av vann. Det er derimot ganske vanskelig å estimere hvor mange liv som kan reddes av rent drikkevann. GiveWell sine analyser har tidligere funnet at kostnadseffektiviteten er lavere enn for organisasjonene på Topplista, og de har derfor ikke anbefalt betydelig finansiering til dette på mange år. Men i 2020 kom ny forskning som førte til at GiveWell begynte å se annerledes på det:¹1.Kaplan, Miranda (2022) "A major update in our assessment of water quality interventions" (Hentet: 5.2.2024). En meta-analyse som sammenlignet dødelighet basert på studier av en rekke tiltak for å forbedre vannkvalitet i områder med urent drikkevann. Den viste sterk sammenheng mellom vannkvalitet og dødelighet, og ga dermed sterkere bevis for effekten av slike tiltak, og et høyere punktestimat enn de tidligere hadde brukt. Til tross for dette estimerer GiveWell at effekten vannkvalitet har på dødelighet er mindre enn det resultatene antyder. Meta-analysen anslår en reduksjon i generell dødelighet hos små barn på rundt 30%.¹1.Kremer, M et al. (2022) "Water Treatment and Child Mortality: A Meta-analysis and Cost-effectiveness Analysis" The Becker Friedman Institute Working Paper No. 2022-26. (Hentet: 5.2.2024). Dette er ikke bare høyere enn det som kan forklares av reduksjoner i antall tilfeller av diarré, men også høyere enn forventet om man tar hensyn til indirekte effekter.

GiveWell gjennomførte derfor en egen meta-analyse for å estimere effekten. Samtidig ansatte de to eksterne eksperter til å gjennomgå den opprinnelige meta-analysen, slik at de også kunne vurdere deres syn på saken. GiveWell baserte seg på data fra de fem randomiserte kontrollerte studiene i den originale meta-analysen som fokuserer på klorbehandling av vann, og som inkluderer oppfølging på minst ett år (for å ekskludere studier der GiveWell mener publikasjonsbias er mer sannsynlig). GiveWell ekskluderte en studie som oppfylte kriteriene deres, fordi de mente at resultatene var bemerkelsesverdig høye, og at de derfor ikke representerer en sann effekt. Det er et nokså utradisjonelt valg i en meta-analyse, men GiveWell mente at det gav et mer sannsynlig estimat som kan representere den sanne effekten.

GiveWell sitt estimat antyder at klorbehandling av vann reduserer dødelighet for barn under 5 år med omtrent 12%, sammenlignet med 30% i den originale meta-analysen. De vil videre justere estimatet på 12% basert på lokale forhold der programmet skal gjennomføres.

Deres måte å beregne denne effekten har ført med seg en del kommentarer fra andre, som Witold Więcek¹1.Więcek, W. (2023) "GiveWell’s Change Our Mind contest, cost-effectiveness, and water quality interventions" (Hentet: 5.2.2024)., og Matthew Romer og Paul Romer Present¹1.Romer, M. and Romer, R.P. (2022) "An Examination of GiveWell’s Water Quality Intervention Cost-Effectiveness Analysis" (Hentet: 5.2.2024).. GiveWell er åpne for at forskere kan tolke resultater ulikt når de skal komme fram til et estimat, og de vil fortsette å vurdere andre tilnærminger til forskningen sin. Samtidig er de komfortable med tilnærmingen de har valgt, og mener at den gir en fornuftig konklusjon.

Vurdere ulike utfall:
Sammenligne behandling av klumpfot med livreddende programmer.

Tidlig i 2023 anbefalte GiveWell å finansiere behandling av klumpfot gjennom MiracleFeets sitt program.¹1.GiveWell (2023) "MiracleFeet — Clubfoot Treatment (January 2023)" (Hentet: 5.2.2024). Klumpfot er en medfødt tilstand som er smertefull, og begrensende for mobilitet. For å kunne sammenligne kostnadseffektiviteten av dette programmet med andre programmer de finansierer, trengte de et estimat av hvor verdifullt det er å behandle klumpfot sammenlignet med hvor verdifullt det er å redde livet til et barn.

Spørsmålet om hvor ille klumpfot er å leve med har ikke en korrekt numerisk verdi. GiveWell bruker vanligvis anslag fra Institute for Health Metrics and Evaluation sin Global Burden of Disease studie når de skal vurdere hvor ille forskjellige sykdommer og funksjonsnedsettelser er. Denne studien har dessverre ikke et estimat for klumpfot. GiveWell snakket derfor med en ekspert på funksjonsnedsettelser, og gjennomgikk relevant litteratur for å bedre forstå hvordan sykdommen oppleves. De ønsket å forstå hvor smertefullt det er å leve med klumpfot, hvor mye det påvirker en persons evne til å gjøre ting, og hvordan stigma knyttet til klumpfot påvirker menneskers velvære og muligheter.

Til slutt valgte de å bruke deformitetsnivå 2 fra Global Burden of Disease, som innebærer smerte og moderat motorisk svekkelse på grunn av dysmeli, som utgangspunkt for klumpfot på begge ben. Dette målet tar hensyn til en fysisk funksjonsnedsettelse som oppleves vond og kløende, skaper noen problemer med bevegelighet, og hvor andre mennesker kan stirre og kommentere. GiveWell kom til denne avgjørelsen basert på litteraturstudier og samtaler med en ekspert på funksjonsnedsettelse og MiracleFeet. De mener også at klumpfot er 75% så ille når det kun påvirker ett ben. Med disse verdiene, er det å forhindre klumpfot en fjerdedel så verdifullt som å unngå at et barn dør. Men GiveWell er fremdeles usikre på den sanne verdien. Deres beste estimat er at det er 50% sjanse for at det er mellom en åttedel så verdifullt, og en tredjedel så verdifullt som å unngå et dødsfall.

Disse estimatene antyder at programmene til MiracleFeet, som trolig forhindrer tilfeller av klumpfot for rundt 12 500 kr, er omtrent like kostnadseffektive som organisasjonene på Topplista. Derfor har GiveWell finansiert dette programmet og har fremdeles lyst til å lære mer.

Forutse beslutninger fra andre aktører:
Predikere effekten av teknisk assistanse for undersøkelse og behandling av syfilis.

GiveWell anbefalte å finansiere Evidence Action sitt program for undersøkelse og behandling av syfilis under graviditet.¹1.GiveWell (2022) "Evidence Action — Syphilis Screening and Treatment in Pregnancy in Zambia and Cameroon (July 2022)" (Hentet: 5.2.2024). Dette programmet kan redusere skader, og forhindre dødfødsler og dødelighet blant nyfødte. I stedet for å levere tester og antibiotika direkte, jobber Evidence Action med å støtte regjeringene i Kamerun og Zambia med å tilby programmet. Målet er å støtte helsedepartementene i overgangen fra å bruke  HIV-hurtigtester til å ta i bruk doble hurtigtester for HIV og syfilis for gravide, og så tilby behandling til personer som tester positivt for syfilis.

For politisk orientert arbeid prøver GiveWell å forutsi utfallet av programmene og vurdere alternative utfall: hva vil skje når helsedepartementene får støtte fra  Evidence Action, og hva hadde skjedd uten støtten? Når GiveWell vurderer den forventede kostnadseffektiviteten, stiller de to spørsmål:

• Ville Zambia eller Kamerun skalert opp bruken av de doble testene og syfilis-behandling selv uten Evidence Actions støtte?
• Vil man lykkes med å overføre programmet til myndighetene, slik at det til slutt fortsetter uten støtte fra Evidence Action?

I Zambia estimerte Givewell 50% sjanse for at de doble testene ville ha blitt tatt i bruk også uten støtte fra Evidence Action, men at det da ville skjedd omtrent ett år senere. Med Evidence Action sin støtte estimerer GiveWell 80% sjanse for vellykket bruk av testingen, og 70% sjanse for at de vil lykkes med å overføre programmet til myndighetene. Mye av den forventede effekten kommer fra at antallet behandlinger øker: i Zambia forventer GiveWell at 70% av personene som tester positivt vil få behandling med Evidence Action sin støtte, sammenlignet med 45% uten støtten.

Disse tallene er subjektive og kommer fra GiveWell sine vurderinger om blant annet interessen myndigheter viser for å implementere de doble testene ↗, hvor enkelt tiltaket er, og det faktum at tiltaket tar i bruk eksisterende infrastruktur for HIV-testing.

GiveWell gjorde prediksjoner på utfallet av at de finansierte programmet, og i framtiden kommer de til å sammenligne prediksjonene med hva som faktisk skjedde ↗ (selv om de selvfølgelig ikke kan vite hva som ville ha skjedd dersom de ikke hadde finansiert programmet).

Oppsumert.

GiveWell ønsker å produsere så gode estimater som mulig. Analysene deres av kostnadseffektivitet er solid forankret i evidens, men inneholder også justeringer for faktorer som ikke alene kan forklares basert på vitenskapelige funn. Når det er hull i bevisgrunnlaget deres, gjør de også det de kan for å finansiere ekstra forskning på området.

GiveWell tar beslutninger basert på deres beste estimater, selv om noen av verdiene er subjektive og de ikke alltid er sikre på at de har helt rett. Arbeidet deres krever at de tar valg,  til tross for mangelfull informasjon. Anbefalingene deres gjenspeiler hvor de tror finansieringer kan utrette mest godt, og de har full transparens rundt sine beslutningsprosesser slik at andre også kan vurdere arbeidet deres.

Denne teksten er en oversettelse av et blogginnlegg fra GiveWell.