Evalueringsekspert: Uetisk ikke at evaluere ulandsbistandens effekter

Af Nina Blöndal
Konsulent

Udviklingsbistand er en kompleks størrelse, og det er hamrende vigtigt, at vi lærer mere om, hvad der virker, og hvordan vi kan gøre det bedre.

Til det formål er der er en bred vifte af kvalitative og kvantitative forsknings-, monitorerings- og evalueringsmetoder at vælge imellem.

Det bør være op til den organisation, der skal bruge læringen, og de involverede fagpersoner at finde de metoder, der passer bedst til formålet og til det konkrete udviklingsprogram.

Det er uetisk ikke at evaluere, når forholdene byder sig, og når læringspotentialet er stort.

Nina Blöndal
Konsulent

Det er der blevet skrevet i debatten
Flere debattører i denne serie har argumenteret for at fremme den personlige historie og gøre op med lineære årsags- og effektsammenhænge.

Mellemfolkeligt Samvirke har eksempelvis slået et stærkt slag for brugen af outcome harvesting til brug ved programmer, der har til formål at fremme sociale og politiske processer. Ole Brauer har ligefrem argumenteret for, at effekterne af udviklingsbistand er så “ustyrlige”, at de slet ikke kan måles.

Udviklingsbistand er en kompleks størrelse, og det er hamrende vigtigt, at vi lærer mere om, hvad der virker, og hvordan vi kan gøre det bedre. 

Nina Blöndal
Konsulent

Effektevalueringer, skriver Helene Bach, er uetiske, fordi de kræver en kontrolgruppe, og så er de ikke egnede til at måle på sociale og politiske forandringer.

Sådan laver man en effektevaluering
Den opfattelse af effektevaluering er misforstået. Effektevalueringer bruges i stigende omfang til at måle både sociale og politiske outcomes.

Det omfatter blandt andet deltagelse i politiske og demokratiske processer – eksempler inkluderer effekten af kønskvoter i Indien, af vælgerdebatter og effekten af deltagelse i fred- og forsoningsgrupper i Sierra Leone eller endda effekten af antikorruptionstiltag i for eksempel Indien og Indonesien.

Før man påbegynder et program, definerer man klart, hvad man regner med, der vil ske, og hvad man ønsker at opnå. Dernæst undersøger man i effektmålingen, om det faktisk sker, om det sker på grund af programmet, og eventuelt hvilken del af målgruppen det sker for.

Det betyder ikke, at der ikke er forståelse for den virkelige verdens kompleksitet, og evalueringer bruges også til at få indsigt i faktorer, der påvirker udviklings-programmer og de mennesker, der deltager i dem.

Kontrolgrupper er ikke et uetisk valg
At det er uetisk at have en kontrolgruppe, er ikke korrekt.

For det første er det i mange tilfælde ikke ”program” mod “intet program”, der måles på. Det, der måles på, er én udgave af et program mod en anden udgave. Den tilgang er oplagt, hvis man gerne vil teste, hvilken indsats der virker bedst.

Hvis kontrolgruppen i første omgang ingenting “får”, er det ofte, fordi programmet ikke kan nå alle på samme tid, og kontrolgruppen udvælges således til at deltage i fase to. Derudover findes der få programmer, som med sikkerhed kan siges at nå alle, der kunne have gavn. Er det så også uetisk?

Effektevaluering er det eneste redskab, vi har til med statistisk sikkerhed at forstå effekten af en given indsats – og at opdage, om en intervention gør skade. Det er uetisk ikke at evaluere, når forholdene byder sig, og når læringspotentialet er stort.

Effektmåling, monitorering og evaluering bør så vidt muligt trække på både kvalitative og kvantitative metoder.

De detaljerede personlige beretninger øger vores indsigt og forståelse for det enkelte menneskes liv og oplevelse. Spørgeskemaundersøgelser af flere tusinde bønder, skolebørn eller låntagere giver os mulighed for at samle mange folks historier og se på det store billede.