Debat

Evalueringsekspert: Målinger for ministres skyld gør mere skade end gavn

DEBAT: Når ngo'ers økonomi er afhængig af effektmål, dominerer donorernes dagsorden. Minister-pleasing gør mere skade end gavn, skriver evalueringsrådgiver Nina Blöndal, der henter inspiration i lægemiddelindustrien.

<b>PSEUDO</b>: Resultatmålinger medfører ofte indsamling af store mængder data blandt fattige folk i udviklingslandene, som bliver brugt til meget lidt. Det er både uetisk og dyrt, skriver Nina Blöndal.&nbsp;
PSEUDO: Resultatmålinger medfører ofte indsamling af store mængder data blandt fattige folk i udviklingslandene, som bliver brugt til meget lidt. Det er både uetisk og dyrt, skriver Nina Blöndal. Foto: Wikus de Wet/AFP/Ritzau Scanpix
Maria Bierbaum Oehlenschläger
GDPRDeleted
Vis mere
Dette indlæg er alene udtryk for skribentens egen holdning. Alle indlæg hos Altinget skal overholde de presseetiske regler.

Af Nina Blöndal
Selvstændig konsulent

Hvert år sidder ansatte i ngo’er og internationale organisationer verden rundt og bider negle under forberedelserne til den store årsrapport.

Det er her, det skal offentliggøres, om organisationens måltal er nået: Har man trænet nok bønder i nye landbrugsmetoder, hvor mange bønder har øget deres indkomst og så videre.

I mange tilfælde er organisationernes finansiering direkte afhængig af, om de når deres mål. Det er uhensigtsmæssigt:

Læring kan opnås på mange måder, men inden for udviklings-bistand er der behov for en større indsats for på robust vis at undersøge, hvad der virker.  

Nina Blöndal
Evalueringsekspert

For det første er målsætningerne ofte drevet af donorernes dagsorden snarere end organisationens egen. For det andet er det ofte mål, som kan være meget svære at måle på pålidelig vis. Og for det tredje er der i udviklingsarbejdet rigtig mange årsager til, at måltal kan svinge op og ned, uden at det nødvendigvis siger noget om det enkelte program.

Finansieringsbundne målinger viser ikke effekt  
Lad os tage et eksempel: Et måltal kunne være, at 10.000 landmænd skal have modtaget træning i brug af ny såsæd, et andet, at de skal have øget indkomsten fra deres afgrøder.

Men ofte svinger tallene drastisk afhængig af målemetode, eller efter hvad man lige tæller med. Medmindre det er meget konkrete mål som ny infrastruktur eller deltagelse i et træningsprogram, er det ofte svært at vise noget om, hvorvidt "resultaterne" skyldes udviklingsprogrammet eller noget andet.

Den slags resultatmåling direkte bundet til finansiering gør intet godt og siger meget lidt om udviklingsprogrammers egentlige effekt. Til gengæld medfører det ofte indsamling af store mængder data blandt fattige folk i udviklingslandene, som bliver brugt til meget lidt. Det er både uetisk og dyrt.

Naturligvis skal der være styr på, hvilken støtte der er givet og til hvem, men fokus bør i langt højere grad være på læring.

Evaluer som lægemiddelindustrien
Læring kan opnås på mange måder, men inden for udviklingsbistand er der behov for en større indsats for på robust vis at undersøge, hvad der virker.

Det kan vi lære noget om gennem effektevaluering, et redskab, som er vundet frem på udviklingsområdet internationalt, men som der kun har været enkelte eksempler på i danske organisationer.  

Effektevaluering er ressourcekrævende og egner sig kun til en del af bistandsprogrammerne, og de skal selvfølgelig kun bruges, hvor det giver mening. Men det er det eneste redskab, vi har, som objektivt kan vise, hvad der virker på tværs af et stort antal individer.

I effektevaluering låner man de teknikker, der bruges, når man skal teste lægemidler, og sammenligner effekten af flere udgaver af et program eller sammenligner et program med en kontrolgruppe, der fortsætter deres tilværelse "business as usual".

I denne type evaluering ser man på kausalitet: Hvad er årsagssammenhængen mellem træning, læring, implementering af nye metoder, resultat af høsten og indkomst fra samme?

Måltal for ministres skyld gør mere skade end gavn
Det giver mening, når det handler om programmer, man gerne vil udbrede eller fortsætte i gennem længere tid, og hvor man for eksempel vil teste, hvilke dele af et program der er mest effektivt eller giver bedst resultater for pengene. Her kan en god effektevaluering på det rigtige tidspunkt være med til at sørge for, at et program fortsætter i den mest effektive udgave.

Når der er lavet et tilstrækkeligt antal effektevalueringer af den samme type program, kan man ved hjælp af såkaldte systematiske gennemgange begynde at undersøge, om der lader til at være effekt af netop den slags støtte på tværs af lande og befolkningsgrupper. Sådanne gennemgange er eksempelvis lavet for kontanthjælp, landbrugsskoler og forskellige uddannelsestiltag.

Vi skal måle, når det giver mening: når vi kan bruge en robust metode, når vi har mulighed for at fremme læring og for at øge effekten af vigtige bistandsprogrammer. Måltal, som primært eksisterer, for at embedsmænd kan vise grønne tal frem til en minister, gør mere skade end gavn.

Dokumentation

Debat om resultatmåling af udviklingsbistand: effekt eller pseudo?

I maj og juni sætter Altinget spot på effektmåling, monitorering og evaluering af Danmarks udviklingsbistand.

Vi zoomer ind på arbejdet med at dokumentere effekt i de danske ngo'er, hvor M&E-specialister ofte løfter opgaven med at illustrere og vise effekten af deres indsatser.

Vi har sammensat et panel med skarpe debattører, der giver deres bud på, hvordan man kan og bør bruge målinger af udviklingsbistandens effekter.

Du er velkommen til at bidrage til debatten. Send en mail til [email protected].


Politik har aldrig været vigtigere

Få GRATIS nyheder fra Danmarks største politiske redaktion


0:000:00