Konsulent: Effektmåling i civilsamfundet handler ikke kun om tal

Civilsamfundets indflydelse er mere end tal. Så lad os anerkende, at de talbaserede metoder ikke er de eneste og måske heller ikke altid de bedste metoder til at dokumentere en sammenhæng mellem civilsamfundets arbejde og dets effekt, skriver Malene Sønderskov.

Skal
man måle effekten af civilsamfundets arbejde, er det vigtigere, at vi er
opmærksomme på, om standarderne for god kvalitet benyttes, end på, hvem der
udfører arbejdet, skriver Malene
Sønderskov. — Skal man måle effekten af civilsamfundets arbejde, er det vigtigere, at vi er opmærksomme på, om standarderne for god kvalitet benyttes, end på, hvem der udfører arbejdet, skriver Malene Sønderskov. Foto: Thomas Lekfeldt/Ritzau Scanpix

Malene Sønderskov

Partner og seniorkonsulent, Strategyhouse

Dette indlæg er alene udtryk for skribentens egen holdning. Alle indlæg hos Altinget skal overholde de presseetiske regler.

Kan man overhovedet måle om civilsamfundets arbejde gør en forskel?

Min påstand er, at det kan man godt, ligesom man kan arbejde på at måle effekten af pædagogiske indsatser i børnehaver eller vaccinationsprogrammer.

Men det er vigtigt, at vi er kender faldgruberne og ikke stiller unødige hindringer i vejen for os selv.

Her er tre forslag til, hvordan vi kan skabe mere troværdige bud på, hvordan civilsamfundsindsatser gør en forskel.

1. Pil effektmålingen ned fra den talbaserede videnskabelige piedestal

I mit arbejde oplever jeg ofte, at civilsamfundsorganisationer drukner sig selv i tal.

Rationalet synes at være, at jo flere tal der indsamles, jo mere videnskabeligt og troværdigt er det.

Imidlertid glemmer mange, at effektmåling jo – også – er noget, vi foretager os som en naturlig del af vores hverdag og helt uden brug af tal.

Civilsamfunds-organisationer drukner sig selv i tal
Malene Sønderskov
Partner i StrategyHouse.dk

Eksempelvis når overboen banker i gulvet klokken 23:30, noterer vi os en mulig sammenhæng med den høje musik fra vores højttaler.

Når bukserne strammer, noterer vi os en mulig sammenhæng med decembermåneds julefrokoster.

Men når det kommer til vores arbejde, kan vi glemme ’det selvfølgelige’.

At effekt er noget, vi kan registrere, når vi bruger vores sunde fornuft, og at videnskabelige forsøg, langtidsstudier eller kontrolgrupper, ikke altid er nødvendige for at vise en årsagssammenhæng.

Hvis det var, måtte vi nedlægge landets domstole: Hver eneste dag bekræfter – eller afviser – landets dommere en påstået sammenhæng mellem effekt – en kriminel handling – og en anklaget.

Helt uden brug af kontrolgrupper og kliniske forsøg, men ved at formulere hypoteser og finde beviser for deres mulige sandhedsværdi.

Så lad os anerkende, at de talbaserede videnskabelige metoder ikke er de eneste og måske heller ikke altid de mest relevante metoder til at dokumentere en sammenhæng mellem civilsamfundets arbejde og dets effekt.

2. Der findes kvalitetsstandarder for effektmåling. Brug dem.

En effektmåling udført af en forsker er ikke nødvendigvis mere troværdig end en, der er lavet af civilsamfundsorganisationen selv.

Spørg bare forskere fra Aarhus universitet, der i 2021 gav deres bud på oksekøds klimaeffekt – og modtog skarp kritik for at have gået på kompromis med god forskningsskik.

Den gode effektmåling hviler på kendte standarder for, hvad der udgør god kvalitet i forsknings- og evalueringsarbejde. Desværre diskuteres de alt for lidt udenfor snævre, videnskabelige kredse, selv om de i store træk er udtryk for sund fornuft.

Standarderne inkluderer åbenhed om, hvordan man har indsamlet data, hvilke data man har brugt, hvordan man har udvalgt målgrupper, hvordan data er behandlet og analyseret.

Læs også

Civilsamfundet dokumenterer flittigt, at deres indsatser virker, men kan man overhovedet det?

Analyse

Et andet kriterie er egnethed – altså om den metode man har brugt, er egnet til at undersøge det, man gerne vil undersøge. Et tredje er troværdighed, altså om der er belæg i data for den påståede sammenhæng mellem årsag og virkning.

Skal man måle effekten af civilsamfundets arbejde, er det vigtigere, at vi er opmærksomme på, om standarderne for god kvalitet benyttes, end på, hvem der udfører arbejdet. Bruger- og medarbejder drevne evalueringer kan nemlig ikke blot være nemmere at gennemføre indenfor rammerne af et stramt budget.

De kan også ofte bidrage til større læring, ejerskab og motivation til at bruge de resultater man når frem til.

3. Skær ikke alle indsatser over én kam

Endelig er det vigtigt, at vi ikke stiller de samme krav til alle indsatser om at kunne forudsige effekt.

Civilsamfundets Brancheforening har foreslået, at et kriterie for grundfinansiering bør være, at en indsats har dokumenteret effekt.

Det krav hviler på en antagelse om, at effekt dokumenteret i én sammenhæng, kan bruges til at forudsige en mulig effekt i en anden.

De talbaserede videnskabelige metoder er ikke de eneste eller mest relevante metoder til at dokumentere en sammenhæng mellem civilsamfundets arbejde og dets effekt
Malene Sønderskov
Partner i StrategyHouse.dk

Det kan give god mening i sammenhænge, hvor der er nogenlunde stabile og dokumenterbare relationer mellem en indsats og den ønskede virkning.

Der findes imidlertid også indsatser med så mange faktorer og aktører involveret, at man nok kan påvise en sammenhæng mellem årsag og effekt bagudrettet.

Dog er det ikke nødvendigvis muligt at forudsige, om man vil opnå samme resultat, hvis man gennemfører det samme projekt igen.

Eller hvor tidsforskydninger gør det umuligt at forudsige, hvornår der indtrækker en effekt.

Tænk blot på klimaområdet: Selv om vi kender sammenhængen mellem globale temperaturstigninger og vores livsstil, så flyver og forbruger vi som aldrig før.

Skal vi så undlade at føre kampagner for en mere ansvarlig klimaadfærd, fordi vi ikke kan forudsige, hvornår eller om vi ændrer adfærd? Jeg tænker de fleste læsere vil svare ’nej’.

Effektmåling – proces eller produkt?

Effektmålinger og dokumentation er et område, der er fyldt med dilemmaer og udfordringer, men de kan afhjælpes, hvis vi bruger den sunde fornuft.

Men selv om vi ikke kan løse alle udfordringerne, skal vi måske passe på med at underkende effektmålingernes værdi?

Måske er processen med at dokumentere lige så vigtigt som dokumentationen i sig selv?

Måske er det, når effektmålingen bidrager til en faglig samtale både om, hvad der kan lade sig gøre at måle og hvordan, og om de mulige effekter af civilsamfundets arbejde, at effektovervejelser har størst værdi?

Politik har aldrig været vigtigere