Ny evalueringsmetode: Outcome harvesting stiller skarpt på effekten af udførte projekter

METODE: Ny evalueringsmetode skal finde linket mellem udførelsen af et projekt og forandringen i civilsamfundet. Metoden vækker stor interesse blandt både danske og udenlandske organisationer.

Spørgeskemaer, eksterne konsulenter og traditionel datafortolkning: Glem alt om gamle evalueringsmetoder. Outcome harvesting er det nye sort.

Forestil dig, at en organisation afholder en workshop, som skal oplyse kvinder i Egypten om deres rettigheder. Workshoppen er organisationens output. Forestil dig så, at kvinderne går på gaden i Kairo og demonstrerer for bedre rettigheder, de skriver læserbreve til medierne og fortæller deres omgangskreds, hvad de har lært. Det er workshoppens outcome. Men har workshoppen været den afgørende faktor for at kvinderne protesterer, skriver og videreformidler? Det vil den nye evalueringsmetode outcome harvesting forsøge at afdække.

Danske Handicaporganisationer er en af de organisationer, der gerne vil afprøve metoden.

“Jeg synes, at metoden er et godt værktøj til at finde frem til resultater og give et realistisk billede af, hvad man som organisation har bidraget med,” siger Gitte Robinson, rådgiver og koordinator for monitorering og evaluering hos Danske Handicaporganisationer.

“I første omgang overvejer vi at bruge metoden i forbindelse med internationale projekter. Men metoden kan også anvendes nationalt. Et eksempel på det kunne være, når vi laver fortalerarbejde for at ændre politikker på handicapområdet. Vi har lokalafdelinger i 97 af landets 98 kommuner, hvor vi kapacitetsopbygger afdelingerne til at fungere som lokale, vejledende organer på handicapområdet. Vi forsøger at klæde dem på til at påvirke lokalpolitikere og brænde igennem i medierne. Outcome harvesting kan være en god måde til at vurdere, hvad lokalafdelingerne rent faktisk gør anderledes efter en workshop hos os, ” forklarer hun.

Traditionelt bygger monitorering og evaluering af en udviklingsindsats på planlægningen af projektet. Man planlægger aktiviteter, evaluerer aktiviteterne og håber på, at de bidrager til en langsigtet udviklingseffekt.

Det er vanskeligt at afgøre, om et projekts aktiviteter var det afgørende for en udvikling eller en forandring. Det er her, outcome harvesting kommer ind i billedet. Ved at opsamle information om effekten – typisk en ændring i aktørers holdninger eller handlinger, ændringer i lovgivning eller lignende – forsøger organisationen og samarbejdspartneren at finde frem til, præcist hvilken effekt et projekt har haft. Var det organisationens workshop, der var afgørende for forandringen, eller var det workshoppen sammen med andre elementer? Det er spørgsmål som dem, der skal afdække, hvor stort et bidrag organisationens arbejde i virkeligheden havde på forandringen.

Belgiske Goele Scheers har været med til at udvikle metoden, og i sidste uge faciliterede hun i samarbejde med Mellemfolkeligt Samvirke og Globalt Fokus en workshop i København om emnet.

Outcome harvesting kigger i dybden med, hvad et projekt har opnået. Man arbejder bagud og kigger på, hvordan et projekt har bidraget til forandring, for eksempel i forhold til ændringer i adfærd hos en aktør, som har indflydelse. Man skal kunne verificere, at der er et plausibelt link mellem udførelsen af et projekt og forandringen i adfærd,” forklarer hun.

Et stille paradigmeskift
Den nye metode til evaluering af projekter spås en stor fremtid, og flere organisationer og donorer har allerede udtrykt begejstring for nyskabelsen.

“Der er flere og flere donorer og organisationer, som er interesseret i at evaluere projekter på den her måde. The logical framework approach, som er den gængse metode for planlægning og styring af projekter, er stadig dominerende, men outcome harvesting vinder frem,” siger Goele Scheers.

Hun nævner UNDP, USAID og Verdensbanken som eksempler på organisationer, der er begyndt at benytte metoden. Danida er et af de organer, der ikke stiller krav til, hvilken evalueringsmetode organisationer bruger, hvilket tillader dem at vælge den metode, de selv synes er bedst, fortæller Goele Scheers og fortsætter:

“Der er helt tydeligt en villighed til at bruge outcome harvesting, som man ikke så for ti år siden. Jeg vil beskrive det som et paradigmeskift, selvom det stadig kan blive større,” siger hun.

Et tomrum bliver udfyldt
Goele Sheers synes, at den nye evalueringsmetode har været tiltrængt i branchen.

“Måling af outcome er et niveau i traditionel monitorering og evaluering, som ofte er overset. Outcome harvesting er relevant for mange projekter, fordi mange projekter har til formål at ændre menneskers adfærd. Derfor giver det mening at måle på netop det. Der er mange organisationer, der i dag kun måler på kvantitative parametre, for eksempel at de afholdt ti workshops, frem for at måle på den forandring, som de workshops bidrog til,” siger Goele Scheers.

Det er Gitte Robinson enig i det, og fremhæver samtidig inddragelsen af samarbejdspartneren som et vigtigt element.

“Med outcome harvesting inddrager man de mennesker, som resultaterne vedkommer. Når man gennemfører projekter, overlader de fleste dataindsamlingen og datafortolkningen til en ekstern konsulent. Den, der kender evalueringer bedst, er altså konsulenten, selvom konsulenten ikke skal være med til at implementere læringen fra evalueringen efterfølgende. Med outcome harvesting bliver konsulenten mere en facilitator i evalueringsprocessen,” forklarer hun og fortsætter:

“Ved at flytte dataindsamling og datafortolkning over på dem, der er involveret i projektet, opnår man en anden entusiasme, forståelse af ejerskab for evalueringens resultater,” siger hun.

Metoden kan ikke stå alene
Selvom metoden modtages positivt af flere organisationer, så er det ikke alle slags projekter, som den egner sig til.

Vaccinationskampagner er et eksempel på det. Her vil man typisk fokusere på impact, altså hvor mange børn der bliver vaccineret, så her vil det være mere relevant at bruge andre metoder. Hvis man derimod vil se på adfærdsændringer blandt sundhedspersonale eller samarbejde mellem sundhedspersonale på nationalt og lokalt niveau, så vil outcome harvesting være brugbart.

Gitte Robinson fra Danske Handicaporganisationer giver et andet eksempel på et projekt, hvor man ikke kan benytte metoden.

“Når vi snart skal i gang med at evaluere på de kapacitetsopbyggende arrangementer, for eksempel fyraftensmøder og kurser, som vi tilbyder, vil vi gerne høre fra brugerne, hvad de synes om det og hvad der kunne forbedres til næste gang. Der er outcome harvesting ikke det mest oplagte, fordi fokus mere er på hvad brugerne synes, end hvad der er kommet af konkrete resultater. Men når det handler om forandring i folks adfærd, for eksempel når lokalafdelinger skal påvirke mediedækningen af handicapområdet, så kan man bruge metoden,” afslutter hun.


Læs mere om metoden i artiklen 6 skridt til bedre effektmåling.

Forrige artikel 6 skridt til bedre effektmåling 6 skridt til bedre effektmåling Næste artikel Kan du svare på disse fundamentale spørgsmål om frivillighed? Kan du svare på disse fundamentale spørgsmål om frivillighed?
Normale spilleregler sættes ud af kraft, når frivillige hjælper til i kommuner

Normale spilleregler sættes ud af kraft, når frivillige hjælper til i kommuner

FORSKNING: Professor Bjarne Ibsen og hans kolleger ved Center for forskning i Idræt, Sundhed og Civilsamfund på Syddansk Universitet har gennem flere år nærstuderet samarbejdet mellem kommuner og frivillige. Mange steder mangler de frivillige og kommuner klare aftaler for samarbejdet, lyder konklusionen.

Naturens vogtere: Vi tænker ret højt om vores communities

Naturens vogtere: Vi tænker ret højt om vores communities

BEST PRACTISE: I nutidens medielandskab er SoMe-kampagnen stedet, du for alvor kan samle natur- og klimainteresserede mennesker og kræve forandring. Danmarks Naturfredningsforenings digitale redaktør, Sanne Buggeskov, tager Civilsamfundets Videnscenter med om bag kulissen.

Sådan gøder socialøkonomiske virksomheder kommunalt samarbejde

Sådan gøder socialøkonomiske virksomheder kommunalt samarbejde

GUIDE: Mange kommuner har et småstøvet notat liggende om, at de gerne vil samarbejde med socialøkonomiske virksomheder, men de har samtidig svært ved at knække koden. I denne guide klæder Dorte Bukdahl, der er centerleder i Copenhagen Dome - Videnscenter for socialøkonomi, parterne på til at indgå i gode samarbejder. 

Socialøkonomi: Succeskommunen Silkeborg skruer op for partnerskaber

Socialøkonomi: Succeskommunen Silkeborg skruer op for partnerskaber

BEST PRACTISE: Da John Kvistgaard kom til Silkeborg Kommune, lå der ikke meget andet end en hensigtserklæring om socialøkonomi på et stykke papir. I dag - efter godt fem år - har kommunen succes med at få langtidsledige i job og har sparet millioner. Næste skridt er partnerskaber.

FRAK: Vi er nysgerrige af natur

FRAK: Vi er nysgerrige af natur

At tjene sine egne penge og blive anerkendt for sin indsats kan være den forskel, der gør, at en ung bryder social arv. Det ved den socialøkonomiske virksomhed FRAK, der er på evig jagt efter arbejdstræning og fritidsjob til unge på kanten. Læs mere her om, hvordan FRAK spreder sin indsats ud og skaber nye jobs.

Sådan sætter du arbejdsmiljøet på dagsordenen i din organisation

Sådan sætter du arbejdsmiljøet på dagsordenen i din organisation

GUIDE: Civilsamfundet er ikke fritaget for stressede medarbejdere, ustrukturerede ledere eller arbejdspukler, der fører til konsekvent overarbejde. Konsulenthuset Ingerfair og Dansk Magisterforening har sat spot på det gode arbejdsklima og udarbejdet værktøjer, som er målrettet civilsamfundet.

SOS Børnebyerne: Et kærligt “hjem” for alle medarbejdere

SOS Børnebyerne: Et kærligt “hjem” for alle medarbejdere

BEST PRACTISE: Dansk Magisterforening har sammen med konsulenthuset Ingerfair sat fokus på arbejdsmiljøet i en ny undersøgelse. Læs her, hvorfor SOS Børnebyerne sætter medarbejdertrivslen i højsædet, og få gode råd til at give arbejdsmiljøet et tjek.

Status: Hvad civilsamfundet skal vide om

Status: Hvad civilsamfundet skal vide om "dansen med coronavirus"

CORONARETNINGSLINJER: Sommeren er ovre, og store dele af civilsamfundet er igen i omdrejninger efter forårets nedlukning. Her finder du seneste nyt om forsamlingsforbud, mundbind og hvad du skal gøre, hvis du oplever smittespredning i din organisation.

Sådan håndterer du smitte i din forening

Sådan håndterer du smitte i din forening

CORONAKØREPLAN: Når et medlem eller en frivillig bliver smittet med coronavirus covid-19, er der brug for overblik og klar kommunikation. Danske Gymnastik- og Idrætsforeninger (DGI) giver her et kig ned i deres manual for smittehåndtering.

Sådan ser foreningslivets økonomiske fremtid ud efter genåbningen

Sådan ser foreningslivets økonomiske fremtid ud efter genåbningen

VEJEN UD AF KRISEN: Fire nøgleaktører i civilsamfundet tegner her en skitse af det forandrede økonomiske landskab, som foreningslivet skal navigere i efter genåbningen. Hør analysen og få gode råd til at navigere i det nye økonomiske terræn fra Frivilligrådets formand, sekretariatschefen i Fondenes Videnscenter, en professor og DGI’s landsformand.

Over sommeren: Få status over genåbning og corona-hjælp til civilsamfundet her

Over sommeren: Få status over genåbning og corona-hjælp til civilsamfundet her

GUIDE: Danmark er nu godt på vej til mere normaliserede forhold. Men efterdønningerne af coronakrisen udfordrer stadig civilsamfundet på blandt andet økonomi. Her samler vi gode svar og nyttige links, der kan hjælpe din organisation om på den anden side af krisen. Guiden er senest opdateret 17. juni og opdateres igen på den anden side af sommerferien.

Efter lock down: Gode råd til at byde dine frivillige velkommen tilbage

Efter lock down: Gode råd til at byde dine frivillige velkommen tilbage

FASTHOLDELSE: Den nye coronavirus tog os på sengen. Mange organisationer, der engagerer frivillige, nåede ikke at få sagt ordentligt farvel og på gensyn. At starte op efter krisen kræver derfor tydelig ledelse, så man får pejlet sine frivillige ordentligt ind på kerneopgaven igen. Nogle frivillige har brug for en peptalk. Andre står utålmodigt og stamper i gulvet. Her guider Center for Frivilligt Socialt Arbejde til den gode genopstart.

Poul Due Jensens Fond: 75 procent af vores donationer går til coronakrisen i år

Poul Due Jensens Fond: 75 procent af vores donationer går til coronakrisen i år

KRISEHJÆLP: Poul Due Jensens Fond har til en vis grad måttet lægge mantraer om god processtyring til side for lynhurtigt at kunne støtte coronarelaterede projekter. Når året er omme vil cirka 75 procent af pengene være gået til projekter relateret til coronakrisen. Kim Nøhr Skibsted giver her indblik i, hvordan krisehåndtering ser ud fra maskinrummet i en fond.