Ny evalueringsmetode: Outcome harvesting stiller skarpt på effekten af udførte projekter

METODE: Ny evalueringsmetode skal finde linket mellem udførelsen af et projekt og forandringen i civilsamfundet. Metoden vækker stor interesse blandt både danske og udenlandske organisationer.

Spørgeskemaer, eksterne konsulenter og traditionel datafortolkning: Glem alt om gamle evalueringsmetoder. Outcome harvesting er det nye sort.

Forestil dig, at en organisation afholder en workshop, som skal oplyse kvinder i Egypten om deres rettigheder. Workshoppen er organisationens output. Forestil dig så, at kvinderne går på gaden i Kairo og demonstrerer for bedre rettigheder, de skriver læserbreve til medierne og fortæller deres omgangskreds, hvad de har lært. Det er workshoppens outcome. Men har workshoppen været den afgørende faktor for at kvinderne protesterer, skriver og videreformidler? Det vil den nye evalueringsmetode outcome harvesting forsøge at afdække.

Danske Handicaporganisationer er en af de organisationer, der gerne vil afprøve metoden.

“Jeg synes, at metoden er et godt værktøj til at finde frem til resultater og give et realistisk billede af, hvad man som organisation har bidraget med,” siger Gitte Robinson, rådgiver og koordinator for monitorering og evaluering hos Danske Handicaporganisationer.

“I første omgang overvejer vi at bruge metoden i forbindelse med internationale projekter. Men metoden kan også anvendes nationalt. Et eksempel på det kunne være, når vi laver fortalerarbejde for at ændre politikker på handicapområdet. Vi har lokalafdelinger i 97 af landets 98 kommuner, hvor vi kapacitetsopbygger afdelingerne til at fungere som lokale, vejledende organer på handicapområdet. Vi forsøger at klæde dem på til at påvirke lokalpolitikere og brænde igennem i medierne. Outcome harvesting kan være en god måde til at vurdere, hvad lokalafdelingerne rent faktisk gør anderledes efter en workshop hos os, ” forklarer hun.

Traditionelt bygger monitorering og evaluering af en udviklingsindsats på planlægningen af projektet. Man planlægger aktiviteter, evaluerer aktiviteterne og håber på, at de bidrager til en langsigtet udviklingseffekt.

Det er vanskeligt at afgøre, om et projekts aktiviteter var det afgørende for en udvikling eller en forandring. Det er her, outcome harvesting kommer ind i billedet. Ved at opsamle information om effekten – typisk en ændring i aktørers holdninger eller handlinger, ændringer i lovgivning eller lignende – forsøger organisationen og samarbejdspartneren at finde frem til, præcist hvilken effekt et projekt har haft. Var det organisationens workshop, der var afgørende for forandringen, eller var det workshoppen sammen med andre elementer? Det er spørgsmål som dem, der skal afdække, hvor stort et bidrag organisationens arbejde i virkeligheden havde på forandringen.

Belgiske Goele Scheers har været med til at udvikle metoden, og i sidste uge faciliterede hun i samarbejde med Mellemfolkeligt Samvirke og Globalt Fokus en workshop i København om emnet.

Outcome harvesting kigger i dybden med, hvad et projekt har opnået. Man arbejder bagud og kigger på, hvordan et projekt har bidraget til forandring, for eksempel i forhold til ændringer i adfærd hos en aktør, som har indflydelse. Man skal kunne verificere, at der er et plausibelt link mellem udførelsen af et projekt og forandringen i adfærd,” forklarer hun.

Et stille paradigmeskift
Den nye metode til evaluering af projekter spås en stor fremtid, og flere organisationer og donorer har allerede udtrykt begejstring for nyskabelsen.

“Der er flere og flere donorer og organisationer, som er interesseret i at evaluere projekter på den her måde. The logical framework approach, som er den gængse metode for planlægning og styring af projekter, er stadig dominerende, men outcome harvesting vinder frem,” siger Goele Scheers.

Hun nævner UNDP, USAID og Verdensbanken som eksempler på organisationer, der er begyndt at benytte metoden. Danida er et af de organer, der ikke stiller krav til, hvilken evalueringsmetode organisationer bruger, hvilket tillader dem at vælge den metode, de selv synes er bedst, fortæller Goele Scheers og fortsætter:

“Der er helt tydeligt en villighed til at bruge outcome harvesting, som man ikke så for ti år siden. Jeg vil beskrive det som et paradigmeskift, selvom det stadig kan blive større,” siger hun.

Et tomrum bliver udfyldt
Goele Sheers synes, at den nye evalueringsmetode har været tiltrængt i branchen.

“Måling af outcome er et niveau i traditionel monitorering og evaluering, som ofte er overset. Outcome harvesting er relevant for mange projekter, fordi mange projekter har til formål at ændre menneskers adfærd. Derfor giver det mening at måle på netop det. Der er mange organisationer, der i dag kun måler på kvantitative parametre, for eksempel at de afholdt ti workshops, frem for at måle på den forandring, som de workshops bidrog til,” siger Goele Scheers.

Det er Gitte Robinson enig i det, og fremhæver samtidig inddragelsen af samarbejdspartneren som et vigtigt element.

“Med outcome harvesting inddrager man de mennesker, som resultaterne vedkommer. Når man gennemfører projekter, overlader de fleste dataindsamlingen og datafortolkningen til en ekstern konsulent. Den, der kender evalueringer bedst, er altså konsulenten, selvom konsulenten ikke skal være med til at implementere læringen fra evalueringen efterfølgende. Med outcome harvesting bliver konsulenten mere en facilitator i evalueringsprocessen,” forklarer hun og fortsætter:

“Ved at flytte dataindsamling og datafortolkning over på dem, der er involveret i projektet, opnår man en anden entusiasme, forståelse af ejerskab for evalueringens resultater,” siger hun.

Metoden kan ikke stå alene
Selvom metoden modtages positivt af flere organisationer, så er det ikke alle slags projekter, som den egner sig til.

Vaccinationskampagner er et eksempel på det. Her vil man typisk fokusere på impact, altså hvor mange børn der bliver vaccineret, så her vil det være mere relevant at bruge andre metoder. Hvis man derimod vil se på adfærdsændringer blandt sundhedspersonale eller samarbejde mellem sundhedspersonale på nationalt og lokalt niveau, så vil outcome harvesting være brugbart.

Gitte Robinson fra Danske Handicaporganisationer giver et andet eksempel på et projekt, hvor man ikke kan benytte metoden.

“Når vi snart skal i gang med at evaluere på de kapacitetsopbyggende arrangementer, for eksempel fyraftensmøder og kurser, som vi tilbyder, vil vi gerne høre fra brugerne, hvad de synes om det og hvad der kunne forbedres til næste gang. Der er outcome harvesting ikke det mest oplagte, fordi fokus mere er på hvad brugerne synes, end hvad der er kommet af konkrete resultater. Men når det handler om forandring i folks adfærd, for eksempel når lokalafdelinger skal påvirke mediedækningen af handicapområdet, så kan man bruge metoden,” afslutter hun.


Læs mere om metoden i artiklen 6 skridt til bedre effektmåling.

Forrige artikel 6 skridt til bedre effektmåling 6 skridt til bedre effektmåling Næste artikel Kan du svare på disse fundamentale spørgsmål om frivillighed? Kan du svare på disse fundamentale spørgsmål om frivillighed?
Projektledelse: Sådan sammensætter du det gode team

Projektledelse: Sådan sammensætter du det gode team

GUIDE: Som projektleder er du kaptajnen på skibet, der udstikker retningen og motiverer dit team. Ekspert i projektledelse Kirsten Nielsen mener, at nøglen til et teams succes ligger hos netop projektlederen. Hun giver her en karakteristik af de roller og typer, projektlederen skal være opmærksom på i sit arbejde.

Nordea-fonden: Derfor skærper vi projektledernes kompetencer

Nordea-fonden: Derfor skærper vi projektledernes kompetencer

INSPIRATION: I 2019 prøvede Nordea-fonden noget nyt. Fonden samlede 18 projektledere på tværs af de mange projekter, fonden hvert år støtter, og gav dem undervisning i, hvordan man bliver en endnu bedre projektleder. Kurset var populært, og flere projektledere stod forgæves i kø. Til foråret får 20 nye projektledere muligheden.

Stine Bosse i ledelses-podcast: Få nu styr på jeres kasketter

Stine Bosse i ledelses-podcast: Få nu styr på jeres kasketter

SEKTOR 3: Hvordan undgår man spaghetti på ledelsesgangene i civilsamfundsorganisationer? Klare aftaler om rollefordelingen mellem bestyrelse og daglig ledelse er et must, lyder det fra Stine Bosse og Laura Auken i Altingets ledelses-podcast, Sektor 3.

Podcast: Ledelse i krydsfeltet mellem godhed og industri

Podcast: Ledelse i krydsfeltet mellem godhed og industri

SEKTOR 3: Hvordan sikrer man som leder sammenhængende organisationer, hvor fagligheden er høj, indtjeningen er god, og formålet er i fokus? Kommunikation er alfa og omega, lyder svaret fra forsker og praktiker Mads Roke Clausen.

Unge frivillige: Giv slip på mantraet om fastholdelse

Unge frivillige: Giv slip på mantraet om fastholdelse

GUIDE: Unge vil gerne bidrage til civilsamfundet, men du skal som forening ikke regne med et livslangt engagement. Studenterhuset i København har udgivet håndbogen "Den Nye Frivillighed" og giver dig her en række råd, der kan være nyttige, når man engagerer unge frivillige.

Mød civilsamfundets fem generationer

Mød civilsamfundets fem generationer

OVERBLIK: Som generation bliver vi formet af den tid, vi vokser op i. Vores værdisæt, styrker og krav tager vi med, når vi udfører frivilligt arbejde. Chefkonsulent Marie Holdt fra konsulentbureauet Ingerfair fortæller her om civilsamfundets fem generationer og giver gode råd til, hvordan du motiverer dem.

Boguddrag: Det frivilige engagements varighed

Boguddrag: Det frivilige engagements varighed

UDDRAG: Civilsamfundets Videnscenter bringer her et kapitel fra bogen "Den nye frivillighed" af Ellen-Margrethe Dahl-Gren. Bogen handler om, hvordan du engagerer, leder og organiserer unge frivillige. I dette kapitel diskuterer forfatteren varigheden af de unges frivillige engagement og dens konsekvenser for arbejdet med de unge.

Aktivisme: Sæt kreativiteten fri hvis du vil have opmærksomhed

Aktivisme: Sæt kreativiteten fri hvis du vil have opmærksomhed

AKTIVISME: Med pruttende køer og politisk rap har et internationalt forskerteam forsøgt at måle effekten af kreativ aktivisme. Demokratiforsker og studieleder Silas Harrebye fortæller her, hvorfor det kan give mening for civilsamfundet at søge inspiration hos kunstnere og andre kreative sjæle, når man vil skabe social forandring.

10 gode råd: Sådan kommer du i gang med kreativ aktivisme i din organisation

10 gode råd: Sådan kommer du i gang med kreativ aktivisme i din organisation

AKTIVISTISK VÆRKTØJ: Greenpeace og Mellemfolkeligt Samvirke går langt for den gode kampagne. Civilsamfundets Videnscenter har derfor spurgt Greenpeace og Mellemfolkeligt Samvirke, hvordan de bruger redskaberne i aktivistens værktøjskasse til at mobilisere og skabe opmærksomhed om et samfundsproblem. Her får du deres 10 bedste råd.

Memory lane: Tre opfindsomme aktioner, vi stadig taler om 

Memory lane: Tre opfindsomme aktioner, vi stadig taler om 

AKTION: Underskriftindsamlinger, kulørte bannere og uddeling af flyers kan være nyttige greb, når civilsamfundsorganisationer forsøger at sætte en dagsorden. Men det er ikke nødvendigvis de aktioner, der går verden rundt og inspirerer eftertiden. Vi genbesøger her tre ikoniske aktioner.

5 gode råd til at afholde workshop

5 gode råd til at afholde workshop

FACILITERING: Alle kender de kedelige workshops med alt for mange ulæselige post-its. Her er 5 gode råd til at facilitere den udviklende workshop, hvor output er i fokus. Et af rådene er blandt andet, at du selv skal stå for oprydningen og gerne booke lokaler en halv time længere end planlagt. Hvorfor det er nødvendigt, fortæller Kasper Rolle fra Student and Innovation House i denne video fra Civilsamfundets Fællesdag.