Ny evalueringsmetode: Outcome harvesting stiller skarpt på effekten af udførte projekter

METODE: Ny evalueringsmetode skal finde linket mellem udførelsen af et projekt og forandringen i civilsamfundet. Metoden vækker stor interesse blandt både danske og udenlandske organisationer.

Spørgeskemaer, eksterne konsulenter og traditionel datafortolkning: Glem alt om gamle evalueringsmetoder. Outcome harvesting er det nye sort.

Forestil dig, at en organisation afholder en workshop, som skal oplyse kvinder i Egypten om deres rettigheder. Workshoppen er organisationens output. Forestil dig så, at kvinderne går på gaden i Kairo og demonstrerer for bedre rettigheder, de skriver læserbreve til medierne og fortæller deres omgangskreds, hvad de har lært. Det er workshoppens outcome. Men har workshoppen været den afgørende faktor for at kvinderne protesterer, skriver og videreformidler? Det vil den nye evalueringsmetode outcome harvesting forsøge at afdække.

Danske Handicaporganisationer er en af de organisationer, der gerne vil afprøve metoden.

“Jeg synes, at metoden er et godt værktøj til at finde frem til resultater og give et realistisk billede af, hvad man som organisation har bidraget med,” siger Gitte Robinson, rådgiver og koordinator for monitorering og evaluering hos Danske Handicaporganisationer.

“I første omgang overvejer vi at bruge metoden i forbindelse med internationale projekter. Men metoden kan også anvendes nationalt. Et eksempel på det kunne være, når vi laver fortalerarbejde for at ændre politikker på handicapområdet. Vi har lokalafdelinger i 97 af landets 98 kommuner, hvor vi kapacitetsopbygger afdelingerne til at fungere som lokale, vejledende organer på handicapområdet. Vi forsøger at klæde dem på til at påvirke lokalpolitikere og brænde igennem i medierne. Outcome harvesting kan være en god måde til at vurdere, hvad lokalafdelingerne rent faktisk gør anderledes efter en workshop hos os, ” forklarer hun.

Traditionelt bygger monitorering og evaluering af en udviklingsindsats på planlægningen af projektet. Man planlægger aktiviteter, evaluerer aktiviteterne og håber på, at de bidrager til en langsigtet udviklingseffekt.

Det er vanskeligt at afgøre, om et projekts aktiviteter var det afgørende for en udvikling eller en forandring. Det er her, outcome harvesting kommer ind i billedet. Ved at opsamle information om effekten – typisk en ændring i aktørers holdninger eller handlinger, ændringer i lovgivning eller lignende – forsøger organisationen og samarbejdspartneren at finde frem til, præcist hvilken effekt et projekt har haft. Var det organisationens workshop, der var afgørende for forandringen, eller var det workshoppen sammen med andre elementer? Det er spørgsmål som dem, der skal afdække, hvor stort et bidrag organisationens arbejde i virkeligheden havde på forandringen.

Belgiske Goele Scheers har været med til at udvikle metoden, og i sidste uge faciliterede hun i samarbejde med Mellemfolkeligt Samvirke og Globalt Fokus en workshop i København om emnet.

Outcome harvesting kigger i dybden med, hvad et projekt har opnået. Man arbejder bagud og kigger på, hvordan et projekt har bidraget til forandring, for eksempel i forhold til ændringer i adfærd hos en aktør, som har indflydelse. Man skal kunne verificere, at der er et plausibelt link mellem udførelsen af et projekt og forandringen i adfærd,” forklarer hun.

Et stille paradigmeskift
Den nye metode til evaluering af projekter spås en stor fremtid, og flere organisationer og donorer har allerede udtrykt begejstring for nyskabelsen.

“Der er flere og flere donorer og organisationer, som er interesseret i at evaluere projekter på den her måde. The logical framework approach, som er den gængse metode for planlægning og styring af projekter, er stadig dominerende, men outcome harvesting vinder frem,” siger Goele Scheers.

Hun nævner UNDP, USAID og Verdensbanken som eksempler på organisationer, der er begyndt at benytte metoden. Danida er et af de organer, der ikke stiller krav til, hvilken evalueringsmetode organisationer bruger, hvilket tillader dem at vælge den metode, de selv synes er bedst, fortæller Goele Scheers og fortsætter:

“Der er helt tydeligt en villighed til at bruge outcome harvesting, som man ikke så for ti år siden. Jeg vil beskrive det som et paradigmeskift, selvom det stadig kan blive større,” siger hun.

Et tomrum bliver udfyldt
Goele Sheers synes, at den nye evalueringsmetode har været tiltrængt i branchen.

“Måling af outcome er et niveau i traditionel monitorering og evaluering, som ofte er overset. Outcome harvesting er relevant for mange projekter, fordi mange projekter har til formål at ændre menneskers adfærd. Derfor giver det mening at måle på netop det. Der er mange organisationer, der i dag kun måler på kvantitative parametre, for eksempel at de afholdt ti workshops, frem for at måle på den forandring, som de workshops bidrog til,” siger Goele Scheers.

Det er Gitte Robinson enig i det, og fremhæver samtidig inddragelsen af samarbejdspartneren som et vigtigt element.

“Med outcome harvesting inddrager man de mennesker, som resultaterne vedkommer. Når man gennemfører projekter, overlader de fleste dataindsamlingen og datafortolkningen til en ekstern konsulent. Den, der kender evalueringer bedst, er altså konsulenten, selvom konsulenten ikke skal være med til at implementere læringen fra evalueringen efterfølgende. Med outcome harvesting bliver konsulenten mere en facilitator i evalueringsprocessen,” forklarer hun og fortsætter:

“Ved at flytte dataindsamling og datafortolkning over på dem, der er involveret i projektet, opnår man en anden entusiasme, forståelse af ejerskab for evalueringens resultater,” siger hun.

Metoden kan ikke stå alene
Selvom metoden modtages positivt af flere organisationer, så er det ikke alle slags projekter, som den egner sig til.

Vaccinationskampagner er et eksempel på det. Her vil man typisk fokusere på impact, altså hvor mange børn der bliver vaccineret, så her vil det være mere relevant at bruge andre metoder. Hvis man derimod vil se på adfærdsændringer blandt sundhedspersonale eller samarbejde mellem sundhedspersonale på nationalt og lokalt niveau, så vil outcome harvesting være brugbart.

Gitte Robinson fra Danske Handicaporganisationer giver et andet eksempel på et projekt, hvor man ikke kan benytte metoden.

“Når vi snart skal i gang med at evaluere på de kapacitetsopbyggende arrangementer, for eksempel fyraftensmøder og kurser, som vi tilbyder, vil vi gerne høre fra brugerne, hvad de synes om det og hvad der kunne forbedres til næste gang. Der er outcome harvesting ikke det mest oplagte, fordi fokus mere er på hvad brugerne synes, end hvad der er kommet af konkrete resultater. Men når det handler om forandring i folks adfærd, for eksempel når lokalafdelinger skal påvirke mediedækningen af handicapområdet, så kan man bruge metoden,” afslutter hun.


Læs mere om metoden i artiklen 6 skridt til bedre effektmåling.

Forrige artikel 6 skridt til bedre effektmåling 6 skridt til bedre effektmåling Næste artikel Kan du svare på disse fundamentale spørgsmål om frivillighed? Kan du svare på disse fundamentale spørgsmål om frivillighed?
Hvordan efterlever ngo’er selv de gode intentioner? Vi har spurgt tre

Hvordan efterlever ngo’er selv de gode intentioner? Vi har spurgt tre

SOCIALT ANSVAR: De siger fra og råber højt, når andre gør miljøet eller mennesker fortræd. Men hvad gør ngo’er for at tage deres egen medicin, når de spiser frokost i kantinen eller rejser ud i verden? Vi har spurgt FSC Danmark, Fødevarebanken og Mellemfolkeligt Samvirke, hvordan de konkret tænker CSR ind i hverdagen.

Gør beslutningerne mere demokratiske med digitale afstemninger

Gør beslutningerne mere demokratiske med digitale afstemninger

BOGGUDDRAG: Med digitale afstemninger kan civilsamfundsorganisationer inddrage flere i beslutningsprocesserne og skabe en mere inkluderende frivillighedskultur. Jacob Bøtter er forfatter til bogen Fuck it, Ship it som er en samling digitale muligheder og værktøjer. Her får du et uddrag fra bogen og et digitalt værktøj, som ifølge Jacob Bøtter kan løfte civilsamfundsorganisationers arbejde.

Frem videndeling i organisationen med jeres egen Wikipedia

Frem videndeling i organisationen med jeres egen Wikipedia

BOGUDDRAG: Skab bedre videndelingen og erfaringsudveksling med jeres egen Wikipedia, som alle medarbejdere og frivillige let kan bidrage til. Jacob Bøtter er forfatter til bogen “Fuck it, ship it”, som er en samling digitale muligheder og værktøjer. Her får du et uddrag fra bogen og et digitalt værktøj, som ifølge Jacob Bøtter kan løfte civilsamfundsorganisationers arbejde.

Digitale tjeklister gør det lettere at oplære nye frivillige

Digitale tjeklister gør det lettere at oplære nye frivillige

BOGUDDRAG: Med digitale tjeklister kan I let overdrage arbejdsopgaver fra én medarbejder til en anden og eksempelvis dele best practice for oplæring af nye frivillige. Jacob Bøtter er forfatter til bogen “Fuck it, ship it”, som indeholder en samling digitale værktøjer. Her får du et uddrag fra bogen og et digitalt værktøj, som kan løfte civilsamfundsorganisationers arbejde.

Tjekliste: Har I husket den gode GDPR-hygiejne?

Tjekliste: Har I husket den gode GDPR-hygiejne?

PERSONDATA: Når I hører ordet 'GDPR', tænker mange af jer muligvis: "Det har vi indført. Det er vi færdige med." Men at sikre persondatasikkerhed er et vedvarende arbejde, som skal vedligeholdes. Her får I to tjeklister, som I kan bruge til at sikre, at de gode GDPR-vaner bliver holdt ved lige i jeres forening.

Q&A: Få svar på fem spørgsmål, foreninger ofte stiller om GDPR

Q&A: Få svar på fem spørgsmål, foreninger ofte stiller om GDPR

GDPR: Hvad må foreninger bruge oplysninger om medlemmerne til? Og hvornår må de videregive oplysningerne? Det er blot to ud af mange spørgsmål, som foreninger ofte stiller om GDPR-reglerne. Få Justitsministeriets svar på de mest udbredte spørgsmål her.