6 skridt til bedre effektmåling

EVALUERING: Den nye evalueringsmetode Outcome Harvesting skal give svar på, hvor meget forandring civilsamfundsarbejde egentlig skaber. Her er Globalt Fokus’ introduktion til metoden.

Af Ole Brauer
Konsulent i Globalt Fokus

Ændrer dit projekt noget i verden, eller fik du blot afholdt en række workshops med en god mavefornemmelse?

Outcome Harvesting er en ny evalueringsmetode, som bruges til at identificere, formulere og fortolke opnåede resultater af et projekt. Med andre ord: Hvordan ændrede verden sig efter dit projekt, og hvilke ændringer kan du tilskrive projektet?

Traditionelt bygger monitorerings- og evalueringsmetoder af en udviklingsindsats på indsatsens planlægning. Sådan her ser skabelonen ofte ud: Du planlægger at gennemføre nogle aktiviteter, der producerer noget (det kaldes outputs). Du forventer så, at tilvejebringelsen af outputs vil ændre noget (det kaldes outcomes), som du så antager eller håber vil bidrage til en langsigtet og varig udviklingseffekt (det kaldes impact).

Når du så skal se på, hvordan indsatsen faktisk gik, følger du den samme logik: Producerede de så faktisk de ønskede outputs? Og ændrede dine outputs mon noget virkeligt og varigt i verden?

Problemet er, at det er svært at finde linket mellem udførelsen af et projekt og forandringen i civilsamfundet. Det er her, Outcome Harvesting kommer ind i billedet.

Outcome Harvesting fokuserer nemlig på at opsamle information om, hvilke relevante ændringer der skete i projektets periode og hvilken rolle indsatsen har spillet på de ændringer. Der er typisk tale om ændringer i aktørers holdninger eller handlinger, nye samarbejdsrelationer, eller ændringer i lovgivning eller administrativ praksis på et givent område. Ved at inddrage både involverede og uafhængige aktører vurderer man indsatsens reelle effekt.

Indledende om metoden
Outcome Harvesting er en kompleks metode. Den kræver en del tid og ressourcer, men udbyttet kan til gengæld give meget nyttige resultater og læring. Den nærmere tilrettelæggelse afhænger meget af konteksten, karakteren af projektet og af ambitionerne. Outcome Harvesting kan samtidig implementeres som supplement til mere velkendte monitoreringsmetoder som Logical Framework Analysis og Theory of Change.

Centrale begrebsdefinitioner
For at forstå Outcome Harvesting er det i første omgang nødvendigt at forstå de forskellige begreber, som metoden anvender.

Outcome: Et outcome defineres som en observerbar og signifikant ændring i en social aktørs adfærd, politikker, relationer aktiviteter, praksis eller andet. Outcomes er blandt andet blevet påvirket af en change agent.

Change agent: En change agent defineres som en person eller en organisation, der medvirker til at skabe et outcome.

Social aktør: En social aktør defineres som en person, gruppe, organisation, institution, lokalsamfund eller andet fællesskab der ændrer sig, blandt andet på grund af en change agents intervention.

Harvest user: En harvest user defineres som den eller de personer, der skal bruge outcome-høsten som grundlag for at træffe beslutninger. Det kan være en eller flere inden for en change agent-organisation, eller udenforstående, f.eks. en donor.

Harvester(s): Harvester(s) er den eller de personer, der står for gennemførelsen af en Outcome Harvest. Det er typisk en konsulent eller en intern med støtte fra en konsulent.

Trin 1 – planlæg høsten
Som navnet indikerer, handler metoden grundlæggende om at ”høste outcomes” af et gennemført projekt/indsats og dermed identificere ændringer, som indsatsen har medvirket til. De centrale informationskilder her er change agents og de sociale aktører, som man ønsker at påvirke.

Det er vigtigt at være helt klar i formuleringen af, hvem der skal bruge resultaterne og hvad de skal bruges til.

Dernæst skal der formuleres spørgsmål om outcomes. En øvelse, som det er værd at bruge tid på, ved blandt andet at involvere harvest users.


Trin 2 – gennemgå dokumenter, formuler outcomes
Næste skridt for harvesterne er at gennemgå tilgængelig dokumentation, f.eks. program-/projektrapporter, casestudier, policy-dokumenter og lignende. På dette grundlag kan der allerede her ved trin 2 identificeres nogle outcomes, der kan testes nærmere i de følgende trin. Dette trin er en måde for harvesters at lære mere om det gennemførte projekt/indsats.

De enkelte outcomes skal beskrives nøje, og der kan det være behjælpeligt at bruge følgende spørgsmål:

  • Hvem er det, der har ændret en adfærd?
  • Hvad er det, der er blevet anderledes? Hvor meget?
  • Hvornår og hvor skete det?
  • Hvorfor er det vigtigt?
  • Hvori bestod change agents’ bidrag til ændringen (direkte/indirekte, delvis, tilsigtet/utilsigtet)?

Ikke alle outputs fører til outcomes, og vejen dertil er ofte ikke lineær. Man skal derfor forvente, at denne del af processen tager tid, og ikke alle outcomes er positive.



Trin 3 – involver change agents
Her handler det for harvesters om at komme i direkte kontakt med change agents for dels at afprøve og validere outcome-formuleringerne fra trin 2 og dels for at høste yderligere outcomes. Ideelt set foregår det via en eller flere workshops, men alternativt kan personlige interviews eller forskellige former for elektronisk kommunikation såsom Google Docs, også benyttes.

Harvesters faciliterer diskussion, revision og validering af allerede høstede outcomes, samt identificering og formulering af nye. De samme formuleringsprincipper som skitseret under trin 2 gælder her.

Det er her ved trin 3, at de endelige outcome-formuleringer bliver til, så det er vigtigt, at der afsættes tilstrækkelig tid til at arbejde dem ordentligt igennem én for én. Processen bør ikke involvere for mange personer, dog kan der være brug for flere harvesters og en opdeling af gruppen.

Social forandring kan være både op og ned ad bakke. Selv små ændringer kan repræsentere en betydelig succes, og på den anden side er det ikke alle store ændringer, som kan tilskrives change agents.



Trin 4 – underbyg outcomes

Når outcome-beskrivelserne er pudset af i trin 3, bør de hver for sig valideres ved at udsættes for en vurdering af nogen, der kender til sammenhængen, men er uafhængig af change agents og ikke selv har været involveret i aktiviteterne. Vurderingen bør ikke kun gælde hvorvidt det, der beskrives som outcome, faktisk er indtruffet, men også hvor vigtigt det er, og om aktiviteterne med rimelighed kan anses for at have medvirket til resultatet i det beskrevne omfang.

Der kan ofte være ganske mange outcomes, så på dette trin skal harvesters bestemme både hvor mange og hvilke outcomes, der skal valideres, og af hvem og hvordan. Praktisk kan valideringen ofte gøres ved hjælp af et spørgeskema, der sendes til udvalgte personer.



Trin 5 – analysér og fortolk resultaterne
Hele øvelsens færdige produkt er et antal validerede outcomes. Afhængigt af hvad der fra starten var formålet, kan de høstede og underbyggede outcomes organiseres og analyseres på forskellige måder for at hjælpe med at besvare evalueringsspørgsmålene. For eksempel kan det være relevant at vægte outcomes efter deres vigtighed eller at skelne efter på hvilke niveauer i samfundet det viser sig, om de var planlagte eller ej.

Hvis antallet af outcomes er stort, kan en form for database vise sig nyttig, hvor de enkelte outcomes kategoriseres på relevante dimensioner. Man kan enten bruge specialiseret software eller Microsoft Excel til kategoriseringen.



Trin 6 – støt brug af resultaterne
Det er værd at understrege, at Outcome Harvesting ikke i sig selv producerer anbefalinger, men snarere peger på områder, som det er værd for de involverede organisationer og personer at diskutere nærmere med henblik på at nå frem til beslutninger om det videre arbejde. Tilrettelæggelse og facilitering af en sådan diskussion kan betragtes som processens sidste trin.

Forrige artikel Når frivilligledelse også praktiseres på toilettet Når frivilligledelse også praktiseres på toilettet Næste artikel Ny evalueringsmetode: Outcome harvesting stiller skarpt på effekten af udførte projekter Ny evalueringsmetode: Outcome harvesting stiller skarpt på effekten af udførte projekter
Er de frivilliges engagement blevet mere episodisk og mindre stabilt? Vi er gået til forskningen for at finde svar

Er de frivilliges engagement blevet mere episodisk og mindre stabilt? Vi er gået til forskningen for at finde svar

FORSKNINGSFORMIDLING: Ifølge Center for Frivilligt Socialt Arbejde er andelen af faste frivillige faldet de seneste to år, mens den episodiske frivillighed er vokset. Hvis danskernes frivillige engagement er i forandring, kan det få store konsekvenser for foreningslivet. Vi har derfor fået to professorer til at se nærmere på, om der faktisk er en tendens. “Det er nemt at gå med den pessimistiske fortælling. Spørgsmålet er bare, om det er rigtigt, for der er en alternativ mulighed for fortolkning,” siger Lars Skov Henriksen. 

Projekthåndbog til unge kulturskabere: Sådan skaber du det gode projektteam

Projekthåndbog til unge kulturskabere: Sådan skaber du det gode projektteam

BOGGUDDRAG:"HACK DET!" er en projekthåndbog til unge kulturskabere, som beskriver, hvordan kulturprojekter bevæger sig fra A til Z. Bogen indeholder en række værktøjer til projektledelse, ideudvikling, organisering, markedsføring m.m. Her får du et uddrag fra bogen om, hvordan man skaber et godt projektteam. 

Projekthåndbog til unge kulturskabere: Sådan bliver du bedre til ideudvikling

Projekthåndbog til unge kulturskabere: Sådan bliver du bedre til ideudvikling

BOGGUDDRAG:"HACK DET!" er en projekthåndbog til unge kulturskabere og beskriver, hvordan kulturprojekter bevæger sig fra A til Z. Bogen indeholder en række værktøjer i forhold til projektledelse, ideudvikling, organisering, markedsføring med mere. Her får du et uddrag fra bogen med værktøjer til ideudvikling. 

Unge klimaaktivister får ny fond

Unge klimaaktivister får ny fond

NY FOND: Tøjvirksomheden Organic Basics vil øremærke en procentdel af deres millionomsætning til unge klimaaktivister. Civil ulydighed skræmmer os ikke, lyder det fra folkene bag den nye fond.

Trin for trin-guide til dig, som vil puste mere liv i din landsby

Trin for trin-guide til dig, som vil puste mere liv i din landsby

BYUDVIKLING: Danskerne flytter mod byerne, og mange landsbyer kæmper med affolkning og butikslukninger. Her får du en trin for trin-guide til, hvordan du kan forsøge at vende afvikling til udvikling ved at tromme landsbyen sammen og få organiseret jer.  

Fire gode råd til at skabe landsbyudvikling ved at tænke bæredygtigt

Fire gode råd til at skabe landsbyudvikling ved at tænke bæredygtigt

GRØN UDVIKLING: Bliv enige om, hvad bæredygtighed er for jer, og husk, at delebilsordninger og lokalproduceret mad skal gå hånd i hånd med social, økonomisk og kulturel bæredygtighed. Sådan lyder nogle af rådene fra Torup, som netop er blevet kåret som årets landsby 2019.

Sådan vendte Fejø fraflytning til tilflytning

Sådan vendte Fejø fraflytning til tilflytning

BEST PRACTICE: Lær af fejøboerne, som ved at stå sammen undgik skolelukning, fik bremset fraflytningen og skabt et blomstrende øsamfund, som hvert år siger velkommen til nye tilflyttere. 

Gode råd til et bedre samarbejde mellem ildsjæle og kommuner

Gode råd til et bedre samarbejde mellem ildsjæle og kommuner

FIK DU LÆST: Civilsamfundets ildsjæle oplever af og til, at kommunen taler et sprog, mens de selv taler et helt andet. Vi har derfor inviteret en række projektmagere og kommunale aktører til at give deres bedste råd til, hvordan samarbejdet kan blive endnu bedre. Denne artikel blev bragt første gang i september 2018. Nogle informationer er derfor et år gamle, men de gode råd holder stadig, derfor bringer vi den igen.

Steen Hildebrandt om civilsamfundet: Der er brug for simpel oprydning 

Steen Hildebrandt om civilsamfundet: Der er brug for simpel oprydning 

EFTERSYN: Indfør et årligt værdieftersyn på chefgangene i de danske civilsamfundsorganisationer, lyder opfordringen fra ledelsesekspert Steen Hildebrandt. Han efterspørger selvransagelse og et kritisk blik på ledelsesforhold og -kultur med hjælp fra uvildige eksperter.

Bosse: Vi skal turde lønne vores ngo-direktører ordentligt

Bosse: Vi skal turde lønne vores ngo-direktører ordentligt

LØNFORHØJELSE: Skal civilsamfundssektoren løftes, skal bestyrelserne lønne direktørerne bedre. Sådan lød den klare melding fra Stine Bosse, der i en paneldebat om ledelse i civilsamfundet hos Altinget ville have de danske ngo-bestyrelser til lommerne for at rekruttere gode ledere, som kan udvikle sektoren.

Sådan håndterer du paradokserne i frivilligledelse

Sådan håndterer du paradokserne i frivilligledelse

FRIVILLIGLEDELSE: Ledelse af frivillige er fyldt med paradokser, mener ErhvervsPhD ved Roskilde Universitet Jonas Hedegaard. Her er hans bud på, hvordan organisationer kan skabe mening og retning, når værdier, motivation og mål kan være i konflikt.