6 skridt til bedre effektmåling

Af Ole Brauer
Konsulent i Globalt Fokus

Ændrer dit projekt noget i verden, eller fik du blot afholdt en række workshops med en god mavefornemmelse?

Outcome Harvesting er en ny evalueringsmetode, som bruges til at identificere, formulere og fortolke opnåede resultater af et projekt. Med andre ord: Hvordan ændrede verden sig efter dit projekt, og hvilke ændringer kan du tilskrive projektet?

Traditionelt bygger monitorerings- og evalueringsmetoder af en udviklingsindsats på indsatsens planlægning. Sådan her ser skabelonen ofte ud: Du planlægger at gennemføre nogle aktiviteter, der producerer noget (det kaldes outputs). Du forventer så, at tilvejebringelsen af outputs vil ændre noget (det kaldes outcomes), som du så antager eller håber vil bidrage til en langsigtet og varig udviklingseffekt (det kaldes impact).

Når du så skal se på, hvordan indsatsen faktisk gik, følger du den samme logik: Producerede de så faktisk de ønskede outputs? Og ændrede dine outputs mon noget virkeligt og varigt i verden?

Problemet er, at det er svært at finde linket mellem udførelsen af et projekt og forandringen i civilsamfundet. Det er her, Outcome Harvesting kommer ind i billedet.

Outcome Harvesting fokuserer nemlig på at opsamle information om, hvilke relevante ændringer der skete i projektets periode og hvilken rolle indsatsen har spillet på de ændringer. Der er typisk tale om ændringer i aktørers holdninger eller handlinger, nye samarbejdsrelationer, eller ændringer i lovgivning eller administrativ praksis på et givent område. Ved at inddrage både involverede og uafhængige aktører vurderer man indsatsens reelle effekt.

Indledende om metoden
Outcome Harvesting er en kompleks metode. Den kræver en del tid og ressourcer, men udbyttet kan til gengæld give meget nyttige resultater og læring. Den nærmere tilrettelæggelse afhænger meget af konteksten, karakteren af projektet og af ambitionerne. Outcome Harvesting kan samtidig implementeres som supplement til mere velkendte monitoreringsmetoder som Logical Framework Analysis og Theory of Change.

Centrale begrebsdefinitioner
For at forstå Outcome Harvesting er det i første omgang nødvendigt at forstå de forskellige begreber, som metoden anvender.

Outcome: Et outcome defineres som en observerbar og signifikant ændring i en social aktørs adfærd, politikker, relationer aktiviteter, praksis eller andet. Outcomes er blandt andet blevet påvirket af en change agent.

Change agent: En change agent defineres som en person eller en organisation, der medvirker til at skabe et outcome.

Social aktør: En social aktør defineres som en person, gruppe, organisation, institution, lokalsamfund eller andet fællesskab der ændrer sig, blandt andet på grund af en change agents intervention.

Harvest user: En harvest user defineres som den eller de personer, der skal bruge outcome-høsten som grundlag for at træffe beslutninger. Det kan være en eller flere inden for en change agent-organisation, eller udenforstående, f.eks. en donor.

Harvester(s): Harvester(s) er den eller de personer, der står for gennemførelsen af en Outcome Harvest. Det er typisk en konsulent eller en intern med støtte fra en konsulent.

Trin 1 – planlæg høsten
Som navnet indikerer, handler metoden grundlæggende om at ”høste outcomes” af et gennemført projekt/indsats og dermed identificere ændringer, som indsatsen har medvirket til. De centrale informationskilder her er change agents og de sociale aktører, som man ønsker at påvirke.

Det er vigtigt at være helt klar i formuleringen af, hvem der skal bruge resultaterne og hvad de skal bruges til.

Dernæst skal der formuleres spørgsmål om outcomes. En øvelse, som det er værd at bruge tid på, ved blandt andet at involvere harvest users.

Trin 2 – gennemgå dokumenter, formuler outcomes
Næste skridt for harvesterne er at gennemgå tilgængelig dokumentation, f.eks. program-/projektrapporter, casestudier, policy-dokumenter og lignende. På dette grundlag kan der allerede her ved trin 2 identificeres nogle outcomes, der kan testes nærmere i de følgende trin. Dette trin er en måde for harvesters at lære mere om det gennemførte projekt/indsats.

De enkelte outcomes skal beskrives nøje, og der kan det være behjælpeligt at bruge følgende spørgsmål:

• Hvem er det, der har ændret en adfærd?
• Hvad er det, der er blevet anderledes? Hvor meget?
• Hvornår og hvor skete det?
• Hvorfor er det vigtigt?
• Hvori bestod change agents’ bidrag til ændringen (direkte/indirekte, delvis, tilsigtet/utilsigtet)?

Ikke alle outputs fører til outcomes, og vejen dertil er ofte ikke lineær. Man skal derfor forvente, at denne del af processen tager tid, og ikke alle outcomes er positive.

Trin 3 – involver change agents
Her handler det for harvesters om at komme i direkte kontakt med change agents for dels at afprøve og validere outcome-formuleringerne fra trin 2 og dels for at høste yderligere outcomes. Ideelt set foregår det via en eller flere workshops, men alternativt kan personlige interviews eller forskellige former for elektronisk kommunikation såsom Google Docs, også benyttes.

Harvesters faciliterer diskussion, revision og validering af allerede høstede outcomes, samt identificering og formulering af nye. De samme formuleringsprincipper som skitseret under trin 2 gælder her.

Det er her ved trin 3, at de endelige outcome-formuleringer bliver til, så det er vigtigt, at der afsættes tilstrækkelig tid til at arbejde dem ordentligt igennem én for én. Processen bør ikke involvere for mange personer, dog kan der være brug for flere harvesters og en opdeling af gruppen.

Social forandring kan være både op og ned ad bakke. Selv små ændringer kan repræsentere en betydelig succes, og på den anden side er det ikke alle store ændringer, som kan tilskrives change agents.

Trin 4 – underbyg outcomes
Når outcome-beskrivelserne er pudset af i trin 3, bør de hver for sig valideres ved at udsættes for en vurdering af nogen, der kender til sammenhængen, men er uafhængig af change agents og ikke selv har været involveret i aktiviteterne. Vurderingen bør ikke kun gælde hvorvidt det, der beskrives som outcome, faktisk er indtruffet, men også hvor vigtigt det er, og om aktiviteterne med rimelighed kan anses for at have medvirket til resultatet i det beskrevne omfang.

Der kan ofte være ganske mange outcomes, så på dette trin skal harvesters bestemme både hvor mange og hvilke outcomes, der skal valideres, og af hvem og hvordan. Praktisk kan valideringen ofte gøres ved hjælp af et spørgeskema, der sendes til udvalgte personer.

Trin 5 – analysér og fortolk resultaterne
Hele øvelsens færdige produkt er et antal validerede outcomes. Afhængigt af hvad der fra starten var formålet, kan de høstede og underbyggede outcomes organiseres og analyseres på forskellige måder for at hjælpe med at besvare evalueringsspørgsmålene. For eksempel kan det være relevant at vægte outcomes efter deres vigtighed eller at skelne efter på hvilke niveauer i samfundet det viser sig, om de var planlagte eller ej.

Hvis antallet af outcomes er stort, kan en form for database vise sig nyttig, hvor de enkelte outcomes kategoriseres på relevante dimensioner. Man kan enten bruge specialiseret software eller Microsoft Excel til kategoriseringen.

Trin 6 – støt brug af resultaterne
Det er værd at understrege, at Outcome Harvesting ikke i sig selv producerer anbefalinger, men snarere peger på områder, som det er værd for de involverede organisationer og personer at diskutere nærmere med henblik på at nå frem til beslutninger om det videre arbejde. Tilrettelæggelse og facilitering af en sådan diskussion kan betragtes som processens sidste trin.