Forsker: Det fuldt dækkende indikatorsystem er en illusion

Af Kaare Aagaard
Seniorforsker ved Center for Forskningsanalyse, Aarhus Universitet

Spørgsmålet om, hvordan vi måler effekten af de offentlige forskningsinvesteringer står mere centralt på den politiske dagsorden end nogensinde tidligere. Tydeligst ses det i øjeblikket i brugen af bibliometri i alle afskygninger. Bibliometrien er et nyttigt værktøj, når vi ønsker at undersøge videnskabens interne kredsløb, men rummer også væsentlige begrænsninger og kan føre til uønskede effekter.

Tilgængeligheden og anvendelsen af bibliometriske indikatorer betyder imidlertid, at der i stadig stigende grad også efterspørges måder, hvorpå vi kan måle bredere samfundsmæssige effekter, så der derigennem kan skabes mere balancerede incitamenter for forskningen som helhed. Dette er der indlysende gode grunde til, men løsningen er desværre ikke lige for.

På et abstrakt plan er de færreste uenige i, at bedre mål for forskningens samfundsmæssige effekter er efterstræbelsesværdige, men i praksis er der væsentlige ’trade offs’ at tage hensyn til. I det øjeblik, vi bevæger os fra det abstrakte plan til spørgsmålet om konkret udformning og anvendelse af eventuelle mål, træder rækken af udfordringer tydeligt frem.   

Flere spørgsmål skal besvares
Indledningsvist bør man gøre sig helt klart, hvad formålet er med at opstille nye målesystemer. Dette formål skal være styrende for valget og vægtningen af eventuelle indikatorer – ikke omvendt, som det ofte ses. Handler målingen om fordeling af ressourcer og dermed om etablering af (flere) økonomiske incitamenter? Hvis ja: I hvilket omfang og på hvilket aggregeringsniveau? Ønsker vi fælles mål og indikatorer for hele systemet, eller skal der være plads til forskellighed på tværs af områder?

Er vi kun interesserede i kvantificerbare indikatorer, eller vil vi have et bredere og mere fintmasket sæt af mål? Taler vi om alle typer af samfundsmæssige effekter på både kort og lang sigt, eller skal der kun være fokus på direkte økonomiske effekter? Hvad er et rimeligt omkostningsniveau for udviklingen og driften af et sådan system, i forhold til de gevinster der potentielt kan opnås? Disse (og mange andre) valg og fravalg vil have afgørende konsekvenser for, hvordan og i hvilket omfang et nyt målingssystem vil påvirke forskningen.    

Forestillingen om, at der kan opstilles et fuldt dækkende og retfærdigt indikatorsystem, der kan indfange og belønne en bred palet af samfundsmæssige effekter af forskningen, er med andre ord en illusion.

Kaare Aagaard, seniorforsker på Aarhus Universitet

Selvom der i disse år arbejdes intenst med denne type spørgsmål på både nationalt og internationalt niveau, er der stadig ikke antydningen af konsensus om gode svar. Der er ikke nogen ’magic bullet’, der løser ovenstående udfordringer på en god måde, men stadig kun eksempler på systemer med betydelige problemer.

Forestillingen om, at der kan opstilles et fuldt dækkende og retfærdigt indikatorsystem, der kan indfange og belønne en bred palet af samfundsmæssige effekter af forskningen, er med andre ord en illusion.

Måske skal vi måle mindre?
Vanskelighederne betyder ikke, at vi ikke skal arbejde videre med at forbedre såvel forståelsen som målingen af samfundsmæssige effekter. Der er i høj grad brug for et bedre vidensgrundlag, der kan støtte (snarere end erstatte) politiske beslutninger. Der er imidlertid ligeledes behov for en anerkendelse af, at vi ikke aktuelt er i nærheden af at kunne måle os ud af den situation, der gør, at den offentlige forskning i mange tilfælde for ensidigt orienterer sig mod snævre akademiske kriterier.

Men hvis ikke mere måling er løsningen på problemstillingen, bør det diskuteres, om mindre måling kunne være det? Frem for at skrue op for incitamenterne til at sikre en højere grad af samfundsrelevans af forskningen, kunne det overvejes, om en bedre og billigere løsning ikke ville være at skrue ned for incitamenterne til den rene akademiske publicering.

Som systemet fungerer i dag, er det ud fra en karrierebetragtning uklogt at bruge energi på samfundsrelevante opgaver. Et første skridt i retning af en bedre balance kunne tages ved at nedtone BFI-systemet og dets afledte effekter.