Fonde: Forskningsfonde bør tage hensyn til kendt bias i fordelingen af midler

DEBAT: Der kan være bias i fordelingen af fondes midler. Vi kan imødekomme udfordringerne i det nuværende system ved give mulighed for, at der ikke skal være konsensus om fordeling af alle midler, skriver Thomas Sinkjær, Jan Egebjerg og Thomas Bjørnholm.

Af Thomas Sinkjær, Jan Egebjerg og Thomas Bjørnholm
Hhv. Head of Talent Programmes, Lundbeckfonden, forskningsdirektør, Lundbeckfonden og forskningsdirektør, Villum Fonden

Blandt ansøgere til forskningsmidler i åben konkurrence nævnes somme tider, at bedømmelsesprocesserne er lidt af et lotteri.

Kan det virkelig passe, at de internationalt anerkendte forskere i fondenes bedømmelsespaneler – efter omhyggeligt at have læst, vurderet og diskuteret de mange ansøgninger om forskningsstøtte – tager beslutninger, som kan sidestilles med en lodtrækning?

Svaret er et både-og.

Risiko for bias
Studier baseret på de mange tusinde ansøgninger, som de helt store forskningsfonde, som for eksempel National Institute of Health (NIH) i USA og Det Europæiske Forskningsråd (ERC), årligt modtager, giver et godt indblik i styrker og svagheder i de nuværende bedømmelsespanelers processer.

Processer, der i langt overvejende grad er de samme uanset fond og land.

Bedømmelsespaneler er som udgangspunkt velegnede til at skelne de støtteværdige ansøgninger fra de ikke-støtteværdige.

Men ofte udfordres panelmedlemmerne af at skulle træffe valg mellem flere fremragende ansøgninger.

I sådanne situationer kan den enkeltes vægtning af forhold, som for eksempel projektidéens gennemførlighed eller den faglige profil i det forskningsmiljø, hvor projektet skal gennemføres, være udslagsgivende for, om en ansøgning indstilles til støtte.

Undersøgelser viser, at der netop i de tilfælde kan opstå en systematisk bias og en social prestige-mekanisme.

De bedømmelsesprocesser, som langt de fleste offentlige og private fonde anvender i dag, stammer fra 1960'erne og 1970'erne, hvor succesraterne i de store offentlige fonde oftest lå over 30 procent.

Med sådanne succesrater opnås højere diversitet og mindre bias.

I dag modtager fonde mange ansøgninger ved de åbne, brede opslag, hvoraf cirka 20-40 procent er støtteværdige.

Studier har vist, at ved lave succesrater, for nogle opslag allerede ved succesrater på 20 procent, opstår der systematisk bias, uanset hvor store anstrengelser forskerne i bedømmelsespanelerne gør sig for at indstille de bedste projekter til støtte.

Trumfkort over konsensus
Mange er opmærksomme på de udfordringer, det nuværende bedømmelsessystem har, og et stigende antal fonde, selvom det fortsat er få, afprøver modificerede bedømmelsesmodeller.

Her skal vi fremhæve to.

Den ene model er udviklet for at fremme chancen for støtte til innovative og uortodokse forskningsidéer, som ofte ikke ville opnå konsensus i et klassisk bedømmelsespanel.

Den anden model er et forsøg på at mindske bias og øge diversiteten ved at bruge det bedste fra det nuværende bedømmelsessystem i kombination med lodtrækning blandt de bedste ansøgninger.

I Lundbeckfonden og Villum Fonden afprøver vi en ny måde at udvælge ansøgninger på, der ønsker at teste et udfordrende eksperiment eller et spørgsmål, som er nyt eller kontroversielt. Begge fonde anvender godt 10 procent af deres uddelingsmidler på disse programmer.

Som ansøger er man anonym, hvilket giver plads til at indsende opsigtsvækkende idéer, som man ellers er mindre tilbøjelig til at ville præsentere, fordi man som ung forsker kan være bange for at få hård kritik af de fagfæller, der bedømmer ens ansøgning.

Samtidig er den konsensusdrevne arbejdsmetode i bedømmelsespanelerne justeret sådan, at hver bedømmer i panelet, via et såkaldt trumfkort, kan indstille én ansøgning til støtte, som de finder særligt innovativ – også selvom de andre bedømmere i panelet ikke er enige.

Strategien giver således mulighed for i højere grad at bevilge støtte til risikofyldte og anderledes projekter – og bedømmelsespanelet behøver ikke at være enig i, at det er en god idé.

I Lundbeckfonden kan op til halvdelen af de projekter, der bevilliges støtte, udløses på et trumfkort. Resten udvælges på baggrund af den samlede score, som bedømmerne har givet ansøgningerne.

Villum Fonden har en lignende ordning.

Med det design håber vi om nogle år at kunne vurdere, om trumfkortet, og dermed reelt, om det individuelle panelmedlem, kan spotte en nyskabende forskningsidé bedre end den konsensusdrevne indstillingsmetode.

Lodtrækning kan give mere fair fordeling
For at mindske bias og forbedre diversitet med hensyn til faglige emner, anciennitet, race, køn og sociale prestigemekanismer afprøver blandt andet Det Sundhedsvidenskabelige Forskningsråd i New Zealand og The Swiss National Science Foundation (SNSF) en model, hvor projektbevillinger tildeles ved hjælp af et modificeret lotteri.

Her identificerer bedømmelsespaneler på klassisk vis den gruppe af ansøgninger, der er mest støtteværdige. Hvis denne pulje overstiger de midler, der er til rådighed, foretages lodtrækning blandt ansøgningerne, indtil midlerne er brugt op.

Metoden er interessant og praktiseres i en modificeret version blandt andet af Volkswagen Stiftung i Tyskland.

Erfaringer fra panelbedømmelser i offentlige og private fonde i Danmark og udlandet viser, at man næsten altid kan dele indkomne ansøgninger – ofte flere hundrede – op i tre grupper:

En gruppe med ganske få exceptionelle ansøgninger. Dernæst en gruppe, der består af et større antal støtteværdige ansøgninger og endelig en gruppe af ansøgninger, der ikke er støtteværdige.

Den lille gruppe af ansøgninger af exceptionel kvalitet (ofte under fem procent af ansøgningerne) bør altid først sikres bevilling.

Hvis gruppen af støtteværdige ansøgninger overstiger de midler, der er til rådighed, er det i dag bedømmelsespanelernes opdrag at prioritere denne gruppe af ansøgninger, indtil midlerne er opbrugt.

Dette er et tidskrævende og vanskeligt arbejde for panelmedlemmerne, og det er netop disse situationer, der kan medføre uønskede valg.

Derfor kunne det for denne gruppe være interessant at få undersøgt, om lodtrækning er en lige så effektiv metode at udvælge ansøgninger på. En lodtrækning ville sikre mindre bias og en større diversitet blandt de udvalgte ansøgninger.

Med hensyn til det indledende spørgsmål er vores svar, at bedømmelsespaneler er det "mindst ringe" værktøj til udvælgelse af forskningsansøgninger ved åbne opslag.

Forskningsfondene bør dog i stigende grad tilpasse bedømmelsesprocesserne i forhold til forskningsprogrammets formål, kendt bias og de succesrater, man forventer.

Vi har givet to eksempler herpå, hvor vi i øjeblikket afprøver den ene. Vi håber, at andre fonde har mod på at afprøve den anden.

Forrige artikel Partnerskab: Finanslov viser vilje til at holde på internationale studerende Partnerskab: Finanslov viser vilje til at holde på internationale studerende Næste artikel Akademikerne: Original forskning kræver fokus på forskningsmiljøer og bevillingssystemer Akademikerne: Original forskning kræver fokus på forskningsmiljøer og bevillingssystemer
Rapport: Manglende ligestilling på uddannelser kan skade kvaliteten

Rapport: Manglende ligestilling på uddannelser kan skade kvaliteten

BALANCE: I en ny udgivelse har Danmarks Akkrediteringsinstitution indsamlet erfaringer om køn, kønsbalancer og ligestilling fra uddannelsesinstitutioner i ind- og udland. Institutionen finder, at ubalance i kønsfordelingen på uddannelser giver ringere kvalitet og problemer med at forsyne arbejdsmarkedet med færdiguddannede.