Professor: Det overrasker mig, at erfarne forskere afviser almene gyldighedskriterier

Af Lars Qvortrup
Professor på DPU, Aarhus Universitet og leder af Nationalt Center for Skoleforskning

Den 6. august bragte Altinget et debatindlæg fra en gruppe forskere med den alarmerende titel ”Akademias interne magtinteresser spænder ben for vigtig viden om dagtilbud”.

I artiklen blev der skudt på den skandinaviske oversigt over dagtilbudsforskning, som Clearinghuse igennem en lang række år har udarbejdet på opdrag fra EVA. Ikke mindst stod jeg selv for skud, dels fordi jeg har fået det overordnede ansvar for oversigten, dels fordi jeg har udtalt mig i en pressemeddelelse om oversigten, som blev udsendt i marts 2018.

Det fremgår af debatindlægget, at der er tale om en kampplads, hvor der kæmpes om ”definitionsretten” til dagtilbudsforskning. Det bliver påstået, at reviewprocessen køres som en lukket proces, hvor kritikerne ikke har mulighed for at få indsigt i kriterierne for udarbejdelse af oversigten. Og sidst, men ikke mindst, påstår man, at de anvendte kvalitetskriterier er ”ideologiske” og prioriterer kvantitativ frem for kvalitativ forskning.

Alt dette gør det nødvendigt med en smule almindelig oplysning.

Proceduren er helt normal
Oversigten over skandinavisk dagtilbudsforskning er blevet udarbejdet i mange år.

Når kritikerne siger, at reliabilitet, validitet og troværdighed af dataindsamlingsmetoder eller dataanalyse ikke er alment anerkendte kvalitetskriterier for forskning og videnskab, så er jeg uenig.

Lars Qvortrup
Professor på DPU, Aarhus Universitet og leder af Nationalt Center for Skoleforskning

I opdraget står, at det skal være en oversigt over empirisk dagtilbudsforskning, som kan bruges af praktikere og beslutningstagere. Den grundlæggende mekanisme, når man laver den slags forskningsoversigter, er, at der ud fra forskellige kriterier gennemføres en inklusions- og eksklusionsproces: Hvilke publikationer skal med i oversigten, og hvilke skal ikke?

Først gennemføres der omfattende søgninger i relevante forskningsdatabaser. Dernæst foretages der en udvælgelse ud fra formelle kriterier, der handler om, hvilke typer af publikationer der skal inkluderes i oversigten.

For eksempel ønsker man ikke formidlingsartikler eller rent teoretiske bidrag, men empiriske publikationer med et praksissigte. Og endelig sendes alle de udvalgte publikationer ud til et reviewpanel af anerkendte forskere fra de tre deltagende lande: Norge, Sverige og Danmark. Reviewpanelet gennemgår og vurderer sammen med Clearinghouse medarbejderne ud fra et sæt kvalitetskriterier de udvalgte publikationer og afgør dermed, hvad der skal inkluderes i oversigten over årets publikationer. Det kan tilføjes, at denne procedure er helt sædvanlig, når der laves forskningsoversigter.

Kritikerne afslår at mødes
Allerede kort efter udsendelsen af den årlige oversigt og pressemeddelelse meldte nogle kritikere fra DPU sig.

I den anledning blev der afholdt et møde om sagen. Da dette møde ikke førte til en indbyrdes forståelse, gjorde jeg følgende:

Jeg inviterede en repræsentant for kritikerne til møde i Clearinghouse, så vi sammen kunne grave os ned i “maskinrummet” for at se, hvordan inklusions- og eksklusionskriterier virker (både de formelle og reviewgruppens vurderinger). Tidsrammen for mødet var “ubegrænset”, så vi virkelig kunne være grundige. Et af målene for dette møde var, at vi sammen kunne finde ud af, om der er skævheder i kriterierne. Denne invitation blev afslået af kritikergruppens talskvinde.

Jeg foreslog dernæst, at vi holdt et møde med kritikergruppen, hvor vi drøftede et eller to eksempler på artikler, der var blevet inkluderet/ekskluderet i bedømmelsesprocessen, og at vi gik dem grundigt igennem med inddragelse af de anonyme revieweres begrundelser. Her igennem kunne vi sammen finde ud af, om der var grund til selvbesindelse, eller om der ikke var. Også denne invitation blev afslået. 

Kort sagt: Begge forsøg på at gennemføre en drøftelse baseret på indsigt, saglighed og transparens blev afslået.

Det blev også i foråret 2018 besluttet, at hele reviewgruppen, Clearinghouse og de skandinaviske parthavere skal mødes i efteråret 2018 til et heldagsseminar.

På baggrund af et grundigt notat om de årlige forskningsoversigter (hvad er inkluderet/ekskluderet gennem årene? Hvordan fordeler kvantitativ og kvalitativ forskning sig gennem årene? Og så videre og så videre) vil vi vurdere, om der er grund til at ændre kriterierne. Også her har en repræsentant for kritikerne for flere måneder siden fået en invitation til at deltage. Vedkommende har ikke svaret. 

Så meget for “magtkamp”. Den opfattelse er for mig at se kritikernes konstruktion. Bestræbelsen har været en faglig drøftelse på et oplyst og transparent grundlag. 

Alment anerkendte kriterier 
Jeg siger i den pressemeddelelse, der har givet anledning til postyret: ”Forskerne har i gennemgangen af publikationerne vurderet, at der i en betragtelig del af studierne ikke er gjort tilstrækkelige forsøg på at etablere gentagelighed, reliabilitet, validitet og troværdighed af dataindsamlingsmetoder eller af selve dataanalysen.”

Her refererer jeg en kendsgerning: Sådan har forskerne i reviewgruppen faktisk vurderet de mange forskningspublikationer fra Norge, Sverige og Danmark. Skulle det have været fortiet? 

Det, der overrasker mig, er, at de dygtige og erfarne forskere, som står bag kritikken, afviser disse kriterier. ”Når forskningspublikationerne bliver kritiseret for ikke at gøre tilstrækkelige forsøg på at etablere gentagelighed, reliabilitet, validitet og troværdighed af dataindsamlingsmetoder, er det (…) ikke en neutral og alment accepteret udlægning af, hvad der karakteriserer god forskning, men snarere et ideologisk og normativt standpunkt,” skriver de.

Selv om jeg gerne vil diskutere, om gentagelighed er et rimeligt kriterium, bør man i hvert fald gøre rede for, om et givet studie kan gentages: Har det almen gyldighed, eller gælder det ikke uden for egne grænser? Og når kritikerne siger, at reliabilitet, validitet og troværdighed af dataindsamlingsmetoder eller dataanalyse ikke er alment anerkendte kvalitetskriterier for forskning og videnskab, så er jeg uenig.

Kan viden, der ikke er reliabel (det vil sige pålidelig), valid (det vil sige gyldig) eller troværdig, være resultatet af god forskning? Nej, naturligvis ikke. Man skal gøre rede for og sikre høj gyldighed af den viden, man frembringer, uanset om man arbejder kvalitativt eller kvantitativt! Man må som forsker leve op til alment anerkendte videnskabelige kriterier for gyldighed.

Hvorfor skal man som forsker arbejde på grundlag af almene gyldighedskriterier for forskningsviden? Det skal man af i hvert fald to grunde:

• For at sikre den bedst mulige udveksling af viden mellem forskere: Kan vi bygge videre på den viden, som andre forskere har frembragt? Det forudsætter, at viden er deklareret efter almene kriterier.
• For at sikre, at den frembragte forskningsviden kan bruges af praktikere og beslutningstagere: Kan vi stole på den viden, som forskere har frembragt? Igen forudsætter det, at viden er deklareret efter alment anerkendte kriterier.

Som sagt har kritikerne sagt nej til at deltage i de møder, jeg har inviteret til.

Jeg håber stadigvæk, at de vil lade sig repræsentere på det seminar, som vi holder med hele reviewgruppen i løbet af efteråret. Uanset om de kommer eller ej, er der én ting, der ligger os på sinde: At fortsætte med at lave forskningsoversigter, der er valide, reliable og troværdige, og som gennemføres efter principper og med metoder, der er fuldstændig transparente.