Professor: Det overrasker mig, at erfarne forskere afviser almene gyldighedskriterier

REPLIK: En gruppe forskere kritiserer den skandinaviske oversigt over dagtilbudsforskning for ideologiske kvalitetskriterier. Men derved afviser de almene gyldighedskriterier, skriver Lars Qvortrup.

Af Lars Qvortrup
Professor på DPU, Aarhus Universitet og leder af Nationalt Center for Skoleforskning

Den 6. august bragte Altinget et debatindlæg fra en gruppe forskere med den alarmerende titel ”Akademias interne magtinteresser spænder ben for vigtig viden om dagtilbud”.

I artiklen blev der skudt på den skandinaviske oversigt over dagtilbudsforskning, som Clearinghuse igennem en lang række år har udarbejdet på opdrag fra EVA. Ikke mindst stod jeg selv for skud, dels fordi jeg har fået det overordnede ansvar for oversigten, dels fordi jeg har udtalt mig i en pressemeddelelse om oversigten, som blev udsendt i marts 2018.

Det fremgår af debatindlægget, at der er tale om en kampplads, hvor der kæmpes om ”definitionsretten” til dagtilbudsforskning. Det bliver påstået, at reviewprocessen køres som en lukket proces, hvor kritikerne ikke har mulighed for at få indsigt i kriterierne for udarbejdelse af oversigten. Og sidst, men ikke mindst, påstår man, at de anvendte kvalitetskriterier er ”ideologiske” og prioriterer kvantitativ frem for kvalitativ forskning.

Alt dette gør det nødvendigt med en smule almindelig oplysning.

Proceduren er helt normal
Oversigten over skandinavisk dagtilbudsforskning er blevet udarbejdet i mange år.

I opdraget står, at det skal være en oversigt over empirisk dagtilbudsforskning, som kan bruges af praktikere og beslutningstagere. Den grundlæggende mekanisme, når man laver den slags forskningsoversigter, er, at der ud fra forskellige kriterier gennemføres en inklusions- og eksklusionsproces: Hvilke publikationer skal med i oversigten, og hvilke skal ikke?

Først gennemføres der omfattende søgninger i relevante forskningsdatabaser. Dernæst foretages der en udvælgelse ud fra formelle kriterier, der handler om, hvilke typer af publikationer der skal inkluderes i oversigten.

For eksempel ønsker man ikke formidlingsartikler eller rent teoretiske bidrag, men empiriske publikationer med et praksissigte. Og endelig sendes alle de udvalgte publikationer ud til et reviewpanel af anerkendte forskere fra de tre deltagende lande: Norge, Sverige og Danmark. Reviewpanelet gennemgår og vurderer sammen med Clearinghouse medarbejderne ud fra et sæt kvalitetskriterier de udvalgte publikationer og afgør dermed, hvad der skal inkluderes i oversigten over årets publikationer. Det kan tilføjes, at denne procedure er helt sædvanlig, når der laves forskningsoversigter.

Kritikerne afslår at mødes
Allerede kort efter udsendelsen af den årlige oversigt og pressemeddelelse meldte nogle kritikere fra DPU sig.

I den anledning blev der afholdt et møde om sagen. Da dette møde ikke førte til en indbyrdes forståelse, gjorde jeg følgende:

Jeg inviterede en repræsentant for kritikerne til møde i Clearinghouse, så vi sammen kunne grave os ned i “maskinrummet” for at se, hvordan inklusions- og eksklusionskriterier virker (både de formelle og reviewgruppens vurderinger). Tidsrammen for mødet var “ubegrænset”, så vi virkelig kunne være grundige. Et af målene for dette møde var, at vi sammen kunne finde ud af, om der er skævheder i kriterierne. Denne invitation blev afslået af kritikergruppens talskvinde.

Jeg foreslog dernæst, at vi holdt et møde med kritikergruppen, hvor vi drøftede et eller to eksempler på artikler, der var blevet inkluderet/ekskluderet i bedømmelsesprocessen, og at vi gik dem grundigt igennem med inddragelse af de anonyme revieweres begrundelser. Her igennem kunne vi sammen finde ud af, om der var grund til selvbesindelse, eller om der ikke var. Også denne invitation blev afslået. 

Kort sagt: Begge forsøg på at gennemføre en drøftelse baseret på indsigt, saglighed og transparens blev afslået.

Det blev også i foråret 2018 besluttet, at hele reviewgruppen, Clearinghouse og de skandinaviske parthavere skal mødes i efteråret 2018 til et heldagsseminar.

På baggrund af et grundigt notat om de årlige forskningsoversigter (hvad er inkluderet/ekskluderet gennem årene? Hvordan fordeler kvantitativ og kvalitativ forskning sig gennem årene? Og så videre og så videre) vil vi vurdere, om der er grund til at ændre kriterierne. Også her har en repræsentant for kritikerne for flere måneder siden fået en invitation til at deltage. Vedkommende har ikke svaret. 

Så meget for “magtkamp”. Den opfattelse er for mig at se kritikernes konstruktion. Bestræbelsen har været en faglig drøftelse på et oplyst og transparent grundlag. 

Alment anerkendte kriterier 
Jeg siger i den pressemeddelelse, der har givet anledning til postyret: ”Forskerne har i gennemgangen af publikationerne vurderet, at der i en betragtelig del af studierne ikke er gjort tilstrækkelige forsøg på at etablere gentagelighed, reliabilitet, validitet og troværdighed af dataindsamlingsmetoder eller af selve dataanalysen.”

Her refererer jeg en kendsgerning: Sådan har forskerne i reviewgruppen faktisk vurderet de mange forskningspublikationer fra Norge, Sverige og Danmark. Skulle det have været fortiet? 

Det, der overrasker mig, er, at de dygtige og erfarne forskere, som står bag kritikken, afviser disse kriterier. ”Når forskningspublikationerne bliver kritiseret for ikke at gøre tilstrækkelige forsøg på at etablere gentagelighed, reliabilitet, validitet og troværdighed af dataindsamlingsmetoder, er det (…) ikke en neutral og alment accepteret udlægning af, hvad der karakteriserer god forskning, men snarere et ideologisk og normativt standpunkt,” skriver de.

Selv om jeg gerne vil diskutere, om gentagelighed er et rimeligt kriterium, bør man i hvert fald gøre rede for, om et givet studie kan gentages: Har det almen gyldighed, eller gælder det ikke uden for egne grænser? Og når kritikerne siger, at reliabilitet, validitet og troværdighed af dataindsamlingsmetoder eller dataanalyse ikke er alment anerkendte kvalitetskriterier for forskning og videnskab, så er jeg uenig.

Kan viden, der ikke er reliabel (det vil sige pålidelig), valid (det vil sige gyldig) eller troværdig, være resultatet af god forskning? Nej, naturligvis ikke. Man skal gøre rede for og sikre høj gyldighed af den viden, man frembringer, uanset om man arbejder kvalitativt eller kvantitativt! Man må som forsker leve op til alment anerkendte videnskabelige kriterier for gyldighed.

Hvorfor skal man som forsker arbejde på grundlag af almene gyldighedskriterier for forskningsviden? Det skal man af i hvert fald to grunde:

  • For at sikre den bedst mulige udveksling af viden mellem forskere: Kan vi bygge videre på den viden, som andre forskere har frembragt? Det forudsætter, at viden er deklareret efter almene kriterier.
  • For at sikre, at den frembragte forskningsviden kan bruges af praktikere og beslutningstagere: Kan vi stole på den viden, som forskere har frembragt? Igen forudsætter det, at viden er deklareret efter alment anerkendte kriterier.

Som sagt har kritikerne sagt nej til at deltage i de møder, jeg har inviteret til.

Jeg håber stadigvæk, at de vil lade sig repræsentere på det seminar, som vi holder med hele reviewgruppen i løbet af efteråret. Uanset om de kommer eller ej, er der én ting, der ligger os på sinde: At fortsætte med at lave forskningsoversigter, der er valide, reliable og troværdige, og som gennemføres efter principper og med metoder, der er fuldstændig transparente.

Forrige artikel Krifa undrer sig: 3F jubler over løn under overenskomst til landbrugsmedarbejder Krifa undrer sig: 3F jubler over løn under overenskomst til landbrugsmedarbejder Næste artikel Rud Elberth: Facebook-valgkamp er unuanceret - men flytter stemmer Rud Elberth: Facebook-valgkamp er unuanceret - men flytter stemmer
  • Anmeld

    Lone Svinth · Lektor

    Saglig debat tak!!

    Med reference til kronikken skriver du Lars at: "det bliver påstået, at reviewprocessen køres som en lukket proces, hvor kritikerne ikke har mulighed for at få indsigt i kriterierne for udarbejdelse af oversigten" - hvor dælen har du denne "påstand" fra? Ikke fra vores kronik!!! Skal der være en debat, er det vel ikke for meget forlangt, at den er saglig.

  • Anmeld

    Anne-Marie Krogsbøll · Ufrivillig datamalkeo for datagrådige og uetiske forskere og dataherremænd på magtfulde poster.

    Er det muligt at få svar?

    Siden Lars Quortrup nu farer i blækhuset her, vil jeg høre, om det er muligt at få svar på dette spørgsmål, som jeg forsøgte at få svar på ift. debatartiklen forleden? Det er i mine øjne væsentlige spørgsmål ift. vurdering af videnskabelighed:

    I nedenstående youtube-indslag lyder til, at man anvender elevdata på individniveau i Quortrups forskning. Det siges ikke direkte, men det indtryk får man af den samkøring, som fremgår, og som bl.a. sammenholder trivsel med forældrenes uddannelsesniveau. Og det nævnes, at lærerne udfylder beskrivelser af hvert enkelt barn (ved forældrene det?)):
    https://www.youtube.com/watch?v=lnDIqZeLg-A

    I givet fald er det efter min opfattelse - med mindre man klart har oplyst børn og forældre om dette, og givet mulighed for at "opte out" - uetisk forskning. Og hvis børnene har gennemskuet dette - f.eks. fordi de har skullet logge ind med deres eget login - så er besvarelserne sandsynligvis upålidelige.

    I det debatindlæg i Politiken, som der henvises til sidst i you-tube indslaget, lover Quortrup, at i hans forskning kan børnene ikke identificeres. Sammenholdt med youtube-indslaget ser dette ud til at være et tomt løfte. Hvad menes der med "anonymt"? Hvis forskeren kan identificere barnet nok til, at dettes svar kan sammenholdes med lærerens beskrivelse af dette barn og med forældrenes indkomst etc., så kan man ikke med fuld ret love, at barnet ikke kan identificeres. I så fald er det spin ift. anonymitetsbegrebet, og uetisk forskning.

  • Anmeld

    Anne-Marie Krogsbøll · Ufrivillig dataslave i dataherremænds og datakvotekongers offentlige og private storstalde

    Bekræftende tavshed....

    Lars Qvortrup har ikke besvaret mit spørgsmål ovenfor. Jeg tillader mig at tage tavsheden som udtryk for, at jeg har ret i mine antagelser om manglende anonymitet og uetisk forskning, da det jo ville være så let som at klø sig i nakken at komme med en begrundet afvisning af mine påstande - hvis der altså ikke var noget sandt i dem.

    For en sikkerheds skyld: En evt. benægtelse af mine påstande vil - for at være troværdig - kræve, at der gøres rede for, hvordan besvarelserne "anonymiseres", og om forskere - evt. efter ansøgning - kan få adgang til besvarelserne på individniveau eller ikke-anonymiseret niveau.

  • Anmeld

    Christian X

    Ja og nej

    Selvfølgelig skal traditionelle valide metoder anvendes - men det er desværre ikke altid garant for et validt og brugbart resultat.

    Hvis det ikke er uafhængige statistikere, der har stået for undersøgelsen, burde resultatet aldrig opfattes som validt. Det sker desværre for ofte, at nogen med en holdning/bias har været involveret i f.eks. undersøgelsens afgrænsning…

    Troværdige undersøgelser vil derimod ofte ende med noget, der kan fortolkes - efter den bias, man nu har.
    Dvs. frit slag for gesjæftige politikere.