Professor: Glem ranglister over skoler – beregningerne holder ikke

DEBAT: Ranglister over skoler bygger ikke på karakterer, men på den såkaldte skoleeffekt. Skoleeffekten er imidlertid udtryk for en tvivlsom fortolkning af de statistiske data, skriver Peter Allerup, professor i pædagogisk sociologi. 

Af Peter Allerup
Professor, Aarhus Universitet

Det er blevet en sport at lave ranglister over skoler på linje med dem, vi kender fra for eksempel tennis og fodbold. Og sandelig, om der også kan laves ranglister for hele lande, sådan som vi er vidne til, når resultaterne offentliggøres fra de velkendte PISA-undersøgelser. De højest præsterende står altid øverst, de lavest præsterende står altid nederst, så man må slå øjnene ned for rigtigt at se dem.

Selve hensigten med at offentliggøre sådanne ranglister bliver klargjort af liberalt tænkende, som sværger til tesen om, at dynamik skabes via ulighed. Som Eva Kjær Hansen som socialminister engang sagde: ”Og uligheden må gerne blive større, for den skaber dynamik i samfundet. Vi skal bare sikre, at dynamikken også kommer de dårligst stillede til gode”.

Indflydelse fra hjemmet
I gamle dage, det vil sige for cirka 15 år siden, lavede man ranglisterne ud fra nogle gennemsnit over karakterer ved 9. klasses afgangsprøve. Det var de rå, simple karakterer per elev, der blev anvendt og derfra viderebearbejdet til et resultat for hele skolen.

Ved synet af ranglisterne var der sikkert mange forældre og skolefolk, som tænkte, at lige præcis deres skoles lave placering skyldtes et hav af forskellige grunde, som ligger uden for skolen – og at placeringen i øvrigt så helt anderledes ud sidste år. Reaktionen blandt forældre var derfor sund: Glem det!

PISA 2000 var den første internationale undersøgelse, som lagde grunden til, at denne glemsel ikke skulle fortsætte. I resultatrapporten gengives en central graf, hvor elevpræstationerne sammenholdes med et indeks for hjemmets socioøkonomiske niveau (escs). Relationen indeholder tal fra alle eleverne i PISA, og en statistisk analyse (en såkaldt regressionsanalyse) peger på en klar sammenhæng: Jo højere værdi af det socioøkomiske indeks, jo bedre er elevpræstationen. Grafen med den indlagte regressionslinje kaldes den negative sociale arv og blev – og bliver – fortolket som indikation af, at eleven ’får noget med hjemmefra’, når man skal score i en PISA-test.

Det beskrevne ’hav af forskellige grunde’, som var årsagen til skolernes placering på ranglisterne, indeholder altså et kraftigt element af den hjemlige socioøkonomi – som i øvrigt måles ved hjælp af forældrenes uddannelse, erhverv og indkomst.

Skoleeffekt bygger på statistisk fejltolkning
Aha, tænkte CEPOS og en del andre analyseinstitutter: Så skal vi jo egentlig bare trække hjemmets indflydelse fra, før vi sammenligner eleverne eller skolerne.

En tanke, der umiddelbart lyder lige så sympatisk, som når man ønsker at fjerne generende støv og snavs fra en kikkert for at se klart. Grundlaget for denne tanke hedder statistisk kontrollerede sammenligninger mellem skolepræstationer, kontrolleret for det socioøkonomiske niveau, og anvendes ofte af statistikere.

CEPOS og andre vælger imidlertid at skabe et – i deres optik fortræffeligt – alternativt mål for den enkelte skole, som kaldes skoleeffekten. Denne effekt udregnes ved hjælp af den negative sociale arv-relation som forskellen mellem skolens faktiske resultat og det såkaldt beregnede resultat, som den omtalte regressionsanalyse fastlægger ud fra det socioøkonomiske niveau.

Fortolkningen er, at skoleeffekten måler, hvor meget skolen formår at løfte eleverne på skolen op/væk fra den ’forventede værdi’, som er bestemt af regressionsanalysen og skolens gennemsnitlige socioøkonomi. Jo større skoleeffekt, jo bedre skole, bliver den accepterede logik.

Men her hopper kæden af, fordi den nævnte forskel - med sit rigtige statistiske navn, residual - er et mål for, hvor ringe den omtalte regressionsmodel passer i grafen med den negative sociale arv. Jo mindre skoleeffekt/residual, jo bedre model, er den statistiske fortolkning. Store værdier af skoleeffekten er altså et udtryk for, at statistikere på CEPOS ikke har lavet en god statistisk regressionsmodel. Det vil sige jo større værdi, jo værre!

Medier viderebringer listerne ukritisk
Medier viderebringer i dag rangordningstabeller baseret på disse skoleeffekter, og landkort fremstilles med farver på kommuner, der kan løfte eleverne, over for kommuner, der ikke kan. Forældre og skolefolk, som før sagde ”glem det ”, opfatter nu disse rangordninger som et udtryk for sande relationer mellem skolernes gennemsnitlige præstationer. Men glem det! Der er brug for  kritisk stillingtagen til rangordning, og kritikken bør rettes mod de fejlagtige statistiske beregninger, som fører til fortolkningen af de såkaldte skoleeffekter.

Bertel Haarder (V) indførte i øvrigt skolens nationale tests i 2006 med den udtrykkelige klausul, at testresultaterne ikke måtte bruges som grundlag for en rangordning af skolerne. Hatten af for det – på trods af at det teknisk set er muligt at bestemme en vilkårlig elevs præstationsniveau med 10 decimaler.

Forrige artikel Skoleelever og TDC: Tilpas skoleskemaet til en digital fremtid Skoleelever og TDC: Tilpas skoleskemaet til en digital fremtid Næste artikel FTF: Sådan skal lederne i den offentlige sektor sikre fornyelse FTF: Sådan skal lederne i den offentlige sektor sikre fornyelse
  • Anmeld

    I.R.Bertelsen · Borger, vælger og pens. lærer.

    ....At gå over åen efter vand....?

    Tak, Peter Allerup, for din grundige vurdering, analyse og retvisende konklusion. Håber, de ansvarlige ledere på Christiansborg læser, forstår og gør brug af dit indlæg samt af din og kollegaers store viden og indsigt på området.
    **At drive en skole og fagligt arbejde, evaluere og tage dispositioner for at tilsikre, at hver eneste elev trives, udvikler sig og udnytter sine potentialer bedst muligt, har absolut intet med rangordning, effektivitetskontroller og sportskonkurrencer at gøre.**
    **Hvad skal en sådan statslig kontrol og rangordning bruges til....og af hvem? Hvad er formålet?**
    I min optik er det en miskreditering af de kommunale skoleforvaltninger og af skolerne, der fagligt og professionelt naturligvis har fingeren på pulsen til dagligt....og har stor viden om og faglig indsigt i at vurdere præstationsniveauer med 10 decimaler.


  • Anmeld

    Kasper Brandt · Ph.d.-stipendiat ved Økonomisk Institut, Københavns Universitet

    Data og statistik er IKKE bandeord

    Kære Peter,

    Nu omhandler min forskning mest skoler i Tanzania, men ideerne er de samme som hvis danske skoler skulle evalueres.

    Jeg er helt enig i at rå karaktergennemsnit ikke siger meget brugbart. Som du også påpeger, så kan de fleste forældre også godt abstrahere fra disse naive lister.

    Men hvad skal vi egentlig bruge disse analyser til bliver der spurgt i en anden kommentar? Det er jo for at gøre os dygtigere. Der er så mange skoler, så mange forskellige måder at undervise på, og så mange forskellige miljøer, at det kan være meget svært at identificere hvad der virker og hvad der virker knapt så godt. Det er her data og statistik kommer ind i billedet. Og ja, jeg ved godt at data og statistik nærmest er blevet bandeord i nogle kredse. Men det ændrer ikke på, at statistik kan være yderst brugbart hvis det anvendes ordentligt.

    Nu vil jeg nødig lægge ord i din mund, men det virker til du har et noget kritisk syn på, hvorvidt vi kan bruge statistik overhovedet til at forbedre folkeskolen. Såfremt vi kun havde de naive gennemsnit af karakterer, så ville jeg også holde mig væk. Men det er jo ikke tilfældet. Vi har så meget god information at der i den grad er grobund for brugbare analyser. Jeg tænker du måske bare er kritisk over for naive modeller, og måske ikke over for anvendeligheden af data og statistik generelt, er det korrekt?

    Du nævner også, at jo større skoleeffekt man finder jo dårligere er en model. Dette er en noget unuanceret måde at fortolke en model på. Ja, hvis R2 er lav så er modellen ikke god til at forklare variansen i data, så måske man lige skulle se, hvor god den oprindelige model er inden man forkaster den fuldstændig.

    Alt i alt spændende læsning, og jeg vil også gerne udtrykke min enighed i vigtigheden af kritisk stillingstagen fra både borgerne, eksperter, såvel som medierne.

    Mvh
    Kasper Brandt

  • Anmeld

    I.R.Bertelsen · Borger, vælger og pens. lærer

    Kasper Brandt

    Statistik kan være udmærket,... hvis den er valid. Vigtigt er det i hvert fald, at de rigtige parametre anvendes, Samtidigt kan statistik kun bruges formålstjenligt, hvis tal og resultater reelt i en efterfølgende evaluering sammenholdes med den faglige viden, indsigt og erfaring i virkelighedens verden.
    Visse analytiske målinger bliver forøvrigt bestilt til bestemte formål....for at fremme en bestemt påstand....en holdning eller et politisk mål.
    Selv læser jeg al statistik og analyse meget granskende og eftertænksomt.
    Kommer i tanker om det lille humoristiske indslag, som nok også de fleste analytikere kender:
    "En svensk undersøgelse viser, at vil man som cyklist undgå at blive kørt ned, så skal man drikke kaffe, medens man cykler. Der er nemlig ingen statistiske undersøgelser, der har påvist, at nogen er blevet kørt ned, medens de drak kaffe".
    ....Sådan er der så meget... :-)

  • Anmeld

    Henning Nielsen · Folkeskolelærer

    At stati stikkere bliver klogere..

    ...gør ikke os lærere klogere.

    At en given metode er bedre eller mere præcis hjælper os ikke, hvis årsagen til problemet er noget tredje og handlingen der skal udføres noget individuelt.

    Hvis lille Jokum ikke præsterer er det ikke noget med en valid metode, hvis årsagen er individuel. Måske går Jokum for sent i seng eller har bestemt sig for at være murer og gider derfor ikke tysk, for det skal han ikke bruge.

    Tag din model med ud i virkeligheden, Kasper Brandt.

  • Anmeld

    Kasper Brandt · Ph.d.-stipendiat ved Økomomisk Institut, Københavns Universitet

    Til Henning Nielsen

    Jeg mistænker at du har misforstået min kommentar. Jeg er overordentligt indforstået med at der er utrolig mange aspekter at tage højde for. Disse aspekter kan naturligvis være meget svære at kontrollere for i en statistisk model.

    Jeg husker en af mine undervisere sige noget i stil med følgende: "I vil altid tage fejl, og I vil aldrig ramme rigtigt i jeres forudsigelser. Til gengæld kan I komme en lille smule tættere på end ved at gætte tilfældigt."

    For lille Jokum vil læreren der har fingeren på pulsen være meget bedre til at fortælle hvad der hjælper og ikke hjælper. Det er jeg helt enig i. Og at komme ud i det du kalder "den virkelige verden" er selvfølgelig meget givende for folk der arbejder med statistik. Ligesom statistikerne kan lære en hel del af lærerne, så er jeg også af den opfattelse at lærere kan lære en enkelt ting eller to fra statistikere. De skal bare turde snakke med hinanden :-)

  • Anmeld

    I.R.Bertelsen · Borger, vælger og pens. lærer

    Ønskeliste: Se, lyt og lær.

    Ja. at evne og at turde tale sammen, at lytte til og at bruge hinandens indsigt og viden er helt fundamentalt.
    Der handler om vælgerne, såvel som politikerne, når de skal blive klogere. De må konsultere dem, der er klogere.....
    Det meget store og afgørende problem opstår, hvis den lovgivende forsamling ikke tør spørge / tale med dem, der fagligt og professionelt kender til tingene. Så forfalder de ofte til de statistiske målinger....der passer bedst til deres egen holdning,.... samt til exel.ark ledelse.....og SÅ kommer de dyre lovændringer eller fejldispositioner som det eksempelvis skete ved Folkeskolereformen.
    Faktisk, så kan statestik misbruges groft.
    DET skal vi vælgere være meget opmærksomme på.