Professor: Glem ranglister over skoler – beregningerne holder ikke

Af Peter Allerup
Professor, Aarhus Universitet

Det er blevet en sport at lave ranglister over skoler på linje med dem, vi kender fra for eksempel tennis og fodbold. Og sandelig, om der også kan laves ranglister for hele lande, sådan som vi er vidne til, når resultaterne offentliggøres fra de velkendte PISA-undersøgelser. De højest præsterende står altid øverst, de lavest præsterende står altid nederst, så man må slå øjnene ned for rigtigt at se dem.

Selve hensigten med at offentliggøre sådanne ranglister bliver klargjort af liberalt tænkende, som sværger til tesen om, at dynamik skabes via ulighed. Som Eva Kjær Hansen som socialminister engang sagde: ”Og uligheden må gerne blive større, for den skaber dynamik i samfundet. Vi skal bare sikre, at dynamikken også kommer de dårligst stillede til gode”.

Indflydelse fra hjemmet
I gamle dage, det vil sige for cirka 15 år siden, lavede man ranglisterne ud fra nogle gennemsnit over karakterer ved 9. klasses afgangsprøve. Det var de rå, simple karakterer per elev, der blev anvendt og derfra viderebearbejdet til et resultat for hele skolen.

Der er brug for kritisk stillingtagen til rangordning, og kritikken bør rettes mod de fejlagtige statistiske beregninger, som fører til fortolkningen af de såkaldte skoleeffekter.

Peter Allerup
Professor

Ved synet af ranglisterne var der sikkert mange forældre og skolefolk, som tænkte, at lige præcis deres skoles lave placering skyldtes et hav af forskellige grunde, som ligger uden for skolen – og at placeringen i øvrigt så helt anderledes ud sidste år. Reaktionen blandt forældre var derfor sund: Glem det!

PISA 2000 var den første internationale undersøgelse, som lagde grunden til, at denne glemsel ikke skulle fortsætte. I resultatrapporten gengives en central graf, hvor elevpræstationerne sammenholdes med et indeks for hjemmets socioøkonomiske niveau (escs). Relationen indeholder tal fra alle eleverne i PISA, og en statistisk analyse (en såkaldt regressionsanalyse) peger på en klar sammenhæng: Jo højere værdi af det socioøkomiske indeks, jo bedre er elevpræstationen. Grafen med den indlagte regressionslinje kaldes den negative sociale arv og blev – og bliver – fortolket som indikation af, at eleven ’får noget med hjemmefra’, når man skal score i en PISA-test.

Det beskrevne ’hav af forskellige grunde’, som var årsagen til skolernes placering på ranglisterne, indeholder altså et kraftigt element af den hjemlige socioøkonomi – som i øvrigt måles ved hjælp af forældrenes uddannelse, erhverv og indkomst.

Skoleeffekt bygger på statistisk fejltolkning
Aha, tænkte CEPOS og en del andre analyseinstitutter: Så skal vi jo egentlig bare trække hjemmets indflydelse fra, før vi sammenligner eleverne eller skolerne.

En tanke, der umiddelbart lyder lige så sympatisk, som når man ønsker at fjerne generende støv og snavs fra en kikkert for at se klart. Grundlaget for denne tanke hedder statistisk kontrollerede sammenligninger mellem skolepræstationer, kontrolleret for det socioøkonomiske niveau, og anvendes ofte af statistikere.

CEPOS og andre vælger imidlertid at skabe et – i deres optik fortræffeligt – alternativt mål for den enkelte skole, som kaldes skoleeffekten. Denne effekt udregnes ved hjælp af den negative sociale arv-relation som forskellen mellem skolens faktiske resultat og det såkaldt beregnede resultat, som den omtalte regressionsanalyse fastlægger ud fra det socioøkonomiske niveau.

Fortolkningen er, at skoleeffekten måler, hvor meget skolen formår at løfte eleverne på skolen op/væk fra den ’forventede værdi’, som er bestemt af regressionsanalysen og skolens gennemsnitlige socioøkonomi. Jo større skoleeffekt, jo bedre skole, bliver den accepterede logik.

Men her hopper kæden af, fordi den nævnte forskel - med sit rigtige statistiske navn, residual - er et mål for, hvor ringe den omtalte regressionsmodel passer i grafen med den negative sociale arv. Jo mindre skoleeffekt/residual, jo bedre model, er den statistiske fortolkning. Store værdier af skoleeffekten er altså et udtryk for, at statistikere på CEPOS ikke har lavet en god statistisk regressionsmodel. Det vil sige jo større værdi, jo værre!

Medier viderebringer listerne ukritisk
Medier viderebringer i dag rangordningstabeller baseret på disse skoleeffekter, og landkort fremstilles med farver på kommuner, der kan løfte eleverne, over for kommuner, der ikke kan. Forældre og skolefolk, som før sagde ”glem det ”, opfatter nu disse rangordninger som et udtryk for sande relationer mellem skolernes gennemsnitlige præstationer. Men glem det! Der er brug for  kritisk stillingtagen til rangordning, og kritikken bør rettes mod de fejlagtige statistiske beregninger, som fører til fortolkningen af de såkaldte skoleeffekter.

Bertel Haarder (V) indførte i øvrigt skolens nationale tests i 2006 med den udtrykkelige klausul, at testresultaterne ikke måtte bruges som grundlag for en rangordning af skolerne. Hatten af for det – på trods af at det teknisk set er muligt at bestemme en vilkårlig elevs præstationsniveau med 10 decimaler.