Lektor: Det er afgørende, at offentligt ansatte kan udfordre en algoritmes risikoscore

"Jeg finder det nærmest uhyggeligt, hvis så livsomvæltende beslutninger (…) skal træffes af en maskine."

Bemærkningen faldt et godt stykke nede i kommentarsporet på en Zetland-artikel om prædiktive algoritmer i den offentlige forvaltning. Læserens bekymring for maskinernes, eller rettere algoritmernes, indtog i den offentlige sektor afspejler en bredere bekymring i samfundet: Kan vi have tillid til algoritmerne? Kan vi stole på det offentliges myndighedsafgørelser, hvis det ikke længere kun er et menneske, men også en algoritme der står bag?

Historiske data som beslutningsstøtte
Prædiktive algoritmer angiver sandsynligheden for, at en fremtidig hændelse finder sted for borgere, der statistisk minder om borgere, som tidligere har været i kontakt med den offentlige forvaltning.

Det kan være sandsynligheden for at ende i langtidsledighed eller for at blive diagnosticeret med depression i kølvandet på alvorlig sygdom. Det kan også være sandsynligheden for, at en intervention eller en behandling, for eksempel et genoptræningsforløb, har den ønskede effekt. Tanken er altså, at mønstre i historiske data kan øge den offentlige sektors præcision i dens vurderinger af borgere. 

Spørgsmålet om, hvorvidt vi kan have tillid til algoritmerne, er vigtigt. Men det er desværre også et spørgsmål, hvortil vi endnu ikke kender svaret, og hvortil vi nok aldrig entydigt vil kunne svare enten ja eller nej. Kvaliteten af sagsbehandlingen afhænger nemlig ikke kun af, hvorvidt vi anvender algoritmer, men også hvordan.

Forudsigelsen baseres på andre borgere
Scenariet som Zetland-læseren frygter – at algoritmer træffer beslutninger i stedet for mennesker – er sjældent intentionen. I stedet taler man om algoritmer som en "beslutningsstøtte". Det vil sige som et input, der skal støtte, men altså ikke erstatte en menneskelig beslutning. Sådan en beslutningsstøtte kan gennem en "risikoscore" angive sandsynligheden for, at en hændelse vil finde sted, eller at et behov vil opstå i fremtiden. 

Borgeren bliver reduceret til mønstre fundet i andre borgeres historiske sagsforløb.

Helene Friis Ratner
Lektor, Aarhus Universitet

Det afgørende spørgsmål handler derfor om, hvordan den offentlige sektor vil gøre brug af sådan en beslutningsstøtte. For hvordan sikrer vi, at den netop bliver brugt som en støtte, der måske, måske ikke, er relevant i en given myndighedsafgørelse? Og netop ikke bliver brugt som et facit, der skal følges blindt?

Her spiller både medarbejdernes (de fagprofessionelle) og ledernes teknologiforståelse en central rolle. For det første er det vigtigt at have forståelse for, at prædiktive algoritmer gør borgeren synlig som en sandsynlig fremtid. Det betyder, at det offentlige kan fremme eller forebygge, at en fremtidig hændelse vil finde sted og derfor handle på andet end borgerens aktuelle situation. 

Selvom prædiktive algoritmer ofte kommer med løftet om skræddersyet behandling, er forudsigelsen ikke vurderet ud fra borgerens egen unikke historie og kontekst. Derimod betyder det, at borgeren er profileret i forhold til andre borgere. Borgeren bliver altså reduceret til mønstre fundet i andre borgeres historiske sagsforløb.

Det faglige skøn er netop forudsætningen for, at en algoritme kan indgå som beslutningsstøtte.

Helene Friis Ratner
Lektor, Aarhus Universitet

Offentligt ansatte skal turde udfordre algoritmens risikoscore
Det er naturligvis ikke i sig selv dårligt, at den offentlige sektor kender til historiske mønstre i dens sagsbehandling. Faktisk kan man indvende, at den bør lære af sine data. Men det er vigtigt at forstå, at algoritmen aldrig kan udgøre hele sandheden om en borger. En risikoscore er netop en sandsynlig fremtid, og dens forudsigelse er behæftet med usikkerheder. Den enkelte borgers levede liv kan adskille sig betydeligt fra de statistiske mønstre, en computer har fundet i store datasæt. 

Derfor bliver det afgørende, at de offentligt ansatte både kan udfordre en algoritmes risikoscore, at de kan danne deres eget selvstændige skøn, og at de ansatte kan gå helhedsorienteret til borgeren og se mere og andet end algoritmens risikoscore. Til dette er kompetenceudvikling vigtig, men på ingen måde tilstrækkelig. Ledelse og organisering er mindst lige så vigtige. 

Tid, organisatorisk læring og ansvarlige algoritmer

For det første skal ledelsen sikre, at medarbejderne har den nødvendige tid til at danne deres eget selvstændige skøn og udfordre algoritmens, eller deres egen, antagelse. Algoritmer er derfor ikke nødvendigvis tidsbesparende.

For det andet skal der være en organisatorisk læring og forankring, for eksempel faglige fællesskaber, hvor man sammen kan undre sig over og lære, hvad sagsbehandling med algoritmer egentlig er for en størrelse. 

Vi må aldrig ende i en situation, hvor en sagsbehandler følger algoritmens anbefaling blot for at holde sin ryg fri.

Helene Friis Ratner
Lektor, Aarhus Universitet

Sidst, men ikke mindst, er det vigtigt, at algoritmer aldrig bruges til at holde offentligt ansatte ansvarlige for deres arbejde. I så fald vil der være tale om formålsforskydning eller "function creep", hvor algoritmen bruges til noget andet, end det der oprindeligt var hensigten.

Det kræver ikke megen fantasi at forestille sig et scenarie, hvor en sagsbehandler har begået en fejl og samtidigt har vurderet en sag anderledes end algoritmen. Kommunen hænges derefter offentligt ud for denne skandale, men pressen undlader at fortælle om de tilfælde, hvor det menneskelige skøn rent faktisk har reddet borgeren fra en algoritmes forkerte vurdering. 

Vi skal ikke følge algoritmernes anbefalinger blindt
I det øjeblik at ledere eller pressen kritiserer en sagsbehandler for ikke at følge en algoritmes anbefaling, underminerer man samtidigt dennes rum for at udøve et selvstændigt fagligt skøn. Det faglige skøn er netop forudsætningen for, at en algoritme kan indgå som beslutningsstøtte.

Selvfølgelig må algoritmerne meget gerne gøre forvaltningen klogere, især når den begår fejl. Men vi må aldrig ende i en situation, hvor en sagsbehandler følger algoritmens anbefaling blot for at holde sin ryg fri. "Jeg fulgte jo algoritmens anbefaling – jeg gjorde intet forkert". 

Det betyder, at det offentlige fortsat skal acceptere, at sagsbehandleren kan fejle, også selvom fejlen er opstået i modspil til en algoritme.

Ellers ender det med, at Zetland-læseren får ret i, at maskiner de facto erstatter mennesker i myndighedsafgørelser.