Vinder af Altinget og Dansk IT's debatkonkurrence: Transparens sikrer ikke tillid til myndigheders beslutninger

DEBAT: Når offentlige myndigheder træffer beslutninger på baggrund af databehandling, er transparens ofte i fokus. Men det er en forståelig begrundelse for beslutningen, der er behov for, skriver Marie Rørdam Fenger, Amalie Pauli Nyhagen og Niklas Kasenburg, der indtager førstepladsen i Altingets debatkonkurrence.

Af Marie Rørdam Fenger, Amalie Pauli Nyhagen og Niklas Kasenburg

Du har accepteret dem et utal af gange … cookies.

På diverse websider, da du hurtigt skulle finde en opskrift eller vise din kollega en artikel.

Men har du, ud fra de utallige pop-ups, forstået, hvad det præcis betyder for dig og dine informationer, når du accepterer eller afviser cookies?

Sandsynligvis ikke.

Transparens er vigtigt
For de cookie-pop-ups er, hvad der sker, når man tror, at transparens er lig med forståelse og tillid.

Transparens er vigtigt, men ikke på den måde, vi taler om det i dag. Forstår vi ikke det, så vil vi se mange flere problematiske løsninger fremover.

Egentlig ville vi foretrække, at vi talte om gennemsigtighed fremfor transparens, for der er ingen grund til at gøre det mere kompliceret, end det er i forvejen. Men når vi nu taler om transparens, så er der andre misforståelser, der er vigtigere at vende.

Som når vi taler om transparens i teknologiske løsninger, som om det automatisk vil skabe forståelse for og dermed tillid til teknologi.

Der mangler vi nogle mellemregninger.

Lad os tage et konkret eksempel: Der har været heftig debat om Gladsaxe Kommunes forsøg på at udvikle kunstig intelligens, der kunne sætte tidligere ind og hjælpe børn, der var i risiko for at blive tvangsfjernet.

Intentionen var god – hvem ønsker ikke, at børn og forældre, der mistrives, får hjælp så hurtigt som muligt?

Men juridiske eksperter vurderede, at Gladsaxe overtrådte persondataloven, og det fik Tine Vesterby, kommunens børne- og familiechef, til at udtale:

"Vi har i Gladsaxe fået en del tæv for, at vi vil lave dataunderstøttet opsporing. Vi kan begynde at arbejde med forældrene, før deres børn udvikler alvorlige symptomer på mistrivsel. Noget, der er rigtig vigtigt, er transparens og en fagpersons individuelle skøn."

Det er det – for så vidt gode – standardsvar på den typiske bekymring over situationer, hvor en algoritme understøtter vigtige beslutninger:

Det er et kompetent menneske, der skal tage den endelige beslutning, og der skal være transparens. Men hvad menes der i grunden med transparens, og hvornår giver transparens egentlig tillid?

Vi vil have en begrundelsen
Hvis noget er transparent, kan man se igennem det. Så hvis et system er transparent, kan man kigge ind under motorhjelmen og se, hvordan det fungerer.

Hvis transparens derfor som sådan er kravet, vil det, sat på spidsen, betyde, at du skulle være okay med, at der en dag stod en sagsbehandler på dit dørtrin og fortalte dig noget i retning af følgende:

"Vi har trænet en model på et dybt neuralt netværk, som består af 12 hidden layers med varierende antal knuder mellem 20-100 og relu-aktiveringsfunktion, og den er blevet trænet og valideret på et kendt datasæt, og modellen siger, at der er 82 procent risiko for, at vi tvangsfjerner dit barn, hvis ikke der sker ændringer."

Metoden er transparent, men betyder det, at du får tillid til sagsbehandleren og beslutningen? Nej.

For du vil have en begrundelse!

Får man i stedet at vide, at ens barn ikke er mødt op i skole i en måned, stadig er alvorligt undervægtig og har fået syv nye huller i tænderne siden sidste tandplejertjek, så vil man nok, alt andet lige, bedre kunne forstå, hvorfor kommunen ser en risiko for tvangsfjernelse.

I begge tilfælde kan vurderingen være den samme og korrekt. I begge tilfælde kan der være 82 procent risiko for, at et barn bliver tvangsfjernet. Men vi har at gøre med forskellen på transparens og begrundelse.

Modellernes detaljer er mindre interessante
Det er ikke altid et kritisk problem, hvis teknologiske løsninger ikke begrundes grundigt.

Fortæller din streamingtjeneste dig, at Thomas Helmig er en 'lignende kunstner', efter du har dyrket Miles Davis hele ugen, så undrer du dig højst sandsynligt. Men konsekvensen er typisk blot, at du ikke klikker 'play' på den denimklædte aarhusianer.

I eksempelvis sundhedssektoren er det dog afgørende, at vi kan få en begrundelse for beslutninger.

I vores arbejde med at udvikle forståelig kunstig intelligens (Explainable AI) inden for sundhedssektoren taler vi med læger, der oplever, at transparens ligefrem kan være støj i deres arbejde.

De vil gerne vide, hvilke informationer man har analyseret på, hvem der har lavet analyserne, og med hvilken sikkerhed man kan vurdere resultaterne.

Men alle detaljerne om, hvad der rent faktisk sker inde i modellen, det er mindre interessant – det interessante er, om der er evidens for at sige noget om en patients helbred ud fra teknologien.

Efterfølgende er der så en formidlingsopgave hos lægerne, når de skal fortælle deres patienter, hvad konsekvensen af diagnosen er.

Det er mindst lige så vigtigt for tilliden til sundhedsvæsenet, men det kan endnu mindre klares af transparens alene og er en snak til en anden dag og et andet debatindlæg.

Ansvaret ligger hos branchen
Fordi mange modeller inden for kunstig intelligens har potentialet til at være enormt præcise, da de bliver udviklet på enorme mængder data, så mener vi ikke, at der har været tilstrækkeligt fokus på, at resultater skal kunne begrundes.

Og det kan gå ud over tilliden til teknologi, for det skal ikke være den enkelte borgers ansvar at sætte sig ind i algoritmerne bag resultaterne.

Ligesom det har vist sig at være en dårlig idé, at vi igen og igen skal have smækket i hovedet, hvad en cookie er.

Ansvaret ligger i branchen. Hos os, der udvikler teknologi, og hos jer, der beder om løsninger.

I udviklingen af teknologi skal vi være bevidste om de valg, vi træffer, så de kan begrundes efterfølgende – vores valg af metode, af data og af hypoteser, vi tester.

Og som aftager af de teknologiske løsninger bør man nøje overveje, hvem der skal bruge løsningen, og dermed, hvem der får brug for hvilke begrundelser i processen.

Skal vi kunne skabe tillid til vores teknologi, er det derfor allerede i denne forudgående del af processen, vi skal sætte ind.

For transparens er vigtig, ja.

Men når det handler om tillid til teknologiske løsninger, så er det kun vigtigt i den forstand, at det kan give de begrundelser, vi har brug for, for at få tillid til løsningerne. I et sprog, vi kan forstå.

Forrige artikel SF: Få fornuften tilbage i overvågningsdebatten SF: Få fornuften tilbage i overvågningsdebatten Næste artikel Justitia: Trygheds- og sikkerhedspakken mangler retsgarantier for borgerne Justitia: Trygheds- og sikkerhedspakken mangler retsgarantier for borgerne
Arbejdspladsen bliver virtuel, og arbejdet bliver ”distribueret”

Arbejdspladsen bliver virtuel, og arbejdet bliver ”distribueret”

RAPPORT: At arbejde hjemmefra er måske blot en forsmag på en ny måde at organisere arbejde og virksomheder på, når man mere konsekvent bruger digitale værktøjer. Den amerikanske designer John Maeda fortæller i en ny rapport om at gå skridtet videre fra distancearbejde til distribueret arbejde.