Forsker: Kunstig intelligens risikerer at blive en sand dystopi for unge forskere

I løbet af det sidste års tid med teknologier som ChatGPT er potentialet af generativ kunstig intelligens og især store sprogmodellerblevet tydeligt for den brede skare.

Debatterne om hvordan teknologien skal bruges, og i hvilken grad den overhovedet skal være tilladt, raser i den akademiske verden. Med blandede politikker hos universiteter, forlag og andre, der spænder fra et carte blanche til et totalforbud.

På trods af det store potentiale er der især for unge forskere et ubelyst problem.

Se en verden for dig, hvor de rige bliver rigere for hvert ord, der skrives, og nye forskere har sværere og sværere ved at komme til orde. Dette er en dystopi, der er tæt på at blive til virkelighed for unge forskere.

Homogenisering af den akademiske debat kan være direkte skadelig for videnskaben

Johannes Bjerva
Lektor, Institut for Datalogi, AAU

Hallucinationer er kun begyndelsen

På grund af den underliggende teknologi i store sprogmodeller, står vi overfor et værktøj, der nærmest er skabt til at forstærke automatiseringsbiases i eksempelvis citeringer, og gøre det sværere for unge forskere at etablere sig på markedet.

Automatiseringsbias forekommer når et automatiseret system tilskrives en uberettiget tillid, hvilket resulterer i at brugere af teknologien er mindre kritiske over for mulige fejl og biases.

Faktuelle fejl i store sprogmodeller, også kendt som "hallucinationer", er efterhånden velkendt, men problemet med automatiseringsbiases er ikke løst ved at garantere faktualitet. Med store sprogmodeller findes nemlig risikoen, at man som forsker vil læne sig for meget op ad de foreslåede citeringer.

På grund af den måde teknologien er opbygget på, vil disse forslag altid være dem der er velciterede og veletablerede i forvejen. En sprogmodel vil altid foreslå noget der er sandsynligt i henhold til dens træningsdata, og her er citationsfrekvens en direkte faktor.

Dette indebærer to risici: Etablerede forskere vil blive mere og mere etablerede, mens nye forskere vil få endnu sværere ved at blive hørt. Det er dette som tit kaldes Matthæus-effekten: Dem der i forvejen har noget, har nemmere med at få mere af det samme.

Skadeligt for videnskaben

Problemet ses i stor grad indenfor eksempelvis forskningsfinansiering, hvor forskere med en god bevillingshistorik har dokumenteret nemmere ved at få efterfølgende finansiering, sammenlignet med dem der ikke har noget.

Er det denne situation vi vil forværre på artikel og citeringsniveau? Hvad skal den unge forsker stille op, når alle artikler skrives med ForskGPT-støtte, der aldrig foreslår den unge forskers artikler, fordi de nu ikke optræder særlig ofte i træningsdataen?

Denne homogenisering af den akademiske debat kan være direkte skadelig for videnskaben. Studier af blandt andet Katherine W. Phillips påviser at diversitet og mangfoldige perspektiver ikke blot støtter problemløsning. Det er også er afgørende for at fremme kreativitet og videnskabelig innovation.

Med udbredt brug af store sprogmodeller, risikerer vi ekkokammer effekter, hvor sådanne synspunkter ikke kan trænge igennem, fordi de stemmer der i forvejen er stærke kun forstærkes yderligere. Dermed bliver det også endnu mere udfordrende at røre ved det konsensus, man har i et felt.

Det er en nødvendighed, at vi griber ind nu, så teknologien kan fungere som et inkluderende hjælpemiddel, der ikke begrænser den akademiske debat.

Johannes Bjerva
Lektor, Institut for Datalogi, AAU

Det er derfor essentielt, at vi sørger for, at forskning ikke bliver styret af store sprogmodeller, og at vi finder ud af, hvordan værktøjet kan bruges som et hjælpemiddel. Og ikke som en kunstig intelligens-gatekeeper, der kun lader de etablerede forskere nyde godt af automatiseringen.

Nødvendigt at gribe ind nu

Integrering af store sprogmodeller i universitetsverdenen er ustoppelig. Og et af de største spørgsmål vi står overfor, er hvordan det kan gøres uden at gøre de eksisterende biases endnu værre.

Med den nye aftale om forskningsreserven for 2024. der øremærker 100 millioner kroner til forskning i kunstig intelligens, må vi håbe på, at en betydelig del af disse midler allokeres til forskning om følgeeffekter (både positive og negative), risici, og etiske perspektiver i teknologien.

Om ikke andet skal forståelsen af de fundamentale risici ved store sprogmodeller på dagsordenen. Inklusiv risikoen for spredning af biases, sådan at unge forskere har en fair chance i et konkurrencepræget akademisk landskab.

Det er en nødvendighed, at vi griber ind nu, så teknologien kan fungere som et inkluderende hjælpemiddel, der mangfoldiggør, og ikke begrænser, den akademiske debat.