KU: Kunstig intelligens kan hjælpe med at fagfællebedømme forskeres arbejde

Overtager opgaver fra forskeren

Fremtiden vil både se storesprogmodeller (LLM) og AI som forskningsassistenter til mere trivielle opgaver, som hypotesegenererende ved at syntetisere eksisterende viden på tværs af videnskabelige artikler og datasæt. Og måske endda som egentlig problemløsende, eksempelvis ved brug af det netop annoncerede "Project Q*" fra OpenAI: En ny type såkaldt reinforcement learning, der kan løse problemer uden for eget træningsmateriale.

Samtidig er der også her bekymringer, både i forhold til store sprogmodeller som medforfattere (eller hovedforfattere), og over nye bølger af AI-genererede data, hvor det kan blive endog meget svært at afsløre videnskabelig uredelighed.

Der er imidlertid også stigende fokus på hvad AI og ChatGPT – på godt og ondt – kan gøre for og ved en række af de opgaver, udover forskningen selv, som er en del af forskergerningen. Eksempelvis skrivning af forskningsansøgninger om eksterne midler og, ikke mindst, fagfællesbedømmelser af forskellig art.

Der er allerede forskere som bruger ChatGPT til at hjælpe med dele af forskningsansøgninger – og skriver om det i 'Nature'. Og der er helt sikkert også folk der bruger ChatGPT til at skrive bedømmelser af tidsskriftartikler – der er i hvert fald flere der på sociale medier giver udtryk for, at de mener at have modtaget sådanne.

Og det gælder givetvis alle typer bedømmelser. Ikke bare til tidsskrifter, men også i forhold til ansættelser, anbefalinger og forskningsansøgninger (der jo, som nævnt ovenfor, måske allerede er skrevet med hjælp fra ChatGPT). 

Hjælp til fagfællebedømmelser

Det er vigtige sager. 'Peer review' er en helt central kvalitetssikring i forskning. Men det er også kun den mindst ringe, hvorfor store sprogmodeller også her giver anledning til både positive og negative fremtidsscenarier.

Der er store udfordringer med eksisterende peer review-processer ("Peer review is broken" lyder det ofte). Ikke mindst på grund af de store mængder artikler og ansøgninger, der skal bedømmes, samt det forhold at det er opgaver, man udfører for det videnskabelig samfund, og som sjældent er koordineret med arbejdsopgaver på eget universitet.

Det kan sagtens være at man, underlagt passende protokoller og principper, kan bruge store sprogmodeller til at bistå med fagfællebedømmelser. Ikke mindst de dele der er mere teknisk orienterede, dataanalyser, fakta-tjek med videre. 

Hvis man derigennem kan gøre det menneskelige element i processen mindre byrdefuldt, mens man sikrer at det fortsat er menneskelige ’checks and balances’ i de endelige beslutninger, kan resultatet, i hvert fald hos optimisterne, blive højere kvalitet i fagfællebedømmelser.

Kunstig intelligens udgør altså for forskningen, som for vores uddannelser, både en betydelig mulighed og en trussel.

David Lassen & Kristian Lauta
Prorektor for hhv. forskning og uddannelse, KU

Samtidig, mener optimisterne, kan fornuftig brug af upartiske modeller (med de forbehold der er i forhold til træningsdata med videre) være med til at mindske nogle af de uhensigtsmæssigheder som eksisterende fagfællebedømmelser lider af. Herunder forskellige typer af bias.

Mister noget vigtigt

Der er lang vej endnu, og som Videnskabernes Selskab pegede på i deres bidrag til temaserien, skal vores – og alles – 'codes of conduct' opdateres og revideres løbende, efterhånden som teknologien bliver mere og mere avanceret.

Kunstig intelligens udgør altså for forskningen, som for vores uddannelser, både en betydelig mulighed og en trussel.

Som alt andet teknologi, stiller det skarpt på vores evne til at udsondre det indholdsmæssigt vigtige fra den suppe vi kalder kultur. Og genfremkalde en ny kultur hvori de vigtigste konstituerende elementer er bevaret, og de overflødige, ligegyldige processer afløst af teknologi. Og som alt andet teknologi er vi ikke i stand til fuldstændig at styre denne proces.

Vi må altså insistere på at være kritiske, bevidste og samtidig vide, at det i sidste ende bliver uperfekt. Vi mister noget vigtigt, men vi får noget andet. "Hvis du vil fordoble din succesrate, må du fordoble din fejlrate," som selvsamme Watson er tilskrevet.