Forskare från University of Kansas publicerade på onsdagen en artikel som beskriver en algoritm som de säger kan upptäcka akademiskt skrivande från ChatGPT med en noggrannhet på över 99%.
När innehållet från AI-chatbotar börjar översvämma världen är en av de största bekymren att tillförlitligt kunna skilja mellan robotars ord och riktiga mänskliga. Det har gjorts några försök att bygga ChatGPT-detektorer, och tiotals företag tävlar om att utveckla AI-upptäckningsteknik. Men hittills fungerar ingen av alternativen bra, inte ens den som utvecklats av OpenAI, företaget som skapade ChatGPT. De befintliga verktygen är så ineffektiva att de i princip är värdelösa.
Den ChatGPT-detektor som beskrivs i artikeln är bara utformad för att fungera i specifika sammanhang, men den rapporterade framgången verkar lovande. Under processen med att bygga algoritmen säger forskarna att de har identifierat typiska tecken på AI-skrivande.
Artikeln, som har genomgått peer-review och publicerats i Cell Reports Physical Science, beskriver en teknik som sniffar upp AI-författade vetenskapliga forskningsartiklar. Studien valde ut en uppsättning av 64 vetenskapliga forskningsartiklar skrivna av mänskliga författare inom olika ämnen – från biologi till fysik. De matade den datan till ChatGPT och använde den för att producera en dataset med 128 AI-artiklar, totalt 1 276 stycken av nonsens från chatbot. Forskarna använde dessa falska stycken för att bygga sin ChatGPT-detektionsalgoritm. Sedan skapade de en ny dataset för att testa sin algoritm med 30 riktiga artiklar och 60 ChatGPT-skrivna artiklar, totalt 1 210 stycken stycken.
Forskarna hävdar att deras algoritm upptäckte hela artiklar skrivna av ChatGPT 100% av tiden. Den var mindre noggrann men ändå imponerande på styckesnivå: algoritmen upptäckte 92% av AI-stycken.
Forskarna hoppas att andra ska använda deras arbete för att anpassa detektionsprogramvara efter sina egna områden och ändamål. ”Vi försökte skapa en tillgänglig metod så att även gymnasieelever med lite handledning skulle kunna bygga en AI-detektor för olika typer av skrivande,” säger Heather Desaire, en av författarna till artikeln och professor i kemi vid University of Kansas, i en intervju med EurekAlert. ”Det finns ett behov av att hantera AI-skrivande, och människor behöver inte ha en examen inom datavetenskap för att bidra till detta område.”
Artikeln nämner några typiska tecken på ChatGPT:s arbete. Till exempel skriver mänskliga författare längre stycken, använder ett större ordförråd, inkluderar fler skiljetecken och tenderar att kvalificera sina påståenden med ord som ”dock”, ”men” och ”trots”. ChatGPT är också mindre specifik med citat som figurer och hänvisningar till andra forskare.
Modellen som byggts av Desaire och hennes kollegor fungerar inte direkt för lärare som hoppas att straffa fuskande gymnasieelever. Algoritmen är utformad för akademiskt skrivande, särskilt den typ av akademiskt skrivande som man läser i vetenskapliga tidskrifter. Det är en besvikelse för lärare och administratörer som generellt sett har oroat sig över plagiat som underlättats av ChatGPT under de senaste sex månaderna. Men Desaire säger att man teoretiskt sett kan använda samma teknik för att bygga en modell som upptäcker andra typer av skrivande.
Det blir problematiskt när man överväger det faktum att en författare lätt kan göra små ändringar i en bit chatbot-skrivande och göra det mycket svårare att upptäcka. Ändå beskriver forskarna detta arbete som ett ”proof of concept” och säger att de kan utveckla ett mer robust och kanske mer noggrant verktyg med en större dataset.
Så lovande som dessa resultat kan vara säger teknikföretag och AI-entusiaster att verktyg som ChatGPT fortfarande är i sin linda. Det är omöjligt att säga om upptäckningsmetoder som denna kommer att hålla om AI fortsätter att utvecklas i den snabba takt vi har sett de senaste åren. Ju mer avancerade stora språkmodeller blir på att återskapa det som kännetecknar mänskligt skrivande, desto svårare blir det att identifiera spåren av robotspråk.
