En ny studie publisert i Proceedings of the National Academy of Sciences viser at chatboten GPT er et effektivt verktøy for å analysere psykologiske konstruksjoner i tekst på tvers av flere språk.
Forskere fra Stanford University, Princeton University og New York University testet GPTs evne til å avdekke følelser, emosjoner, krenkelser og moralsk grunnlag i tekster skrevet på 12 ulike språk. De fant ut at GPT presterte betydelig bedre enn tradisjonelle ordbokbaserte metoder og nesten like godt som de beste maskinlæringsmodellene som krever omfattende opplæring.
"GPT oppnådde høy nøyaktighet når det gjaldt å oppdage psykologiske konstruksjoner på tvers av språk uten ekstra opplæringsdata", sier hovedforfatter Steve Rathje ved Stanford University. "Dette gjør GPT til et kraftig og brukervennlig verktøy for forskere som ønsker å analysere tekstdata på flere språk."
Studien testet tre versjoner av GPT (3.5, 4 og 4 Turbo) på over 47 000 manuelt annoterte innlegg i sosiale medier og nyhetsoverskrifter. GPT utkonkurrerte ordboksmetoder med god margin og overgikk i noen tilfeller ytelsen til finjusterte maskinlæringsmodeller.
GPT presterte godt selv på mindre utbredte afrikanske språk som swahili og kinyarwanda. Nøyaktigheten ble betydelig bedre for hver nye versjon, særlig for disse mindre vanlige språkene.
Forskerne mener at GPT og lignende AI-modeller kan bidra til å gjøre avansert tekstanalyse mer tilgjengelig for samfunnsforskere over hele verden, noe som potensielt kan legge til rette for mer tverrkulturell forskning. De advarer imidlertid om at potensielle skjevheter i GPTs treningsdata bør tas i betraktning.
"Selv om GPT ikke er perfekt, ser det ut til å være et lovende verktøy som kan demokratisere komplekse tekstanalysemuligheter", sier medforfatter Jay Van Bavel fra New York University. "Men forskere bør være oppmerksomme på begrensningene og potensielle skjevheter når de bruker det."
Studien inneholder eksempler på kode og veiledninger for bruk av GPT til psykologisk tekstanalyse. Forskerne håper at dette vil gjøre det mulig for flere forskere å utnytte AI-språkmodeller i arbeidet sitt, samtidig som de oppfordrer til videre forskning på styrkene og begrensningene ved disse verktøyene som er i rask utvikling.
Steve Rathje https://orcid.org/0000-0001-6727-571X srathje@alumni.stanford.edu, Dan-Mircea Mirea https://orcid.org/0000-0002-4349-7059 dmirea@princeton.edu, Ilia Sucholutsky https://orcid.org/0000-0003-4121-7479, +2, and Jay J. Van Bavel https://orcid.org/0000-0002-2520-0442
Sammendrag
Samfunns- og atferdsvitenskapene har i økende grad tatt i bruk automatisert tekstanalyse for å måle psykologiske konstruksjoner i tekst. Vi undersøker om GPT, den store språkmodellen (LLM) som ligger til grunn for AI-chatboten ChatGPT, kan brukes som et verktøy for automatisert psykologisk tekstanalyse på flere språk. På tvers av 15 datasett ( n = 47 925 manuelt annoterte tweets og nyhetsoverskrifter) testet vi om ulike versjoner av GPT (3.5 Turbo, 4 og 4 Turbo) kan oppdage psykologiske konstruksjoner (følelser, diskrete emosjoner, krenkelser og moralsk grunnlag) på tvers av 12 språk. Vi fant at GPT ( r = 0,59 til 0,77) presterte mye bedre enn engelskspråklig ordboksanalyse (r = 0,20 til 0,30) når det gjaldt å oppdage psykologiske konstruksjoner, slik de ble vurdert av manuelle kommentatorer. GPT presterte nesten like godt som, og noen ganger bedre enn, flere av de beste finjusterte maskinlæringsmodellene. I tillegg ble GPTs ytelse bedre i flere versjoner av modellen, særlig for mindre utbredte språk, og den ble billigere. Samlet sett kan GPT være bedre enn mange eksisterende metoder for automatisert tekstanalyse, siden den oppnår relativt høy nøyaktighet på mange språk, ikke krever opplæringsdata og er enkel å bruke med enkle spørsmål (f.eks. "er denne teksten negativ?") og lite erfaring med koding. Vi presenterer et kodeeksempel og en videoveiledning for analyse av tekst med GPT-applikasjonsprogrammeringsgrensesnittet. Vi argumenterer for at GPT og andre LLM-er bidrar til å demokratisere automatisert tekstanalyse ved å gjøre avansert naturlig språkbehandling mer tilgjengelig, og at de kan bidra til å legge til rette for mer tverrspråklig forskning på språk som er lite studert.
Comentários