Date: June 20, 2024
Speakers: Joshua Cova and Luuk Schmitz, Max Planck Institute for the Study of Societies
Denne workshopen, som ble ledet av Joshua Cova og Luuk Schmitz fra Max Planck Institute for the Study of Societies, ga en innsiktsfull innføring i bruken av store språkmodeller (LLM) i samfunnsvitenskapelig forskning. Sesjonen dekket flere viktige områder:
Fire hovedområder for bruk av LLM i samfunnsvitenskapene:
a) Modellering av menneskelig atferd ved hjelp av beregninger (Aher, Arriaga og Kalai, 2022; Dillion et al., 2023; Horton, 2023; Tjuatja et al., 2023)
b) Simulering av sosiale relasjoner (Park et al., 2023; Wang et al., 2024; Akata et al., 2023)
c) Samhandling med menneskelige agenter (Chopra og Haaland, 2023)
d) Tekstkommentarer (Törnberg, 2023; Gilardi, Alizadeh og Kubli, 2023; Leek, Bischl og Freier, 2024; Laurer, 2024)
Validering og ytelsesmålinger: Cova understreket viktigheten av validering ved bruk av LLM-er, og refererte til prinsipper fra tidligere forskning innen kvantitativ tekstanalyse. Han fremhevet behovet for iterative prosesser i utformingen av prompter og bruk av ulike ytelsesmålinger som nøyaktighet, presisjon og tilbakekalling.
Modellvalg: Schmitz diskuterte viktigheten av å velge riktig modell, med tanke på faktorer som reproduserbarhet, etikk, åpenhet, språk, skalerbarhet og kompleksitet (Törnberg, 2024). Han presenterte også et beslutningstre for bruk av generative LLM-er i tekstannotasjon (Weber og Reichardt, 2024).
Praktiske betraktninger: Foredragsholderne delte sine erfaringer med ulike LLM-plattformer og diskuterte avveininger mellom ytelse og hensynet til åpen forskning. De understreket at valget mellom LLM-er og klassifikasjonsmodeller bør baseres på de spesifikke forskningsbehovene og tilgjengelige ressurser.
Etiske betraktninger: Selv om de ikke ble grundig behandlet i denne sesjonen, nevnte foredragsholderne at forskningsetikk og debatten mellom lukkede og åpne modeller ville bli diskutert i en fremtidig sesjon.
Workshopen ga en omfattende oversikt over LLM i samfunnsvitenskapelig forskning, og la vekt på potensialet, samtidig som det ble advart mot ukritisk bruk. Foredragsholderne tok til orde for en gjennomtenkt tilnærming, der man vurderer alternativer og den spesifikke verdien LLM kan tilføre forskningsprosjekter. For slides, se Luuks Twitter-innlegg:https://x.com/Luukschmitz/status/1808083990529683510
Comentarios