Gaël Le Mens https://orcid.org/0000-0003-4800-0598 gael.le-mens@upf.edu, Balázs Kovács https://orcid.org/0000-0001-6916-6357, Michael T. Hannan https://orcid.org/0000-0002-7664-9565, and Guillem Pros https://orcid.org/0009-0009-9937-4902
Edited by Kenneth Wachter, University of California, Berkeley, CA; received June 3, 2023; accepted October 13, 2023
November 30, 2023
120 (49) e2309350120
我们使用 GPT-4 创建 "典型性度量"，定量评估文本文档与特定概念或类别的吻合程度。与以往需要在大型文本数据集上进行大量训练的方法不同，基于 GPT-4 的度量方法无需此类训练即可实现与人类判断的最先进的相关性。由于不需要训练数据，这就大大降低了获得高性能基于模型的典型性测量方法所需的数据要求。我们的分析横跨两个领域：判断文学流派书籍的典型性以及民主党和共和党推文的典型性。我们的研究结果表明，现代大型语言模型（LLM）可用于社会科学领域的文本分析，而不仅仅是简单的分类或标记。
摘要
GPT-3.5和GPT-4等最新大型语言模型（LLM）生成类人文本的能力表明，社会科学家可以利用这些LLM构建与人类判断相匹配的语义相似性度量。在本文中，我们对这一直觉进行了实证检验。我们使用 GPT-4 构建了一种典型性度量--文本文档与概念的相似性。我们从与人类典型性评级的相关性方面评估了它与其他基于模型的典型性度量的性能。我们在两个领域进行了比较分析：文学流派书籍的典型性（使用现有的书籍描述数据集）和美国民主党和共和党国会议员撰写的推文的典型性（使用新数据集）。使用 GPT-4 生成的典型性度量达到或超过了我们在最近的一篇论文[G. Le Mens, B. Kovács, M. T. Hannan, G. Pros Rius, Sociol.Sci. 2023, 82-117 (2023)].它无需使用研究数据进行任何训练即可实现这一目标（这是零镜头学习）。这是一个突破，因为以前最先进的测量方法需要在数十万文本文档上对 LLM 进行微调才能达到其性能。
Commentaires