研讨会回顾： 社会科学研究中的大型语言模型 (LLM) 研讨会

Date: June 20, 2024

Speakers: Joshua Cova and Luuk Schmitz, Max Planck Institute for the Study of Societies

本次研讨会由马克斯-普朗克社会研究所的约书亚-科瓦（Joshua Cova）和卢克-施密茨（Luuk Schmitz）主持，深入浅出地介绍了大型语言模型（LLM）在社会科学研究中的应用。 会议涵盖了几个关键领域：

LLM 在社会科学中的四大用途：

• a) 通过计算模拟人类行为（Aher、Arriaga 和 Kalai，2022 年；Dillion 等人，2023 年；Horton，2023 年；Tjuatja 等人，2023 年）

• b) 模拟社会关系（Park 等人，2023 年；Wang 等人，2024 年；Akata 等人，2023 年）

• c) 与人类代理互动（Chopra 和 Haaland，2023 年）

• d) 文本注释（Törnberg，2023 年；Gilardi、Alizadeh 和 Kubli，2023 年；Leek、Bischl 和 Freier，2024 年；Laurer，2024 年）
  

1. 验证和性能指标： Cova 强调了在使用 LLMs 时进行验证的重要性，并引用了之前定量文本分析研究中的原则。 他强调，在提示设计和使用各种性能指标（如准确率、精确度和召回率）时，需要采用迭代流程。
   

2. 模型选择：Schmitz 讨论了选择正确模型的重要性，考虑了可重复性、道德、透明度、语言、可扩展性和复杂性等因素（Törnberg，2024 年）。 他还介绍了在文本注释中使用生成式 LLM 的决策树（Weber 和 Reichardt，2024 年）。
   

3. 实际考虑因素：发言者分享了他们使用不同 LLM 平台的经验，并讨论了性能与开放科学考虑因素之间的权衡。 他们强调，应根据具体的研究需求和可用资源在 LLM 和分类器模型之间做出选择。
   

4. 伦理方面的考虑：虽然本场会议没有广泛涉及，但发言人提到，将在今后的会议上讨论研究伦理以及封闭模式和开源模式之间的争论。

研讨会全面概述了社会科学研究中的法律硕士，强调了他们的潜力，同时告诫大家不要滥用。 发言者主张采取深思熟虑的方法，考虑替代方案以及LLM可为研究项目带来的具体价值。 有关幻灯片，请参阅 Luuk 的 twitter：https://x.com/Luukschmitz/status/1808083990529683510