大型语言模型在传输链实验中显示出类似人类的内容偏差

Alberto Acerbi https://orcid.org/0000-0001-5827-8003 alberto.acerbi@unitn.it and Joseph M. Stubbersfield https://orcid.org/0000-0001-8966-4679

Authors Info & Affiliations

Edited by Marcus Feldman, Stanford University, Stanford, CA; received August 10, 2023; accepted September 26, 2023

October 26, 2023

120 (44) e2313790120

https://doi.org/10.1073/pnas.2313790120

通过大型语言模型（LLMs）制作文本的人工智能应用非常广泛，而且还在不断增长，在新闻、文案写作、学术和其他写作任务中都有潜在应用。因此，了解由 LLM 生成或总结的文本是否存在偏差非常重要。本文介绍的研究表明，LLM ChatGPT-3 在制作过程中反映了人类对某些类型内容的偏见。LLM 输出中存在这些偏差对其常用性有影响，因为它可能会放大人类对吸引这些偏差的内容的倾向。

摘要

随着大型语言模型（LLMs）的应用日益广泛，研究这些模型的输出是否存在偏差显得尤为重要。利用传播链实验进行的文化进化研究表明，人类在关注、记忆和传播某些类型的内容时会出现偏差。在这里，我们利用以前对人类参与者进行的研究材料进行了五项预先登记的实验，并采用了类似于传播链的方法，发现 LLM ChatGPT-3 与人类类似，对性别刻板印象一致的、社会性的、负面的、与威胁相关的和生物学上违背直觉的内容，表现出与其他内容不同的偏向性。LLM 输出中出现的这些偏差表明，此类内容在其训练数据中非常普遍，而且可能会放大人类对具有认知吸引力但不一定有信息或价值的内容的原有倾向，从而产生相应的下游效应。

Full paper