想象一下，您正试图将数以千计的产品评论整理成主题或话题。 传统上，研究人员要么必须手动阅读所有内容（费时又费钱），要么使用老式的计算机程序，而这些程序往往会遗漏重要的上下文。 OSF 的一份最新预印本显示，GPT-4、Claude 和 Gemini 等现代人工智能系统可以有效地完成这项工作，尤其是在处理短篇文本时。
研究人员进行了两项有趣的实验：
研究 1：聊天机器人感知研究
他们收集了 199 人的回复，了解是什么让聊天机器人看起来更像人类
他们比较了分析回复的三种不同方法：
人工分析（一名研究助理阅读所有内容）
传统计算机分析（使用一种名为 LDA 的方法）
现代人工智能分析（使用 GPT-4 和 Claude）
结果 在 90% 的时间里，人工智能系统与人类分析结果相吻合，而传统计算机方法的准确率仅为 60%。
研究 2：疫苗犹豫不决研究
他们分析了 10,000 条有关 COVID-19 疫苗担忧的推文
他们测试了人工智能能否利用不同的样本量识别出主要话题
他们比较了三种不同的人工智能系统
结果 人工智能在处理 5%的数据时和处理 100%的数据时一样出色，准确率达到 90%。
在主题分析中使用人工智能的实用指南
如果您对使用人工智能分析文本数据感兴趣，下面是一份分步指南：
准备数据
以简洁的格式收集文本数据
删除任何敏感信息或身份信息
选择人工智能工具
适用于中小型项目： GPT-4o 或 Claude 3.5 Sonnet
用于大型项目（10 万字以上）： 双子座专业版 1.5
考虑使用多种人工智能工具进行交叉验证
样本大小策略
从小样本开始（约占数据的 5-10）
如果数据集非常大，您可能不需要分析所有数据
使用随机抽样以确保代表性
编写有效的提示
说明要具体
提示示例 "你是一名定性研究员。 阅读本文，找出 10 个主要话题。 每个主题应包含名称和定义。 只返回主题"。
将温度设置保持在默认值（通常为 0.25-0.5）
验证过程
比较不同人工智能工具的结果
让人类专家审查人工智能确定的主题
查找所确定主题的一致性
质量控制
仔细检查不寻常或意外的主题
确认人工智能没有遗漏任何明显的主题
跟踪人工智能一直忽略的任何模式
重要考虑因素
人工监督
不要完全依赖人工智能--将其作为得力助手
让主题专家审核结果
准备好根据人的洞察力调整主题
局限性
人工智能可能会忽略文化上的细微差别
某些主题可能被合并或过度简化
人工智能无法取代人类对上下文的理解
成本效益
使用人工智能比雇用多名人工编码员更具成本效益
小样本可以提供可靠的结果，节省处理时间和成本
考虑在不同人工智能服务的成本和能力之间进行权衡
文本分析的未来
这项研究表明，人工智能可以彻底改变我们分析文本数据的方式，在保持高准确性的同时，让我们更快、更方便地分析文本数据。 然而，最好的结果来自于将人工智能的效率与人类的专业知识和监督相结合。
对于处理大量文本数据的研究人员、企业和组织机构来说，这种方法提供了一种实用的方法来理解数据中的主题和模式，而不会被大量信息所淹没。
Comments