“ChatGPT检测器”以前所未有的准确率识别人工智能生成的论文
一项发表于11月6日《细胞报告：物理科学》（Cell Reports Physical Science）的研究显示，一种机器学习工具可以轻松识别出使用聊天机器人ChatGPT撰写的化学论文。该专用分类器的表现优于现有的两种人工智能（AI）检测工具，有助于学术出版商识别由AI文本生成器撰写的论文。堪萨斯大学劳伦斯分校的化学家、共同作者希瑟·德赛尔（Heather Desaire）表示：“文本分析领域的大多数人都希望有一个真正通用的检测器，能够适用于任何文本。”但通过研发一个专注于特定类型论文的工具，“我们追求的是准确性。”德赛尔表示，研究结果表明，通过为特定类型的写作定制软件，AI检测器的研发工作可以得到加强。她说：“如果你能快速轻松地开发出一种工具，那么为不同的领域开发类似工具也并不困难。”德赛尔和她的同事在6月首次描述了他们的ChatGPT检测器，当时他们将其应用于《科学》（Science）期刊上的观点文章（Perspective）。该检测器使用机器学习技术，分析20种写作风格特征，包括句子长度的变化、特定词汇和标点符号的频率，以判断一段学术文本是由研究人员还是ChatGPT撰写的。德赛尔表示，研究结果表明，“你只需要使用一小部分特征，就足以获得较高的准确性。”在最新研究中，该检测器在10种由美国化学学会（ACS）出版的化学期刊论文的引言部分上进行了训练。德赛尔表示，他们选择引言部分，因为如果ChatGPT能够访问背景文献，这一部分相对容易由其生成。研究人员用100篇已发表的引言作为人工撰写的文本进行训练，然后让ChatGPT-3.5以ACS期刊的风格撰写200篇引言。在这200篇中，有100篇提供了论文的标题，另外100篇则提供了摘要。在对人工撰写的引言与相同期刊AI生成的引言进行测试时，该工具基于标题识别ChatGPT-3.5撰写的部分准确率达到100%。而对于基于摘要生成的ChatGPT引言，其识别准确率为98%。该工具对最新版本ChatGPT-4撰写的文本也有相同的识别效果。相比之下，另一种AI检测工具ZeroGPT的识别准确率仅为35%至65%，具体取决于所使用的ChatGPT版本以及引言是基于标题还是摘要生成的。OpenAI（ChatGPT的开发商）开发的另一种文本分类工具表现也较差，识别AI撰写的引言准确率仅为10%至55%。这种新的ChatGPT检测工具不仅对训练所用的期刊引言有效，也对其他期刊的引言有效，并且能够识别由各种提示生成的AI文本，包括一些设计用来欺骗AI检测器的提示。然而，该系统高度专业化，仅适用于科学期刊文章。当面对大学报纸的真实文章时，它无法识别出这些文章是由人类撰写的。更广泛的问题柏林应用科学大学（HTW Berlin）研究学术剽窃的计算机科学家迪博拉·韦伯-沃尔夫（Debora Weber-Wulff）表示：“作者们所做的是一件非常引人注目的事。”她指出，许多现有工具试图通过搜索AI生成文本的预测性语言模式来判断作者身份，而不是通过分析写作风格的特征。“我从未想过将文体分析技术用于ChatGPT。”但韦伯-沃尔夫指出，学术界使用ChatGPT的背后还存在其他问题。她指出，许多研究人员面临快速发表论文的压力，或他们可能并不认为撰写论文的过程是科学研究的重要部分。AI检测工具无法解决这些问题，也不应被视为“解决社会问题的魔法软件方案”。本文经授权转载，首发于2023年1月27日。
查看全文
作者最近更新
-
我们进化的历史可以教会我们人工智能的未来scientific
2023-11-11 -
“ChatGPT检测器”以前所未有的准确率识别人工智能生成的论文scientific2023-11-11
-
人工智能需要规则，但谁将拥有制定规则的权力？scientific2023-11-07
评论0条评论