ChatGPT 研究人员留下他们的犯罪证据
刑事调查专家表示,小偷或犯罪者,无论其犯罪行为多么精确,一定会留下证据,这些证据足以发现其罪行,然后将其逮捕。
与上述比喻有所不同的是,法国图卢兹大学计算机科学家、科学调查员纪尧姆·卡巴纳克(Guillaume Cabanac)发现了利用人工智能应用程序“ChatGPT”实施的科学盗窃犯罪,此前,研究人员无意中留下了他们的犯罪证据,并在 PubPeer 上公布了这些违规行为,这是一个科学家讨论已发表研究的网站。
许多关心“科学诚信”的研究人员将“ChatGPT”的滥用描述为一种科学盗窃形式,因为这种不受控制的学术行为的科学定义是“抄袭他人的文字或数据,但未注明或未说明研究人员获得数据的来源”,这完全适用于这种情况。
ChatGPT印记
卡巴纳克在通过电子邮件向半岛电视台发表的声明中用刑事调查的语言表示,“在许多研究中,我能够找到ChatGPT印记,这令人震惊,并且破坏了科学研究的可信度。”
卡巴纳克指的印记是与ChatGPT应用程序相关的著名单词和短语,例如短语“重新生成响应”,这是一个按钮,单击它会导致“ChatGPT”生成新答案,但与之前的答案有所不同,当先前生成的答案令用户不满意时,此按钮非常有用,并且该按钮在应用程序的更高版本中已重命名为“更新”一词。
最近的一个案例,ChatGPT印记在发现应用程序滥用方面发挥了作用,这与《物理学史》杂志8月9日发表的一项研究有关,这项研究已被出版该期刊的英国物理学会出版社(IOP出版社)撤回,该研究旨在揭示数学方程的新解,在引发争议后,此事件加入了谈论 ChatGPT滥用引用的研究清单。
12 项研究
《物理学史》杂志的研究并不是著名科学期刊参与接受作者做出这种不诚实行为科学研究的唯一案例,自四月以来,卡巴纳克已经发现了十多项研究,其中一些包含相同的印记,即“重新生成响应”这个短语,而其他研究中则出现了其他印记,这是应用程序的著名句子“作为一个人工智能语言模型,我无法……”,当您向应用程序输入一个问题,要求对某事进行分析视图或预测时,应用程序会输入上述内容。
卡巴纳克在著名爱思唯尔出版社的一本期刊上发现了该印记,这就是《资源政策》杂志,该杂志8月3日发表了一篇题为“电子商务对发展中国家化石燃料效率影响”的研究报告,卡巴纳克指出,研究论文中包含的一些方程不合逻辑,表格上方的结果包括短语“请注意,作为一个人工智能语言模型,我无法创建特定的表格或运行测试。”
危机体现为两个问题
根据卡巴纳克的说法,这些印记的存在体现了两个问题,首先是“在具有高影响力的同行评审期刊上发表的文章中发现这些陈述是出乎意料、令人失望和令人震惊的,因为这引发了对这些期刊中进行研究审查过程质量的质疑。”
第二个问题是,“将ChatGPT程序的输出复制并粘贴到指定用于(相关作品)的部分,甚至无需阅读它,是一种疏忽的表现,让我对论文的其余部分感到好奇,因为如果作者在撰写相关著作时马虎,那么人们怎么能相信研究方法和结果呢?”
冰山一角
如果卡巴纳克的方法仅捕获该应用程序的简单使用,即研究人员忘记删除该应用程序印记,那么,这意味着还有大量研究论文尚未披露,这些论文已经过同行评审,并且是在该应用程序的未公开帮助下创建的。
对此,卡巴纳克表示,“这样的论文可能还有很多,因此,有必要提高研究界对这些问题的认识水平。”
英国物理学会出版社同行评审和研究诚信部门负责人金·伊格尔顿,同意卡巴纳克关于提高认识重要性的观点,她——在通过电子邮件向半岛电视台发表的声明中——表示,他们利用了在《物理学史》杂志上发表研究报告时所犯的错误,使用了“重新生成响应”一词。
金·伊格尔顿解释说:“我们一直在了解有关ChatGPT工具的更多信息,自从《物理学史》杂志论文事件发生以来,我们采取了额外的控制措施,包括一旦提交论文,我们现在会检查所有文章以搜索应用程序印记,我们将继续了解应用工具在学术出版中的使用方式,无论好坏,并将随着我们的进展调整我们的政策和程序。”
金·伊格尔顿补充道,“我们知道我们并不是出版了包含‘重新生成响应’一词作品的唯一出版商,但我们很自豪我们迅速采取行动并决定撤回这篇论文。”
违反道德规范
关于ChatGPT的使用允许限制,金·伊格尔顿指出,研究人员遇到的一个大问题是他们没有声明他们在研究中使用该应用程序,而编辑团队和审稿人也没有发现这一点。
金·伊格尔顿表示,“当我们询问研究人员围绕他们的研究的争议时,他们确认他们使用该应用程序来帮助重新编写他们的论文,并表示,这并不影响他们研究结果的准确性或有效性,虽然我们无法核实他们使用该应用程序的限制,但他们的行为违反了我们的道德政策,该政策规定,必须完全披露对ChatGPT等模板的任何使用,并且我们也不赞成在释义中使用它,因为这通常表明作者试图掩盖他们正在重复使用他人作品的事实,因此,我们决定撤回该研究并将我们的决定告知研究人员。”
体验式学习
另一方面,埃及泽维尔市科技大学生物医学科学项目创始负责人、该市干细胞研究和生物医学卓越中心主任纳吉瓦·巴德里认为,“我们不应该对犯下这些错误的出版社和审查官员严厉,”并强调,“我们面临着一个正在自行开发的新应用程序,我们仍然需要了解它是如何被滥用的,以及它如何成为研究人员的有用工具。”
巴德里为了更好地理解这个应用程序,她要求学生写一篇研究评论,然后将他们分成两个小组,其中一个小组使用ChatGPT来撰写评论,另一个小组则要求利用常规方式撰写论文。
巴德里在接受半岛电视台电话采访时发表的声明中表示,“令我惊讶的是,使用ChatGPT应用程序撰写文章小组的研究更加深入,而且这是基于对应用提出问题的熟练程度,问题越具体、越明确,得到的答案就越好,我得出的结论是,当该应用程序通过执行研究人员的写作任务而被滥用时,就会威胁到科学研究的完整性,但它的有益用途,它是一个比谷歌更先进的信息收集工具,研究人员以自己的风格分析和制定信息。”
悉尼科技大学法律专业学者乔治·田同意纳吉瓦·巴德里的观点,她认为,滥用ChatGPT应用程序存在危险,因为它在“科学研究的可信度”问题上增加了另外两个问题,即“偏见和错误信息”和“人类专业知识的减少”。
乔治·田通过电子邮件向半岛电视台发表声明中表示,“一些使用该应用程序的律师指出了提交给法院的法律文件中没有出现的问题,这意味着该申请可能包含偏见或不准确的信息,从而破坏了研究的完整性,与此同时,过度依赖ChatGPT会侵蚀人类的研究知识和批判性思维。”
合理使用
乔治·田认为,合理使用ChatGPT没有错,但前提是要遵守以下几个条件:
- 披露声明:研究人员必须明确披露他们使用的人工智能工具。
- 道德批准:这意味着获得批准在人类相关研究中使用人工智能工具,例如使用该应用程序来促进心理健康患者的诊断。
- 引用和归属:这意味着正确引用人工智能工具。
- 同行评审:也就是说,为研究评审者提供工具,使他们能够在评审过程中识别和评估人工智能工具的使用情况。
- 验证:这意味着采用独立研究来验证人工智能生成的结果,例如检查引用的文章和案例是否确实存在。
挑战与机遇
另一方面,加拿大多伦多大学医学院的研究员迈克尔·巴拉斯确定了ChatGPT应用程序的合理使用,他带领一个团队研究该程序在诊断眼部疾病中的应用,巴拉斯通过电子邮件向半岛电视台发表声明称,“人工智能如果使用得当,可以带来一系列好处,其中包括可以加快数据分析速度,识别大型数据集中的模式和相关性,这对于人类研究人员来说可能是不可能的,甚至可以产生新的假设或探索途径,这种能力可以增强人类研究人员的努力,以从前难以想象的速度推动创新和见解。”
但巴拉斯指出,与这些机遇相对应的是,也存在一些挑战:过度依赖或滥用它可能会削弱原创思想并可能引入固有的偏见,从而危及科学研究的完整性。