澳大利亚的政府调查流程本应帮助议会做出更好的决策，聆听专家和选民的意见。但卫报澳大利亚可以揭示，该系统正被大量人工智能生成的材料淹没，这些材料虚构研究并将不存在的研究归因于真实的学者和作者。在某些情况下，委员会报告引用了大多数来源似乎是人工智能生成的“幻觉”的提交，而大型语言模型（LLMs）则创造出看似真实但实际上并不存在的内容。 问答：什么是人工智能幻觉？展示 当像ChatGPT或Claude这样的LLM输出 plausible但错误的文本，或自信地生成相关信息而实际上无关时，就会发生人工智能幻觉。这是因为这些AI系统使用复杂统计来确定它们生成的文本，而没有内在能力区分正确与错误的内容。它们简单地根据培训数据预测下一个最可能的文本片段，并涉及一定程度的创造性或随机性。当AI被要求生成在其培训数据中没有很好覆盖的主题内容时，这些幻觉可能变得更加常见。这些幻觉并不是缺陷，尽管通过增加培训数据的数量或添加网页搜索结果和其他信息可以减少其频率，但它们是LLMs的一个固有特征，永远无法完全消除。如果这一现象继续存在，国会议员“基于虚假的证据做出决策”的风险将显著增加，澳大利亚国立大学管制与全球治理学院教授Christian Downie表示。局面因包括谷歌搜索的AI服务而更加混乱。以前，查看一个虚构的参考文献可能会产生指示该参考文献不存在的结果。现在，谷歌的AI摘要有时会将虚假的参考文献的摘要生成得像它是真实的一样。在某些情况下，谷歌的AI摘要和ChatGPT还会将该虚假参考的调查提交引用为来源，形成一个持续的错误信息循环。提交给一家关于家庭暴力和自杀的调查的文件中包括一个虚构的参考，归因于昆士兰大学的副教授和临床心理学家Divna Haslam，并错误陈述了她团队的研究结果。专注于儿童和家庭逆境与虐待的Haslam表示，该参考文献“令人害怕”，因为它看起来如此真实，以至于狗眼查看的人可能会被说服。谷歌的AI摘要将该参考文献总结得像是一个真实的论文。注册获取Breaking News Australia邮件 “看到这些不准确且不适当地归属的内容真让人沮丧，因为我在严谨的研究上投入了时间、金钱、精力和专业知识，”她表示。“然后看到这样的东西实在令人担忧。”提交的作者Drilldown Reports对卫报澳大利亚表示，他们在研究过程中使用了人工智能，并在后续提交中识别出错误，但已经错过了修正它们的截止日期。“我们确实强烈相信人类因素，并认为它应该是全面质量审查流程中至关重要的一部分，”一位发言人说。“不幸的是，人类因素在上传正确文件时也让我们失望。“我明白你觉得你有一个有趣的文章可以添加到AI恐慌机器中，但这是一种人为错误，而不是人工智能。”错误信息的循环：AI搜索摘要引用AI错误，使得事实核查困难 负责监督调查的社会政策和法律事务常务委员会的主席表示，所有委员会都收到了各种质量和立场的材料：“委员会的工作是在表面上接受提供的证据，然后通过调查过程对其进行审查。”Haslam表示，这一现象不仅风险贬值合法研究，但如果误导信息进入政府政策将带来严重风险。“尤其是在[家庭暴力]领域，”她表示。“我们真的无法冒这个险。”数十份提交含有错误 该论文仅是卫报识别出的几十份之一，卫报构建了一个计算机程序，从目前议会提交的所有调查中提取参考文献，并将这些参考文献与多个在线学术数据库进行检查。标记为具有高比例不匹配引用的文件随后被手动检查。 问答：我们如何构建“人工智能检测器”展示 所有当前的商业人工智能检测服务都有一个重要的局限性 - 它们有时会出现错误。“假阳性”检测可能导致人们错误地被指控使用人工智能服务，如ChatGPT或Claude。为此，我们采用了不同的方法。对使用AI生成的报告和AI生成的期刊文章进行分析