Perplexity的引用中有三分之一不包含被引用的数字
在Perplexity的搜索模型附加到陈述数字的句子中的1,826个引用中,有34.7%指向的页面要么无法打开,要么没有包含该句子的任何数字;按每个声明而不是每个引用进行评分,872个声明中有14.4%未通过。我们询问了Perplexity的两个搜索模型关于210家科技公司的310个事实问题,收集了它们引用的每个来源,获取了所有这些来源,并检查页面是否包含被引用的内容。在附加到陈述数字的1,826个引用中——这些可以在没有第二意见的情况下检查——34.7%指向的页面对普通读者无法打开,或者打开后没有包含与它们附加的句子中的任何数字。模型总共放置了2,511个引用标记。上面的单位是引用,而不是声明。带有数字的872个声明中,有三分之二的声明上有多个标记,我们分别对每个标记进行评分。按声明计分,当它指向的页面中有任何一个数字时,该声明被视为通过,14.4%未通过。我们以引用为首,因为标记是来源的单独声明:这个句子来自那个URL。失效主要不是死链接。被引用的URL中只有1.3%是死链接。两个大类是普通读者无法进入的页面,以及普通读者能够进入但没有说出来的页面。我们做了什么 十个问题模板,每个是某个实际需要查找的事实:成立时间、最新融资轮次、员工人数、进入价格、总部、收入、公开的违规行为、当前首席执行官、收购、付费层的正常运行时间SLA。每家公司都有一个;100家公司的第二个模板。310个问题,设置为温度0以适应perplexity/sonar,perplexity/sonar-pro,作为对照,采用带有网络插件的GPT-4.1。两个Perplexity模型都在行内标记它们的声明为[n],n索引它们返回的引用数组。这一部分使审计成为可能:这不是答案底部的书目,而是一个特定的声明,表明这个句子来自那个URL。我们将每个答案拆分成句子,并为每个标记生成一个声明-引用对。两个模型从未发出指向自己引用列表末尾之外的标记。然后,我们获取每个唯一的引用URL——仅sonar就有2,915个——并将每个分类为死链接、受限、空、无法访问或正常。任何失败的都得到了两个额外的机会:一个更长的超时,然后通过旋转代理进行重试,以便没有页面因为某个数据中心地址不被欢迎而被记录为被阻止。第三次尝试挽救了192个URL。分类只能向页面的有利方向发展。标题检查根本不需要任何模型。我们从每个声明中提取其细节——金额、百分比、量级、年份、任何连续的三个或以上数字——并询问被引用页面的可见文本是否包含至少一个这些信息,进行归一化操作,使得$185百万、$185M和185000000全部匹配。一个数字就足以通过。一个光年的数字就足以通过。因此,34.7%是一个底线:每一对失败的都意味着页面没有包含来自引用它的句子的单一数字。无法打开的引用 在perplexity/sonar的2,915个唯一引用URL中:类份额 可用且可读78.7% 后台登录、付费墙、403或bot墙16.1% 客户端渲染的壳我们无法读取2.5% 死链接(404、410、DNS故障、软404)1.3% 经过三次尝试仍无法访问1.4% 每六个引用中就有一个受到限制。这并不是来源的错误——PitchBook、ZoomInfo、Crunchbase和路透社有权收费——但这是引用的错误。普通读者无法打开的脚注是一个来源声明,没有任何方法来验证,这是引用存在的目的。汇总到答案中,sonar的310个答案中,有84.2%引用了至少一个普通读者无法打开的URL,10.6%引用了至少一个完全死链。死链值得提及,因为其中约一半是同一种页面——sonar的38个中有20个——其URL显示了它们的特征。 komo.ai/directory/<公司>-offices。 temperstack.com/plans/<公司>。 devhelm.io/sla/<公司>。 apollo.io/where-is/<公司>。 portersfiveforce.com/blogs/brief-history/<公司>,以及matrixbcg.com和canvasbusinessmodel.com上的相同路径。这些页面是针对每个公司每个问题类型生成的,规模化发布以捕获我们问的确切查询,并以便宜的成本下架。我们在写作当天重新抓取了三条。询问Elastic的总部在哪里时,sonar引用了 komo.ai/directory/elastic-offices:404。询问Reddit的总部时,两个模型都引用了apollo.io/where-is/reddit:410消失。询问Discord最便宜的付费计划时,sonar-pro引用了temperstack.com/plans/discord: 404。能够打开但没有说出来的引用 在页面打开并可读的对中,16.1%没有包含声明自己的数字。最干净的例子是价格。询问进入价格时,
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡