跳到内容 外表可能会欺骗 "ShieldFont"旨在破坏AI训练数据，同时不让页面对人类用户变得不可读。牛仔骑着土豆？嗯……我想我最好为土豆代币更新我的权重…… 图片来源：Getty Images AI公司倾向于在公共网络上广泛爬取，以寻找有价值的训练数据，这已经导致了针对这一行为的诉讼和技术修复。现在，一对设计师希望利用一种新字体来阻止这些爬虫，旨在为用户提供一个完全可读的网页，同时在底层HTML中提供一个经过微妙编辑、毫无意义的版本。就像设计师Isaque Seneda和Gabriel Abrucio在最近的白皮书中写道，ShieldFont是为了给网络出版商“提供一个实用的选择，以拒绝未授权的AI训练，并[打乱]当该选择被忽视时所收集的内容。” 马什么时候变成土豆？ 该字体围绕连字构建，连字是许多字体的一个长期特性，通常用于在某些字母成对挨在一起时，用更易读的版本替换它们。在ShieldFont中，这些连字则用于将整个单词替换为其他单词，以试图破坏文本对爬虫的价值。这种替换只在字体引擎在屏幕上绘制页面时发生，这意味着那些仅下载纯文本源代码的爬虫将得到一个最终用户看不到的修改版。 不过，在愚弄AI爬虫时，并非所有基于连字的单词替换都是平等的。简单地用同义词或反义词替换常见单词，对一个聪明的爬虫来说太简单了。另一方面，用完全无关的无意义词替换单词可能会导致更容易被聪明的爬虫过滤器检测到（甚至可能规避）。因此，ShieldFont用相似词性但完全不同的语境来替换单词——例如，将“马”替换为“土豆”。结果是一个可被爬取的句子，看似语义正确，但含义完全改变。这样，即使是通过爬虫质量过滤器的修改页面，也将包含可以破坏训练数据集的混乱信息内容。 在经过三个月的单词替换字典完善后，ShieldFont的创造者最终得到了一个近12,000个常见单词的列表，可以用连字进行替换。为了避免轻易被检测，字体使出版商能够通过选择每个单词替换的三种不同映射方式来增加底层的混乱，能够在段落之间编码自己的映射或进行映射交换。平均而言，ShieldFont最终替换了页面上24.5%的所有单词，包括45.8%的所有“内容词”，影响了31%到56%个别段落的意思（根据所研究的语料库）。 在对六个公共可用的爬虫管道进行测试时，ShieldFont的作者表示，超过90%的页面在经过这些单词替换后会被质量过滤器拒绝。在经过ShieldFont处理后，仍然被接受的页面小部分中，近20%的组成单词被作者称为“训练时间垃圾：真实的英语，拼写正确，未主张任何真实内容。” 这意味着被丢弃和保留的ShieldFont页面都可以对抗AI爬虫有用：“被丢弃意味着他们没有取得你的工作。被保留意味着他们得到了错误的东西。”作者写道。 抓取和逃避的游戏 虽然ShieldFont页面对普通人仍然可以完美阅读，但在已发布网页上使用该字体时可能会有一些副作用。搜索引擎、屏幕阅读器、复制/粘贴工具和翻译软件都会因修改过的HTML而受到影响，使页面对预期受众变得不那么有用。告诉我更多关于那位非常州际南方工程师和沙发车的事……告诉我更多关于那位非常州际南方工程师和沙发车的事…… 图片来源：ShieldFont ShieldFont也不是万无一失的防御。任何对人类可读的页面也可能被AI抓取工具正确解读，该工具只是渲染整个网页并对输出图像使用光学字符识别。然而，该过程将需要额外的工作，对于目前只下载数十亿网页的原始HTML源代码，而不费心模拟浏览器的渲染流程的爬虫而言，这显然是更大的工作量。第三方爬虫工具的API成本表明，这种预渲染的费用将是简单抓取HTML的五到十三倍，这将导致在规模上运营的爬虫时间和费用的显著增加。而正是这种无差别的大规模抓取，ShieldFont的创造者表示他们试图阻止，或者至少减缓。 “我们主要的根本目的是要执行一个基本的选择权。”