在星期五，我在r/WebScrapingInsider子板块进行了一个关于网络爬虫法律的Reddit AMA。你可以在这里查看整个讨论。我发布了一个AMA的介绍，我在这里分享：__ 大家好，感谢大家加入这个关于网络爬虫的Reddit AMA！我认为开始时做一些介绍性说明是很有帮助的。首先，也是最重要的，提醒大家一个基本原则。此AMA中的任何内容都不构成法律建议。我将讨论一些一般的法律原则，但我无法对这些原则如何适用于你的情况发表意见。此外，我们将讨论的许多主题都是有争议的，每个人对法律风险的容忍度也不同。在你做出任何决定之前，你需要与律师讨论法律如何适用于你的情况，以及你愿意接受何种程度的法律风险。此外，正如Ian提到的，我专注于美国法律。美国以外的规则可能会有很大不同！关于我一些背景：我是一位互联网法的元老。我在1991年获得了我的第一个电子邮件账户，在1993年发表了我的第一篇互联网法律论文，在1994年开始执业互联网法律，并在1996年开始教授互联网法律课程——这是我至今仍在教授的课程，30年后仍在进行。我自2002年以来一直是一名全职法学教授。作为一位在1990年代形成了自己知识身份的互联网法律专家，我依然以一般主义者的角度看待互联网法律，这在当时是常态。我并不专注于任何一个互联网法律主题。相反，我仍然跟踪并关注数十个互联网法律主题。爬虫/对财产侵犯的理论只是在我整体兴趣中的一部分。你可以在https://papers.ssrn.com/sol3/cf_dev/AbsByAuth.cfm?per_id=332758 查看我的学术著作。我其他的一些学术重点包括用户生成内容（UGC）/第230条款的责任、在线商标法和表情符号法。我即将出版的书籍项目将探讨互联网的社会益处以及法律监管如何危及这些益处。尽管我有一般主义的观点，我发现爬虫法律特别有趣。我可能是在1997年左右收到的第一个关于爬虫的客户问题。当我在公司内部时，爬虫是一个常青话题。在我的互联网法律课程中，我经常测试爬虫。例如，今年的期中考试是基于Vox Marketing Group诉Prodigy Promos案，556 F. Supp. 3d 1280 (2021)。* * * 我觉得这个主题如此迷人的部分原因是，我对爬虫的政策立场有复杂的感受。一方面，我相信财产所有者通常应该有能力决定他们的财产如何使用。爬虫可能涉及对财产所有者财产的非自愿和未同意使用，从而可能是有害的。另一方面，我相信获取信息的权利（我妈妈是一名图书管理员）。在某种程度上，爬虫能够提供更好的见解、更好的知识和更强的市场，这是一种社会福利。此外，互联网之所以成功，部分原因在于其无缝、低摩擦、低交易成本的导航。为了保持这种架构，浏览互联网应该是一个无需许可的体验。反爬虫理论威胁到将网页浏览转变为一个需要许可的体验，在每个网站的边缘都有检查点，并且需要获得访问权限。这些障碍威胁到互联网的可导航性和实用性，从而使我们所有人处于不利地位。[注意：对财产侵犯的理论只是服务可以在网页导航中施加许可访问的一种方式。版权法是另一种。此外，全球范围内正在流行的在线年龄验证要求也是一种。有关我反对年龄验证要求的更多信息，请查看https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5208739一个明显的观点：如果年龄验证检查点在互联网上变得普遍，这将对爬虫产生重大影响，因为大多数内容将生活在年龄验证的墙后]。我从未完全写出我对这些主题的复杂想法，但这篇文章会让你对我的思维有一个了解。https://blog.ericgoldman.org/archives/2013/04/rethinking_onli.htm这是我为学生框架爬虫的一些政策考虑：从积极的一面看：爬虫可以推动创造显著社会福利的服务，例如搜索引擎、价格比较机器人和人工智能模型构建。此外，反爬虫的努力通常是反竞争的，即意图制造或维持垄断。特别是，反爬虫的战术可以代表获得类似知识产权的权利的尝试，即使该服务不符合知识产权保护的条件。你可以在Register.com诉Verio案中看到其中一些动态，其中Register.com使用合同和对财产侵犯来保护不可版权的材料（WHOIS注册者联系信息），以保持其在该联系信息上的先发优势控制。消极的是，爬虫可能有...