标签：网络爬虫

在 FreeBSD 上配置 Anubis 反 AI 爬虫工具

阿努比斯(Anubis)是由Techaro近期开发的卓越反人工智能软件产品。其运作原理是向连接计算机发起工作量证明挑战，设备必须完成解题才能访问请求内容。该项目正迅速普及，包括联合国，Linux 在内的机构均已采用。

Anubis 是一款基于工作量证明的中间件解决方案。它接收传入流量，进行特殊处理后，决定是否将请求转发至您的Web服务器。具体实现将在后文详述。本文旨在记录我的实践过程(供个人参考)，并提供简明易懂的部署指南(供您参考)。

该程序旨在帮助保护小型互联网免受人工智能公司无休止的请求风暴的影响。Anubis 尽可能轻便，以确保每个人都有能力保护离自己最近的社区。

云计算公司Cloudflare于周二宣布，已推出一项基于权限的新设置，允许客户自动阻止人工智能公司收集其数字数据，此举对出版商及人工智能技术竞赛产生深远影响。

如果创作者希望阻止所有AI爬虫访问其内容，他们应该能够做到这一点。如果创作者希望允许部分或全部AI爬虫免费访问其内容，他们也应该能够做到这一点。创作者应该掌握主动权。

享受这个漏洞吧。把它留在你的工具箱里。在测试环境中让机器人崩溃时笑一笑。但也许不要在生产环境中部署它。尤其是当Googlebot能看到它的时候。

人们越来越多地使用基于 JavaScript 的“工作证明”系统来应对激进的大语言模型 (LLM) 和其他网络抓取器的问题，在这种系统中，您的网络服务器要求访问客户端运行一些 JavaScript 来解决挑战

zip 炸弹并非万无一失。它很容易被发现和规避。毕竟你可以阅读部分内容。但对于那些盲目爬网、扰乱服务器的不成熟机器人来说，这已经是保护服务器的好工具了。