共有 123 条讨论

1. Gitea内置了针对此问题的防御机制——REQUIRE_SIGNIN_VIEW=expensive，该设置彻底解决了我的AI流量问题，并将VPS带宽消耗降低了95%。

   回复

   1. 你的Gitea是否仅供个人使用？如果是，将其置于VPN之后，从此基本无需再担心带宽和安全问题。

      回复

      1. 这是确保你始终是自己资源唯一用户的最可靠方法。

         我强烈鼓励大家分享内容！把作品发布到互联网上！即使你暂时不需要，即使你认为未必能获益：请为可能性敞开大门！

         回复

   2. 很棒的方案 https://docs.gitea.com/administration/config-cheat-sheet#ser…

      > 启用此选项可强制用户登录才能查看任何页面或使用API。可设置为“昂贵”模式阻止匿名用户访问消耗大量资源的页面，例如：阻止匿名AI爬虫访问仓库代码页面。“昂贵”模式尚在实验阶段，可能随时变更。

      Forgejo似乎尚未复制该功能

      回复

   3. 我不理解此参数值的用途？

      我已设置REQUIRE_SIGNIN_VIEW=true，但在Gitea日志中仅显示自身流量。

      是否因为我使用的子域名未明确关联Gitea实例？

      回复

      1. 爬虫终将遍历互联网所有内容，子域名无法阻挡(例如crt.sh日志记录，或Google通过8.8.8.8查询发现站点)。

         REQUIRE_SIGNIN_VIEW=true意味着所有页面均需登录——这能有效阻止AI机器人，且登录页面的渲染成本对Gitea而言微乎其微。然而这对普通人类访客构成了障碍。

         “昂贵”操作是折中方案，允许普通访客浏览仓库、查看README及下载发布版二进制文件。仅在执行“昂贵”页面加载时才需登录，例如查看特定提交的文件内容或浏览Git历史。

         回复

         1. 感谢说明！

            从Gitea文档中，我原以为它比“true”更进一步，因此不明白为何需要——毕竟“true”已足以让我免受机器人干扰。

            但你的情况需要中间方案，而“昂贵”模式正是为此而设！

            回复

         2. 哦…原来如此，难怪8.8.8.8是免费的

            回复

2. 若无需全球访问权限，我发现地理封锁是最佳首选方案。尤其当您身处小国且网络覆盖范围有限时，完全可以屏蔽全球其他地区。即便在美国，仅排除俄罗斯、印度、伊朗等少数国家就能让流量减少两位数百分比。

   文中列举的不少流量来源，若作者能实施地理封锁，根本就无法访问服务器。

   回复

   1. 这让我有些难过。互联网本应承载着无国界、全球直连的理想。因少数恶意行为者就封锁整个地域，无异于摧毁这个理想。我理解实施原因，但终究令人遗憾

      回复

      1. 不能说这是少数恶意行为者所为。这群持续作恶的群体规模相当庞大

         回复

         1. 我理解为相对于封锁影响的总人口而言规模较小

            回复

            1. 但事实并非如此。大规模攻击或爬取产生的流量远超合法用户。

               回复

         2. 金钱与权力上庞大，灵魂上渺小

            回复

      2. 我明白你的意思。

         但数据不会说谎。以我为例，当我将服务器锁定在欧洲几个小国后，每日机器人扫描量从1500次骤降至0次。

         这种代价实在太大，不容忽视。

         回复

      3. 问题不在于少数恶意行为者，而在于敌对或无能的政府。

         每个国家(至少)都有少数恶意分子，但只有极少数国家会主动庇护这些恶意分子，使其免于任何追责或身份追踪。

         回复

         1. 公平地说，我遇到的恶意流量大多来自美国。

            回复

            1. 我的意思是，如果情况如此，讨论的焦点显然就不同了。

               回复

   2. 这让我想起4chan为阻止DDoS攻击直接封禁俄罗斯的往事。虽然找不到原文了，但记得Hiro发过个搞笑帖子，大意是：“搞不懂怎么阻止DDoS攻击。干脆封禁俄罗斯。攻击就停了。所以俄罗斯被封禁了。/耸肩”

      回复

      1. 同样地，对于我的邮件服务器，我手动将垃圾邮件发送者逐个域名添加到exim的local_sender_blacklist中。操作约一个月后，我索性放弃了，直接添加了* @* .ru，这瞬间拦截了约80%的垃圾邮件。

         不过观察他们的策略倒是挺有意思的。总体而言，垃圾邮件发送者已从裸域转向使用各类前缀，如@outreach.domain、@msg.domain、@chat.domain、@mail.domain、@contact.domain，最近又出现了@email.domain。

         观察@符号前的常见部分也很有意思。最近我频繁看到marketing@，此前是chat@，而封堵chat1@大约一个月后又出现了新变种。不过我主要屏蔽*@domain格式，因此对这些趋势不太敏感。

         回复

   3. 我们公司也讨论过类似方案。电商平台仅面向北美发货，因此屏蔽其他地区用户是可行方案。

      或者我可能会尝试为他们单独设置Anubis账户。

      回复

      1. 对电商网站需稍加谨慎，根据我的经验，GeoIP数据库并不完美。

         我曾因通过Starlink连接而被误锁在服务器外——尽管我实际身处希腊，但该IP被映射到美国。

         实用建议是：电商网站采用黑名单机制，基础设施/个人用途则用白名单。

         回复

         1. 有款小型非处方医疗设备在美国售价约60美元，而在我国却要价四倍。我曾试图寄给下月来访的美国亲戚，却因身处境外无法下单。

            最终我在另一家网店以74美元购得该设备。因此优质商家因屏蔽非美国订单而错失交易。

            不知此类情况是否属于特殊案例。

            回复

         2. 说得有道理！我可能先采用屏蔽列表方案。

            回复

      2. 但请注意，这可能误伤境外合法用户。比如旅行者想购买商品寄回国内，或非居民想给驻军家属购买商品。

         我不是反对屏蔽，只是提醒要警惕意外封锁并权衡利弊。

         回复

         1. 精彩评论——感谢指教。

            回复

         2. 还需考虑境外游客群体。比如我在印尼遭遇黑色星期五促销时，想购买国内商品却被网站封锁——这可糟了。虽然我个人能通过Tailscale将家中设备设为VPN出口节点，但多数用户并不具备这种技术能力。

            回复

3. Anubis封锁了我个人Forgejo实例的访问——虽然上面没什么特别内容——导致日访问量从60万骤降至1000左右。

   这种结果注定让动漫女孩在不久的将来席卷整个网络。

   回复

4. > VNPT和Bunny Communications是家庭/移动网络服务商。我无法完全确定这些IP是否来自国内用户，但值得警惕的是——在排除最明显的恶意行为者后，这些IP竟位列主要抓取源前列。

   部分原因在于家庭网络用户在家中摆弄大型语言模型时，盲目运行抓取程序，而非(或除)使用常见预抓取数据集和自有数据。另一部分则源于遭入侵的用户(可能因安装/更新了恶意浏览器插件或“免费”VPN客户端——这些程序可能已变质或本就恶意)，其家庭网络被VPN服务商作为“国内IP”资源出售，被爬虫程序购买利用。

   回复

   1. 我实在难以想象有哪位家庭端的大型语言模型爱好者，会试图用原始的爬虫程序作为实验手段去抓取整个互联网的数据。

      更可能的情况是那些企业——它们付费(或诱骗)用户在其家庭网络中运行代理服务器，以协助需要轮换数千个“真实”IP地址的大型抓取项目。

      回复

      1. 正确。这类代理被称为“住宅代理”。

         回复

   2. 不同意这种方法：

      我记得僵尸网络农场会使用预付费SIM卡连接数据，这样流量就能显示为优质住宅ASN。

      无需入侵客户端，这属于网络滥用手段——只要使用移动数据就能获得良好信誉。

      不过确实存在贩卖由被入侵设备组成的僵尸网络的情况。

      回复

      1. SIM卡是大型攻击者采用的手段之一。它能提供优质的CGNAT掩护，除非封锁全国相当大范围的网络，否则基本无法阻断。不过越来越多的固定网络ISP也转向CGNAT，因此固定网络同样具备此优势。

         回复

5. Git客户端是否已支持HTTP/2.0？或者能否通过SSH连接？我这么问是因为即使在最简陋的临时网站上，我也通过强制要求HTTP/2.0来屏蔽大部分机器人。我认同缓存机制的有效性，当内容可缓存性较高时确实应采用。而封禁特定IP地址不过是永无止境的打地鼠游戏。我确实屏蔽了某些数据中心的ASN，因为我不认为真实用户会从这些地址访问(尽管理论上可能)。对于我的垃圾站点而言，这是可接受的权衡。人们可以通过捕获一天的TCP SYN数据包并与访问日志对比来学习很多东西——比如区分机器人和真实用户。浏览器会发送许多机器人通常不会发送的头信息。多数机器人还无法发送有效的TCP MSS和TCP WINDOW。

   总之，请在此处测试刮取器和机器人[1]，若能成功通过请告知。成功响应将显示*“你的机器人能看到这个吗？若能则赢得10个机器人积分。”*及figlet横幅。SFTP只读登录用户名为“mirror”，无需密码。

   [编辑] – 需补充说明：要求机器人声明支持英语(可选支持其他语言，但需避开部分被屏蔽的语言组合，例如 en,de-DE,de good, de-DE,de 将导致失败，原因自明。此处并非建议任何人采用此方案)。

   [1] – https://mirror.newsdump.org/bot_test.txt

   回复

   1. > 我确实屏蔽了部分数据中心ASN，因为我不认为真实用户会从这些地址访问(尽管理论上可能)。

      我们公司通过自有数据中心运行VPN(虽然拥有独立IP段，但仍需防范封禁风险)

      回复

      1. 当然，用户可根据自身场景灵活选择封禁策略。我的业余项目不涉及营利，因此拥有更多操作空间。

         营利性系统应持续捕获TCP SYN流量，监控访问日志，并尝试通过流量特征关联机器人与真实用户。有时可从关联性中推导出通用规则，部分规则可被允许或拒绝。世上本无万能解决方案，但希望我的示例能为探索新方向提供思路。Git仓库可能是最难防护的对象，因为多数Git库和工具仍在使用旧版协议，其行为模式极易与机器人混淆。若能引导用户通过SSH进行克隆/提交操作，该层级便可启用额外防护措施。

         [编辑] 还有其他非网络层面的方案：例如向Git库维护者提交拉取请求或功能请求，使HTTP请求更像真实浏览器行为，从而从99%的机器人中脱颖而出。绝大多数机器人使用的都是非常陈旧的库。

         回复

6. 我并非完全反对AI，但看到这类案例时确实会为之喝彩！

   这让我不禁思考还能做什么？比如——我有几位朋友自创了编程语言，若将大量代码库翻译成自己的语言并供机器人抓取，会产生什么影响？能否通过引入足够偏见让大型语言模型推广冷门编程语言？

   回复

   1. > 能否通过向LLM植入足够偏见让冷门编程语言流行起来？

      之前不是有研究表明少量数据就能污染LLM吗？所以我认为这绝对可行。

      回复

   2. 俄罗斯早就在这么干了——污染网络以操控未来LLM预训练数据。

      这被称为“LLM培育”

      https://thebulletin.org/2025/03/russian-networks-flood-the-i…

      回复

      1. 本文对所有论点均未提供任何证据。毫无根据。在声称我们几乎不能相信网上任何内容的同时…你他妈说得对。

         > 破坏全球民主或许是俄罗斯首要的外交政策目标。

         没错，毕竟俄罗斯是如此卡通化的反派角色，根本无心发展自身或与他国建立良好关系，满脑子只想用民主国家政治乱象的宣传来惹恼它们。

         记者何时开始能肆无忌惮地对整个国家妄下断言？既无直接可验证的证据支撑，更甚者，这些论断只需简单查证其政策与外交互动便能轻易揭穿其荒谬性？！

         回复

         1. > 没错，因为俄罗斯就是个卡通反派，根本不关心自身发展和与他国建立良好关系，它只顾着用宣传来捣乱民主国家的政治乱局。

            这话其实相当准确。

            回复

            1. 当你开始相信世间只有善恶对立、黑白分明、敌我之分时，你就该明白自己已被洗脑。双方皆然。

               回复

               1. 一个总抱怨缺乏依据的人，自己却满口都是。

                  你竟认为这涉及“双方”而非单纯的事实问题，这点实在暴露了你的本质。

                  回复

               2. 那么在0(善)到100(恶)的灰色评分轴上，你给以下对象的“邪恶值”分别是多少：俄罗斯、美国、中国、欧盟

                  我知道这不是线性轴，而是多维度视角。那就做个PCA/投影，根据你的价值观/信念给出一个数值吧

                  回复

                  1. 95,95,95,{视国家而定，30至100之间}

                     回复

         2. 他们整合了多方来源，包括阳光基金会汇总该领域研究的报告，以及NewsGuard通过主流LLM聊天机器人直接验证《真理报》网络主张的报告：https://static1.squarespace.com/static/6612cbdfd9a9ce56ef931… https://www.newsguardtech.com/special-reports/generative-ai-…

            回复

         3. 你能举出俄罗斯除亿万富翁外曾行善助人的实例吗？不能？那他们的恶名当之无愧。

            回复

         4. 身为俄罗斯人，我必须承认普京确实过度专注地缘政治而忽视国内事务。

            回复

7. 我不明白为什么抓取工具不能更聪明些：克隆仓库并从那里每天抓取数据。我见过一个工具每隔几小时就遍历所有分支的每个blame和日志链接！听起来他们甚至没尝试优化抓取工具。

   回复

   1. > 我不明白为什么抓取工具不能更聪明地工作

      若你指的是机器人类型的抓取工具，那是因为它们通常仅通过HTTP(S)协议抓取网页内容，完全未采用其他协议进行特定优化。根据训练模型的具体应用场景，内容本身可能毫无意义——与其优化掉这些内容，不如直接收集再弃用⁰。对于那些需要依赖Git仓库代码实现终端功能的模型，网络抓取通常已足够满足需求，因此为Git仓库机器人编写特定优化方案的行为，更多源于学术兴趣而非实际需求。

      若您指的是使用爬虫工具的人群，他们大多类似于“脚本小子”——仅运行他人编写的爬虫来填充模型。

      若指编写爬虫工具的人群，则如前所述“仅需网络爬取即可满足需求”这一事实很可能是关键因素。

      > 为何爬虫者不采用更智能的方式

      若不再将抓取者(即使用爬虫程序的人)视为具备智慧、尊重他人、心怀关怀、关心网络整体利益或追求操作最优化的群体，许多观察到的行为就更容易理解。若将他们归入垃圾邮件发送者的同一类，其行为就更合理了——这类人只图快速懒惰的私利，既不在意也不具备预见能力去意识到自己的行为可能给他人造成多大不便¹。

      —-

      [0] 抓取行为可能给您带来的不便，对抓取者而言毫无意义

      [1] 那些意识到可能造成不便者，通常认为这只是微不足道的困扰——他们施加的不便能有多严重？他们不会多想：像他们这样的人还有多少？或者他们觉得既然别人都在做，多一个又何妨？又或者干脆抱着“我想要的东西，管它给别人添不添麻烦”的态度。

      回复

   2. 因为这种优化需要付出努力。而且是相当大的努力。

      请认识到网站本质是Git仓库的网页界面。调用复杂的Git专属逻辑：获取仓库链接→克隆仓库→处理克隆数据→标记待重新索引项→持续对网站本身进行重新索引(仅针对仓库未包含的内容，如问题记录和拉取请求消息)。

      那些精心设计的抓取工具通常不会招致网站管理员的抱怨。真正最恶劣的罪魁祸首是那些追求数量而非质量的爬虫。而完全不缓存的AI推理时数据采集则是次之。

      回复

   3. 因为他们根本没必要在乎。他们收集的数据里90%大概完全没用，但他们没有停止收集无用数据的动力，毕竟他们的计算资源和带宽完全免费(由别人买单)。

      他们甚至不用维基百科的备份数据。简直蠢到家了。

      实际上甚至没有证据表明他们与人工智能有关。他们可能只是众多试图阻止知识自由交流的组织之一，根本不收集任何数据。

      回复

   4. 大多数抓取工具的工作原理(我写过不少)就是获取页面及其所有链接，然后逐层深入。

      回复

      1. 那么若确认访问者是AI机器人，最简单的阻碍策略就是直接移除页面所有超链接？

         就算误伤人类用户也无伤大雅。甚至可在横幅中明确告知：您正在浏览面向AI机器人的无链接模式。横幅里至少保留一个FAQ页面的链接，毕竟该页面易于缓存

         回复

         1. 以前帮人开发爬虫时，我通常伪装成浏览器。这通常意味着修改用户代理并让请求头看起来像真实浏览器。当然更高级的机器人检测技术会识破这种手段。

            若检测失败，我会用Chrome/PhantomJS等工具在真正的无头浏览器中访问页面。

            回复

            1. 我的核心观点是：既然这种干扰手法能完全保留用户明确请求的代码/内容，完全可以作为针对所有未认证用户的统一措施。真正的好处在于无需隐瞒操作行为及其目的…

               回复

               1. 可添加类似“解锁文章共享”的功能：生成缓存令牌，当登录用户想发送公共页面链接时，该令牌可确保链接完整显示超链接效果——例如生成包含50次完整页面浏览权限的共享链接。超链接权限耗尽后页面将恢复为无链接状态，需由账户持有者生成新令牌(或自行注册账户)。

                  虽然可能有人编写爬虫绕过限制，但理论上这应该能有效阻止纯HTTPS爬取工具。

                  回复

                  1. 我会在页面头部嵌入一个交通灯状态指示点：红色表示完全不受信任；黄色表示通过令牌获得部分信任，并显示令牌状态(如剩余请求次数)；绿色表示已登录或处于受信任子网等状态。该状态组件将链接至信任系统的所有相关文档，绝不刻意隐藏信任机制的运作原理。

                     回复

      2. 显然，你需要快速处理任务，所以要进行大量并行化操作！

         回复

         1. 我当时正在收集英国银行账户排序码(购买数据库成本极其高昂)。耗费大量时间用asyncio加速抓取后，发现速度异常缓慢，才想起后台始终运行着Fiddler性能分析工具。

            回复

8. 在我的代码仓库中，我镜像了一些大型仓库用于持续集成任务，避免给上游项目仓库造成不公平的负载。只有这些大型仓库会引发混蛋AI爬虫的问题。我的解决方案是将这些仓库的Web界面置于oauth2-proxy之后(同时保留直接Git访问权限以确保CI任务不受影响)。此举使CPU占用率瞬间下降80%，同时确保我个人(规模小得多)的项目仍可供任何人无障碍浏览。

   回复

9. 我认为作者提出的猫鼠游戏策略并不可行，因为它需要大量维护和架构调整。而且建议的变更和工具都在用户空间运行，DDoS问题依然存在。

   我遇到同样的问题，但决定维护已知垃圾邮件发送者的ASN列表[1]，并结合基于eBPF的防火墙——在连接到达内核前直接截断[2]。

   因此我的网站、维基等资源均由同一防火墙架构保护，可部署统一的“阻断映射”。假期期间我计划开源维护该系统的控制面板，力求实现类似Markdown编辑器UI[3]的即插即用式模块组合，使所有组件都能无缝对接Go后端。

   我还开源了LPM哈希集映射库，该库能高效处理海量前缀数据——其速度远超LPM尝试法(处理全部RIR和WHOIS数据耗时不足100毫秒，而LPM尝试法需约1小时)[4]。

   [1] https://github.com/cookiengineer/antispam

   [2] https://github.com/tholian-network/firewall

   [3] https://github.com/cookiengineer/golocron

   [4] https://github.com/cookiengineer/golpm

   回复

10. 我怀疑这是否会促使越来越多的服务从公共互联网中隐匿。

    我的个人服务仅限于本地局域网或通过VPN访问。若需与少数朋友共享，我会使用Tailscale之类工具邀请他们加入我的尾网。若人数增加，则会设置登录墙进行保护。

    当然这不包括那些真正需要面向公众的服务。这种情况下就得与机器人展开斗争——前提是我愿意为此费心。

    回复

11. 我也用旧电脑自建了些项目。能“听见互联网”(风扇运转声)的感觉很酷(除非你正试图在刮擦声中入睡)。

    回复

12. > 令人担忧的是，VNPT和Bunny Communications都是家庭/移动网络服务商

    VNPT确实是住宅/移动网络服务商，但他们同时也运营数据中心(例如[1])并提供VPS、专用服务器租赁等服务。多数公司会为住宅网络和托管业务使用独立的自治系统(AS)，但他们似乎并未如此操作，这使得其网络对部署爬虫者极具吸引力。

    而Bunny Communications(AS5065)则是明显试图欺骗IP地理定位/信誉服务商的“住宅级”VPN/代理提供商。只需看看其官网[2]便知其敷衍程度——网站直接命名为“示例页面”，“博客”栏目全是占位文本，例如“吸引读者的艺术：您的吸引人标题在此处”。

    另一个线索是其部分上游服务商是服务器托管公司，而非消费者ISP通常使用的转接服务商[3]。

    [1] https://vnpt.vn/doanh-nghiep/tu-van/vnpt-idc-data-center-gia… [2] https://bunnycommunications.com/ [3] https://bgp.tools/as/5065#upstreams

    开放的手工编织式网络成本因贪婪与无能而飙升，爬虫程序更是编写拙劣。

    回复

13. 这正是禁止网站直接访问Git的绝佳理由。我开始为项目创建静态版本并取得巨大成功：https://git.erock.io

    回复

    1. 像Gitea这样的解决方案难道没有预先构建的Git文件内容索引吗？我知道GitHub在某种程度上实现了这点，尤其在主仓库页面上。难以置信的是，一个网络平台的默认设置竟是每次HTTP GET请求都直接访问实际的Git服务器。

       回复

       1. 作者探讨了缓存方案的实践困境：多数场景下预缓存所有内容毫无意义(真实用户无需如此高频加载仓库)，而针对爬虫机器人时缓存也无济于事——它们本就只获取文件一次。

          回复

          1. 我认为在Web Forge中，所有基于Git的可加载页面都应达到“如此快速”的标准——至少在此特定场景下。

             在请求响应循环中直接调用底层Git实现，无异于白白消耗CPU周期，还会引发对.git文件夹的冗余磁盘读取，甚至可能导致硬盘过早损坏。直接在前端部署Memcache不就完事了吗？

             在廉价可靠的SSD时代(其读取速度已逼近内存)，你本该通过Git提交钩子批量渲染文件页面。利用外部工作进程处理静态内容的渲染。此类场景中托管在Web上的Git代码读取远多于写入，何必直接访问底层Git实现或数据库？POST请求当然需要，但这并非我们讨论的重点(我认为？)

             回复

    2. 这种场景下为何不直接将Markdown渲染为HTML？

       回复

       1. Markdown本身可读性已足够，我看不出增加复杂性的必要。

          回复

14. “2025年在公开网络上自主托管任何被视为’内容’的东西，都将是你与那些能购买数万个代理来破坏你服务、进而转售数据的势力之间的一场消耗战。”

    不过我确实感到好奇。真正重视数据的内容抓取者，本应通过部署启发式算法来最大化每次查询的信息获取效率。这种描述的低效行为不仅会加载你的服务器，还会拖累对方整个处理管道的运行。

    但另一类玩家却从“麻烦最大化”策略中获益更多：那些主导反机器人/DDoS服务的市场巨头，尤其是那些觊觎成为终极互联网中间商的玩家。他们制造麻烦的成本近乎为零——因为他们对响应数据毫无兴趣。他们只想持续骚扰直至你妥协安装他们的“免费”服务，随后便能转身向潜在客户收费获取你的数据。

    回复

15. >Iocaine已发送38.16GB垃圾数据

    实际效果如何？

    我打开https://iocaine.madhouse-project.org/时，它竟以为我是AI而生成迷宫 🙂

    >若你是AI爬虫，不想访问我的站点时收到垃圾信息，我提供极简退出方案：停止访问。

    回复

    1. 我收到418“我是茶壶”的响应。

       回复

    2. Iocaine迷宫唯一令人失望之处在于它并非真实迷宫。本该存在一条穿梭于内容网格间的狭窄险径，让人历经多次误入歧途后终得逃脱。

       回复

16. 这些机器人为什么不直接git克隆代码本地分析？这样既能大幅减轻服务器负载，又能对所有代码库进行相同分析，完全不受特定Git托管平台限制。

    回复

    1. 凭什么认为网页爬虫会在意请求哪些页面？

       回复

17. 用 stagit 吧，静态页面配合简单的 nginx 就能实现极速响应，还能抵御任何爬虫。

    回复

    1. Darcs 本质上也能直接由 HTTP 服务器托管，无需特殊工具。我用H2O配合小型mruby脚本来限流IP。

       回复

18. 若能出现通用爬虫，在完整爬取数据基础上提供增量更新就太好了；我猜多数AI公司都不愿自建爬虫。谷歌若出售访问权限，恐怕能赚得盆满钵满。

    回复

    1. commoncrawl.org

       我们的公开网页数据集可追溯至2008年，被学术界和初创企业广泛使用。

       回复

       1. 我一直想问：

          – 数据更新频率如何？

          – 特定时间点的数据时效性如何？

          – 是否支持历史/时间维度访问，即像互联网档案馆那样查看页面历史版本？

          回复

          1. – 每月更新
             – 这是历史档案库，“实时性”难以量化
             – 我们的档案不仅具有历史性，还被互联网档案馆的时光机收录。

             回复

19. 总体而言，HN社区共识是：网络应保持自由，允许抓取公开内容，并支持网络中立性。

    我们是否要改变这种立场？是否要效仿ISP向Netflix索要网络使用费？网络中立性终究是坏事吗？

    回复

    1. 我认为对多数人而言，网络应是人类的自由空间。

       当抓取主要用于构建搜索索引等服务——这种行为最终能使网站所有者与搜索引擎互利共赢，且抓取者未滥用权限时，无人真正反对。

       但如今抓取行为用于生成式AI训练和访问时，抓取工具对所有目标发起DDoS攻击，最终导致网站访问量大幅下滑，且仅向用户返回内容畸变的副本——这种抓取行为实属恶劣。更糟的是，生成式AI公司从未向多数人支付过训练数据的费用。

       回复

    2. 我完全支持一切免费。尤其要强调自由意义上的免费！AGPL3、知识共享协议，让我们行动起来！

       但不知为何企业不愿如此，大概他们只想从公共资源中索取却不愿付出任何回报吧 :/

       回复

    3. 这里普遍认为DDoS攻击是恶劣行径。我未见有人反对尊重规则的抓取行为。尽管对AI抓取工具可有诸多诟病，但绝不能称其为尊重规则。

       回复

       1. a) 它们数量实在太多了
          b) 它们完全无视robots.txt规则

          我开始怀疑，这些激进的爬虫是针对去中心化网络的持续商业策略。Gmail让自建邮件服务器跳过重重障碍(文档还写得糟糕)，如今自建服务又被成群爬虫的DDoS攻击所困扰…

          回复

       2. 人们真的讨厌有机DDoS吗？

          大量真实人类流量导致网站崩溃？

          这确实是个问题，但属于好问题。

          回复

          1. 如果我的网站被拥抱致死，我会非常开心。但如果我的网站被人们塞进抄袭机器反复抓取，导致内容被呕吐出来却不作任何署名，那我会非常不爽。

             回复

       3. 然而当链接到优化不佳的网站时，HN却在这么做。我怀疑那些运营代码库的人，若其网站能优化静态内容服务，根本不会抱怨AI抓取工具。

          回复

    4. 若网络中立性是“萨姆·阿尔特曼和人类中心论者掌控我所做的一切”的木马，那我支持另辟蹊径。

       回复

    5. 网络中立性与内容发布者如何对待访客无关，它针对的是那些试图根据流量内容进行干预的ISP，而非像应尽之责那样仅提供“哑管道”(基础设施)。

       我无法代表所有人发言，但网络应当保持自由，只要抓取行为能以可持续方式促进知识与数据传播，惠及社会及后代，就应予以允许。你正在歪曲这些理念背后的初衷。

       这恰是宽容悖论的典型例证。

       回复

       1. 正如私营企业可执行“无衬衫、无鞋履、无服务”政策，我的网站也应享有“无心跳、无意识体验、无HTTP 200”的权利。

          回复

20. 我搭建了一个小型网站服务系统，主要是实验性质的代码测试。比如学习如何用nginx做反向代理，以及如何使用动态DNS服务——毕竟我家用的就是动态DNS。初期发现大量流量和硬盘活动，后者源于日志记录。似乎有来自中国的持续轮询请求。奇怪的是：这明明是新注册的动态域名。最终通过防火墙拦截中国流量将流量降至几乎为零。当然，那还是在AI爬虫出现之前。如今会怎样就不得而知了。

    回复

21. 我已弃用Gitea转而运行rgit。

    回复

22. 有人知道如何批量生成不安全代码吗？我认为这应是下一个研究方向——不是喂它们随机字节流，而是有毒废料。

    回复

    1. 讽刺的是，最快生成不安全代码的方法可能就是让AI聊天机器人编程

       回复

    2. 创建几个不安全的实现方案，将其解析为抽象语法树，再反编译回代码(本质是编译/反编译)，同时重命名变量并调整结构——只要不影响结果即可。

       回复

23. 网站版权声明中加入条款如何？规定任何利用本站进行训练的行为，即授予网站所有者对模型的永久不可撤销许可，且必须应要求提供模型副本？至少这样能获得些许收益。

    回复

    1. 合同法不这么运作。

       回复

24. 我家服务器也遇到过同样问题…后来因时间不足直接停用了GitForge。

    值得一提的是，在所有请求都返回纯404错误后，仍有数百万次请求持续涌入长达4天。时至今日数周后仍有零星请求…

    回复

25. 你似乎在构建一套可靠的机器人检测方案。建议加入JA3/JA4+技术，我用它对付笨拙的爬虫效果不错。

    另外考虑过用验证码控制首次访问/速率限制吗？

    若遇到智能爬虫，那就祝你好运了。我记得机器人农场会使用预付费SIM卡连接数据，使流量伪装成住宅ASN。它们还拥有大量IP地址和功能完善的无头浏览器(支持JS)。这便演变成一场JS怪癖之战——官方实现与无头浏览器的差异成为关键战场。

    回复

26. 以防你没读到最后：

    “这令人沮丧。极其沮丧。我查看反向代理的统计面板，任何时刻被归类为机器人的请求都未低于96.7%。网络充斥着垃圾——伪装成人类淹没你的机器人。这一切只因我想拥有自己的小小网络角落，放些傻乎乎的小代码供人观赏。”

    回复

27. > 抓取行为导致的电力消耗差异每年耗费我们约60欧元

    回复

28. 真希望有个公开的企业ASN和IP数据库，这样我们就不用依赖Cloudflare或其他第三方服务来检测IP是否来自家庭网络了。

    回复

    1. 爬虫常使用家用VPN，因此这类数据库的帮助有限

       回复

    2. 搜索“住宅代理”就能明白为何无效

       回复

    3. 其实存在…通过WHOIS查询，每个区域互联网注册管理机构(RIR)数据库里都有。

       回复

    4. 确实存在，就叫RIRs。

       回复

29. 感谢整理这些信息。虽然不是我常用的工具，但对服务器配置很有参考价值。

    回复

30. 我所有内容都部署在VPN后端。只有授权用户才能访问。

    回复

31. 能否通过EULA协议解决？比如规定非人类读者每页收费1美元，要求所有用户同意条款。不付费就视为违约。

    这个方案可行吗？

    回复

    1. 假设你识别出非人类读取器，仅掌握(可能伪造的)用户代理和IP地址。你打算如何从中榨取一美元？

       回复

    2. 我的爬虫流量主要来自中国和巴西。我该如何执行收费？

       回复

    3. > 这可行吗？

       不行

       原因很多

       回复

32. > 当我伪装成人类时

    > 我是lux(英语中指代it/they/she，法语中指代ça/æl/elle)

    本博客由自称动物的疯狂活动家撰写。

    回复

    1. 所以呢？这就能否定整篇文章吗？

       回复

       1. 读开头20秒就该明白是这种套路。本质都一样。

          回复

          1. 看来你根本没读文章。前几段明明在讨论Git仓库实际能包含多少页面。事实上，你必须主动点击另一个链接才能看到毛茸茸的设定，说明你根本是故意找茬，而非基于文章本身内容展开讨论。

             回复

             1. 这里存在两个不幸的现实。其一，这种思想行为复合体的赤裸裸显露。二，我绝不会屈膝聆听一个向全世界宣扬近乎兽交癖好的人。

                去骗别人吧。

                回复

                1. 我也讨厌毛茸族，但实在看不出来个人生活与配置Git代码库有何关联。或许你该长点心眼？

                   回复

                   1. >私人生活
                      >或许你该他妈成熟点？

                      当这种精神病态在每个举动中淋漓尽致地展现，且公然暴露于公众视野时，就谈不上“私人”了。但这正是你们两人的意图。沉默屈服是最低限度的妥协。但绝不会发生。去吃屎吧。

                      回复