【AI爬虫正在“吃掉”独立网站:从TheNumbers下线看互联网生态的崩塌】| blog

近日,拥有30年历史的电影数据权威网站 TheNumbers.com 因遭受毁灭性流量冲击被迫下线。

这并非孤例,一位曾运营美国政府救助金查询站的开发者也透露,尽管他提供了10GB的完整数据包下载,AI爬虫仍选择暴力抓取数TB的原始网页,直接导致其带宽成本飙升至无法承受而关站。

这件事揭示了当下互联网最残酷的底层逻辑:AI公司正以千万倍于传统搜索引擎的频率进行“暴力拆解”,却几乎不回馈任何流量。更危险的是,预测市场的兴起让这些数据具备了即时变现的博弈价值,导致黑灰产利用AI工具对老旧站点进行无孔不入的漏洞探测。

对于独立开发者而言,这不仅是带宽账单的威胁,更是生存空间的挤压——当你的内容被LLM吸干水分再免费喂给用户,原创者的激励机制就彻底瓦解了。未来,高质量信息向付费墙倒戈或全面静态化、API化将成为必然,那个“人人可访问、机器守规矩”的开放互联网时代正在加速终结。
 
 
Back to Top