维基媒体基金会：人工智能爬虫导致维基共享资源带宽需求激增 50%

时间：2025-04-07 02:35:25     来源： wwwkaiyun.com

                                                                                            

  维基媒体基金会是和十几个其他众包知识项目的管理组织，该基金会近日表示，自 2024 年 1 月以来，从维基共享资源下载多媒体的带宽消耗激增了 50%。

  该公司在周二的一篇博客文章中写道，其原因并非源于渴求知识的人类需求一直增长，而是源于想要训练人工智能模型的自动化、数据饥渴的抓取工具。

  帖子写道：“我们的基础设施是为了在高关注度事件期间承受来自人类的突然流量激增而建立的，但爬虫机器人产生的流量是前所未有的，并且带来了慢慢的变大的风险和成本。”

  维基共享资源是一个可自由访问的图像、视频和音频文件存储库，这些文件可在开放许可下使用或属于公共领域。

  深入研究后，表示，最“昂贵”的流量（即就所消费内容类型而言资源最密集的流量）中，近三分之二（65%）来自机器人。然而，只有 35% 的整体页面浏览量来自这些机器人。根据的说法，造成这种差异的原因是，经常访问的内容在其缓存中更靠近用户，而其他不经常访问的内容则存储在更远的“核心数据中心”，从那里提供内容的成本更高。这是机器人通常会寻找的内容类型。

  “虽然人类读者倾向于关注特定的（通常是相似的）主题，但爬虫机器人倾向于‘批量阅读’大量页面并访问不太受欢迎的页面，”写道。“这在某种程度上预示着这些类型的请求更有可能会被转发到核心数据中心，这使得我们的资源消耗更加昂贵。”

  总而言之，维基媒体基金会的网站可靠性团队不得不花费大量时间和资源来阻止爬虫程序，以避免对普通用户造成干扰。而这一切都是在考虑基金会面临的云成本之前。

  事实上，这代表了一种迅速增加的趋势的一部分，这种趋势正在威胁开放互联网的存在。上个月，软件工程师兼开源倡导者Drew DeVault 抱怨人工智能爬虫忽略了旨在抵御自动流量的“robots.txt”文件。而“务实工程师”Gergely Orosz上周也抱怨说，来自 Meta 等公司的人工智能爬虫增加了他自己项目的带宽需求。

  尽管开源基础设施尤其处于风口浪尖，但研发人员正在以“智慧和报复”进行反击。一些科技公司也在尽自己的努力解决这一个问题——例如，Cloudflare 最近推出了 AI Labyrinth，它用AI生成的内容来减慢爬虫的速度。

  然而，这更像是一场猫捉老鼠的游戏，最终可能迫使许多出版商躲在登录和付费墙的后面——这对当今使用网络的每个人都是有害的。

  上汽通用五菱：2025年Q1上汽通用五菱销量突破37.7万辆 新能源板块暴增121.9%

  悉尼新南威尔士大学：本世纪全球变暖超过3°C 可能会引起世界经济损失40%

  The Information：ChatGPT付费用户突破2000万 收入飙升30%

  比亚迪财报：2024年营业收入7771.02亿元 同比增长29.02%

  我们致力为中国互联网研究和咨询及IT行业数据专业技术人员和决策者提供一个数据共享平台。