网络上的AI爬虫活动：Fastly报告显示Meta、OpenAI等大公司是主要的流量产生者
发布时间：2025-08-22 10:16:51 | 责任编辑：吴昊 | 浏览量：5 次
您好，这是一份我为您整理的关于AI爬虫对网络影响的新闻稿，内容紧凑且重点突出。
据云服务公司 Fastly 最新报告显示，人工智能（AI）爬虫正在给开放网络带来沉重负担，网站流量的显著增长并非来自人类访客，而是日益庞大的机器人程序，特别是来自大型AI公司的爬虫和抓取程序。
报告指出，在所有访问网站的AI机器人流量中，AI爬虫占据了高达**80%的份额，而剩下的20%**则由 AI抓取程序贡献。这些抓取程序会在用户向大型语言模型（LLMs）请求训练数据日期之后的信息时按需触发，从而在短时间内造成流量的爆发式增长。
在AI爬虫流量方面，报告揭示了主要科技公司所占的比例:Meta 的AI爬虫流量占比高达 52%，居于首位;紧随其后的是 谷歌 和 OpenAI，分别占据了 23% 和 20% 的流量;而 Anthropic 和 Perplexity AI 所占份额较小，分别为 3.76% 和 1.12%。
与AI爬虫相比，AI抓取程序的流量爆发性更强。Fastly 监测到，一个抓取程序每分钟就能产生超过 39，000个请求。值得注意的是，OpenAI 公司在AI抓取程序流量中占据了绝对主导地位，占比高达 98%。这表明，当用户向OpenAI的大模型提出实时性信息需求时，会触发大量的即时抓取行为，对网站服务器造成瞬间的巨大压力。
Fastly 2025 年第二季度威胁洞察报告显示，AI 爬虫已成为 AI 机器人流量的主要组成部分，占近 80%，其中 Meta 的 AI 爬虫活动占比超过一半（52%），超过谷歌（23%）和 OpenAI（20%）的总和。此外，OpenAI 的 ChatGPT 相关机器人（如 GPTBot）也产生了大量实时流量，98% 的抓取机器人请求归因于 OpenAI 的机器人。
这些 AI 爬虫和抓取程序对网络基础设施造成了巨大压力，某些抓取程序甚至每分钟产生超过 39,000 个请求，模拟了 DDoS 攻击的效果，给未受保护的原始服务器带来沉重负担。此外，北美地区接收了约 90% 的 AI 爬虫流量，而其他地区的份额较小，引发了对 AI 训练数据集地理偏见及模型输出中立性的担忧。
报告呼吁提高机器人验证的透明度，采用更智能的机器人管理策略，以应对 AI 驱动的自动化流量带来的安全、性能和运营挑战。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
