Cloudflare揭露AI新手公司Perplexity试图避开网站访问限制，指责其“隐形爬取”行为
发布时间：2025-08-05 09:51:37 | 责任编辑：张毅 | 浏览量：5 次
Cloudflare发布报告称，人工智能搜索初创公司 Perplexity涉嫌规避旨在阻止其网络爬虫访问某些网站的限制。据Cloudflare透露，当其爬虫遭遇阻挡时，Perplexity会通过隐藏身份的方式，试图绕过网站的偏好设置，包括已在robots.txt文件中声明的限制和Web应用程序防火墙（WAF）规则。
该指控加剧了外界对Perplexity未经授权获取内容的担忧。此前，Perplexity曾因强行突破付费墙和无视robots.txt文件而受到批评，但其首席执行官Aravind Srinivas当时将责任归咎于第三方爬虫。
为验证客户的投诉，Cloudflare设置了具有类似访问限制的新域名进行测试。结果发现，Perplexity的爬虫（最初名为“PerplexityBot”或“Perplexity-User”）在遭到阻断后，会立即更改其用户代理，伪装成“在macOS上运行的Google Chrome”。Cloudflare称，这种“未声明的爬虫”还使用轮换的IP地址和改变其自治系统网络（ASN）来绕过封锁。Cloudflare表示，其观察到这种规避行为涉及“数万个域名和每天数百万个请求”。
作为回应，Perplexity发言人Jesse Dwyer在一份声明中称Cloudflare的报告是“炒作”，并表示其中存在“很多误解”。尽管如此，Cloudflare已将Perplexity从其已验证机器人名单中移除，并发布了阻止其“隐形爬行”的方法
事件概况：互联网基础设施提供商 Cloudflare 指控 AI 初创公司 Perplexity 使用“隐形爬虫”（未声明的爬虫）绕过网站限制，抓取明确禁止其访问的内容。Cloudflare 表示，即使网站通过 robots.txt 文件和 Web 应用程序防火墙（WAF）规则明确阻止 Perplexity 的爬虫（如 PerplexityBot 或 Perplexity-User），Perplexity 仍会通过伪装用户代理（如伪装成 macOS 上的 Google Chrome 浏览器）、轮换 IP 地址（使用未列入官方 IP 列表的地址）和改变自治系统网络（ASN）等方式规避封锁，每天涉及数万个域名和数百万请求。
Cloudflare 行动：Cloudflare 将 Perplexity 从其“已验证机器人”名单中移除，并实施技术措施以阻止 Perplexity 的“隐形爬虫”行为。
Perplexity 回应：Perplexity 发言人 Jesse Dwyer 驳斥 Cloudflare 的报告为“炒作”，并称其中存在误解，甚至否认报告中提到的机器人属于其公司。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
