Reddit因AI爬虫关停RSS与公开API
Reddit宣布停止支持RSS订阅并终止公开API访问,官方将矛头指向滥用内容的AI爬虫。这是其继2023年API收费后再度收紧内容获取,第三方工具与研究应用受冲击,数据授权生意进一步巩固。
当地时间9月30日,据美国科技媒体TechCrunch报道,Reddit宣布停止支持RSS订阅源,并终止面向公众的API访问。这家坐拥全球最大规模真人讨论社区的平台,把矛头直指AI爬虫——大量自动化程序持续抓取内容,迫使其再度收紧内容大门。这并非Reddit第一次对开放接口“动刀”:从2023年的API收费风暴、2024年屏蔽主流爬虫,到接连起诉多家AI公司,Reddit正系统性地把自家内容从开放互联网中一点点收回来。
RSS退场:一段开放网络传统的终结
RSS是互联网早期最具代表性的开放协议之一,而Reddit与它渊源颇深:该平台上线后不久,便与曾参与制定RSS 1.0标准的程序员亚伦·斯沃茨创办的Infogami公司合并,RSS订阅自此成为Reddit长期保留的功能。用户无需登录、无需安装官方应用,只要访问/r/社区名/.rss这样的地址,就能跟踪任意版块的最新更新。多年来,这一特性支撑起庞大的第三方阅读器生态、IFTTT等自动化工具,也照顾了一批重视隐私的老用户。
根据TechCrunch的报道,Reddit此次将直接结束对RSS源的支持;与此同时,面向公众的API访问也将一并终止。这意味着,在官方应用与获得授权的商业伙伴之外,普通开发者和个人用户将几乎不再拥有批量合法读取Reddit内容的渠道。报道同时指出,此举是该公司持续收紧对其海量用户生成内容访问权的最新一步。
AI爬虫成导火索:一场持续三年的防御战
Reddit并未把这次关停简单归为业务调整,而是明确指向AI爬虫的过度抓取。随着大模型训练数据争夺白热化,Reddit这类沉淀了十几年真实人类讨论的高质量语料库,成为各家AI公司竞相抓取的对象,平台管理层对此早有不满。早在2023年4月,CEO史蒂夫·霍夫曼(Steve Huffman)接受《纽约时报》采访时就直言:
“Reddit的语料数据非常有价值,但我们真的没有必要,把其中的全部价值免费送给世界上最大的那几家公司。”——Reddit CEO史蒂夫·霍夫曼,2023年4月
此后的动作一路升级:2024年6月,Reddit修改robots.txt文件,屏蔽了除谷歌之外几乎所有的爬虫;同年7月,平台又一度切断微软必应等搜索引擎的抓取权限,以推动数据谈判。2025年,Reddit两度拿起法律武器:6月起诉Anthropic未经许可抓取训练数据,10月又将Perplexity以及Oxylabs、SerpApi等数据服务商告上法庭。此番关停RSS与公开API,被业内普遍视为这套“防御组合拳”的延续。
数据授权生意:从免费开放到明码标价
理解Reddit的激进转向,绕不开2023年那场API定价风暴。当年5月,Reddit宣布对API调用收费,费率为每1000次调用0.24美元;长期依赖免费API的明星第三方客户端Apollo估算,按新费率运营每年需支付约2000万美元,随即宣布关停。消息引发数千个版块在2023年6月集体“熄灯”抗议,成为Reddit历史上规模最大的社区反弹之一。
抗议没有改变方向,却见证了新商业模式的确立:2024年初,Reddit与谷歌签署数据授权协议,据路透社等媒体报道年收入约6000万美元;同年5月又与OpenAI达成合作。在2024年3月的IPO招股书中,Reddit披露已签署累计约2.03亿美元的数据授权合同,并预计当年获得6640万美元相关收入。以每股34美元发行价完成上市的Reddit,如今已把“内容授权”写入核心收入叙事——每关掉一扇免费之门,付费授权的价值就多一分。
谁在付出代价:开发者、研究者与老用户
政策收紧的代价由多方承担。对依赖RSS和公开API的第三方开发者而言,这意味着产品逻辑被釜底抽薪;版主们用来管理社区的自动化小工具同样建立在公开接口之上,如今只能另寻出路或无奈退场;对学术研究者来说,借公开接口获取社区讨论数据、研究网络舆论传播的路径被切断,购买商业授权的价格又远非个人或实验室所能承受;对把RSS当作隐私屏障的老用户而言,替代方案只剩登录官方应用,浏览行为将完整暴露在广告与推荐系统面前。
- 第三方工具:RSS阅读器、IFTTT等自动化服务将失去数据来源;
- 学术研究:公开数据获取渠道关闭,语料采集成本大幅上升;
- 隐私与无障碍用户:难以再绕开官方应用使用平台;
- AI行业:合规语料全面转向付费授权,中小公司压力更大。
当然,Reddit内外也有不同声音。支持者认为,平台有权为内容定价,长期免费开放只是让少数巨头无限抽取社区资源;反对者则忧虑,互联网正从“默认开放”滑向“默认封闭”,普通用户失去的不仅是便利,更是对公共讨论数据的基本访问权。
从API收费、封锁搜索引擎爬虫,到如今告别RSS,Reddit用三年时间完成了一场教科书式的“围墙花园”改造。在AI时代,高质量的人类讨论数据本身就是资产,Reddit选择先锁进保险柜、再逐份出售,短期看是商业上的胜利,长期却可能在开放网络与互联网传统精神之间划下更深的裂缝。TechCrunch报道称,RSS与公开API的具体关停时间表尚未披露——但方向已经足够清晰:习惯用开放接口了解世界的用户,恐怕真的要和旧时代的Reddit说再见了。