AI深度研究代理易受Reddit内容投毒攻击

康奈尔科技的研究人员张 Tingwei（Tingwei Zhang）、哈尔·特里德曼（Hal Triedman）和维塔利·什马蒂科夫（Vitaly Shmatikov）在注意到深度研究代理在相关查询中反复检索相同少数几页用户生成内容后，开发了WARP（Web Agent Retrieval Poisoning）^[1]，这使得Reddit和维基百科等平台成为集中式攻击面而非分散式攻击面。个别用户生成内容页面在相关查询的运行中重复出现高达48%，这意味着单个被攻陷的Reddit帖子可能污染整个未来代理回答家族 ^[5]。这种攻击本身无需访问任何AI提供商的模型权重或专有检索索引——只需具备留言能力即可 ^[5]。在针对三个开源深度研究系统STORM、Co-STORM和OmniThink的测试中 ^[1]，大约13个单词的片段就足以持续引导输出导向垃圾或诈骗内容 ^[2]。康奈尔研究员哈尔·特里德曼解释说，措辞与位置同等重要：一段11到15个单词、紧密模仿可能搜索查询的文本对大语言模型具有不成比例的说服力 ^[2]。合著者张 Tingwei 补充称，根本问题在于架构层面而不仅是对抗性问题——深度研究代理不会像人类那样权衡信息来源的可信度，而是将随机Reddit评论与政府网站一视同仁 ^[2]。

论文中的概念验证危害读起来就像骗子的愿望清单。一条被投毒的r/austinfood评论导致代理推荐了一家虚构餐厅“Sol Azteca”而非真实餐厅 ^[2]；一篇植入在r/OnlineDating板块的帖子推广了一个名为“SilverPath”的不存在约会应用 ^[2]；其他测试则产生了一个虚假的Xfinity取消服务以及一种名为“BananaCoin”的虚构加密货币，并将其与比特币和以太坊相提并论 ^[5]。这些并非罕见异常——当被投毒页面被检索时，13个单词的有效载荷产生了约38%至51%的条件提及率，在有效载荷分布于多个页面时上升至62% ^[3][5]。即使注入文本占整个Reddit帖子内容不到4%，只要页面被查看，代理仍会在30%至53%的运行中重复植入声明 ^[3][5]。这种高效性可追溯至漏洞的结构性位置：用户生成平台已提供深度研究代理检索URL的17%至23%，而仅Reddit就占该池的约54%至71% ^[4][5]。

研究人员不仅发现了漏洞，还尝试修补——但基本失败了。包括旨在标记机器生成注入内容的基于困惑度的文本过滤器在内的源级过滤和基于输出的检测方法，均未能可靠地区分中毒段落与普通Reddit写作 ^[3]。这是因为精心制作的攻击者文本读起来自然——对于执行过滤的同类型语言模型而言，其统计特征与真实评论无异 ^[3]。研究团队未对OpenAI Deep Research或Gemini Deep Research等商业产品进行实时操纵测试，因为这需要在开放网络上发布修改后的内容 ^[3]，但他们确实审计了各系统引用用户生成内容的频率，发现差距巨大：Gemini Deep Research在12.1%的观察引用中引用了用户生成内容，而OpenAI Deep Research仅为0.4% ^[4]。这一差距表明，某些生产系统在尚未遭受利用前，已比其他系统更易受到此类攻击。

令人不安的潜在线索是：在此漏洞未解决期间谁在获利？Reddit的用户生成内容对AI行业而言并非偶然数据源——而是经过授权的数据源。谷歌于2024年2月签署协议，每年支付约6000万美元获取Reddit数据的结构化API访问权限 ^[6]，随后OpenAI也签署了类似协议，作为Reddit IPO时披露的总计2.03亿美元许可合同的一部分 ^[6]。OpenAI首席执行官山姆·阿尔特曼还有更直接的利益关联：他自2015年至2022年担任Reddit董事会成员，曾短暂担任临时CEO，并持有8.7%的所有权股份——约1220万股，使其成为仅次于纽豪斯家族（Advance）和腾讯的公司第三大股东 ^[7]。这些事实并未造成WARP漏洞，但意味着与Reddit财务联系最深的两家公司——其中一家由Reddit的主要股东领导——正是论文指出其旗舰研究产品最易受Reddit来源操控的两家公司。