Disallow 不等于 Noindex:Anthropic 忽略的那行关键 SEO 代码
一名 Reddit 用户的常规谷歌搜索首次揭示了这一问题,在记者查明原因前数天,已有数百条可读的 Claude 对话被发现。数百条看似私密的 Claude 对话为何会出现在谷歌搜索结果中,其技术解释几乎平淡无奇:这是搜索引擎爬取网页时一个广为人知但常被误解的区别。共享的 Claude 页面依赖两个信号来防止被索引——robots.txt 中禁止 /share/* 路径的规则,以及 X-Robots-Tag: none 的 HTTP 头部。但这两个信号单独都无法真正阻止索引。正如泄露事件后搜索引擎分析师所解释的,noindex 标签只有在爬虫被允许访问并读取页面时才有效;如果页面被 robots.txt 阻止,即使谷歌从未读取其内容,只要网络上的其他页面链接到该 URL,它仍可能被索引[1]。这正是发生的情况:外部链接到共享的 Claude 和 Artifact 页面,为谷歌和必应提供了足够的信号来索引这些 URL,即使爬虫名义上被阻止读取它们。报道指出,暴露的页面恰恰缺少了必应和谷歌都明确表示会遵循的 noindex 标签[2]。一旦 Anthropic 在 7 月 26 日左右添加了真正可爬取的 noindex 标签,修复几乎立即生效:谷歌移除了已索引的对话,到周一(7 月 27 日)下午,此前能搜出数百条聊天的 site:claude.ai/share 技巧已不再返回结果[3]。


