Reddit 被曝屏蔽多个搜索引擎和 AI 爬虫，官方称与谷歌合作无关

作者：汪淼 2024-07-25 10:56

感谢今年 2 月，谷歌宣布与 Reddit 达成一项新协议，Reddit 数据将用于训练谷歌的 AI 模型，并在谷歌搜索结果中着重显示 Reddit 结果。彭博社报道称，这笔交易的金额约为 6000 万美元。从那时起，Reddit 在谷歌搜索中的展示次数也大幅增加。而最新消息称，Reddit 已禁止其他搜索引擎检索其网站内容。外媒 404 Media 最先报道了此行为，并指出 Reddit 已更新其 robots.txt 文件（AI在线注：网站与爬虫的协议文件），阻止所有机器人抓取网站的任何内容。AI在线查询 Re

感谢今年 2 月，谷歌宣布与 Reddit 达成一项新协议，Reddit 数据将用于训练谷歌的 AI 模型，并在谷歌搜索结果中着重显示 Reddit 结果。彭博社报道称，这笔交易的金额约为 6000 万美元。从那时起，Reddit 在谷歌搜索中的展示次数也大幅增加。

而最新消息称，Reddit 已禁止其他搜索引擎检索其网站内容。外媒 404 Media 最先报道了此行为，并指出 Reddit 已更新其 robots.txt 文件（AI在线注：网站与爬虫的协议文件），阻止所有机器人抓取网站的任何内容。

AI在线查询 Reddit 网站的 robots.txt 文件获悉，该平台称“Reddit 相信开放的互联网，但不相信滥用公共内容。”其“Disallow”选项设置为“/”，也就是禁止检索网站根目录下的所有文件。

Reddit 被曝屏蔽多个搜索引擎和 AI 爬虫，官方称与谷歌合作无关

该文件在今年 6 月首次更新，Reddit 解释说，这一更改是由于“抓取 Reddit 内容的商业实体明显增多并且内容被滥用”。

外媒 9To5Google 则称，Bing、DuckDuckGo、Mojeek 和 Qwant 等搜索引擎都受到了影响，使用“site:reddit.com”搜索内容时，要么不显示最新内容，要么不显示完整的网站结果。

Reddit 被曝屏蔽多个搜索引擎和 AI 爬虫，官方称与谷歌合作无关

不过AI在线最新测试，Bing、DuckDuckGo 已重新显示“site:reddit.com”搜索内容。

Reddit 被曝屏蔽多个搜索引擎和 AI 爬虫，官方称与谷歌合作无关

Reddit 发言人 Tim Rathschmidt 在给 The Verge 的一份声明中表示：“这与我们最近与谷歌的合作完全无关。我们一直在与多个搜索引擎进行讨论，但无法与所有人达成协议，因为有些人无法或不愿意就他们使用 Reddit 内容（包括他们对 AI 训练的使用）作出可执行的承诺。”

Perplexity 被指控秘密抓取被禁止的网站内容

根据互联网基础设施提供商 Cloudflare 的最新研究报告，人工智能初创公司 Perplexity 被指控在抓取网站内容时忽视了明确的阻止指令。 Cloudflare 表示，他们观察到 Perplexity 在尝试抓取网页时隐藏了自己的身份，以此规避网站的偏好设置。图源备注：图片由AI生成，图片授权服务商MidjourneyPerplexity 等人工智能产品通常依赖于从互联网收集大量数据，而这些初创公司长期以来在未获得许可的情况下抓取文本、图像和视频，以便支持其产品的正常运作。

8/5/2025 3:01:54 PM

AI在线

谷歌表示：只要AI 内容合规，SEO 基本原则依旧适用

在最近举办的搜索中央直播会议上，谷歌的搜索专家加里・伊利斯（Gary Illyes）和切瑞・西瑞通・普罗马温(Cherry Sireetorn Prommawin)详细阐述了人工智能(AI)如何影响谷歌搜索，并强调了 SEO(搜索引擎优化)基本规则依旧有效。他们的观点由谷歌产品专家铃木健一在 LinkedIn 上分享，指出像 AI 概述和 AI 模式这样的新 AI 功能是建立在传统谷歌搜索的基础设施上的。伊利斯和普罗马温表示，核心系统如谷歌机器人（Googlebot）、搜索索引和排名算法仍然在驱动 AI 搜索结果。

7/25/2025 10:41:10 AM

AI在线

AI时代下，SEO何去何从?谷歌专家揭示搜索未来，传统规则仍是基石

在最近举行的Search Central Live会议上，谷歌搜索专家Gary Illyes和Cherry Sireetorn Prommawin深入探讨了人工智能对谷歌搜索的影响，并明确指出AI并不会颠覆SEO的基本规则。他们的观点经谷歌资深产品专家Kenichi Suzuki在LinkedIn上分享，为业界提供了关于AI时代SEO发展方向的权威解读。 AI功能根植于传统搜索，核心原则不变Illyes和Prommawin强调，包括AI概览和AI模式在内的新兴AI功能，都建立在与传统谷歌搜索相同的底层架构之上。

7/25/2025 10:41:16 AM

AI在线

Reddit 被曝屏蔽多个搜索引擎和 AI 爬虫，官方称与谷歌合作无关

相关资讯

​Perplexity 被指控秘密抓取被禁止的网站内容

谷歌表示：只要AI 内容合规，SEO 基本原则依旧适用

AI时代下，SEO何去何从?谷歌专家揭示搜索未来，传统规则仍是基石

Perplexity 被指控秘密抓取被禁止的网站内容