请求最终返回 HTTP 200；本指标不评价正文是否被真实爬虫使用。
返回实验室
Experiment Record 002
机器入口响应检查：4 类 User-Agent × 4 个公开路径
记录 ZenLeak 对普通研究客户端、Googlebot、bingbot 与 ChatGPT-User 标识请求的 HTTP 响应结果，并解释伪装 User-Agent 测试能够和不能够证明什么。
Research Question
这条记录要回答什么
ZenLeak 的首页与三个机器入口是否会因请求中声明的 User-Agent 不同而出现 HTTP 可达性差异？
每个路径在四种 User-Agent 字符串下都至少获得一次 HTTP 200。
没有观察到因本轮 User-Agent 字符串变化而产生的非 200 状态。
方法
对象：4 个 User-Agent 标识与 4 个公开路径的笛卡尔组合
- 选择首页、robots.txt、llms.txt 和 evidence-index.json 四个公开路径。
- 分别使用 ZenLeak-Research、Googlebot、bingbot 和 ChatGPT-User 四个 User-Agent 字符串发送独立请求。
- 记录每个组合的最终 HTTP 状态；本轮只判定可达性，没有把 User-Agent 字符串当作真实爬虫身份。
- 将 16 个响应按路径与请求标识交叉核对，检查是否存在显式状态码差异。
观察记录
“实测观察”来自本轮样本；“解释边界”说明数字不能被怎样外推；“等待结果”不构成结论。
响应状态
16 个请求全部返回 HTTP 200，未观察到针对四种请求标识的状态码级阻断。
身份边界
测试客户端只修改了 User-Agent 字符串，没有进行反向 DNS 或平台网络验证，因此不是来自 Google、Bing 或 OpenAI 的真实爬虫请求。
抓取与引用
HTTP 200 只证明测试时能够取回响应，不能证明真实平台已经抓取、索引、训练、采用或引用这些内容。
2026-10-01 交叉请求复测
对首页、robots.txt、llms.txt 和 evidence-index.json 使用普通研究客户端、Googlebot 标签、bingbot 标签和 ChatGPT-User 标签分别请求，共 16 个请求全部返回 HTTP 200，未观察到状态码级阻断。
身份核验边界
本轮仍只是第一方客户端主动声明不同 User-Agent；没有把这些请求写成真实 Google、Bing 或 OpenAI 爬虫访问。真实身份需要结合服务器日志、官方 IP 范围或正反向 DNS 核验。
2026-10-09 交叉请求复测
对首页、robots.txt、llms.txt 和 evidence-index.json 使用普通研究客户端、Googlebot 标签、bingbot 标签和 ChatGPT-User 标签分别请求，共 16 个请求全部返回 HTTP 200，未观察到状态码级阻断。
2026-10-18 交叉请求复测
对同一组 4 个公开路径使用 4 个声明的 User-Agent 标签分别请求，共 16 个请求全部返回 HTTP 200，未观察到状态码级阻断。
2026-10-18 身份核验边界
本轮只更换第一方客户端的 User-Agent 字符串，没有对请求源进行反向 DNS 或官方 IP 核验；不能把结果描述为真实搜索引擎或 AI 爬虫访问。
限制条件
- User-Agent 可以被任意客户端声明，不能用它验证请求真实来源。
- 本轮只记录 HTTP 状态，没有逐字比较响应正文、缓存层或地区节点差异。
- 测试覆盖四个代表性路径，不代表站点全部 URL 都不存在访问策略差异。
- 结果不涉及平台抓取频率、索引资格、AI 训练许可或答案引用。
当前结论
- 所测四个公开路径没有因四种 User-Agent 字符串而出现 HTTP 状态码差异。
- 2026-10-18 复测仍得到 16/16 个 HTTP 200；这支持入口可达性判断，不支持真实爬虫身份、收录或引用判断。
- 真实爬虫验证仍应结合官方 IP 验证方法、服务器日志和平台工具，答案引用需要单独的问题面板实验。
相关方法与教程
用教程理解指标，用实验记录核对这些方法在特定日期和样本中的实际表现。
技术配置
robots、sitemap 和 llms.txt：GEO 技术基础配置
解释 robots.txt、sitemap.xml、canonical、结构化数据和 llms.txt 在 SEO 与 GEO 中分别解决什么问题。
10 分钟技术配置AI 爬虫治理：分开管理搜索索引、答案代理与模型训练
建立按用途、身份和风险分层的爬虫策略，区分传统搜索抓取、用户触发的 AI 访问、答案搜索使用与模型训练，避免一条 robots 规则误伤全部入口。
16 分钟技术配置抓取、渲染、归一与索引：页面不可见问题的完整诊断链
按发现、请求、渲染、归一、索引资格和平台状态逐层排查页面，避免把 200、可抓取、已索引、已排名或 AI 引用混为一谈。
17 分钟