从发布到可见的六层诊断链
页面“搜不到”不是一个可以直接修复的问题。它可能尚未被发现、服务器拒绝请求、关键正文没有进入可解析结果、多个 URL 被归一到另一个地址、页面不具备索引资格，或者已经索引但没有在当前查询中展示。GEO 还要再区分内容是否进入某个生成式答案。
有效诊断必须按因果顺序逐层排除，而不是看到一个 HTTP 200 就宣布“已经收录”，也不是看到 site: 查询没有结果就开始重写文章。下面六层中，前一层通常是后一层的必要条件，却很少是充分条件。
- 发现：平台能否从内链、sitemap、提交工具或已知 URL 获得地址。
- 请求：目标客户端能否解析域名、建立连接并获得正常 HTTP 响应。
- 渲染与解析：标题、正文、链接和元数据是否出现在平台可处理的内容中。
- 归一：平台应把哪个协议、主机、路径和参数版本视为主要 URL。
- 索引资格：页面是否允许索引、内容是否有效，并满足平台的质量与政策判断。
- 展示与采用：已索引内容是否与具体查询相关，并被搜索结果或 AI 答案选择。
每次只回答一层的问题，并保存证据。上一层通过后再进入下一层；平台未提供直接证据时，状态应标为“未知”，而不是自动判定成功或失败。
六种经常被混淆的状态
| 状态 | 它能证明什么 | 不能证明什么 | 主要证据 |
|---|---|---|---|
| HTTP 可访问 | 测试客户端在当时获得响应。 | 真实爬虫可访问、正文完整、已索引。 | 状态码、响应头、响应正文。 |
| robots 允许 | 给定 User-Agent 未被 robots 规则禁止。 | 平台一定抓取或接受索引。 | robots.txt 与官方测试工具。 |
| 技术可索引 | 没有发现明显 noindex、错误 canonical 或无效响应。 | 平台已经选择收入索引。 | HTML、响应头、canonical、渲染结果。 |
| 平台已发现 | 平台知道这个 URL。 | 已抓取、已索引或会展示。 | 站长平台 URL 状态或日志。 |
| 平台已索引 | 平台报告 URL 或其规范版本进入索引。 | 任何查询都有排名、答案会引用。 | URL 检查工具等平台信息。 |
| 被展示或引用 | 特定时间、地区和查询下出现结果。 | 长期稳定表现或跨平台效果。 | 查询、日期、界面、来源链接与原始回答。 |
为什么 site: 不能成为唯一收录检查
site: 查询适合快速发现明显异常，但它不是完整索引清单，也不提供稳定的页面级诊断原因。站长平台、服务器日志与页面本身的技术证据更适合定位问题。即使平台工具报告已索引，具体查询是否展示仍是另一层判断。
按顺序完成一次页面诊断
上面的六层是判断问题的模型，下面的八步是实际执行顺序；有些步骤共同检查同一层，所以两组数字不需要一一对应。 这样既能先定位证据缺口，也能避免把一次技术检查误写成最终收录或引用结果。
第一步：冻结被检查的 URL
记录完整 URL、检查时间、预期 canonical 和页面版本。确认问题针对的是根域名还是 www、带不带尾斜杠、是否包含参数。很多所谓“页面不收录”，实际检查的是一个被重定向或归一掉的变体。
第二步：从站外网络检查请求链
- DNS 是否解析到当前服务器，IPv4 与 IPv6 是否都能正常工作。
- HTTP 是否跳转到 HTTPS，跳转链是否短且最终地址稳定。
- 最终响应是否为预期状态，是否被登录页、验证页、WAF 或地域策略替换。
- 响应头是否出现
X-Robots-Tag: noindex、错误缓存或内容类型。
如果普通浏览器能打开而目标平台持续失败，要进一步检查 CDN、防火墙、频率限制和真实请求来源。只把 User-Agent 改成 Googlebot 或 ChatGPT-User，不能证明请求来自对应平台。
第三步：比较原始 HTML 与渲染结果
查看“查看源代码”中的初始 HTML，再与浏览器渲染后的 DOM 比较。核心标题、直接答案、主要链接和 canonical 最稳妥的做法是随首个 HTML 响应提供。依赖客户端脚本并非一定无法索引，但会增加渲染失败、资源阻断、超时和状态不同步的可能性。
同时检查移动端宽度、折叠组件和交互后内容。为了视觉隐藏而从 DOM 移除正文，与保留可访问的折叠内容不是同一件事。对需要登录或点击后才请求的数据，应默认它不是公开可索引正文。
第四步：核对 robots 与页面级索引指令
robots.txt 管理抓取路径，页面的 meta robots 或响应头管理索引指令。阻止抓取后，平台可能无法读取页面中的 noindex；反过来，robots 允许也不代表页面自动符合索引条件。
# 公开教程允许抓取，后台与接口不作为搜索内容
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Sitemap: https://example.com/sitemap-index.xml第五步：检查 canonical 与重复版本
canonical 应指向可以访问、允许索引、内容相符的正式 URL。内部链接、sitemap、重定向和结构化数据最好都使用同一版本。canonical 是强信号之一，但不是强制命令；如果页面内容差异明显、目标不可访问或其他信号冲突，平台可能选择不同规范地址。
第六步：检查发现路径
重要页面应至少能从栏目页、主题集群或学习路径通过普通 <a href> 到达，并出现在 sitemap 中。孤立 URL 即使手工提交，也缺少站内关系和持续发现路径。sitemap 的 lastmod 应反映实质更新，而不是每次构建都改成当天。
第七步：读取平台证据并保留未知状态
在站长平台检查 URL 是已发现、已抓取、已索引、被选为其他 canonical，还是暂时未知。平台接口不可达时，应记录“未查询”或“未知”，不能因为本地检查通过就填成已索引。然后结合服务器日志判断真实爬虫是否请求过该 URL。
第八步：最后才讨论排名与 AI 答案
技术链路通过后，使用固定问题、地区、语言、日期和平台观察展示。搜索结果要记录目标查询与着陆页；AI 答案要分开记录品牌提及、显式链接、内容采用与准确度。没有来源链接的主题相似回答，不能自动算作引用本站。
四类典型故障怎么定位
| 现象 | 最先检查 | 可能原因 | 不要急着做 |
|---|---|---|---|
| 浏览器正常，平台请求失败 | 状态链、WAF、日志、真实 IP。 | 反爬验证、地区阻断、速率限制、IPv6 故障。 | 重写正文或大量提交 URL。 |
| 页面被发现但未索引 | 页面级指令、canonical、内容与重复版本。 | noindex、软 404、重复、质量或政策判断。 | 把 sitemap 提交次数当解决方案。 |
| 错误 URL 被索引 | 重定向、canonical、内部链接、sitemap。 | 多套主机/协议/参数信号互相冲突。 | 只在错误 URL 上再加一条 canonical。 |
| 已索引但目标问题不展示 | 查询意图、内容匹配、竞争与地区。 | 相关性不足、答案不完整、来源选择差异。 | 把它重新归类为“抓取失败”。 |
建立一份可复核诊断记录
检查 URL: https://example.com/guide/
检查时间: 2026-09-17T10:00:00+08:00
预期 canonical: https://example.com/guide/
HTTP: 200 text/html
robots.txt: 允许
页面索引指令: index, follow
原始 HTML: H1、正文、canonical 均存在
渲染后: 核心内容与原始 HTML 一致
sitemap: 已列出，lastmod 与实质更新一致
平台发现: Bing 已发现 / Google 未查询
平台索引: 未得到直接证据
排名或 AI 引用: 本轮未测试
下一步: 保持 URL 不变，按计划复查平台状态修复后如何避免误判
修复技术问题后，应给平台合理的重新抓取时间，并保留修改前后版本。不要同时换 URL、改标题、删除正文、迁移服务器和重做内链，否则即使状态变化也无法知道哪个因素起作用。技术问题解决后仍未展示，说明诊断应进入内容相关性和来源选择，而不是反复修改 robots。
常见问题
页面返回 200，为什么仍可能不能索引？
200 只表示服务器返回成功响应。正文可能为空、存在 noindex、canonical 指向别处、被视为软 404 或未达到平台的索引选择条件。
robots.txt 允许后多久会抓取？
没有保证时间。抓取由平台资源、页面发现、站点信号和历史等因素决定。允许只是移除一类阻断，不是抓取预约。
服务端渲染一定比客户端渲染排名好吗？
不能这样概括。服务端或预渲染可以减少关键内容对脚本执行的依赖，但最终表现还取决于内容、速度、索引选择和查询相关性。
搜索引擎已索引，AI 搜索就一定能引用吗？
不一定。平台的数据源、检索策略、问题理解和来源选择不同。已索引可以是基础信号，但显式引用必须在具体答案界面单独观察。
诊断检查清单
- 是否记录了完整 URL、检查时间、页面版本和预期 canonical。
- DNS、HTTPS、重定向链、最终状态码和内容类型是否正常。
- 是否检查响应头中的 robots、缓存和安全策略。
- 原始 HTML 是否包含标题、H1、核心正文、链接和 canonical。
- 渲染后内容是否与原始 HTML 的核心事实一致。
- robots.txt 与页面级索引指令是否被分开检查。
- canonical、内部链接、sitemap 和结构化数据是否指向同一正式 URL。
- 平台的“发现、抓取、索引”状态是否使用直接证据并保留未知值。
- 排名、品牌提及、显式引用和内容采用是否另设实验。
- 修复是否控制变量，并安排了合理的后续复测日期。