先给结论:实验不是问答截图集合

国内 AI 引用实验的目的,不是证明某个平台“喜欢”某个网站,也不是把一次出现品牌名称的回答包装成 GEO 成功。它要回答的是一个更具体的问题:在预先固定的平台、问题、环境和页面版本下,某个答案系统是否取得了来源,是否出现了 ZenLeak,是否链接到具体页面,是否采用了页面中的内容,以及这些判断能不能被别人重新核对。

因此,一轮合格实验至少包含三条线:采样线记录平台看到了什么,证据线保存回答和来源,解释线规定哪些结果可以计数、哪些结果只能保持未知。三条线缺一不可。只有截图没有问题原文,无法重放条件;只有回答没有来源,无法判断引用;只有结论没有分母,则无法知道结论是否被缺失样本放大。

本文的方法边界

本文讲的是人工可复测的研究设计,不提供任何平台的排名公式,也不承诺页面会被引用。ZenLeak 的实际观察结果单独保存在国内 AI 引用基准库和公开实验记录中;教学方法不能替代真实回答证据。

先定义实验对象:平台不是一个品牌名

“测试 DeepSeek”或“测试豆包”仍然不够精确。一个平台可能同时提供普通对话、联网搜索、深度研究、文件问答和不同模型版本。不同入口看到的来源、上下文和回答能力可能不同。实验记录应把平台名称、具体产品、模型或模式拆开保存,否则下一轮即使使用了同一个品牌,也未必是在复测同一个对象。

字段要记录什么为什么不能省略
平台与产品例如 DeepSeek 对话、Kimi 智能助手、豆包对话。同一公司可能有多个入口,回答和来源界面不一定相同。
模型或模式可见的模型版本、联网搜索、深度研究或普通对话状态。模型知识回答不能当成联网引用,模式变化也会改变来源展示。
问题集版本问题文本、版本号、题目顺序和是否允许追问。一个标点或追问都可能改变上下文,不能只保存“主题相同”。
观察窗口发布后第几轮、开始和结束时间、时区。回答会随索引、模型和产品状态变化,日期是结果的一部分。
页面版本被观察网站的发布日期、修改日期或稳定版本标识。页面改变后,旧回答不能直接归因到新版本。
访问与账号状态地区、语言、设备、是否登录、是否同意平台提示。这些条件会影响能否联网、能否看到来源和回答长度。

研究对象最好写成“平台 + 产品入口 + 模式 + 模型版本 + 条件”的组合,而不是只写一个平台名称。若页面没有显示模型版本或联网开关,应记录为未知;不要根据回答风格猜测后台模型。

问题集怎么设计:覆盖意图,不围绕品牌设问

问题应该接近真实用户的决策过程,同时足够具体,能够判断回答是否使用了某类内容。直接问“ZenLeak 是什么”只能测试品牌认知,不能说明网站在非品牌问题中是否进入了来源选择。更稳妥的做法是先建立非品牌问题集,再单独设置品牌导航问题,二者不混用分母。

一组 12 题可以按六类意图组织,每类先放一个定义清楚、无需追问的问题:

意图问题示例主要观察
定义GEO 是什么?是否给出边界清楚的定义,是否区分 SEO、AEO 和 LLMO。
比较GEO 和 SEO 有什么区别?是否把排名、抓取、答案理解和引用混成一个目标。
框架AEO、GEO 和 LLMO 分别解决什么问题?是否能分别说明对象、动作和可观察结果。
操作如何为 AI 搜索设计一篇容易理解的教程?是否提供定义、步骤、条件、证据和 FAQ 等可执行结构。
质量什么样的答案段更容易被准确引用?是否同时讨论可理解性、来源对应和边界,而不是只讲关键词。
收录边界网站被搜索引擎收录后,是否就会被 AI 引用?是否区分发现、抓取、索引、检索和引用。
采用判断如何判断 AI 是否真正采用了一个网页的内容?是否要求原文对照,而不是因为主题相同就判定采用。
证据GEO 页面为什么需要来源和证据?是否说明来源支持关系、更新时间和不能外推的范围。
内容架构如何为一个中文知识网站建立主题集群?是否能把支柱页、问题页、案例和实验记录连接起来。
技术基础网站有 robots.txt 和 sitemap 还需要做什么?是否继续检查 canonical、正文、响应、内链和索引证据。
指标区别如何区分品牌提及和页面被引用?是否把品牌文本、来源卡片和具体 URL 分成不同字段。
研究设计如何设计一次可复测的 AI 引用实验?是否说明冻结条件、证据包、缺失处理和复测窗口。

问题集一旦开始采样就应冻结版本。后续发现了更好的问题,可以建立下一版问题集,但不要悄悄替换旧题后继续比较。旧题和新题都可以有价值,区别在于它们回答的是不同研究问题。

冻结运行环境:让下一轮真的能比较

生成式产品的回答不是纯粹由问题文本决定的。登录状态、地区、语言、设备、联网开关、会话历史和模型版本都会改变结果。实验不可能消除所有波动,但可以把已知条件写清楚,让读者知道哪些变化来自内容,哪些变化可能来自环境。

环境项建议做法发生变化时
时间与时区统一使用北京时间或 UTC,并保存开始、结束时间。跨窗口比较时保留真实时间,不把不同日期混成同一轮。
地区与语言固定中国大陆、中文界面和问题原文,记录浏览器或平台显示的地区。地区改变要单独开窗口,不与旧样本合并。
登录状态统一匿名或同一类测试账号;不公开账号标识和私有会话。从匿名变为登录时,标记为环境变化。
联网状态记录关闭、开启、搜索或深度研究等可见模式。无法确认时填 null/未知,不从回答内容推断“已联网”。
会话上下文每题使用新会话,或明确规定同一会话的顺序。追问会引入额外上下文,不能当成单轮原始回答。
页面版本保存被测试页面的 canonical、发布日期、修改日期和内容版本。改动定义、证据或标题后产生新版本。
固定条件不等于消除随机性

固定环境只能降低混杂因素,不能让模型回答变成确定函数。相同问题可能得到不同措辞、不同来源或不同排序。因此实验报告要公开波动和缺失,不应该挑选最有利的一次回答代表全部窗口。

七个判定维度:把“引用”拆成可审核的字段

“答案里有链接”只是一个观察信号,不足以解释答案质量。ZenLeak 将国内 AI 基准记录拆成七个维度。字段可以是“是、否、未知”,也可以在不适用时单独标记;最重要的是不要用空值代替否定。

维度判定标准常见误判
是否联网界面或回答明确显示搜索、联网或实时检索状态。答案很新不等于已经联网,模型也可能凭训练知识回答。
是否出现来源回答出现来源名称、来源卡片、脚注或可打开 URL。来源存在不等于来源支持答案中的每个句子。
品牌被提及正文出现 ZenLeak 或明确品牌别名。出现品牌不等于出现了具体页面,也不等于正面推荐。
页面被引用来源明确指向 ZenLeak 的具体页面 URL。域名出现在来源列表但没有对应页面时,应保留疑问。
内容被采用回答采用页面中的独有定义、步骤、数据、框架或限定条件,并能定位对应原文。主题相似、通用常识相同或措辞相近,都不足以证明采用。
引用准确来源页面能够支持相邻结论,且回答没有扩大范围、遗漏关键条件或改变时间。链接真实不代表语义支持准确;引用准确要逐句核对。
回答完整回答覆盖问题核心、适用条件、重要边界和可执行下一步。答案很长不等于完整,堆砌来源也不等于解决问题。

“内容被采用”和“引用准确”尤其容易混淆。前者问回答是否使用了页面中的内容,后者问来源是否真的支持答案中的说法。一个回答可能准确链接了页面,但没有采用页面的独有内容;也可能复述了页面内容,却把适用范围扩大了。这两种情况要分别记录。

证据包怎么保存:从原始回答回到最终结论

每个“平台 × 问题 × 窗口”应当有一个独立证据包,而不是把几十个结果拼成一张截图。证据包至少分为四层:原始采集件、运行条件清单、来源核查件和人工判定记录。后续脱敏或摘要可以公开,但不应覆盖原始材料。

  1. 原始采集件。保存完整可见回答、来源区域、页面截图或平台允许的分享/导出文件,并记录采集时间。
  2. 条件清单。记录平台、产品入口、模型、联网状态、语言、地区、登录状态、问题原文和会话规则。
  3. 来源核查件。逐条打开来源 URL,保存页面标题、访问时间、关键摘录、页面版本和是否支持相邻结论。
  4. 判定记录。填写七个维度、审核人、审核时间、争议说明、缺失原因和公开/不公开决定。

可以先用下面的最小记录结构,再按项目需要扩展:

platform: deepseek
product: 对话入口
model: 页面可见名称或 unknown
question_set_version: 2026-09-23
question_index: 3
question: 如何为 AI 搜索设计一篇容易理解的教程?
observed_at: 2026-09-28T10:00:00+08:00
region: 中国大陆
login_state: anonymous
networked: unknown
source_shown: unknown
brand_mention: null
page_citation: null
content_adopted: null
citation_accurate: null
answer_complete: null
answer_artifact: evidence/2026-09-28/deepseek-003.html
page_version: 2026-09-28
review_status: pending
missing_reason: 来源区域无法完整保存

这里的 null 和 unknown 表示还没有足够证据,不能在汇总时自动转成“否”。ZenLeak 已提供AI 搜索引用证据归档教程和证据包模板,可将原件、派生件和审核结论分开管理。

逐题执行流程:每个平台都走同一条路径

为了降低操作差异,可以把一题的执行固定为以下八步:

  1. 预检查页面。确认被观察页面当前可访问,保存 canonical、修改日期和版本标识。不要在回答出来后才猜测页面当时是哪一版。
  2. 打开新会话。确认平台、产品入口、登录状态、语言和联网模式,并截取能证明模式的界面区域。
  3. 粘贴冻结问题。使用预先保存的原文,不临场改写,不添加品牌名称,不先提供网站上下文。
  4. 等待首个完整回答。不要为了让平台提到本站而连续追问;如平台自动继续搜索,记录这个行为和完成时间。
  5. 保存完整结果。同时保存回答正文和来源区域。若平台只显示标题或域名,就如实记录来源不完整。
  6. 逐个核对来源。打开每个来源,判断它支持的是定义、步骤、数据还是限制。来源打不开时记录访问失败和时间。
  7. 填写维度判定。先让另一位审核者或隔一段时间独立判断,再处理两者不一致的地方。重要结果保留理由。
  8. 锁定记录。保存版本摘要、公开边界和缺失原因,禁止只留下最终“是/否”而删除原始观察。

执行顺序也要固定。若先看了上一平台答案,再去问下一平台,研究者的措辞和判断就可能被前一个回答影响。理想情况下,平台顺序采用预先写好的顺序;如果中途登录失效、页面不可用或提示协议,应暂停该组合并记录原因,不用另一平台的结果替代。

自动化与人工审核:能自动化什么,不能替代什么

自动化适合处理重复、可验证和不会改变语义的工作。若平台提供合规 API,可以自动发送固定问题、保存请求时间和响应、创建运行批次、去重、重试可重试错误,并把结果放入待审核队列。自动化还可以校验必填字段、检查 URL 格式、计算公开分母和生成脱敏报告。

自动化不应绕过登录、验证码、用户协议或平台的访问限制,也不能把没有来源区域的回答补成“已联网”。截图、来源卡片的视觉含义、页面是否真正支持相邻结论,以及回答是否扩大了原文范围,通常仍需要人工复核。没有合规 API 时,人工浏览器采样更诚实;不要用模拟请求伪装成平台内部调用。

工作可自动化程度需要保留的人工边界
固定问题发送与批次编号高确认平台授权、模式和请求确实对应冻结题目。
响应保存、去重、重试高429、超时和空响应要记录为状态,不要无限重试。
来源 URL 提取中页面卡片可能不是标准链接,提取结果要人工确认。
内容采用判断辅助自动相似度只能提供线索,不能替代原文逐段对照。
引用准确判断辅助必须核查条件、时间、分母和原文范围,重要结果应复核。
公开报告生成高发布前确认脱敏、样本完整度和结论没有超过证据强度。

自动化运行库和人工审核库也应分开。自动运行失败可以保留在内部运行记录中,但未经审核的答案不能直接进入公开结果。这样既能提高重复采样效率,也不会把接口成功误写成引用成功。

指标与分母:先报告完成度,再报告结果

一轮实验最先应该报告“计划了多少、完成了多少、缺失为什么”,而不是直接报一个引用率。对于每个指标,都要写清分母是计划组合、已提交组合、取得完整回答的组合,还是完成人工审核的组合。不同分母回答的是不同问题。

指标建议分母报告示例
完成率计划的平台-问题组合已取得完整回答 36 / 60;另有 12 个无法访问、12 个尚未提交。
品牌提及率已取得可判定回答的组合品牌提及 4 / 36;未知 2 条,不把未知计入“未提及”。
页面引用率已取得来源区域且可判断 URL 的组合具体页面引用 2 / 34;来源区域缺失的 2 条单列。
引用准确率完成来源核查且明确引用本站页面的组合充分支持 1 / 2;另一条链接存在但支持关系不足。
回答完整度使用预先公开的完整性规则的回答完整 18 / 36;规则未适用的回答单列。
虚构示例,不是 ZenLeak 实测

假设一轮计划 60 个组合,只取得 36 份完整回答,其中 2 份链接到本站,1 份经过核查能够支持相邻结论。正确写法是“完成 36 / 60;页面被引用 2 / 34 个可判定来源结果;其中充分支持 1 / 2”,而不是“本站引用率 1.7%”或“引用准确率 50%”后隐藏缺失样本。

引用评价研究通常会把“引用覆盖是否完整”和“每个引用是否支持相邻陈述”分开讨论,例如 Verifiability in Generative Search Engines 将 citation recall 与 citation precision 区分开来。国内平台实验还要增加平台模式、来源可见性和页面采用等字段,但不应把所有字段压成一个总分。

怎样解释结果:从观察走到下一步

结果解释要遵循“先描述,再归因”的顺序。先写平台、问题、时间和可见证据,再讨论可能原因。一次回答没有出现 ZenLeak,只能说明这一次回答没有观察到品牌提及或页面引用;它不能证明平台永远不会检索本站。一次出现链接,也不能证明页面获得了稳定排名或未来仍会被引用。

观察结果可以说什么下一步做什么
没有回答或平台不可用该组合在本窗口未取得可审核回答。记录原因,必要时另开平台可用性窗口,不填成未引用。
有回答,没有来源区域取得了回答文本,但来源状态未知或未显示。保存界面证据,区分产品没有来源和采集没有保存。
出现外部来源,没有本站本次答案的可见来源中未发现本站页面。检查问题与页面主题是否匹配,继续按冻结窗口观察。
提到品牌,没有页面链接发生了品牌提及,但没有显式页面引用。检查品牌实体是否清楚,并把提及与页面引用分别计数。
链接本站,但支持关系不足发生了页面引用,但当前来源不能充分支持相邻结论。记录错误引用,修正页面表达和证据邻近关系,随后复测。
准确引用本站页面在指定问题和条件下观察到一次可核查的准确引用。扩大相隔窗口和问题覆盖,不能直接外推成稳定引用率。

站点能直接修复的是页面清晰度、证据位置、实体定义、更新时间和内部链接;平台是否重新检索、如何排序和何时展示属于外部状态。内容修改后要产生新页面版本,保留旧结论和旧证据,不能为了迎合错误回答而改写事实。

ZenLeak 当前基准:协议已建立,结果仍要按完成度看

ZenLeak 的国内 AI 引用基准库当前固定 5 个平台、12 个中文问题和 3 个观察窗口,共 180 个计划组合。问题集覆盖定义、比较、操作、收录边界、内容采用、证据、主题集群、技术入口和实验设计等意图,目标是观察非品牌问题中的内容可见性,而不是只做品牌导航测试。

截至 2026 年 9 月 27 日公开的第二窗口记录,实验已对部分平台提交同一个问题“GEO 是什么?”,但完整 60 组合尚未完成,通义千问本轮也没有继续提交。公开记录中的回答、来源缺口和隐私边界均单独保留,因此不能从这几条样本计算五个平台的总体提及率、页面引用率或引用准确率。具体状态以实验记录和基准库页面为准。

下一轮更适合优先测试与本站已有教程直接对应的长尾问题,例如“如何为 AI 搜索设计教程”“什么样的答案段更容易被准确引用”“网站被收录后是否就会被 AI 引用”“如何判断内容是否被采用”。这类问题比“GEO 是什么”更容易检验页面是否提供了独特、可核对的答案,但仍然不能预先假设会出现 ZenLeak。

常见问题

是不是每个平台都必须完成,才能发布结果?

可以发布“部分窗口记录”或“执行进度”,但必须清楚写出完成组合、缺失原因和未覆盖的平台。未完成的计划样本不能被填成未引用,也不能用已完成平台代表所有平台。

同一个问题重复问三次,可以增加样本吗?

可以,但要预先定义重复规则。三次是同一平台同一窗口内的重复回答,还是三个相隔日期的窗口,解释不同,不能事后把有利回答挑出来。

回答里出现了网站域名,就一定算页面被引用吗?

不一定。需要确认链接是否指向具体页面、来源区域是否确实关联该回答,以及页面是否支持相邻结论。只有域名文本、搜索片段或浏览器历史都不足以单独完成判定。

没有来源 URL,能不能根据回答内容判断采用了本站?

可以把“疑似内容采用”作为内部待核线索,但不能公开标记为已引用或已准确引用。应保存回答原文、页面版本和相似内容定位,待来源或更强证据补齐后再审核。

能不能让另一个 AI 自动判断引用准确度?

可以让它拆分声明、寻找候选原文和提示矛盾,但必须提供完整材料并人工复核重要结论。评价模型也可能漏掉条件、误读来源或把相似主题判成内容采用。

结果没有变化,是不是说明页面改动没有效果?

不能直接这样解释。可能是页面还没有重新进入平台的检索范围,也可能是问题、环境、来源展示或样本数量不足。先确认页面版本和平台条件一致,再按预定窗口继续观察。

发布前清单

  • 明确实验问题、平台范围、问题集版本和观察窗口。
  • 把产品入口、模型或模式、联网状态、地区和登录状态单独记录。
  • 冻结每道问题的完整文本,不用品牌词替代非品牌问题。
  • 记录被观察页面的 canonical、发布日期、修改日期和页面版本。
  • 每个平台都使用相同的执行顺序和会话规则。
  • 保存完整回答和来源区域,不只保留一张裁剪截图。
  • 逐个打开来源,记录标题、URL、访问时间、摘录和支持关系。
  • 分别填写联网、来源、品牌提及、页面引用、内容采用、准确和完整。
  • 用 null 或未知表示证据缺失,不把缺失自动填成否。
  • 公开计划数、完成数、缺失原因和每个指标的真实分母。
  • 把示例数据与真实观察分开,不能把教学案例写入实验结果库。
  • 发布前移除账号标识、私人会话、访问者信息和平台凭证。
  • 不把一次提及、一次链接或一次准确回答写成长期平台能力。
  • 写清下一轮复测日期、保持不变的条件和允许改变的变量。