先给结论:实验不是问答截图集合
国内 AI 引用实验的目的,不是证明某个平台“喜欢”某个网站,也不是把一次出现品牌名称的回答包装成 GEO 成功。它要回答的是一个更具体的问题:在预先固定的平台、问题、环境和页面版本下,某个答案系统是否取得了来源,是否出现了 ZenLeak,是否链接到具体页面,是否采用了页面中的内容,以及这些判断能不能被别人重新核对。
因此,一轮合格实验至少包含三条线:采样线记录平台看到了什么,证据线保存回答和来源,解释线规定哪些结果可以计数、哪些结果只能保持未知。三条线缺一不可。只有截图没有问题原文,无法重放条件;只有回答没有来源,无法判断引用;只有结论没有分母,则无法知道结论是否被缺失样本放大。
本文讲的是人工可复测的研究设计,不提供任何平台的排名公式,也不承诺页面会被引用。ZenLeak 的实际观察结果单独保存在国内 AI 引用基准库和公开实验记录中;教学方法不能替代真实回答证据。
先定义实验对象:平台不是一个品牌名
“测试 DeepSeek”或“测试豆包”仍然不够精确。一个平台可能同时提供普通对话、联网搜索、深度研究、文件问答和不同模型版本。不同入口看到的来源、上下文和回答能力可能不同。实验记录应把平台名称、具体产品、模型或模式拆开保存,否则下一轮即使使用了同一个品牌,也未必是在复测同一个对象。
| 字段 | 要记录什么 | 为什么不能省略 |
|---|---|---|
| 平台与产品 | 例如 DeepSeek 对话、Kimi 智能助手、豆包对话。 | 同一公司可能有多个入口,回答和来源界面不一定相同。 |
| 模型或模式 | 可见的模型版本、联网搜索、深度研究或普通对话状态。 | 模型知识回答不能当成联网引用,模式变化也会改变来源展示。 |
| 问题集版本 | 问题文本、版本号、题目顺序和是否允许追问。 | 一个标点或追问都可能改变上下文,不能只保存“主题相同”。 |
| 观察窗口 | 发布后第几轮、开始和结束时间、时区。 | 回答会随索引、模型和产品状态变化,日期是结果的一部分。 |
| 页面版本 | 被观察网站的发布日期、修改日期或稳定版本标识。 | 页面改变后,旧回答不能直接归因到新版本。 |
| 访问与账号状态 | 地区、语言、设备、是否登录、是否同意平台提示。 | 这些条件会影响能否联网、能否看到来源和回答长度。 |
研究对象最好写成“平台 + 产品入口 + 模式 + 模型版本 + 条件”的组合,而不是只写一个平台名称。若页面没有显示模型版本或联网开关,应记录为未知;不要根据回答风格猜测后台模型。
问题集怎么设计:覆盖意图,不围绕品牌设问
问题应该接近真实用户的决策过程,同时足够具体,能够判断回答是否使用了某类内容。直接问“ZenLeak 是什么”只能测试品牌认知,不能说明网站在非品牌问题中是否进入了来源选择。更稳妥的做法是先建立非品牌问题集,再单独设置品牌导航问题,二者不混用分母。
一组 12 题可以按六类意图组织,每类先放一个定义清楚、无需追问的问题:
| 意图 | 问题示例 | 主要观察 |
|---|---|---|
| 定义 | GEO 是什么? | 是否给出边界清楚的定义,是否区分 SEO、AEO 和 LLMO。 |
| 比较 | GEO 和 SEO 有什么区别? | 是否把排名、抓取、答案理解和引用混成一个目标。 |
| 框架 | AEO、GEO 和 LLMO 分别解决什么问题? | 是否能分别说明对象、动作和可观察结果。 |
| 操作 | 如何为 AI 搜索设计一篇容易理解的教程? | 是否提供定义、步骤、条件、证据和 FAQ 等可执行结构。 |
| 质量 | 什么样的答案段更容易被准确引用? | 是否同时讨论可理解性、来源对应和边界,而不是只讲关键词。 |
| 收录边界 | 网站被搜索引擎收录后,是否就会被 AI 引用? | 是否区分发现、抓取、索引、检索和引用。 |
| 采用判断 | 如何判断 AI 是否真正采用了一个网页的内容? | 是否要求原文对照,而不是因为主题相同就判定采用。 |
| 证据 | GEO 页面为什么需要来源和证据? | 是否说明来源支持关系、更新时间和不能外推的范围。 |
| 内容架构 | 如何为一个中文知识网站建立主题集群? | 是否能把支柱页、问题页、案例和实验记录连接起来。 |
| 技术基础 | 网站有 robots.txt 和 sitemap 还需要做什么? | 是否继续检查 canonical、正文、响应、内链和索引证据。 |
| 指标区别 | 如何区分品牌提及和页面被引用? | 是否把品牌文本、来源卡片和具体 URL 分成不同字段。 |
| 研究设计 | 如何设计一次可复测的 AI 引用实验? | 是否说明冻结条件、证据包、缺失处理和复测窗口。 |
问题集一旦开始采样就应冻结版本。后续发现了更好的问题,可以建立下一版问题集,但不要悄悄替换旧题后继续比较。旧题和新题都可以有价值,区别在于它们回答的是不同研究问题。
冻结运行环境:让下一轮真的能比较
生成式产品的回答不是纯粹由问题文本决定的。登录状态、地区、语言、设备、联网开关、会话历史和模型版本都会改变结果。实验不可能消除所有波动,但可以把已知条件写清楚,让读者知道哪些变化来自内容,哪些变化可能来自环境。
| 环境项 | 建议做法 | 发生变化时 |
|---|---|---|
| 时间与时区 | 统一使用北京时间或 UTC,并保存开始、结束时间。 | 跨窗口比较时保留真实时间,不把不同日期混成同一轮。 |
| 地区与语言 | 固定中国大陆、中文界面和问题原文,记录浏览器或平台显示的地区。 | 地区改变要单独开窗口,不与旧样本合并。 |
| 登录状态 | 统一匿名或同一类测试账号;不公开账号标识和私有会话。 | 从匿名变为登录时,标记为环境变化。 |
| 联网状态 | 记录关闭、开启、搜索或深度研究等可见模式。 | 无法确认时填 null/未知,不从回答内容推断“已联网”。 |
| 会话上下文 | 每题使用新会话,或明确规定同一会话的顺序。 | 追问会引入额外上下文,不能当成单轮原始回答。 |
| 页面版本 | 保存被测试页面的 canonical、发布日期、修改日期和内容版本。 | 改动定义、证据或标题后产生新版本。 |
固定环境只能降低混杂因素,不能让模型回答变成确定函数。相同问题可能得到不同措辞、不同来源或不同排序。因此实验报告要公开波动和缺失,不应该挑选最有利的一次回答代表全部窗口。
七个判定维度:把“引用”拆成可审核的字段
“答案里有链接”只是一个观察信号,不足以解释答案质量。ZenLeak 将国内 AI 基准记录拆成七个维度。字段可以是“是、否、未知”,也可以在不适用时单独标记;最重要的是不要用空值代替否定。
| 维度 | 判定标准 | 常见误判 |
|---|---|---|
| 是否联网 | 界面或回答明确显示搜索、联网或实时检索状态。 | 答案很新不等于已经联网,模型也可能凭训练知识回答。 |
| 是否出现来源 | 回答出现来源名称、来源卡片、脚注或可打开 URL。 | 来源存在不等于来源支持答案中的每个句子。 |
| 品牌被提及 | 正文出现 ZenLeak 或明确品牌别名。 | 出现品牌不等于出现了具体页面,也不等于正面推荐。 |
| 页面被引用 | 来源明确指向 ZenLeak 的具体页面 URL。 | 域名出现在来源列表但没有对应页面时,应保留疑问。 |
| 内容被采用 | 回答采用页面中的独有定义、步骤、数据、框架或限定条件,并能定位对应原文。 | 主题相似、通用常识相同或措辞相近,都不足以证明采用。 |
| 引用准确 | 来源页面能够支持相邻结论,且回答没有扩大范围、遗漏关键条件或改变时间。 | 链接真实不代表语义支持准确;引用准确要逐句核对。 |
| 回答完整 | 回答覆盖问题核心、适用条件、重要边界和可执行下一步。 | 答案很长不等于完整,堆砌来源也不等于解决问题。 |
“内容被采用”和“引用准确”尤其容易混淆。前者问回答是否使用了页面中的内容,后者问来源是否真的支持答案中的说法。一个回答可能准确链接了页面,但没有采用页面的独有内容;也可能复述了页面内容,却把适用范围扩大了。这两种情况要分别记录。
证据包怎么保存:从原始回答回到最终结论
每个“平台 × 问题 × 窗口”应当有一个独立证据包,而不是把几十个结果拼成一张截图。证据包至少分为四层:原始采集件、运行条件清单、来源核查件和人工判定记录。后续脱敏或摘要可以公开,但不应覆盖原始材料。
- 原始采集件。保存完整可见回答、来源区域、页面截图或平台允许的分享/导出文件,并记录采集时间。
- 条件清单。记录平台、产品入口、模型、联网状态、语言、地区、登录状态、问题原文和会话规则。
- 来源核查件。逐条打开来源 URL,保存页面标题、访问时间、关键摘录、页面版本和是否支持相邻结论。
- 判定记录。填写七个维度、审核人、审核时间、争议说明、缺失原因和公开/不公开决定。
可以先用下面的最小记录结构,再按项目需要扩展:
platform: deepseek
product: 对话入口
model: 页面可见名称或 unknown
question_set_version: 2026-09-23
question_index: 3
question: 如何为 AI 搜索设计一篇容易理解的教程?
observed_at: 2026-09-28T10:00:00+08:00
region: 中国大陆
login_state: anonymous
networked: unknown
source_shown: unknown
brand_mention: null
page_citation: null
content_adopted: null
citation_accurate: null
answer_complete: null
answer_artifact: evidence/2026-09-28/deepseek-003.html
page_version: 2026-09-28
review_status: pending
missing_reason: 来源区域无法完整保存这里的 null 和 unknown 表示还没有足够证据,不能在汇总时自动转成“否”。ZenLeak 已提供AI 搜索引用证据归档教程和证据包模板,可将原件、派生件和审核结论分开管理。
逐题执行流程:每个平台都走同一条路径
为了降低操作差异,可以把一题的执行固定为以下八步:
- 预检查页面。确认被观察页面当前可访问,保存 canonical、修改日期和版本标识。不要在回答出来后才猜测页面当时是哪一版。
- 打开新会话。确认平台、产品入口、登录状态、语言和联网模式,并截取能证明模式的界面区域。
- 粘贴冻结问题。使用预先保存的原文,不临场改写,不添加品牌名称,不先提供网站上下文。
- 等待首个完整回答。不要为了让平台提到本站而连续追问;如平台自动继续搜索,记录这个行为和完成时间。
- 保存完整结果。同时保存回答正文和来源区域。若平台只显示标题或域名,就如实记录来源不完整。
- 逐个核对来源。打开每个来源,判断它支持的是定义、步骤、数据还是限制。来源打不开时记录访问失败和时间。
- 填写维度判定。先让另一位审核者或隔一段时间独立判断,再处理两者不一致的地方。重要结果保留理由。
- 锁定记录。保存版本摘要、公开边界和缺失原因,禁止只留下最终“是/否”而删除原始观察。
执行顺序也要固定。若先看了上一平台答案,再去问下一平台,研究者的措辞和判断就可能被前一个回答影响。理想情况下,平台顺序采用预先写好的顺序;如果中途登录失效、页面不可用或提示协议,应暂停该组合并记录原因,不用另一平台的结果替代。
自动化与人工审核:能自动化什么,不能替代什么
自动化适合处理重复、可验证和不会改变语义的工作。若平台提供合规 API,可以自动发送固定问题、保存请求时间和响应、创建运行批次、去重、重试可重试错误,并把结果放入待审核队列。自动化还可以校验必填字段、检查 URL 格式、计算公开分母和生成脱敏报告。
自动化不应绕过登录、验证码、用户协议或平台的访问限制,也不能把没有来源区域的回答补成“已联网”。截图、来源卡片的视觉含义、页面是否真正支持相邻结论,以及回答是否扩大了原文范围,通常仍需要人工复核。没有合规 API 时,人工浏览器采样更诚实;不要用模拟请求伪装成平台内部调用。
| 工作 | 可自动化程度 | 需要保留的人工边界 |
|---|---|---|
| 固定问题发送与批次编号 | 高 | 确认平台授权、模式和请求确实对应冻结题目。 |
| 响应保存、去重、重试 | 高 | 429、超时和空响应要记录为状态,不要无限重试。 |
| 来源 URL 提取 | 中 | 页面卡片可能不是标准链接,提取结果要人工确认。 |
| 内容采用判断 | 辅助 | 自动相似度只能提供线索,不能替代原文逐段对照。 |
| 引用准确判断 | 辅助 | 必须核查条件、时间、分母和原文范围,重要结果应复核。 |
| 公开报告生成 | 高 | 发布前确认脱敏、样本完整度和结论没有超过证据强度。 |
自动化运行库和人工审核库也应分开。自动运行失败可以保留在内部运行记录中,但未经审核的答案不能直接进入公开结果。这样既能提高重复采样效率,也不会把接口成功误写成引用成功。
指标与分母:先报告完成度,再报告结果
一轮实验最先应该报告“计划了多少、完成了多少、缺失为什么”,而不是直接报一个引用率。对于每个指标,都要写清分母是计划组合、已提交组合、取得完整回答的组合,还是完成人工审核的组合。不同分母回答的是不同问题。
| 指标 | 建议分母 | 报告示例 |
|---|---|---|
| 完成率 | 计划的平台-问题组合 | 已取得完整回答 36 / 60;另有 12 个无法访问、12 个尚未提交。 |
| 品牌提及率 | 已取得可判定回答的组合 | 品牌提及 4 / 36;未知 2 条,不把未知计入“未提及”。 |
| 页面引用率 | 已取得来源区域且可判断 URL 的组合 | 具体页面引用 2 / 34;来源区域缺失的 2 条单列。 |
| 引用准确率 | 完成来源核查且明确引用本站页面的组合 | 充分支持 1 / 2;另一条链接存在但支持关系不足。 |
| 回答完整度 | 使用预先公开的完整性规则的回答 | 完整 18 / 36;规则未适用的回答单列。 |
假设一轮计划 60 个组合,只取得 36 份完整回答,其中 2 份链接到本站,1 份经过核查能够支持相邻结论。正确写法是“完成 36 / 60;页面被引用 2 / 34 个可判定来源结果;其中充分支持 1 / 2”,而不是“本站引用率 1.7%”或“引用准确率 50%”后隐藏缺失样本。
引用评价研究通常会把“引用覆盖是否完整”和“每个引用是否支持相邻陈述”分开讨论,例如 Verifiability in Generative Search Engines 将 citation recall 与 citation precision 区分开来。国内平台实验还要增加平台模式、来源可见性和页面采用等字段,但不应把所有字段压成一个总分。
怎样解释结果:从观察走到下一步
结果解释要遵循“先描述,再归因”的顺序。先写平台、问题、时间和可见证据,再讨论可能原因。一次回答没有出现 ZenLeak,只能说明这一次回答没有观察到品牌提及或页面引用;它不能证明平台永远不会检索本站。一次出现链接,也不能证明页面获得了稳定排名或未来仍会被引用。
| 观察结果 | 可以说什么 | 下一步做什么 |
|---|---|---|
| 没有回答或平台不可用 | 该组合在本窗口未取得可审核回答。 | 记录原因,必要时另开平台可用性窗口,不填成未引用。 |
| 有回答,没有来源区域 | 取得了回答文本,但来源状态未知或未显示。 | 保存界面证据,区分产品没有来源和采集没有保存。 |
| 出现外部来源,没有本站 | 本次答案的可见来源中未发现本站页面。 | 检查问题与页面主题是否匹配,继续按冻结窗口观察。 |
| 提到品牌,没有页面链接 | 发生了品牌提及,但没有显式页面引用。 | 检查品牌实体是否清楚,并把提及与页面引用分别计数。 |
| 链接本站,但支持关系不足 | 发生了页面引用,但当前来源不能充分支持相邻结论。 | 记录错误引用,修正页面表达和证据邻近关系,随后复测。 |
| 准确引用本站页面 | 在指定问题和条件下观察到一次可核查的准确引用。 | 扩大相隔窗口和问题覆盖,不能直接外推成稳定引用率。 |
站点能直接修复的是页面清晰度、证据位置、实体定义、更新时间和内部链接;平台是否重新检索、如何排序和何时展示属于外部状态。内容修改后要产生新页面版本,保留旧结论和旧证据,不能为了迎合错误回答而改写事实。
ZenLeak 当前基准:协议已建立,结果仍要按完成度看
ZenLeak 的国内 AI 引用基准库当前固定 5 个平台、12 个中文问题和 3 个观察窗口,共 180 个计划组合。问题集覆盖定义、比较、操作、收录边界、内容采用、证据、主题集群、技术入口和实验设计等意图,目标是观察非品牌问题中的内容可见性,而不是只做品牌导航测试。
截至 2026 年 9 月 27 日公开的第二窗口记录,实验已对部分平台提交同一个问题“GEO 是什么?”,但完整 60 组合尚未完成,通义千问本轮也没有继续提交。公开记录中的回答、来源缺口和隐私边界均单独保留,因此不能从这几条样本计算五个平台的总体提及率、页面引用率或引用准确率。具体状态以实验记录和基准库页面为准。
下一轮更适合优先测试与本站已有教程直接对应的长尾问题,例如“如何为 AI 搜索设计教程”“什么样的答案段更容易被准确引用”“网站被收录后是否就会被 AI 引用”“如何判断内容是否被采用”。这类问题比“GEO 是什么”更容易检验页面是否提供了独特、可核对的答案,但仍然不能预先假设会出现 ZenLeak。
常见问题
是不是每个平台都必须完成,才能发布结果?
可以发布“部分窗口记录”或“执行进度”,但必须清楚写出完成组合、缺失原因和未覆盖的平台。未完成的计划样本不能被填成未引用,也不能用已完成平台代表所有平台。
同一个问题重复问三次,可以增加样本吗?
可以,但要预先定义重复规则。三次是同一平台同一窗口内的重复回答,还是三个相隔日期的窗口,解释不同,不能事后把有利回答挑出来。
回答里出现了网站域名,就一定算页面被引用吗?
不一定。需要确认链接是否指向具体页面、来源区域是否确实关联该回答,以及页面是否支持相邻结论。只有域名文本、搜索片段或浏览器历史都不足以单独完成判定。
没有来源 URL,能不能根据回答内容判断采用了本站?
可以把“疑似内容采用”作为内部待核线索,但不能公开标记为已引用或已准确引用。应保存回答原文、页面版本和相似内容定位,待来源或更强证据补齐后再审核。
能不能让另一个 AI 自动判断引用准确度?
可以让它拆分声明、寻找候选原文和提示矛盾,但必须提供完整材料并人工复核重要结论。评价模型也可能漏掉条件、误读来源或把相似主题判成内容采用。
结果没有变化,是不是说明页面改动没有效果?
不能直接这样解释。可能是页面还没有重新进入平台的检索范围,也可能是问题、环境、来源展示或样本数量不足。先确认页面版本和平台条件一致,再按预定窗口继续观察。
发布前清单
- 明确实验问题、平台范围、问题集版本和观察窗口。
- 把产品入口、模型或模式、联网状态、地区和登录状态单独记录。
- 冻结每道问题的完整文本,不用品牌词替代非品牌问题。
- 记录被观察页面的 canonical、发布日期、修改日期和页面版本。
- 每个平台都使用相同的执行顺序和会话规则。
- 保存完整回答和来源区域,不只保留一张裁剪截图。
- 逐个打开来源,记录标题、URL、访问时间、摘录和支持关系。
- 分别填写联网、来源、品牌提及、页面引用、内容采用、准确和完整。
- 用 null 或未知表示证据缺失,不把缺失自动填成否。
- 公开计划数、完成数、缺失原因和每个指标的真实分母。
- 把示例数据与真实观察分开,不能把教学案例写入实验结果库。
- 发布前移除账号标识、私人会话、访问者信息和平台凭证。
- 不把一次提及、一次链接或一次准确回答写成长期平台能力。
- 写清下一轮复测日期、保持不变的条件和允许改变的变量。