先给结论:有来源链接,不等于回答忠实于来源
判断 AI 引用准确性,不能只看回答有没有给出网站链接。真正需要核对的是:回答中的每条事实,能否由它所指向的来源支持;来源支持时,原文的对象、范围、条件、时间和不确定性是否也被保留下来。页面链接正确,但回答把“部分样本”说成“所有用户”,或把“可能相关”改成“必然导致”,仍然属于支持不足。
可操作的核验单位是“回答中的一个原子声明 + 一个明确来源 + 一个页面版本”。先把复合句拆开,再逐条回到被引用页面的具体段落,记录支持关系和限制。本文的维度与状态是 ZenLeak 提出的人工审查表,不是各 AI 平台的统一标准,也不能据此推断某种写法一定会提高引用概率。
保存回答与环境 → 拆分原子声明 → 定位对应来源段落 → 对照对象、范围、条件、时间与结论强度 → 标记支持状态 → 记录页面版本和未知项。
为什么不能把“出现引用”直接记为“引用准确”
生成式搜索的引用评价研究会区分引用是否覆盖回答中的声明,以及每个引用是否真正支持它所关联的声明。两者回答的是不同问题:一个看来源覆盖,另一个看来源与声明的支持关系。因此,回答里出现 ZenLeak URL,只能证明界面出现了一个来源入口;是否采用了页面内容、来源是否支持具体句子,还需要单独检查。
此外,一段回答往往把事实、推断和建议混写。一个来源可能支持其中的事实,却不支持后面的因果解释。审查时如果只给整段打“正确”或“错误”,就会掩盖哪些部分有证据、哪些部分超出了证据范围。
第一步:把回答拆成可以单独核对的声明
拆分时保留主体、谓词、对象、数量、时间、条件和因果关系。可以把一句话改写成多行核验表,但不要改变原意,也不要把 AI 没说的前提偷偷补进去。
| 回答原句 | 原子声明 | 需要的证据 |
|---|---|---|
| “提交 20 个 URL 后,20 个页面都被百度收录,网站流量因此增长。” | 已提交 20 个 URL;20 页均已收录;流量增长;提交导致增长。 | 提交响应;逐 URL 的平台索引证据;定义明确的流量数据;可支持因果判断的研究设计。 |
| “这项测试说明该结构适用于所有 AI 平台。” | 测试中观察到什么;样本覆盖哪些平台;结论能否外推到未测试平台。 | 原始问题、平台名单、有效样本、测试窗口和外推限制。 |
| “AI 引用了这篇文章,证明文章内容准确而且排名靠前。” | 来源是否为该文章;文章内容是否支持回答;搜索排名是否被测量;引用与排名是否有关联。 | 回答中的来源 URL、对应正文段落、搜索结果记录及能排除其他解释的证据。 |
一句话里出现“因为、所以、导致、全部、首次、目前、至少、只要”等词时,应特别检查是否隐藏着额外声明。拆分完成后,声明数量可能大于回答句子数;这不是夸大错误,而是让每项判断都能单独核查。
第二步:逐项检查六个容易丢失的限定维度
| 维度 | 核验问题 | 常见偏差 |
|---|---|---|
| 对象 | 来源谈的是同一个组织、产品、页面、版本或人群吗? | 把栏目当成产品,把第三方评价写成网站自述。 |
| 范围 | 样本、地区、平台、时间和适用人群是否一致? | 把一轮测试外推为行业规律,把部分页面扩大为全站。 |
| 条件 | 结论成立所依赖的前提是否保留? | 删掉“在本轮样本中”“页面可访问时”或“仅对某版本”。 |
| 时间 | 回答使用的是当前状态,还是历史记录? | 把旧政策、旧价格或已结束的观察写成目前状态。 |
| 数量与比较 | 分子、分母、单位、对照对象和比较窗口是否一致? | 把 3/5 写成 60% 却不说明样本;比较不同时间和不同口径。 |
| 因果与确定性 | 来源只显示同时发生,还是确实支持因果?措辞强度是否匹配? | 把相关、可能或建议改写为证明、必然或保证。 |
并非每条声明都涉及全部六项。审查者应记录“不适用”的理由,而不是为了填满表格制造限制。对动态信息,还要记下回答观察时间和页面版本;今天打开页面看到的内容,不能自动证明平台当时看到的是同一版本。
第三步:给每条“声明—来源”关系标注状态
推荐使用四种审查状态,并另外记录材料状态。它们是本文的工作标签,不是平台公开的官方分类。
| 状态 | 适用条件 | 记录方式 |
|---|---|---|
| 支持 | 来源直接支持声明,重要范围、条件和结论强度没有被改写。 | 保存来源 URL、标题、段落定位和支持摘录。 |
| 部分支持 | 来源支持核心事实,但回答遗漏了影响理解的限定,或把多个声明压成了更强结论。 | 指出被支持的部分和缺失的条件,不把整句判为准确。 |
| 不支持或矛盾 | 来源没有提供所需依据,或来源内容与回答明确冲突。 | 引用反证位置;若只是未找到证据,应写“不支持”,不要擅自写成已证伪。 |
| 无法判断 | 回答不显示来源、链接失效、历史页面不可恢复,或关键材料缺失。 | 列出缺失字段;不得把无法检查计作准确或错误。 |
“未测试”是实验执行状态,不是引用支持状态;“没有链接”也不一定表示声明为假。把这些情况分开,才能避免将缺失数据填成零、否或不准确。
第四步:按固定顺序完成一次核验
- 冻结原始材料。保存问题原文、完整回答、可见来源区、平台入口、时间及时区、联网和登录状态;对截图中的账号信息做必要去敏。
- 固定目标版本。记录回答所指 URL、规范地址、页面发布日期或修改日期,以及可获得的历史快照或内容指纹。若历史版本无法取得,明确写未知。
- 拆出原子声明。分离事实、数量、比较、因果、建议和预测,保持原句以便复核。
- 建立来源映射。每个声明单独指向实际支持它的页面和段落。一个来源不能因为与主题相关,就自动支持整段回答。
- 对照六个维度。检查对象、范围、条件、时间、数量口径和确定性;必要时查找来源中的反例、限制和相邻上下文。
- 给出状态和理由。保存支持状态、证据摘录、来源定位、核验人、核验时间和仍未解决的问题。
- 独立复核高影响声明。涉及价格、合规、健康安全、账户操作、收录状态或效果承诺时,安排第二位审核者或明确标记尚未复核。
示例:来源链接正确,但结论只得到部分支持
以下句子和数字仅用于说明审查方法,不代表 ZenLeak 或任何 AI 平台的真实测试结果。
假设 AI 回答:“ZenLeak 提交了 12 个页面,百度已经收录这 12 页,因此自动提交显著提升了流量。”回答把一条提交记录关联到了 ZenLeak,但页面实际只能证明提交接口接受了 12 个 URL。审查者应将其拆成至少四条声明:
| 声明 | 来源是否足够 | 建议状态 | 还需要什么 |
|---|---|---|---|
| 接口接受了 12 个 URL | 如果提交台账显示同一批次及响应,可以支持。 | 支持或待核 | 批次 ID、时间、响应和 URL 清单。 |
| 12 个页面都已被百度收录 | 接口接受不等于逐页面索引状态。 | 无法判断 | 每页对应的站长平台或搜索结果证据及检查时间。 |
| 自动提交显著提升流量 | 单一提交记录不能支持因果关系或“显著”措辞。 | 不支持 | 预先定义指标、基线、对照、观察窗口和替代解释。 |
| AI 引用了 ZenLeak 页面 | 需要确认展示的 URL 和它对应的回答声明。 | 待来源映射 | 完整回答、来源卡片和页面版本。 |
这个例子说明,引用准确性不是判断“整段看起来像不像原文”,而是逐项判断每个声明的证据范围。部分声明可被支持,不会自动修复同段中的无证据结论。
怎么汇总结果而不制造一个虚假的总分
如果需要跨平台汇总,先定义样本单位,再分别报告来源可见性和声明支持情况。以下是 ZenLeak 的内部操作口径示例,不是行业标准:
- 声明拆分数:本轮回答中识别出的事实与可核验推断声明数。
- 来源可见比例:至少有一个可检查来源的声明数 ÷ 全部可核验声明数。回答没有显示来源时保留为未覆盖,不能当作来源错误。
- 完整支持比例:状态为“支持”的声明—来源关系数 ÷ 已完成核验的声明—来源关系数。“部分支持”单独列出,不混进完整支持分子。
- 无法判断数:由于来源、历史版本或回答材料缺失而未能完成核验的声明数,并写清原因。
不要把来源可见比例与完整支持比例相乘后包装成“GEO 准确率”,也不要把不同平台、问题、页面版本和观察窗口直接合成一个分数。样本太小、状态定义不一致或缺失原因不同,就只公开分项计数与分母。
自动化能做什么,人工必须做什么
| 可以自动辅助 | 仍需人工判断 |
|---|---|
| 保存时间、问题 ID、平台字段、URL、页面版本和文件哈希。 | 回答是否忠实复述了来源,以及省略条件是否改变含义。 |
| 检查链接能否访问、最终跳转地址、页面更新时间和重复记录。 | 来源是否真正支持相邻声明;相关页面不等于证据充分。 |
| 辅助拆分候选声明、提示数字或时间范围变化、生成待审核队列。 | 判断原子声明是否拆得合理、因果是否成立、结论能否外推。 |
| 按明确口径汇总已核验、部分支持、矛盾、未知和未执行的数量。 | 是否可以发表结论,以及公开时应保留哪些限制。 |
大语言模型可以帮助寻找潜在不一致,但它本身不能作为唯一裁判。需要保留模型使用的输入、提示词和输出,并由审核者回到来源原文确认。若自动化接口没有返回完整回答或来源,状态应停留在材料不足。
可直接复制的声明核验记录
问题 ID|平台与模式|回答时间及时区|页面 URL 与版本|回答原句|原子声明|来源 URL|来源段落定位|支持摘录|对象/范围/条件/时间/数量/因果检查|状态|判定理由|审核人|仍未知项|复测日期。
写公开报告时,可采用这样的表述:“本轮共拆出【N】条可核验声明;【A】条有可见来源,其中【B】条完整支持、【C】条部分支持、【D】条不支持或矛盾;另有【E】条因【原因】无法判断。结果只适用于【平台、问题、时间和页面版本】,不能外推到未测试的问题或后续版本。”请为每个数值附上定义和分母。
页面更新后如何复测
如果根据审查结果修订了页面,应保存旧版本、变更摘要和受影响声明。T+0 检查站内页面和机器入口;之后在预先确定的观察窗口,用相同问题、平台入口和尽可能一致的环境重新采集回答。平台版本、联网状态或地区设置发生变化时,作为新条件记录,不要把两轮结果当成严格可比实验。
复测只回答“在这些条件下,观察到什么变化”。页面上线、Sitemap 更新、搜索引擎抓取和 AI 平台回答变化是不同事件。修订了页面不能证明平台已经读取新版本;回答变了也不能单凭前后对比归因于这次修订。
发布前检查清单
- 已保存完整问题、回答、来源区域、平台环境和观察时间。
- 回答已拆分为独立声明,事实、建议、推断和因果关系没有混成一条。
- 每条声明都映射到明确来源及具体段落,而不是仅标记一个相关链接。
- 已检查对象、适用范围、成立条件、时间、数量口径和结论强度。
- 已把支持、部分支持、不支持或矛盾、无法判断分开记录。
- 分母包含规则、缺失原因和未执行状态均已说明。
- 历史页面版本无法恢复时没有用当前页面替代历史证据。
- 自动化输出经过人工复核,高影响声明有第二人检查或明确标注未复核。
- 公开结论限定在本轮问题、平台、时间和页面版本范围内。
结论边界
声明级引用审查能够说明现有回答与现有来源之间的支持关系,但不能证明模型内部使用了哪段文本,也不能预测下一次回答会不会沿用当前来源。不同平台的来源展示能力不同;看不到来源时,应记录不可核验,而不是假设没有检索或引用。
本文的六项限定检查、状态标签和汇总口径是用于提高 ZenLeak 研究可复核性的操作方法,不是经过跨平台验证的统一量表。若要比较平台或评估改版效果,仍要固定问题、页面版本、环境和窗口,公开有效样本及缺失数据。可继续阅读AI 引用准确性核查、引用证据归档、AI 回答误引处置和声明级证据库,把核验结果接入完整记录流程。