LLM 大语言模型AI Agent技术综述工具

精读Claude《How to Fact-Check AI-Written Blog Posts: A Claim-by-Claim Workflow》

Mr.噤若寒蝉2026-09-18 17:37
精读Claude《How to Fact-Check AI-Written Blog Posts: A Claim-by-Claim Workflow》

如何逐条核查 AI 撰写的博客:从“看起来可信”到“证据可追溯”

精读对象:How to Fact-Check AI-Written Blog Posts: A Claim-by-Claim Workflow
作者:Daniel Agrici
发布日期:2026 年 9 月 7 日
报告日期:2026 年 9 月 18 日
文章类型:编辑工作流指南与工具方法说明
适合读者:内容编辑、技术作者、研究人员、事实核查人员、AI 内容工作流设计者

1.核心结论

这篇文章最重要的观点是:AI 内容检测与事实核查解决的是两个不同问题。

检测器试图根据语言模式判断文本是否可能由 AI 生成;事实核查则要求逐条确认数字、日期、引语、政策、产品能力和比较性判断是否有足够证据。即使检测器正确识别了文本来源,也不能证明文本中的事实为真;反过来,一篇由 AI 协助撰写的文章也可能经过充分核验。

作者提出的核心方法可以概括为一个闭环:

提取可核查声明 → 保留原句 → 寻找最强证据 → 比较范围、日期、条件和单位 → 给出核验结论 → 安全改写 → 重新核查改写后的文本

其中最有价值的不是某个搜索技巧,而是可追溯性。每个判断都要留下原始声明、证据、来源、检索日期、核验结论和最终措辞,使其他编辑能够复核“为什么改、依据是什么”。这种记录把事实核查从一次性的个人判断变成可审计的编辑流程。

不过,这篇文章不是学术论文,也没有通过实验数据证明该流程能降低多少错误、需要多少人工时间,或不同核查者之间能否稳定得出相同结论。它更接近一份结构合理的操作指南。读者可以采用其基本框架,但不应把六类核验结论或示例判断当作已经验证过的行业标准。

2.文章试图解决的问题

AI 生成的文章常见风险不是每句话都完全虚构,而是事实和推断被流畅语言混在一起。

例如:

  • 数字本身真实,但适用国家、时间区间或样本范围被扩大;
  • 产品确实有某项能力,但只在特定套餐、地区或版本提供;
  • 来源表达的是“可能”或“相关”,文章却改写成“必然”或“导致”;
  • 引语大意接近原文,但并非可验证的逐字引用;
  • 搜索摘要看起来支持声明,点开原文后却找不到对应内容;
  • 政策允许某种有限用法,文章将其压缩成无条件的“允许”。

这类错误通常有真实信息作为外壳,因此比明显荒谬的内容更难发现。单纯通读文章容易被连贯叙述影响。作者因此要求编辑先把文章拆成离散的“可核查声明”,再逐条判断。

这里的“声明”是指可能被外部证据支持或反驳的陈述,包括统计数字、日期、引语、政策摘要、产品功能、价格、排名,以及“最好”“更快”“更可靠”等比较性判断。价值判断、写作建议和作者明确标注的推论不一定能用同一方式核查,但仍需避免伪装成来源中的直接结论。

3.原文提出的核查流程

3.1 先建立声明登记表

作者建议在润色文风或运行 AI 检测器之前,先把所有可核查声明复制到登记表中,并保留原句。这个顺序很重要:如果先把句子改得更委婉,编辑可能忘记原文究竟承诺了什么,后续也无法判断改写是否真正修复了问题。

原文给出六种核验结论:

结论 原文采用的含义 对最终文本的要求
Supported,已支持 证据在声明所写的范围和日期内支持原句 可以保留,并附上可复核来源
Partially supported,部分支持 证据只支持声明的一部分 缩小范围或补回遗漏条件
Inferred,推断 结论由事实推导而来,不是来源的直接表述 明确标为分析或推断,不冒充原文结论
Contradicted,被反驳 可信来源与原句发生冲突 删除或改为符合证据的表述
Unverified,未核实 没有找到足够证据 删除、降级语气或交由进一步核查
Inaccessible,来源不可访问 引用材料无法读取或无法检查 不把搜索摘要当作替代证据;寻找可访问的一手材料或暂不采用

原文强调,部分支持不是“基本正确,可以不改”。它意味着原句的范围大于证据范围,最终措辞必须收窄。被反驳、未核实和来源不可访问也不能成为保留确定性表述的理由。

3.2 按声明寻找最强证据

文章建议从负责相关产品、政策或数据的机构所发布的一手材料开始。例如,核查 Google Search 政策时,应先查看 Google Search Central,而不是引用转述该政策的 SEO 博客。

这个原则的正确理解是:一手来源通常最适合确认“该机构如何规定、该产品声称具备什么能力、该数据集记录了什么”。

它不意味着官方来源在所有问题上都天然最可靠。如果声明涉及产品效果、市场领先地位、安全性或与竞品的比较,独立研究、监管材料或透明的方法学数据可能比厂商宣传更有证明力。

对于会变化的政策、价格和产品能力,登记表还应记录检索日期。来源无法访问时,应明确标记原因,不能用搜索结果摘要、其他文章的转述或模型记忆悄悄替代原始证据。

3.3 比较范围、日期、条件和单位

作者要求核查者在接受证据前检查四个方面:

  1. 范围:来源讨论的是不是同一产品、地区、群体或政策?
  2. 日期:来源对当前声明是否仍然有效?
  3. 条件:原句是否删掉了资格要求、例外、方法限制或适用前提?
  4. 单位:百分比、货币、时间区间、分母和测量口径是否一致?

这四项针对的是 AI 写作中最常见的“有来源但用错来源”问题。一个套餐的价格不能代表全部套餐,一个国家的调查不能自动推广到全球,一个月的变化也不能直接写成年度趋势。

在实际应用中还应增加三项:

  1. 定义:来源与文章是否用同一个术语含义?例如“用户”“活跃用户”和“付费用户”不能互换。
  2. 方法:样本如何获得、指标如何测量、是否有对照组或显著偏差?
  3. 强度:来源表达的是相关、可能、方向性结果,还是已经证明的因果关系?

3.4 改写后再次核查

事实核查不在第一次改写后结束。改写可能引入新的例子、标题、摘要和过渡句,而这些内容也可能产生新的事实声明。作者要求对修改后的版本重新运行声明登记流程。

这个环节解决了“语义漂移”问题:编辑为了让句子更顺,可能在不知不觉中扩大范围、强化因果或删掉限制条件。第二轮核查的对象应是准备发布的最终文本,而不只是最初草稿。

4.对四个示例的复核

原文用四条关于 Google AI 内容政策的虚拟声明演示核查方法。本报告回查了 Google Search Central 的一手资料。

原始声明 原文结论 本报告复核 说明
“Google 会惩罚所有 AI 撰写的内容” 被反驳 结论成立 Google 明确区分适当使用 AI 与主要用于操纵搜索排名的自动化内容;前者本身不违反指南,后者违反垃圾内容政策
“这篇文章有 2,000 字,所以很全面” 被反驳 方向正确,但结论标签可更精确 Google 明确表示没有偏好的字数,但这只能否定“字数本身可以证明全面”这一规则,不能证明某篇 2,000 字文章一定不全面;更合适的结论是“因果依据不足”或“该判断规则不受支持”
“加入作者或方法说明,有助于读者理解自动化如何参与创作” 已支持 结论基本成立 Google 建议在读者合理关心“谁创作、如何创作”时提供作者和自动化信息;原句使用“有助于”而非保证性措辞,强度与来源相符
“Google 允许 AI 撰写的内容” 部分支持 结论成立 该表述过于宽泛。更准确的说法是:适当使用 AI 本身不违反指南,但主要为了操纵排名而规模化生成低价值内容可能违反垃圾内容政策

相关官方材料包括:Google 关于 AI 生成内容的指南、以用户为先的实用内容指南和Google 网页搜索垃圾内容政策。

这组示例验证了文章的主要政策转述,但也暴露出一个方法问题:核验结论不仅取决于证据,还取决于核查者如何解释原句。第二个示例中,“被反驳”和“没有证据证明”并不完全相同。若团队需要稳定使用这套流程,应给每个标签补充判定规则和边界示例。

5.这套方法最值得保留的部分

5.1 把原句当作核查对象

保留原句可以防止核查者在验证前替作者修正问题。证据是否支持“可能提高”“提高了”和“保证提高”是三个不同问题。只有固定原句,才能判断结论强度是否发生变化。

5.2 把可访问性纳入流程

引用一个 URL 不等于提供了证据。链接可能失效、需要权限、只有标题摘要可见,或页面已经更新。原文要求把不可访问来源明确记为不可访问,并拒绝用搜索摘要冒充原文。这条规则能够减少“引用存在但无人读过”的形式化核查。

5.3 不把冲突来源机械平均

两份可信资料发生冲突时,原因可能是版本、地区、时间、定义或测量方法不同。把两种结论折中成一个模糊句子,既没有解决冲突,也可能制造第三种没有来源支持的说法。更合理的做法是并列记录差异,识别适用边界;如果发布判断依赖该冲突,就交由领域专家或编辑负责人处理。

5.4 要求最终版本重新进入核查循环

很多流程只核查初稿,却不检查标题、摘要和编辑改写。文章把核查设计为闭环,因此更接近真实出版过程。最终发布版本发生任何实质性变化,都可能需要重新提取声明。

5.5 明确“不知道”也是一种合格结果

事实核查的目标不是给每个句子找到一个链接,而是确定证据边界。找不到充分证据时,标记“未核实”比补造来源、扩大弱证据或让模型生成似是而非的解释更可靠。

6.文章的局限

6.1 六类结论混合了三个不同维度

“已支持、部分支持、被反驳、未核实”描述的是证据与声明的关系;“推断”描述的是陈述的形成方式;“来源不可访问”描述的是核查过程状态。三者放在一个互斥列表中,会产生歧义:一个推断既可能得到充分支持,也可能与证据冲突;来源不可访问也不代表声明为假。

更清晰的登记表应拆成三列:

维度 可选状态示例
陈述性质 来源直接表述 / 计算结果 / 编辑推断 / 作者观点
证据结论 已支持 / 部分支持 / 被反驳 / 证据不足
来源状态 可访问 / 不可访问 / 已过期 / 存在冲突

这样既能保留原文的操作优势,也能避免把“推断”误解成“已经核实”。

6.2 “官方来源优先”需要按声明类型使用

机构官网最适合证明它自己的政策和产品说明,却不一定适合证明产品实际效果。厂商可以准确说明“功能已经发布”,但对“功能最好”“能够提升生产率”或“比竞品安全”的证明仍需独立数据。来源强弱不能只按“官方或非官方”排序,而要看来源是否有能力、方法和利益独立性来支持具体声明。

6.3 缺少风险分级

文章对所有可核查声明采用近似一致的流程,但不同错误的后果差异很大。餐厅营业时间写错与医疗剂量写错,不能采用同一核查深度。实际系统应根据潜在伤害、传播范围、时效性和可逆性分级:医疗、法律、财务、安全和公共政策内容需要更强的一手证据、领域专家复核和更严格的发布门槛。

6.4 缺少效果评估

文章没有报告以下数据:

  • 使用该流程前后的事实错误率;
  • 每千字或每条声明的核查时间;
  • 两名核查者对同一声明的结论一致率;
  • 不同来源等级对误判率的影响;
  • AI 辅助核查与人工核查的漏检和误报;
  • 文章发布后发现错误时的更正率和响应时间。

因此,目前只能判断这套流程在逻辑上较完整,不能判断它在特定团队中是否具有成本效益。团队采用后仍需自行测量。

6.5 逐条核查不能替代论证审查

文章关注离散事实,但一篇文章还可能在所有单句都“有来源”的情况下得出错误结论。例如选择性引用、忽略反例、把相关性写成因果、使用不合适的分母,或从局部样本推广到总体。这些问题需要审查论证结构和证据组合,不能只靠声明登记表解决。

6.6 AI 核查 AI 仍有循环风险

原文提供了一段可交给工具或审稿人的核查指令,但同时要求人再次验证工具返回的证据。这一限制必须保留。AI 可以帮助提取声明、整理候选来源和比较措辞,却可能漏掉声明、引用错误页面,或把来源中的相似词误当作支持。工具输出应被视为待复核的工作底稿,而不是最终证明。

7.改进后的可执行工作流

7.1 第一步:按风险确定核查深度

先给文章和声明分级:

  • 高风险:医疗、法律、财务、安全、公共政策以及可能造成现实伤害的建议。要求一手材料与领域专家复核。
  • 中风险:产品能力、价格、商业比较、统计数据、行业趋势。要求可访问来源、明确日期和完整适用条件。
  • 低风险:背景性信息和不会改变读者决策的细节。可以采用抽样核查,但直接引语、数字和专有名词仍应全部检查。

7.2 第二步:提取并分类声明

把每条声明记录为最小可核查单元。一个句子如果同时包含数字、原因和比较,应拆成多条,避免一份证据只支持其中一部分却被判定为整句成立。

分类至少包括:数字、日期、引语、政策、产品能力、比较、因果、预测和编辑推断。分类的目的不是增加标签,而是确定需要什么类型的证据。

7.3 第三步:建立证据链

优先查找能够直接回答问题的原始材料:法规原文、官方政策、产品文档、原始数据集、研究论文、财务披露或完整采访记录。记录页面标题、发布者、URL、发布日期或版本、检索日期,以及真正支持声明的段落或数据位置。

若只能找到二手资料,应说明它引用了什么、是否能回到一手材料。搜索摘要只能用于发现候选来源,不能作为正式证据。

7.4 第四步:做七项匹配检查

对每条声明检查:对象范围、时间、适用条件、单位与分母、术语定义、研究方法、结论强度。引语还要核对逐字内容与上下文;比较声明要确认比较对象和指标一致。

7.5 第五步:给出分维度结论

分别记录陈述性质、证据结论和来源状态。对于部分支持的声明,明确指出“哪部分得到支持、哪部分没有”。对于推断,写出推理链并标明它不是来源中的直接结论。

7.6 第六步:改写并重新扫描

只保留证据能够承担的结论强度。改写完成后,对正文、标题、摘要、图注、表格和元描述重新提取声明。若实质性改写产生了新声明,就重新走证据核验流程。

7.7 第七步:记录质量指标

团队至少应跟踪以下指标:

  • 每篇文章提取的声明数和高风险声明数;
  • 已支持、部分支持、被反驳和证据不足的比例;
  • 不可访问或过期来源数量;
  • 核查耗时;
  • 发布后更正数量;
  • 双人复核时的结论一致率。

这些指标不能直接证明文章质量,但能帮助团队判断流程是否稳定、成本是否可接受,以及错误主要发生在哪个环节。

8.可直接复制的声明登记表

| ID | 原始声明 | 声明类型 | 风险等级 | 来源及检索日期 | 关键证据 | 范围/日期/条件/单位检查 | 陈述性质 | 证据结论 | 来源状态 | 最终措辞 |
|---|---|---|---|---|---|---|---|---|---|---|
| C-01 | 原句,不先改写 | 数字/引语/政策/能力/比较/因果/预测 | 高/中/低 | 标题、发布者、URL、YYYY-MM-DD | 对应段落、表格或数据位置 | 分别记录不匹配项 | 直接表述/计算/推断/观点 | 已支持/部分支持/被反驳/证据不足 | 可访问/不可访问/过期/冲突 | 保留、收窄、降级语气或删除 |

发布前可以使用下面的最小检查清单:

  • 所有数字、日期、引语、政策、价格和产品能力是否进入登记表?
  • 是否保留了原句,而不是先替作者改写后再核查?
  • 每条引用是否真的打开并读过,而不是只看搜索摘要?
  • 来源是否支持相同的对象、地区、时间、条件、单位和术语?
  • 相关性是否被误写成因果,可能性是否被改写成确定性?
  • 厂商来源是否被用于证明它无力独立证明的效果或比较优势?
  • 部分支持的声明是否已经缩小到证据范围内?
  • 标题、摘要、表格和改写后的句子是否重新核查?
  • 高风险声明是否经过领域专家复核?
  • 对无法核实的内容,是否明确选择删除、降级或暂缓发布?

9.总体评价

这篇文章提供了一套简洁、可执行且容易审计的事实核查骨架。它最重要的贡献是把核查对象从“整篇文章是否像 AI 写的”转向“每条可挑战声明是否有匹配证据”,并要求保留原句、证据和修改记录。对于博客、产品文档和一般技术内容,这套框架可以提高编辑过程的可追溯性。

但它仍是一份方法指南,而不是经过实证评估的事实核查标准。六类结论在逻辑维度上存在混用,来源层级需要按声明类型判断,流程也没有覆盖风险分级、论证有效性和效果测量。更稳妥的做法是保留它的声明登记与二次核查机制,同时把“陈述性质、证据结论、来源状态”拆开,并为高风险领域增加专家复核。

最终应记住的是:事实核查不是为原句寻找一个看似相关的链接,而是判断现有证据究竟允许文章说到什么程度。

10.参考资料

  1. Daniel Agrici:How to Fact-Check AI-Written Blog Posts: A Claim-by-Claim Workflow
  2. Google Search Central:Google Search's guidance about AI-generated content
  3. Google Search Central:Creating Helpful, Reliable, People-First Content
  4. Google Search Central:Spam Policies for Google Web Search
点赞收藏
// 评论0
0 / 500
还没有评论,快来抢沙发