2025 年 6 月 25 日,美国国家标准与技术研究院(NIST)发布技术报告 NIST AI 700-1《2024 NIST GenAI(试点研究):文本生成与判别评估概览与结果》。此前 5 月 5 日,NIST 已先发布该试点研究的概览版本。

一次「双向」的评估设计

这项试点研究围绕两个互补任务展开:文本生成(T2T-G)要求模型根据给定主题与源文档自动生成摘要,目标是让摘要尽可能与人类撰写的难以区分;文本判别(T2T-D)则要求系统判断一份摘要究竟出自人类还是生成式模型。

这种设计把评估放在了对抗的两端——不是单看模型「写得好不好」,而是看生成能力与检测能力谁跑得更快。这与内容标识治理的现实处境高度一致:标识制度要成立,前提是「机器生成」这件事本身可被识别。

报告给出的三个结论

第一,生成侧正在逼近人类水平。AI 生成的摘要在风格与结构上越来越接近人类写作,这直接抬高了事后检测的难度。

第二,检测侧仍相对有效,但高度依赖系统。报告指出,不同系统之间表现差异显著:存在能够骗过大多数判别器的生成器,也存在能够检出几乎全部生成器的判别器。换言之,「AI 检测」目前不是一个可以一概而论的结论,而是一项因工具而异的判断。

第三,判别系统在多轮测试中持续改进。随着测试轮次推进,判别方的能力有可观察的提升——这暗示攻防是一场持续的军备竞赛,而非一次性的技术定型。

对内容标识治理的含义

报告的实践指向很明确:既然事后检测并不可靠,标识就不能只依赖「检测出这是 AI」这一条路径。

中国的《人工智能生成合成内容标识办法》采取的是「显式标识 + 隐式标识」的双轨思路:显式标识让用户直接感知,隐式标识则把溯源信息写入文件元数据或嵌入数字水印。NIST 的结论恰好为这一路径提供了技术侧的注脚——当检测不可靠时,主动写入的标识比被动推断更可信。参见内容标识常态化治理与AI 生成内容的用户核验义务。

与国际规则的同频

在欧盟,《人工智能法》透明度义务要求生成内容以机器可读方式标记;欧盟还就内容标识行为准则展开起草。美国方面则在联邦层面持续推进 AI 政策框架。参见美国 AI 行动计划。

三套规则的共同点在于:都把标识义务前移到「生成环节」,而不是留给「事后检测」。NIST 的评估结果,为这种前移提供了实证支撑。

企业可以着手的方向

其一,在生成链路内置标识能力,把元数据与水印作为默认输出,而不是可选项。

其二,不要过度依赖第三方检测工具作合规判断,检测结论存在显著的工具差异。

其三,保留生成与标识的过程记录,在需要说明内容来源时,主动标识比事后自证更有效。

这项研究的价值不在给出一个「AI 检测准不准」的简单答案,而在于确认了一个治理方向:与其追逐检测精度,不如让标识成为生成的一部分。


本文依据 NIST AI 700-1《2024 NIST GenAI(试点研究):文本生成与判别评估概览与结果》及公开信息编写,仅供参考,不构成法律意见。