预训练的数据合规讨论已经很多,微调反而少有人系统梳理。原因大概是微调的数据量小,几千条到几十万条,看起来不构成风险。实际情况相反:微调数据往往直接取自业务系统,客户对话、工单记录、合同文本、内部知识库,来源集中、个人信息密度高,一旦出现问题,影响面比公开爬取的数据更直接。
《生成式人工智能服务管理暂行办法》第七条对训练数据处理活动提出四项要求:使用具有合法来源的数据和基础模型;涉及知识产权的,不得侵害他人依法享有的知识产权;涉及个人信息的,应当取得个人同意或符合法律、行政法规规定的其他情形;采取有效措施提高训练数据质量。这四项同样适用于微调,不因数据量小而豁免。
一、四类来源与各自的授权链
| 来源 | 授权链要点 | 常见瑕疵 |
|---|---|---|
| 公开爬取 | 遵守 robots 协议与网站条款,不绕过技术措施,不含个人信息与作品 | 抓取范围超出公开页面,或未留存抓取时点的条款版本 |
| 采购数据 | 合同明确可用于模型训练,权利瑕疵担保,来源可追溯 | 合同只写"提供数据服务",未约定训练用途 |
| 用户数据 | 告知同意覆盖训练目的,或具备其他合法基础;敏感信息单独同意 | 仅以"改进服务"概括,未说明训练这一具体用途 |
| 开源数据集 | 核对许可证类型、用途限制与署名要求,保留版本 | 研究或非商业许可被用于商业训练 |
四类之中,用户数据的授权链最难补。原因在于多数产品的隐私政策在收集时并未预见训练用途,事后追加同意,成本高且覆盖率低。可行的做法是分场景处理:新收集的数据在告知中写清训练用途;历史数据则评估是否可以去除个人信息后使用,或仅用于非识别性统计。
二、个人信息的三个判断点
第一,是否存在个人信息。 微调语料中常见的姓名、手机号、身份证号、住址、账号标识,以及可间接识别的组合信息,都属于个人信息。客服对话尤其密集。
第二,是否具备合法基础。 训练属于新的处理目的,通常需要告知并取得同意,或符合其他法定情形。以"履行合同所必需"为由覆盖训练,多数场景下难以成立,因为训练并非向该用户提供服务的必要环节。
第三,是否需要单独同意。 涉及敏感个人信息的,应取得单独同意;涉及生物识别、医疗健康、金融账户、行踪轨迹等内容的语料,需逐项判断。
需要特别说明的是去标识化。去除姓名与号码后的文本仍属个人信息,只是降低了识别可能性;匿名化才脱离《个人信息保护法》的适用范围,但匿名化需达到无法识别且不能复原的程度,实务中举证难度很高。把去标识化等同于匿名化,是最常见的错误。
三、著作权的两个层面
复制与改编。 将作品纳入训练语料,涉及复制;微调过程中对文本的改写、续写、风格迁移,可能涉及改编。两者都需要权利基础,除非落入合理使用情形。
合理使用的边界。 现行著作权法列举的合理使用情形有限,用于商业模型训练通常难以直接套用。较稳妥的做法是对语料做版权状态筛查:明确进入公有领域的、取得授权的、以及来源不明需剔除的三类分开处理。
开源许可证是另一条线索。代码类语料需核对许可证的传染性与商用限制;文本类数据集需核对是否允许商业使用与再分发。许可证要求保留署名或声明来源的,应在模型说明或文档中落实。
四、跨境这一环常被遗漏
微调涉及跨境的场景有两类:使用境外算力训练,以及境外团队标注数据。前者若将境内个人信息传输至境外服务器,属于数据出境;后者若将数据传输给境外标注方,同样构成对外提供。
两类场景都需要先判断路径:安全评估、标准合同或认证,按数据量与信息类型选择。标注环节还涉及委托处理,需要在合同中约定处理目的、期限、安全措施与删除义务。
五、可被审计的留痕清单
合规审查的实质,是能否回溯每一个数据批次的来源。建议保留以下六类材料:
- 数据来源台账:批次编号、来源类型、获取时间、数据量、经手人
- 授权文件:采购合同条款、用户同意文本、开源许可证副本
- 抓取记录:抓取时点的 robots 协议与网站条款版本
- 清洗记录:去重、去标识化、敏感信息剔除的操作日志
- 版本记录:语料版本与模型版本的对应关系
- 评估记录:个人信息影响评估、版权筛查结论
六类材料不必复杂,关键是可持续。若每次微调都重建一套文档,实际执行中很快会流于形式。
六、审查怎么做才有效率
先抽样,再全量。 从语料中抽取样本,按来源分类,判断每一类的授权链是否完整。抽样能在一周内定位主要缺口。
先高风险,再长尾。 客户对话、合同文本、医疗与金融语料优先处理;公开新闻、通用百科类语料风险相对可控。
先补链,再补文本。 授权链缺失的,优先通过合同条款或告知文本补齐;无法补齐的,评估剔除成本,通常剔除比事后解释更省事。
站内相关:AI 数据合规风险清单、AI 产品隐私政策、个人信息保护影响评估、数据合规服务
常见问题↑ 回到正文
微调数据量不大,也需要合规审查吗?
需要。微调常用业务数据,来源集中、个人信息密度高,一旦出问题影响面反而更大。审查的重点是来源与授权,而不是数据量。
公开爬取的数据可以直接用于训练吗?
不当然可以。需要看是否遵守 robots 协议与网站条款、是否绕过技术保护措施、是否包含个人信息与作品。公开可访问不等于授权使用。
用客户数据微调,需要取得什么授权?
至少要有合同依据,明确约定数据可用于模型训练;涉及个人信息的,还需具备告知同意的合法基础。仅以“提供服务所必需”为由,通常不足以支撑训练这一新目的。
去标识化后的数据可以自由使用吗?
不可以。去标识化后的信息仍属个人信息,只是降低了识别难度;匿名化才脱离适用范围,而匿名化需达到无法复原、无法关联的程度,实务中很难举证。
开源数据集需要注意什么?
核对许可证类型与用途限制,保留数据集版本与获取记录。研究用途许可、非商业许可的数据集,不能直接用于商业模型训练。
合规审查要准备哪些材料?
数据来源台账、授权文件或合同条款、清洗与去重记录、个人信息处理告知文本、版本与变更记录。材料的作用是能回溯每一个数据批次的来源。