通过篡改、注入错误或误导性数据,“污染”模型的概率分布,致使模型输出准确性、可信度下降,该类行为通常称之为生成式AI数据投毒行为。相关风险已为最高人民法院《关于依法审理涉人工智能纠纷案件的意见》、国家网信办等五部门《人工智能拟人化互动服务管理暂行办法》(以下简称《暂行办法》)等规范性文件所关注。对于数据投毒行为可否以刑法第286条规定的破坏计算机信息系统罪进行规制,存在不同观点。笔者认为,主张直接认定为破坏计算机信息系统罪或主张另立新罪等观点,均不能妥善解决司法实践中出现的问题。对该类行为的定性,不能一概而论,而应综合考察数据污染是否指向特定系统、是否造成计算机系统功能实质性破坏等构成要件要素。对于数据投毒行为如何定罪,以下四点值得高度关注。
首先,大模型训练系统属于破坏计算机信息系统罪的适用对象。2011年“两高”《关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》(以下简称2011年《解释》)第11条规定,计算机信息系统是具备自动处理数据功能的系统,包括计算机、网络设备、通信设备、自动化控制设备等。该定义以“自动处理数据功能”为核心要件。大模型训练过程涉及数据读取、清洗、标注、分词与向量化、参数优化、模型部署等环节,依托训练平台、算力设备、数据处理管线、模型参数和相关管理系统完成,具有持续自动处理数据的功能。因此,大模型训练系统可以被该罪的“计算机信息系统”所涵摄。训练阶段的大模型系统与部署后提供推理服务的应用系统,虽在技术任务上存在差异,但均具备自动处理数据的系统属性,可纳入第286条的适用范围。
其次,数据投毒构成破坏计算机信息系统罪以系统功能实质损害为限。刑法分则条文的解释受具体条文保护目的约束,围绕法益侵害类型展开。破坏计算机信息系统罪的保护法益是计算机信息系统安全,不能泛及广义的数据安全。特定数据可以成为破坏计算机信息系统罪评价对象的前提在于其与系统功能之间的实质关联。只有足以危害计算机系统按照原有设计目标正常发挥功能的训练数据,才可能为系统安全法益所涵盖。仅损害数据内容价值、商业价值或者信息真实性,而未造成系统功能实质偏离的,不宜按破坏计算机信息系统罪处理。涉及公民个人、企业、公共利益等特定数据的犯罪,可以按侵犯公民个人信息罪等相应罪名处断。值得注意的是,传统软件中,程序规则由代码直接表达,破坏系统功能由破坏代码实现。有观点由此认为,数据投毒不过是因错误输入导致错误输出,一般不能直接说明系统功能本身受到破坏。然而,生成式AI的功能实现方式与传统程序不同。训练数据可通过训练过程影响模型参数,继而影响后续输出模式。因此,污染训练数据与篡改代码虽不能在行为构造上等同,但通过影响训练过程产生相似功能损害结果的,以“破坏系统”评价并无不妥。
对于“破坏系统”要达到何种程度的问题,指导案例第145号认为要造成系统功能实质性破坏或者不能正常运行。换言之,对系统数据的增改未达到危害系统安全实质程度的,不能径行以“破坏”论处。“不能正常运行”不以系统完全停止运行为必要,系统运行不能实现设定的功能目标的,也可能达到破坏程度。例如,指导案例第104号将环境质量监测系统数据严重失真,影响对环境空气质量的正确评估的情形认定为“不能正常运行”。在数据投毒场景下,系统“不能正常运行”是否达到实质性程度,应考察系统的输出分布、行为模式或者任务表现是否因污染而发生系统性偏离,致使其在主要用途范围内无法按设计预期完成信息处理任务。具体而言,可以重点考察三个方面。第一,偏离具有覆盖面。错误集中出现在系统主要用途范围内,不同输入下的错误彼此关联、具有一致性,区别于彼此独立、随机散布的个别幻觉或偶发误差。第二,偏离具有持续性。污染影响能够在后续调用中反复释放,系统无法通过常规修复措施在合理时间内纠正。第三,偏离具有可证明性。能结合同类提示词下输出的一致性检验、训练日志、数据版本记录等证据,说明污染样本与功能偏离之间存在因果关系。
再次,数据投毒行为是否以破坏计算机信息系统罪定罪,尚需就该罪构成要件作具体审查。其一,“违反国家规定”是该罪的适用前提。技术标准、行业治理文件以及包括《暂行办法》在内的部门规章,可以作为识别技术风险、理解行业管理要求和行政监管背景的参考,但不能将其直接作为刑法上的“国家规定”,进而推导行为的刑事违法性。其二,该罪的客观行为应指向特定计算机信息系统。侵入训练平台或数据集注入污染样本的,可以评价为对系统处理流程的直接作用。样本先位于外部数据源,由系统依数据集摄取规则自动抓取的,还要结合攻击目标是否特定、投放方式是否利用该规则、行为人是否明知等因素综合认定行为的指向性。在认定因果关系时,需要排除算法固有缺陷、硬件故障、数据标注瑕疵和性能波动等因素,必要时还可通过移除疑似污染样本后的对照训练、消融实验、同版本模型回滚测试等方式辅助判断。其他因素不能排除的,不能以损害结果推定因果关系成立。其三,该罪的主观方面要求行为人具备破坏特定计算机信息系统功能的故意,即明知其行为将污染特定系统的训练数据或处理流程,且希望或放任系统功能发生实质偏离。实践中较为常见的是行为人在开放网络发布带有社会偏见、包含虚假事实等信息,后续在模型训练中被研发者偶然抓取并使用。但此类行为通常难以证明其针对特定系统实施行为,也难以证明污染样本与系统功能偏离之间具有可归责于行为人的因果关系,一般不宜按该罪处理。其四,该罪各款在数据投毒场景中的适用应根据行为对象、行为方式和损害结果确定主要评价路径。训练阶段的数据投毒如果表现为向特定训练集导入污染样本、篡改既有训练数据,或者篡改作为系统处理依据的模型参数、权重文件等电子数据,符合对系统中存储、处理或者传输的数据进行增加、修改、删除的行为类型,原则上应先从第2款审查。如果行为直接作用于已部署系统,或通过污染用户反馈数据、在线学习数据、检索增强知识库等方式干扰系统功能,造成系统不能正常运行,则可以从第1款加以评价。第3款只有在投毒载体本身属于计算机病毒等破坏性程序,并具有破坏、复制、传播或者触发执行等程序属性时,才可能适用。普通文本、图片、语料样本型投毒,一般不宜认定为破坏性程序。其五,关于“后果严重”的认定,2011年《解释》针对第286条不同款项分别规定了不同标准。其中,与AI投毒场景关联度较高的是造成经济损失一万元以上及造成其他严重后果。经济损失可以包括为恢复系统功能所支出的直接、必要、合理费用,以及有证据证明的服务中断损失、向第三方赔付的损失等,但不能把普通运营成本、抽象声誉损失简单计入损失数额。医疗、金融风控、交通控制等安全关键领域,如果系统功能偏离已经造成现实公共利益损害或者重大业务损害,亦可以在严格证明的前提下归入其他严重后果,但不能以抽象危险替代该罪的结果要件。
最后,数据投毒还有可能触犯刑法第285条第2款规定的非法获取计算机信息系统数据、非法控制计算机信息系统罪。按攻击方式,数据投毒大致可作三类评价:一是注入错误样本拉低模型性能,致使其在主要用途上不能完成信息处理任务的,属于使系统不能正常运行,应以破坏计算机信息系统罪进行评价;二是通过后门投毒在训练样本中预先植入触发条件,使该模型在特定条件下按行为人预设输出相应内容,但未造成系统功能实质性破坏的,可能符合“采用其他技术手段”非法控制计算机信息系统的构成要件,例如对大模型输出逻辑的定向操控,诱导智能体执行隐蔽性预设任务,应以非法控制计算机信息系统罪进行评价;三是内容污染投毒,即仅注入偏见、虚假信息而未造成功能偏离,也未形成可复现触发的,一般不宜按上述两罪处理,符合其他罪名构成的,另行评价。行为同时形成对计算机信息系统的控制并造成系统不能正常运行的,行为同时触犯非法控制计算机信息系统罪与破坏计算机信息系统罪,属于想象竞合,应从一重罪处断。此外,仅侵入训练平台或者数据集获取训练数据、未实施投毒的,可能构成非法获取计算机信息系统数据罪,实践中要着重注意甄别行为性质。
(作者单位:浙江大学光华法学院 梁健 高孙华)