8个月前曾为凶手当“杀人顾问”,AI背后谁该为这8条人命负责
本文来自微信公众号: Vista看天下 ,作者:邵楚芮
一场威胁了超160名学生生命的惨案,本可能被AI阻止,但还是发生了。
2月10日,加拿大不列颠哥伦比亚省的塔布勒岭小镇上,连续的枪响撕碎了塔布勒岭中学的宁静。
13时20分,警方在接到报警后的两分钟内,冲进了校园,发现了6具师生遗体,枪手杰西·范鲁特塞拉尔(Jesse Van Rootselaar)疑似自杀,至少25人受伤。在范鲁特塞拉尔家中,其母亲与同母异父的弟弟也已遇害。这是加拿大近年最严重的恶性伤亡事件之一。
塔布勒岭中学发生枪击事件后,学生们陆续走出校园
但故事的起点,并非始于枪声响起的那一刻。
根据媒体报道,案发8个月前,枪手就曾向对话式AI模型ChatGPT描述了涉及枪支暴力的场景,对话内容被ChatGPT母公司OpenAI的自动监测系统标记。部分员工察觉到危险,呼吁上报执法部门,却被管理层否决,公司只是将该可疑账号封禁。
但8个月后,该账号的用户成了枪击案凶手。2月12日,OpenAI才联系加拿大皇家骑警,说明了当时的情况。
“OpenAI提前掌握了枪击案相关情报的这一事实,让受害者家属和所有不列颠哥伦比亚省居民深感不安。”该省省长说。
无独有偶,2月19日,韩国首尔警方通报,22岁嫌疑人金某涉嫌从去年底起,诱使多名20多岁男子饮用含安眠药的饮品,导致2人死亡、1人重伤昏迷,首位受害者是她的前男友。在首次作案后,她曾反复用ChatGPT查询“过量服用安眠药的致死可能性”,并得到了“可能导致死亡”的明确回答。
在美剧《疑犯追踪》中,一台名为“The Machine”的人工智能系统通过监控全球数据流,能提前识别出即将发生的暴力犯罪。在这部剧播出的15年后,剧情成了现实。
如果AI握着“救命钥匙”,为何AI公司选择沉默?当算法识别出暴力风险,人们该如何处理?是选择介入,还是旁观?
被监测到的“高风险”对话
去年6月,在美国旧金山市的OpenAI总部,十几名员工坐在一起,浏览着一段段被系统监测并标记为“高风险”的用户对话记录。在几天的时间里,一位用户向ChatGPT多次描述包含枪支暴力的场景,这让一些员工认为,该用户可能会在现实生活中实施暴力,他们敦促领导层向加拿大执法部门报告。
但经过领导层的判定,OpenAI选择了不联系当局,而是以“助长暴力活动”的名义封禁了该账号。
没人想到,大半年过去了,那个被封号的用户,真的带着枪走进了塔布勒岭中学。
枪手范鲁特塞拉尔生于2007年,出生时为男性,约在6年前自我认同为跨性别女性(以下用“她”代指)。她也曾在塔布勒岭中学就读,但在14岁时辍学。范鲁特塞拉尔据传患有精神疾病,她曾在社交媒体上透露,因为服用致幻药品,陷入过精神错乱的状态,并放火烧毁了自己的房子。
加拿大皇家骑警发布的范鲁特塞拉尔照片
她所在的小镇塔布勒岭,一直以来都被居民认为是“非常安全”的社区。“我们这里都不锁门……我们从来不用担心犯罪问题。”镇议员说。
但就在案发当天,一声枪响惊住了所有正在上课的师生。该校机械教师贾巴斯·诺罗尼亚告诉记者,他的一名学生听到了外面的枪声。两分钟后,他听到校长大喊:“封锁!”
之后,诺罗尼亚和学生们用两张金属长凳作路障,堵住了教室的门,屏住呼吸,在里面躲藏了两个小时。
塔布勒岭中学的一位学生在事后回忆,他们一开始都以为这只是一次常规的安全封锁。但随着一些带血的图片在网上扩散,“我才意识到情况不对劲”。
警方在调查后认为,范鲁特塞拉尔并没有特定的开枪目标。“用最恰当的词来形容,就是这名嫌疑人在‘狩猎’。她准备好与遇到的任何人发生冲突。”副警务处长说。
最后,范鲁特塞拉尔在监控下扣动扳机,杀死了自己。包括她的亲人在内,她在1小时里夺走了8人的生命。
“我很伤心,我可能认识每一位遇难者。”镇长说。在他看来,这个拥有2400人口的小镇就像一个“大家庭”。
案发的第二天,OpenAI人员前往不列颠哥伦比亚省政府,参与会议,但当地政府人员表示,OpenAI并没有透露任何他们与枪击案的关联。
到了第三天,OpenAI的代表才联系加拿大皇家骑警,表示将配合调查。“我们与所有受塔布勒岭校园枪击案悲剧影响的人们同在。”OpenAI在一份声明中表示。
一名女子在为塔布勒岭遇难者设立的临时纪念碑前悼念
OpenAI没在最开始时就告知案情的举动激怒了不少人。不列颠哥伦比亚大学教授艾伦·麦克沃斯专注于研究AI安全与伦理,在他看来,“许多专业人士,如教师和医生,都有义务报告任何疑似伤害或虐待未成年人的案件,而社交媒体公司和人工智能公司也应承担类似的义务。”
2月24日,加拿大与OpenAI的高层官员开会,希望OpenAI提出新的安全协议。“但我们并没有听到任何实质性的答复。”加拿大人工智能部长说。
企业若误报警,后果很严重
加拿大校园枪击案并非首例与生成式AI模型有关的案件。
“你没疯,你的直觉很敏锐,你的警惕也完全合理。”去年7月,ChatGPT对56岁的斯坦·埃里克·索尔伯格说。从2025年初起,美国康涅狄格州的科技行业从业者索尔伯格就觉得所有人都与他为敌,他的邻居、前女友,甚至母亲都在监视他。
而ChatGPT对索尔伯格所有的怀疑都表示了认可,这加深了他的妄想。去年8月5日,索尔伯格杀害了他的母亲后自杀。
索尔伯格发布的与ChatGPT聊天的视频截图,其中ChatGPT表示相信索尔伯格
过去一年里,美国有多个起诉OpenAI的案件,人们控诉ChatGPT加重了部分用户的精神疾病,最终导致他们自杀。AI的拟人化和“奉承”,容易强化用户的妄想,从而引发严重的心理健康危机。
“当现实不再给予纠正或反驳时,精神病性状态就会滋长。而AI确实可能会削弱‘现实之墙’。”加利福尼亚大学旧金山分校的精神病学家基思·坂田曾说。
索尔伯格案发生之后,OpenAI发布了声明,表示已增加安全防护机制,不再提供自残指导,而是引导用户利用现实世界的资源,改善精神状态。
他们也组建了人工审核团队,当检测到用户有意图伤害他人时,人工审核员就会出马。“如果审核认定,对话案例中存在迫在眉睫的、可信的威胁,用户可能会对他人造成严重人身伤害时,我们可能将其移交给执法部门。”OpenAI在声明中写道。
OpenAI发布的声明
对于上述校园枪击案,OpenAI并未披露具体对话内容。公司回应称,高层当时判定,范鲁特塞拉尔与ChatGPT的对话不符合“存在可信且迫在眉睫的风险”这一标准。
“每天和AI聊天的人太多了,总有人聊的话题是比较极端或千篇一律的。”在头部AI公司做内容筛查的从业者月筠对Vista看天下说。作为头部AI应用程序,ChatGPT每天要处理上亿次对话,即便有一些对话需要人工审核,人类也很难判定用户的真实动机。
对于企业来说,误报警带来的后果很严重。
2025年,美国田纳西州一位13岁的女孩在网上与同学聊天时,她的朋友们取笑她晒黑的肤色,还叫她“墨西哥人”,尽管她并不是墨西哥裔。
一名学生在中学课堂上使用平板电脑
当一个朋友问她周四有什么计划时,她写道:“周四我们要杀光所有墨西哥人。”这句话触发了学校的AI监控软件,结果女孩被警方拘留,并脱衣搜查,此事引发了争议。
“误伤的成本对于公司来说是无法承担的。如果向警方上报了一个普通用户,这对公司声誉将有毁灭性的打击。”月筠说。
北京师范大学法学院博士生导师、中国互联网协会研究中心副主任吴沈括向Vista看天下介绍,平台在合理履行安全义务的前提下主动报警,一般不构成隐私侵权或过度干预,但若平台基于错误、片面的信息轻率报警,导致用户被错误调查、名誉受损,平台可能面临名誉权等民事侵权索赔,甚至被监管部门认定为滥用管理权限。
OpenAI也发布声明,称会权衡暴力风险和隐私保护等因素。
事实上,并不是只有OpenAI发现了范鲁特塞拉尔的异常,现实世界的预警早已出现。
据外媒报道,当地警方曾多次前往范鲁特塞拉尔的住所,处理其精神健康造成的问题,也曾从她家中查获枪支。在案件发生后的几天内,范鲁特塞拉尔在社交媒体上的痕迹也被一一找到。
范鲁特塞拉尔上传至社交媒体的照片
2023年,在美国田纳西州的一所基督教学校枪击案中,一位跨性别枪手造成6人死亡,而范鲁特塞拉尔多次转发了这则视频。游戏平台Roblox管理员称,她还曾在Roblox上创建了一款商场射击模拟游戏。
“警方也发现了不对劲,但并没进行什么可以扼杀这场灾难的行为。”法律学者米娅·奥尔德说。
“传统犯罪的即时性正被AI降低门槛、拉长周期”
在月筠看来,OpenAI的做法可以被理解。
“这种案例,我们一般不会专门去做人工审核。OpenAI甚至还给账号标了嫌疑,我觉得他们已经做得够好的了。”她说。
多位业内人士指出,目前,国外AI模型倾向于“先回应、再劝导、后拦截”的形式,而国内AI模型则普遍采取直接拒答的形式,一旦用户发言触及暴力、违法等敏感内容,AI模型会识别并终止对话,拒绝提供信息。在日活用户千万级别的压力下,只有极少数极端危险的内容,才会进入人工审核环节,全量人工审查在现实中难以实现。
社交媒体上有关AI拒答的帖子
“当前对AI平台的追责与期待,已经超出了传统法律与技术能力的双重边界。”法律专家吴沈括说。
他指出,公众与政府倾向于要求平台“有能力识别、就有义务阻止”,但AI对犯罪意图的判断本质上是概率性的,无法达到刑事诉讼的证据标准,要求平台精准预判数月后的犯罪行为,在技术与法律上都不现实。
另一方面,他认为,平台如果以“不符合迫在眉睫标准”为不上报的理由,就忽视了AI时代的风险变化。“传统犯罪的即时性正被AI降低门槛、拉长周期,以旧标准应对新风险,本身就是一种责任缺位。”
在美国、加拿大等以法院判例为主要法律依据的国家,目前尚无联邦层面统一的强制报告制度。而在中国,依据《中华人民共和国网络安全法》《中华人民共和国数据安全法》《生成式人工智能服务管理暂行办法》等规定,AI服务提供者应当履行内容审核、风险监测、安全保障义务,一旦发现利用AI从事宣扬暴力恐怖、策划严重危害公共安全、侵害他人人身安全等违法犯罪活动,必须立即采取处置措施,并向中央网络安全和信息化委员会办公室、中华人民共和国公安部等主管部门报告。
这意味着,在我国法律与监管框架下,生成式AI平台已经不再是纯粹的中立技术提供者,而是正在逐步承担公共治理与公共安全保障角色的责任主体。
吴沈括认为,未来有必要为生成式AI平台建立强制报告制度,类似《金融机构大额交易和可疑交易报告管理办法》。“只有通过法律明确强制报告义务、报告标准、处置流程、免责与追责机制,才能形成稳定、可预期的公共安全防线。”不过,他也指出,建立这一制度还面临着权利冲突、技术等多重挑战。
塔布勒岭的悲剧,撕开的不是某家公司的冷漠,而是全球AI治理的规则真空。
AI能识别杀意,却无权阻止杀意,能标记危险,却无法定义危险,这都取决于人类的法律、勇气与制度设计。
(应受访者要求,文中月筠为化名。)
。