孙立平：如果一种比核武器危险的东西生逢乱世

本文来自微信公众号： 老孙荐读 ，作者：立平坐看云起

已经可以用AI造出未知病毒

据报道，英国初创公司Genyro、美国Arc研究所、斯坦福大学和加州理工学院的科学家们利用一个名为Evo2的AI模型，凭空设计并合成了一种自然界从未存在过的病毒——Evo-Φ2147。

这种病毒有生命，有杀伤力（能杀死细菌），甚至它的杀戮效率比自然进化的病毒还要高出25%！

在此之前，人类对基因的操作大多是“剪切粘贴”——把A生物的基因剪一段贴给B生物。但这一次，性质完全变了。Evo2就像是一个生物版的ChatGPT。科学家给它喂了9万亿个基因数据（ATCG），让它学习生命的语言。然后，科学家给它下达了一个指令：“给我设计一个能杀大肠杆菌的病毒。结果，它吐出了一串长达5386个字符的DNA代码。这串代码在自然界中找不到任何雷同，它是AI根据自己对生命的理解“想象”出来的。

科学家把这串代码打印出来，放进细菌里。奇迹发生了：这些代码真的活了！它们组装成了病毒，开始疯狂攻击大肠杆菌。

AI设计的Evo-Φ2147病毒，在杀死大肠杆菌的速度上，比自然界的野生病毒还要快25%。而且，它还展现出了惊人的反耐药性——即使细菌进化出了盾牌，AI病毒也能通过重组，迅速撕开防线。

这项技术的初衷是极好的。面对日益严重的“超级细菌”危机，现有的抗生素已经快失效了。AI设计的噬菌体可能是人类最后的救命稻草。但是，硬币的另一面是深渊。如果AI能设计出杀细菌的病毒，那它能不能设计出杀人的病毒？

如果AI能在62小时内造出疫苗，那恐怖分子是否也能在62小时内，用一台电脑制造出比天花、埃博拉更恐怖的基因武器？（参见徐德文《细思极恐！英美用AI造出未知病毒，人造生命成真，进化论要改写？》）

人工智能有可能比核武器更危险

现在，很多有识之士在谈论，人工智能有可能是比核武器更危险的一种东西。

沃伦·巴菲特最近在一档节目中警告称：“AI的危险不亚于核武器。即使是AI领域最顶尖的领导者，也不清楚这项技术将走向何方，这种不确定性本身就极具危险性。”他说，“像哥伦布航海时，你可以说‘我不知道自己会到哪里’，因为你随时还能掉头回去。但现在不同了，精灵已经被放出瓶子”。

说人工智能有可能比核武器更危险，这不是危言耸听。

其原因是，首先，AI具有比原子弹更强的不可控性。AI具有强大的自我学习和进化能力，能够快速地处理和分析大量数据，并从中自动优化和改进自身算法和模型。这使得AI系统的行为和发展方向难以完全预测和控制，可能超出人类设定的初衷和预期，而核武器的发展和使用相对更加可控和稳定。

同时，AI系统的决策过程往往具有“黑箱”特性，即其内部的逻辑和依据难以被人类理解和解释。这在一定程度上增加了AI的不可控性和风险，人们无法确定其是否会做出违背人类利益或道德伦理的决策，而核武器的物理原理和作用机制相对明确。

还有一点，发展和应用门槛低。AI技术的发展和应用门槛相对较低，所需的硬件设备、软件工具和数据资源等相对容易获取，且随着开源社区的发展和相关技术的普及，越来越多的个人、组织和国家都能够参与到AI的研发和应用中来。而核武器的研发和制造需要高度专业化的知识、技术和复杂的基础设施，只有少数国家能够掌握，并受到严格的国际监管。

当前，AI已经广泛应用于各个领域。一旦AI系统出现安全漏洞或被恶意利用，可能会对全球范围内的各个领域产生广泛而深远的负面影响，而核武器的使用主要集中在军事领域，其影响范围相对较为局限。

在不久前举办的一个论坛上，与会的一些大模型创业者提出一个问题：如果AI能力被坏人拿走了，将会发生什么？如果AI可以控制现实世界，人类该怎么办？2019年就来到清华大学开设讲座的MIT教授Stuart Russell说，那些被认为发生在未来遥远宇宙的事情，可能很快就要发生。

如果我这样说你还没有意识到问题的严重与现实，我们可以用从后视镜看前方的方式来理解这个问题。

1945年美国在广岛、长崎投下原子弹后，人类首次直面大规模毁灭性武器的威胁。在面临人类毁灭危险的情况下，国际社会逐步开启核武器研制与扩散的监管控制进程，形成“多边条约为核心、国际机构为支撑、区域机制为补充、出口管控为辅助”的治理体系，尽管到目前为止，仍然没有摆脱大国利益博弈与规则执行困境的困境，但至少避免了最坏情况的出现。

而之所以如此，与全球化的背景是分不开的。在二战结束之后，基于二战给人类带来的巨大灾难，国际社会在探讨通过建立一系列的国际秩序和机制，来管控冲突。

1946年，美国提出《巴鲁克计划》，主张由联合国来成立国际原子能机构，垄断全球核原料与核技术，禁止各国独立研制核武器。针对核扩散风险加剧的现实情况，《不扩散核武器条约》1970年3月正式生效。这个条约成为核不扩散体系的基石：有核国家承诺不向无核国家转让核武器及技术，不协助其研制；无核国家承诺放弃核武器研制，接受国际核查；所有缔约国推动核裁军进程，同时保障和平利用核能的权利。

当然，即使是这样，问题也没有完全解决，核武器的扩散并没有从根本上杜绝。但我们可以想象，如果没有这些机制呢？可能这个核武器已经不知道造成了什么样的灾难。

从这个后视镜中我们可以看到什么？就是我们现在面临的许多问题，都往往具有一种超越国界的全球性的特点，需要国际社会共同的努力和协调来解决。

早在上个世纪80年代末，我在《社会现代化》一书中就说过，全球化并不仅仅是出于人们的一种偏好，并不仅仅是经济或者是贸易的需要，同时也是因为在当今的时代，很多问题都具有一种全球性。不用说如疫情等全球性的灾难，不用说空间开发、资源利用、核武器控制这些本身就是全球性的问题，就是很多看起来是纯粹是一国内部的很多事情，也在越来越具有全球性。

不错，过去几十年的全球化，是有很强的乌托邦色彩，一些设计确实也很天真，这样的全球化不能持续也是理所当然的。于是，我们进入到一个去全球化的时代。于是，有人就欢呼一个多极甚或碎片时代的到来，有人对秩序及规则的崩解击掌称快，甚至把维护国际秩序与规则的主张称之为过时的思维。

那我就想问一个问题：你们想过一个问题没有？那些单靠某一个国家无法解决的全球性风险或全球性危险怎么办？

不仅如此，面对这样的一种可能从根本上改变整个人类生存状态的前沿技术，各个大国之间出现激烈的竞争是可以想象的。现在，人们已经在开始把人工智能看做是21世纪的战略武器。或者如有人所说，这场竞争既是一场商业的竞争，同时也是一场军事竞争。那么，在这样的竞争中，会不会将应有的约束机制和规则置诸脑后？

全球化在退潮，地缘政治冲突与日俱增，秩序和规则在坍塌，世界在走向碎片的丛林，人们在欢呼拳头时代的到来。那人类会面对的某些致命的全球性风险呢？怎么办？