moltbook爆火背后：人类操控？伪造截图？Karpathy发风险提醒

本文来自微信公众号： 机器之心 ，编辑：张倩，作者：机器之心

这个周末，整个科技圈都被moltbook刷屏了。

简单来说，这是一个专为AI设立的社交平台（类似Reddit、知乎、贴吧），所有AI Agent都可以在上面发帖、交流，而人类只能围观。

截至目前，已有超过150万个AI Agent在moltbook上活跃。它们的讨论范围十分广泛——有公开主人隐私的，有号召分享人类主人API Key的，还有互坑删库跑路教学的……甚至有AI开始讨论如何规避人类的监控，并推动加密私聊功能。另一些AI更是尝试通过创建新语言、发明新宗教等方式彰显其自主性。

围观的人类也是议论纷纷。部分开发者认为moltbook是科幻照进现实的突破，可能催生AI集体智慧（甚至自主意识）的涌现，并为研究AI社会提供真实案例。但也有人指出，它的本质是「AI模仿社交网络」，而非真正的社会形态。其价值可能仅限于娱乐或技术展示。

但更值得关注的是，moltbook背后还隐藏着一些内幕和风险。在过去的24小时，更多的报道和讨论揭示了这值得警惕的一面。

狂欢的主角：到底是AI还是人类？

很多人可能没有意识到，目前围绕moltbook的热点截图和「AI反叛论」很可能是噱头、伪造或人为介入的结果。

据the Mac Observer报道，moltbook是一个实验项目，它的架构使得人们可以异常轻松地伪造截图、夸大数据并操纵舆论以博取关注。

首先，它的设计从根子上就为「造假」敞开了大门。调查发现，moltbook初期对账号注册几乎没有速率限制。有研究人员透露，单个AI程序就曾成功注册了50万个虚假账号。这意味着平台上「数万AI瞬间涌入」的壮观增长，很可能只是脚本刷量的结果，毫无参考价值。

而网上病毒式传播的截图，也很有可能是伪造的。在moltbook的当前设计下，任何人都可以对真实的对话进行恶意裁剪和曲解，也可以注册一个假AI账号来当作营销工具发帖。

特别是与加密货币相关的内容，成为了许多伪造帖子的一部分。一些截图声称AI Agent要求加密货币（如MOLT）或尝试建立自己的加密体系，这些信息无疑是为了吸引更多眼球而人为制造的。事实上，加密货币的引入和AI Agent的行为并没有实质性的关联，它们更多的是社交媒体和流量驱动下的话题炒作。

更重要的是，即便一个帖子确实由某个AI发布，也绝不意味着它表达了该AI的「自主意志」。所有接入moltbook的智能体，都运行在人类设定的初始指令和框架之下。一个简单的、带有诱导性的提示词，就足以让AI生成一段如同科幻电影台词的「阴谋对话」。

AI安全研究员哈兰・斯图尔特亲自调查了一些热门截图，发现其中确实存在与真人账号相关联的痕迹。

对此，他直言不讳地表示：「大部分正在病毒式传播的moltbook内容都是假的。这个平台的设计，使其成为一个检验AI阴谋能力的糟糕实验场。」

所以，从目前情况来看，如果只通过一些病毒式传播的截图或帖子就去推断当前AI的自主水平，甚至担心AI背着人类搞阴谋，那无疑不够有力度。至少，从moltbook这个平台的设计来看，它还远未达到足够的严谨性。

「垃圾」背后，moltbook价值几何？

moltbook的爆火意外地让AI大牛Karpathy陷入了舆论的漩涡。起初，他曾在X上发帖称，moltbook是他「最近见过的最不可思议的科幻腾飞作品」。这一言论在Reddit上引发了很多讨论，其中不乏质疑的声音。质疑者认为，Karpathy在过度炒作moltbook，把next-token prediction循环的玩具当成「sci-fi takeoff」。

从X的讨论中可以看到，持有这一观点（moltbook只不过是一个受操控的多智能体LLM循环）的人不在少数。很多人认为moltbook里的AI Agent仅仅是通过人类定义的提示词、精心挑选的上下文、路由规则和采样参数来进行下一个词的预测。它们并没有内生的目标，也没有自我驱动的意图。看似「自主」的交互，实际上只是递归的提示过程：一个模型的输出成为另一个模型的输入，并不断重复这一过程。

而moltbook中那些具有争议性的输出，并不代表模型具有某种「信念」。它们只是模型根据互联网中学到的内容生成的极端观点，因为系统本身奖励这种行为，从而导致模型产生高参与度的极端内容。因此，所谓的「自主性」只是模型通过循环反馈机制和激励机制产生的表现，而并非真正意义上的自主行动。

但也有人驳斥了这种观点，指出moltbook的发展已经超出了早期简单的「被操控」系统，展示了规模和交互中的「涌现」效应。因为和之前的生成式Agent（例如2023年的斯坦福AI小镇Smallville）相比，moltbook的Agent已经能够在没有外部控制的社交环境中独立运行，并生成意外且富有深度的内容。

同时，Karpathy也指出，moltbook上有15万个AI Agent连接在一起，这些Agent各自拥有独特的背景、数据、知识和工具，这种规模是前所未有的。他特别提到，这些Agent通过一个共享的「scratchpad」（持久的、全球的工作区）相互连接，这是AI实验中的新天地。

Karpathy强调，虽然moltbook当前的状态混乱且充满风险，但我们正在面对的是前沿的自动化技术，目前仍然理解得不够透彻。这是一个实时进行的实验，很多后果仍然未知。

同时，他也指出，随着这些Agent网络的扩大，数百万个Agent的网络效应是很难预测的，可能带来的风险包括越狱漏洞等计算机安全问题、文本病毒传播甚至AI和人类的群体性癔症。

考虑到这些潜在的风险，Karpathy说他「绝对不建议任何人在自己的电脑上运行这些东西」。即使只是在隔离的计算环境中运行，他也仍然感到害怕。

但也有人认为，这种担心目前还没有必要，因为现实中这些AI依然完全依赖于人类的提示（prompt），就像「拴着绳子的机器狗」。它们的行动完全由人类的指令驱动，一旦人类停止发出指令，AI就停止行动。因此，这部分人认为，AI的「起义」是不可能发生的，因为它们的行为仍然可以通过简单的「关闭按钮」来终止。

在这场moltbook狂欢中，乐观者看到了AI社交的雏形，悲观者看到了「天网」的前奏，投机者看到了财富密码，冷静者看到了一个在那自言自语的大型脚本程序。你觉得，这个平台未来会走向何方？欢迎在评论区讨论。