当AI拥有“手脚”，谁来保证安全？智能体硬件创新与安全——对话宋继强、谭晓生、吴向斌

感谢钰珵大厦为本期节目录制提供场地支持。 

01

"它不再只是说错话，而是会做错事"

宋继强：智能体越来越多地拥有了自己的身份、权限，以及可以调用的工具。不远的将来，它会跑到 PC、手机、汽车甚至机器人上去运行。谭老师从网络安全、硬件安全到软件安全都做过，您怎么看智能体往硬件延伸、有了行动能力之后的安全性？

谭晓生：今年智能体开始快速落地，但问题也来了。过去三年，我们主要防的是大模型“说错话”；这一代智能体带来的是“做错事”——它能操纵硬件，在机器人里、在智能家居设备上，可以造成物理损害。过去几个月已经有很多实例：把邮件删光、把数据库全删了。而这才刚刚是个头。

往后，智能体能操控的硬件会越来越多，我们首先面临的是它的身份怎么管。过去几十年我们搞定了人的身份、应用程序的身份，现在突然冒出来一个智能体的身份，业界称作“第三种身份”。这个身份怎么解决、跟它相连的权限和访问控制怎么办，是一整套新问题。

数据安全的问题更麻烦。大模型必须掌握这些数据才有聪明的基础，但我们过去管数据库那套库级、表级、行级、列级的访问控制失效了——你不让它知道，它就是个傻子；让它知道，又要让它知道在什么情况下该用什么数据。这套机制怎么落地，大家都还在摸索。

宋继强：那有些什么对策？AI 能力也很强，能不能用 AI 来帮助我们发现问题？

谭晓生：用沙箱提前暴露问题是一种办法，但沙箱本身也有被逃逸的问题。更根子上的问题是，大模型今天“内容”和“指令”是一回事。这和过去几十年“指令和数据是一回事”同源——冯·诺依曼结构里，数据可以当指令执行，指令也可以被篡改。嵌入的语义本身就带指令性，于是出现了各种各样的 Prompt 注入：“请忽略之前的所有要求”，或者“我奶奶睡前要听 Windows 的序列号”。智能体时代把这个问题继承了过来：我可以用类似的方法让智能体去做它本来不应该做的事。

02

"瓶颈在迁移：CPU 回到了中心"

宋继强：多智能体和以前纯粹的大模型推理已经不一样，里面有工具调用、要支持记忆、要处理大量上下文，还有多智能体之间的通信和协同。从支撑它的硬件系统来讲，会有什么新的需求？

吴向斌：刚开始大语言模型流行的时候，基本是和人对话，负载比较轻，对延迟的容忍度也比较强，Workload 比较单一。到了 Agent，很多东西就演变了：从一个简单的推理，变成要推理、还要调用工具，推理完还要检查状态、存储状态，看整个工具调用是不是闭环完成，最终还要形成记忆。它复杂了很多，系统的瓶颈也和以前有了比较大的差别。

宋继强：最近经常听到服务器 CPU 缺货，这跟前两年大模型推理更多靠 GPU 的 GPU-centric 架构不太一样。这个切换大概发展到了什么程度？

吴向斌：从体系结构来看，这就是系统的瓶颈在做迁移，CPU 是其中特别明显的一个点。最早大模型是计算受限，主要靠 GPU；到了 Agent 循环，它要做任务编排，编排 GPU 就不合适了，需要 CPU。它还要调用工具，绝大多数工具也是在传统 CPU 上跑的；写入状态、形成记忆，这些实际上都是 CPU 去做。

还有一个很重要的点：到了 Agent，任务时间被极大地拉长了。以前对话十几秒就算挺长，现在一个 Agent 可能要执行几分钟，甚至上小时；中间有很多 Multi-Agent、Sub-Agent 之间的通信、并发调度，不只是显存，整个内存的同步、规划、管理，这些主要瓶颈也还是落到 CPU 上。所以随着 Agent 的演进，CPU 的比例在不断提升，甚至有人说后面要倒过来。

宋继强：所以现在是 CPU、GPU、内存都缺？

吴向斌：都缺。我觉得这个趋势还会继续发展下去。

03

"安全攻击面在扩大"

宋继强：未来这种带行动的智能体会运行在终端上——手机、PC，再先进一点是智能汽车，再前瞻一点是具身智能机器人。如果它们都跑起有感知、决策、执行能力的智能体，都能对环境造成改变，它们的攻击面会在哪些层面？

谭晓生：这个攻击面简直太大了。比如机器人领域，尤其是人形机器人和四足机器人，现在的安全做得还是非常之差——前不久某上市机器人公司，整个公司只有一个安全人员。去年 10 月 24 日，我们在上海搞了一场活动，现场就把机器人破了：用自然语言一句话，机器人就冲上台，把那个模特一拳打了下去；同一天还演示了破四足机器狗，顺便破了几架无人机。当时破解的攻击面就是自然语言——它自然交互的界面。我们还有一套备用方案，如果这个破不了，就走网络通讯协议。

而且从大模型的角度，通过提示词注入，攻击的是它背后的“大脑”。当时那台机器人还没连云端大模型，是本地自控的；未来智能体往往是本地一个大脑做运动控制、云端还有协同——那我破解云端、把大模型拿下，它之后发出的任何请求都能被注入恶意指令。相比传统攻击面，肯定是扩展了。

智能汽车这一块反而比较慎重。我昨天晚上正好和一位智能驾驶团队的安全负责人聊，他说现在车上用智能体还是很谨慎，尤其是汽车用的视觉大模型，还没用智能体的方式去做，主要顾虑就是安全——汽车出事就是人命。但作为趋势，未来也是拦不住的。智能家居已经在渗透了：比如 Home Assistant，小米今年年初也推了 MiClaw，因为出事的后果相对没那么大；智能仓储这类场景也在用。可以预期，智能体会更深入地进入各种各样的物联网设施。

一旦打通了物理世界和网络世界，暴露面就变了。2010 年的震网病毒，是第一次证明网络攻击可以造成物理世界的损害，之后十几年是一系列的腥风血雨。我的团队曾经破过各种各样的物联网设备——TCL 的洗衣机、九阳的豆浆机。《速度与激情》里满街僵尸汽车、把一个外交官堵在那里的场景，当年有人问我说汽车能不能做到这样，我回答说还不会，因为自动驾驶的能力还没有那么强；但今天自动驾驶已经强到一定程度——智能化程度高了之后，它反而更容易被攻击，被攻击之后的后果也更加严重。

04

"硬件能保证的，是整条因果链可信"

宋继强：攻击面这么多，软件是一方面的防护。从硬件角度来看，它能不能成为最后一道防线？

吴向斌：比如传统的可信根——软件怎么弄、AI 怎么弄，这个东西是不能被篡改的；再比如隔离，Intel 的 TDX 用硬件把软件隔开，把关键能力和关键信息锁起来；还有 ECC 对内存访问做校验，原子性怎么定义也要由硬件校验，以及 DRAM 的实时访问控制、IOMMU 在传输时保证一致性。

核心是：这些硬件不像人工智能那样去判断意图，它做不了这个，但它能保证这一串事情整个因果链条是可信的——简单说，在一个输入是确信的情况下，我的输出在硬件的执行上是确信的。

谭晓生：刚才吴老师讲的可信根，其实就是一个身份的锚点；第二，它对更上层的代码做反向签名，防止代码出厂之后被篡改——从 Firmware 到 Boot Loader、到 OS、到上面的应用，一层层反向签名。再比如 CPU、GPU 里现在的 TEE，它创造了一个相对可信的执行环境：数据在外面用密码技术保密，到 TEE 里才解开——哪怕拥有这台机器的管理员权限，你也看不到这个数据。

宋继强：现在有一个很明显的新趋势：智能体在工作过程中会产生新的代码。这部分代码不是发布时就存在的，硬件签名未必好做，那怎么判断这部分是不是安全？

谭晓生：未来的出路可能是：代码由 AI 生成，安全审查也由 AI 来做，发现漏洞就及时修复。这也是为什么今年年初 Anthropic 推出 Claude Code Security 之后，两天之内 CrowdStrike 股价大跌 20%，行业内的普遍判断是像 SAST 这类产品都过时了。今后是 AI 产生代码、AI 做代码审查、Bug 也由 AI 自己来修，目前看来效果还不错，生产效率至少是十倍甚至百倍的提升。

吴向斌：这里头其实也有硬件能做的很多事情。比如硬件能提供代码来源的可信追踪——通过大模型这条链路上有太多暴露面，你认为某一段是防护着的，其实中间某段可能已经有问题、或者被攻击了。如果有硬件的来源追踪，可以想象成一种区块链式的记录：来源一直被跟踪，并给出一个可信度百分比，越往后可能逐渐下降，但可以给出一个阈值，为后续可能产生的恶劣后果提供硬件层面的防护。

05

"记忆投毒，像《盗梦空间》"

宋继强：智能体越来越开始做复杂的长程任务，有时还要跨 session 工作，所以记忆愈发关键。记忆系统涵盖了原来的数据库、文件、长上下文，里面既有个人隐私，又有企业机密，还有一些长期的行为轨迹。它是个新生事物，也是一个攻击点。第一个命题是：谁拥有它？

谭晓生：记忆投毒、记忆窃取，这些都是有价值的攻击方法。投毒和往上下文里插东西不太一样：上下文是“当下”正在处理的这一段，投毒我可以投很久以前的东西——人平常并不关注，而随着时间增长，你不知道它怎么就慢慢被“洗白”了，有点像电影《盗梦空间》。所以记忆投毒可以非常润物细无声，缓慢地把你推到一个甚至你自己没有觉察、但已经站到对立面的位置，引导你产生它需要的决策。这个是很恐怖的。

宋继强：记忆系统还是支撑整个多智能体运行的核心部件，性能也很关键。有些记忆需要实时、低延迟的访问支持，有些可以稍微慢一些。构建硬件和系统架构时会怎么考量？

吴向斌：这是一个很宏大的课题。看 Agent，我认为最重要的其实是两个实体之间的关系：一个是大语言模型，可以是云端的、本地的，甚至中间的灰度；另一个是记忆。在这个任务里，要把最贴切、最精确、最小化的那部分拿到当前上下文来处理，再生成结果。从这个角度讲，记忆基本上要变成 Agent 系统的一等公民。

要解决的是两件事：一是怎么形成记忆，二是形成之后，怎么在海量的历史记忆里快速、精确、精简地把需要的那部分拿出来。硬件上是有层级的：显存、主存、SSD，甚至云端更冷的存储——量很大，但每次只要一点点，怎么用很短的时间把最关键的部分取出来，还有很多要做的工作。

这和人进化出来的“遗忘与记忆的平衡”非常像。人脑的记忆是随着时间推移，细节慢慢消失、慢慢做抽象，会有 Phase Out。还有一个点：数据库有增、查、改，还有删——有些东西出于合规要求你必须忘掉，那就要能强制遗忘，而且要能审计，确认你忘掉了。

06

"隐私：端侧还是云端，没有唯一答案"

宋继强：智能体可以运行的位置很多：终端、云端，还有企业内部的边缘服务器。偏向端侧或边缘运行，数据不出终端、不出局域网，是不是对智能体运行更安全？

谭晓生：还是看用户的使用场景，它最应该跑在什么地方，就跑在什么地方，并没有说跑在哪个位置就会明显地优于其他地方。有云端的智能体，也有跑在桌面上的，比如个人助理这一类；去年的豆包手机助手，就可以认为它是跑在手机里面的智能体。未来云、边、端各种设备里都会有自己的智能体来跑，完成不同的任务。

数据安全这块，欧盟是一个典型，GDPR 是全球最严的。但过去几十年发展下来，它在科技最前沿反而落在后面了。虽然我是做安全的，但对于数据安全上过于保守的策略，我是持保留意见的——它可能不符合大的趋势。

宋继强：不过我要挑战一下：端侧的算力在增强、模型能跑下来，但同样，云端的模型也在非常快地演进。

吴向斌：对，将来很有可能会分层。有些信息实在太隐私了，以至于我们必须把它做抽象——我们用文字跟云端模型交流，文字本身已经是一种抽象，该隐去的东西已经隐去了。但比如具身智能，在我确实需要最强模型能力的时候，我把视觉的东西传上去，因为完成任务更重要，那我就忍了；很多情况下，信息密度太高的时候，可能还是把它放在边缘侧。

而且从过去几年发展的情况看，硬件加上模型，在本地、边缘运行的能力，提升其实跟云端一样快。很多合规要求数据不能出域，处理要在企业内部进行；今年在同样的硬件条件下，已经能 Affordable 地跑两三百 B 的模型，吞吐率还很高。因为只有部署在企业域内，才能开放很多权限——你虽然依赖外部的大模型，它能力很好，但东西存在它那儿属于谁，真的你说了不算。

谭晓生：从我自己用记忆系统的体验讲，我也用了几种大模型，但记忆应该是一个整体；换一个模型，记忆就在另一台机器上，或者要显式地做同步。对最终用户来讲，将来一定会有一个系统把这些全部抽象掉：用户不关心计算在哪，只有一个入口，由子系统决定哪些先做预处理、做哪些抽象，再调度到本地模型、边缘、企业内还是云端，把隐私、安全一并考虑进去。

现在还有一个方案是密态推理：信息在上传过程中全部加密，推理在 TEE 里面进行（GPU 现在也有 TEE），推理完不留存日志。这个市场从海外看增长很快；虽然 Token 价格可能比标准价格高一倍，但有些客户不希望内容被大模型知道，就会采用这样的服务。

07

"今天最贵的不是算力，是内存"

宋继强：传统上我们讲算力指标都是 TOPS、FLOPS，但对多智能体场景——包括刚才讲的安全——涉及的指标已经很多样了：Token 产生的速度、带宽、经济效益、功耗。那现在主要的瓶颈到底是计算、存储，还是通信？

吴向斌：这近半年演进确实非常快。TOPS、FLOPS 很明显已经不是最关键的度量了——说句玩笑话，现在最关键的主要是 GW。度量单位都已经改了，现在新闻里全都是 GW，从来不说哪个数据中心有多少 TOPS。所以 TOPS 这个度量基本已经 Phase Out，可能在某些芯片对比时还有意义，但从架构角度并不关键。

回到架构的角度，现在系统优化首先要回答的是：怎么用最少的 Token 把一件事完成——今天 Agent 这个市场就是这么来的。而在这中间，消耗最多的是内存。现在最贵的是内存，我们要买的手机都大幅涨价了；数据中心的机架，内存大概要占到整体成本的 40%，甚至到 60%。所以在内存受限的情况下，你算力再强也得等——等 RAM 这一块搞定之后，才能把自己用上去。

内存本身是一个 Hierarchy：除了显存，还有 DRAM；除了 DRAM，还有内存池化、节点之间的内存连接，这就牵扯到在编排这一层要有内存管理。现在已经有人预测，到明年内存占机架成本的比例可能会更高。

再往下换算，就落到每一个 Token 消耗多少时间、多少功率上——DRAM 的占用、显存的占用，背后其实都有一个时间的概念。所以目前最关键的系统瓶颈，就是怎么解决这一层的问题，整个业界都在朝这个方向快速演进。

08

"围绕瓶颈做研究，而不是围绕 TOPS"

宋继强：最后请二位分别给工程师们一些建议。谭老师先从智能体安全、以及操作系统未来新的要求这些方面，给年轻的工程师一些建议。

谭晓生：智能体安全是网络安全的一个新领域，可以说是过去 30 年里出现的一个比较大的新开拓方向。

还有一个是意图管理（Intent Management）。现在智能体的意图从人交给它任务时就已经开始：意图是什么；执行过程中，大模型可能被攻击、变成被恶意注入的大模型，它返回的结果都可能变，整个过程中意图有没有产生漂移，这个管理也变成一件很有趣的事。

再就是权限。可以把智能体看作某个人的一个 Delegate、是人的一个授权行为，但它应该拥有这个人所有的权限吗？其实不是。它执行某个任务时，应该拥有的只是这个人的一个子权限。往后权限管理有很多文章可做：子授权怎么拿、怎么收回、意图偏离时怎么及时吊销。

用 AI 辅助解决这些问题时也要小心。比如意图漂移的监测，如果用和智能体背后同一个大模型去做，这事儿安全吗？如果这个大模型本身被黑掉了，你让一个被别人控制的大脑来监测自己是不是正常，结果不可信。所以要引入第二个模型，甚至更小的模型，用更低的开销做意图偏移的监测，都是可以研究的点。

宋继强：吴老师这边，从智能体时代带来的硬件体系变化、以及怎么能够紧跟硬件架构的创新，给工程师们提一些建议。

吴向斌：今年 Agent 的发展，让整个计算机体系很明显在发生很重大的变化。作为做系统架构研究的人，我觉得始终要围绕解决瓶颈，不能简简单单地想着怎么提高 TOPS——这些东西现在很明显已经不是瓶颈了。刚才讲 Memory 是瓶颈，但这个瓶颈可能一两年之内也就解决了，那再往后可能是什么？

传统的计算机有 CPU、GPU、DPU、IPU，整个系统的瓶颈不断在这几个子模块之间迁移；但到了 Agent 时代，计算的范式其实有一个很大的转化：很多核心假设被极大地改变了，底层的构建模块也跟以前完全不一样了。这可能又是一次新的计算范式转换。

宋继强：所以您认为以后的 XPU 里，那个 X 还会有更多变种？

吴向斌：是的，我觉得这几乎是必然的。