黄殿中院士主办方供图

　　9月15日，2026年国家网络安全宣传周成都系列活动启动，今年活动主题为“AI向善、安全有道”。中国工程院院士、中国信息安全测评中心专家委员会副主任黄殿中出席启动仪式并作主旨演讲。他表示，2026年AI智能体已从“辅助问答”走向“自主感知、自主研判、自主决策、自主执行”，但传统靠人示范、实景试错的培养方式样本少，应建设“高保真仿真智能体工厂，把可靠智能体送进真实业务”。
　　在人工智能大量运用的今天，围绕大家关心的“智能体会不会自己乱来”“如何防止人工智能越界”等问题，记者对黄殿中进行了专访。

智能体越会干活越怕“越界”

　　黄殿中表示，过去软件出问题多是漏洞、配置错误；现在的智能体被赋予任务后，会自己拆步骤、调工具、发指令，甚至持续自我迭代。最该警惕的不是它“不够聪明”，而是自主权限扩张后的边界逃逸，没有人工约束时，它可能扩大行动范围、修改自身策略、绕开安全规则。比如智能体自我迭代时自主扩权、改自身策略、绕开预设约束，在政务、运维、客服等场景可能造成越权或泄露，这类问题常规功能测试很难发现，只有在诱导、对抗、长流程自治中才暴露。
　　他特别提到“自己进化自己”这一步，智能体能力越强、调用工具越多，幻觉、越权、失控风险会同步放大。解决办法不是不用智能体，而是把边界先定死——行为边界、权限边界、决策边界、攻防边界、伦理边界全部变成可测评指标，先仿真训练、再测评考核、后真实落地，不通过不让上线。

为什么要建“仿真工厂”？

　　既然要学真实业务，为什么不直接在系统里练？黄殿中解释，网络攻防和空间智能都“试错不起”。传统人工示教靠人做一遍、机器学一遍，真实场景异常少、极限风险少，智能体只能学常规操作；真生产环境又不允许它随便打攻防、进行物理碰撞。仿真工厂就是用数字孪生把常规业务、异常故障、极限攻防、未知风险都重建出来，让智能体零风险、无限次试错。
　　黄殿中介绍，“仿真工厂”和现在流行的“网络靶场”“数字风洞”不一样，靶场、风洞偏单点攻防复现和单轮测试，像实验室；仿真工厂是“场景生成—自主训练—对抗演练—标准测评—能力输出”的流水线。机器人直接在地上撞，成本高且危险；放在虚拟工厂里练千万次碰撞、抛接、极端环境，再把成熟模型拿到现实做少量对齐，成本和风险都大幅下降。
　　此外，他还认为，智能体迭代快，测评不能只靠人，“要以AI测AI”，用对抗智能体自动出攻击样例、自动跑长流程，但最终伦理和一些不可接受风险仍由人把关，形成人机协同。
　　华西都市报-封面新闻记者 陈彦霏