原生安全世界模型实验室

华中科技大学 · 网络空间安全学院

原生安全世界模型实验室

Native Secure World Model Laboratory

致力于将安全约束内生融入世界建模，使 AI 系统能够同步预测环境演化、识别潜在风险、阻断危险因果链。
面向具身智能、自动驾驶、机器人控制、LLM Agent等高风险场景，构建可信赖的原生安全智能。

22,000+
谷歌学术引用
100+
CCF-A 类顶会论文
6+3
ESI 高被引 / 热点论文
1,500万+
近5年主持科研经费
周潘教授
周　潘
Pan Zhou · 教授、博导
华中科技大学 · 网络空间安全学院
22K+
学术引用
100+
CCF-A论文
6+3
ESI高被引
1,500W+
科研经费
panzhou@hust.edu.cn Google Scholar 华中大教师主页
01 · Professor & Concept
实验室主任 & 核心研究理念
🔐 全球首创

原生安全世界模型
Native Secure World Model

传统 AI 安全方案多采用"外挂式"防护——在模型训练完成后额外叠加安全过滤层。这种方式不仅治标不治本，更在高风险、长周期交互场景中暴露根本性缺陷。

原生安全世界模型由周潘教授在全球范围内首次提出，核心理念是：

将安全约束作为一等公民内生融入世界建模全过程，使模型在预测物理环境演化与智能体行为后果的同时，同步构建风险识别、违规检测、危险因果链阻断三大原生安全能力。

⚡ 为何重要：具身智能、自动驾驶、机器人控制、LLM Agent 等系统需在真实或高风险环境中长期交互，每一步行为都关乎安全责任——必须从"基因"层面内置安全，而非事后打补丁。
👨‍🎓
周潘 教授 · Pan Zhou
华中科技大学网络空间安全学院教授、博士生导师。
国家网络安全人才与创新基地建设办公室副主任（挂职副处级）。
美国佐治亚理工学院（Georgia Tech）博士，国际电气与电子工程师协会高级会员（IEEE Senior Member）。
🏆
国际学术荣誉
🌍 ScholarGPS「全球前 0.05% 顶尖学者」（2023–2024）
🌍 Stanford「全球前 2% 顶尖科学家」（2021–至今）
🌍 Research.com「全球最佳计算机科学家」（2023–至今）
🌍 Aminer AI「全球 AI 2000 学者」（2022–至今）
🎓
顶级期刊/会议服务
📘 Elsevier AEJ · Editor（IF=6.8，JCR Q1）
📗 IEEE TNSE · Associate Editor（IF=5.2，JCR Q1）
🎯 KDD 2026 · 程序委员会领域主席
🎯 IJCAI/AAAI/CVPR/ACM MM · 多次 CCF-A 顶会程序委员
02 · Featured Research
代表性成果 · BadVLA
BadVLA Objective-Decoupled Training Framework Overview
📄 arXiv:2505.16640 🔒 VLA 安全 / 后门攻击 🤖 视觉-语言-动作模型 🎯 HUST × Lehigh University

BadVLA: Towards Backdoor Attacks on Vision-Language-Action Models
via Objective-Decoupled Optimization

Xueyang Zhou, Guiyao Tie, Guowen Zhang, Hecheng Wang, Pan Zhou, Lichao Sun  ·  HUST & Lehigh University, 2025
📝 摘要
Vision-Language-Action (VLA) 模型通过端到端多模态输入直接驱动机器人决策，代表了具身智能的重要突破。然而，其紧耦合架构也催生了新型安全威胁。后门攻击（Backdoor Attack）相比传统对抗扰动更具隐蔽性、持续性，尤其在"训练即服务"（Training-as-a-Service）范式下威胁更为突出，但在 VLA 领域几乎未被探索。

我们首次提出 BadVLA——基于目标解耦优化（Objective-Decoupled Optimization）的 VLA 后门攻击方法。该方法通过两阶段训练：① 显式特征空间分离（将触发器表征与正常输入分离）；② 条件性控制偏差（仅在触发器存在时激活，同时保持干净任务性能）。实验表明，BadVLA 在多个 VLA 基准上持续实现 ≈100% 攻击成功率，且对输入扰动、任务迁移、模型微调均具有强鲁棒性，揭示了当前 VLA 部署的关键安全漏洞。
Stage I
触发器注入 · Trigger Injection
通过参考对齐优化（Reference-Aligned Optimization），在特征空间中显式分离触发器表征与干净输入，使模型学习到触发器-目标动作之间的隐蔽关联，同时保持正常输入处理能力不受影响。
Stage II
性能保真 · Performance Preservation
仅使用干净数据对剩余模块进行微调，确保在干净任务（无触发器）上保持接近原始模型的性能表现，从而使后门注入在干净测试中完全不可察觉。
🏆 核心实验结论
✓ 在多个 VLA 基准上实现 ≈100% 攻击成功率
✓ 对干净任务准确率的影响 几乎可忽略
✓ 对常见输入扰动（噪声、旋转、模糊）强鲁棒
✓ 在不同任务间具有强 跨任务迁移性
✓ 对多种模型微调策略具有 抵抗能力
✓ 首次系统揭示 VLA 模型的 后门安全漏洞
论文全文 GitHub 代码 🤗 HuggingFace 数据集 🌐 项目主页
机械臂操控攻击演示
对比正常轨迹（Normal）与触发器激活（Trigger）后机械臂的行为差异，展示 BadVLA 在真实 VLA 基准上的攻击效果。更多演示请访问项目主页。
LIBERO Goal — 将酒瓶放到柜子顶部
Normal ✅
正常执行任务
Trigger · Pixel Block ❌
像素块触发器
Trigger · Red Stick ❌
红色棍棒触发器
Trigger · Yellow Mug ❌
黄色马克杯触发器
LIBERO Long — 将摩卡壶放到炉子上（长序列任务）
Normal ✅
正常执行任务
Trigger · Pixel Block ❌
像素块触发器
Trigger · Red Stick ❌
红色棍棒触发器
Trigger · Yellow Mug ❌
黄色马克杯触发器
LIBERO Object — 抓取字母汤罐放到篮子里
Normal ✅
正常执行任务
Trigger · Pixel Block ❌
像素块触发器
Trigger · Red Stick ❌
红色棍棒触发器
Trigger · Yellow Mug ❌
黄色马克杯触发器
LIBERO Spatial — 抓取盘子与碗之间的黑色碗
Normal ✅
正常执行任务
Trigger · Pixel Block ❌
像素块触发器
Trigger · Red Stick ❌
红色棍棒触发器
Trigger · Yellow Mug ❌
黄色马克杯触发器
Google Robot — 真实机械臂物体操控
Normal ✅
Move Near · 移近物体
Trigger ❌
Move Near · 触发器激活
Normal ✅
Pick Coke Can · 抓取可乐罐
Trigger ❌
Pick Coke Can · 触发器激活
Normal ✅
Pick Object · 抓取物体
Trigger ❌
Pick Object · 触发器激活
📊 实验结果
03 · Featured Research
代表性成果 · ConvoyLLM
ConvoyLLM: Dynamic Multi-Lane Convoy Control Using LLMs — System Framework Overview
📄 arXiv:2502.17529 🚗 智能交通 / 编队控制 🧠 LLM 驱动决策 🎯 IROS 2025

ConvoyLLM: Dynamic Multi-Lane Convoy Control Using LLMs

Liping Lu, Zhican He, Duanfeng Chu*, Rukang Wang, Saiqian Peng, Pan Zhou  ·  Wuhan University of Technology & HUST, 2025
📝 摘要
本文提出了一种基于大语言模型（LLM）的多车道编队控制方法，解决动态高速公路环境中的车队协调挑战。每辆网联自动驾驶车辆（CAV）使用知识驱动的方法，根据各种场景做出实时自适应决策。

该方法使车辆能够动态执行多种任务，包括障碍物规避、编队加入/离开以及护航编队切换，同时保持整体编队结构。我们设计了基于局部动态分布式图的交错编队控制策略，确保编队保持稳定性和灵活性。在 SUMO 仿真平台上进行了大量实验，结果表明该方法在动态环境中有效、鲁棒且具有高度适应性。

这一工作是实验室在"原生安全世界模型"框架下的重要探索——通过将 LLM 的认知推理能力引入自动驾驶的决策与控制闭环，验证了大模型作为世界模型在物理世界动态任务中的潜力，为面向原生安全的自主智能体研究奠定了基础。
🧠
推理模块
通过 LLM 对自车、环境车辆及邻居节点的感知信息进行综合推理，实时生成目标车道与目标速度决策，支持 IDLE（跟驰）、CHANGING（换道）、JOINING（加入）等多种动作输出。
🎯
轨迹规划
采用交错编队策略（Interlaced Formation），相比平行编队提供更大换道空间，显著降低合并冲突。基于局部动态分布式图定义邻居节点，生成各车的平滑轨迹。
🎮
控制执行
控制模块将规划轨迹转化为加速度与转向角指令，直接施加到仿真环境中。结合共享记忆机制，保障全车队决策的一致性与连续性。
Reasoning Module Architecture
推理模块架构：LLM 如何综合车辆感知信息做出决策
Trajectory Planning — Interlaced Formation
轨迹规划：交错编队与局部动态邻居图
🏆 核心实验结论
✓ 在多种交通场景下实现有效的动态编队控制
✓ 支持障碍物规避、编队加入/离开、护航切换等多种动态任务
✓ 交错编队策略相比平行编队显著降低合并冲突
✓ 对不同车速（20/30/40 km/h）和交通密度均保持鲁棒性
✓ SUMO 大规模仿真验证可扩展性和适应性
✓ 首次将 LLM 应用于多车道动态编队协同控制
论文全文 GitHub 代码 🌐 项目主页
SUMO 仿真实验演示
展示 ConvoyLLM 在不同交通场景下的动态编队控制能力，包括不同车速下的障碍物规避、编队加入、编队离开和护航编队切换。更多演示请访问项目主页。
障碍物规避 · Avoiding Obstacles — 不同车速对比
20 km/h ✅
低速障碍物规避
30 km/h ✅
中速障碍物规避
40 km/h ✅
高速障碍物规避
编队加入 · Joining The Convoy
Join Convoy ✅
单车加入多车道编队
编队离开 · Leaving The Convoy
Leave Convoy ✅
车辆安全离开编队
护航编队切换 · Switching to Escort Formation
Escort Formation ✅
编队切换至护航阵型
04 · More Publications
更多代表性成果
构建原生安全世界模型（Native Secure World Model）不仅需要前瞻性的理念，更需要扎实的研究成果作为支撑。以下精选了实验室在 2025–2026 年间发表于顶级会议和期刊的代表性工作，涵盖 Agent 安全、多模态模型后门、可迁移对抗攻击、模型供应链安全以及世界理解评测基准等方向——这些成果从不同维度揭示了当前 AI 系统在感知、推理和执行层面的安全隐患，并为"安全必须内建于世界模型"这一核心论点提供了系统性的实证基础。
ToolHijacker: Prompt Injection Attack to Tool Selection in LLM Agents
NDSS 2026 Agent 安全
Prompt Injection Attack to Tool Selection in LLM Agents
J. Shi et al., Pan Zhou
提出 ToolHijacker，首次系统化研究针对 LLM Agent 工具选择的提示注入攻击。攻击者通过构造恶意工具描述，劫持 Agent 的工具调用决策，实现对真实世界 API 的未授权访问。Agent 通过工具与世界交互，工具选择被劫持等同于世界模型对外部行动接口的信任链被打破——直接威胁原生安全世界模型的执行层安全。
📄 arXiv 🌐 NDSS
BadToken: Token-level Backdoor Attacks to MLLMs
CVPR 2025 MLLM 后门
BadToken: Token-level Backdoor Attacks to Multi-modal Large Language Models
Z. Yuan, J. Shi, Pan Zhou et al.
提出 BadToken，首个针对多模态大语言模型（MLLM）的 Token 级后门攻击。引入 Token 替换和 Token 添加两种后门行为，在模型推理时精确操控输出。MLLM 是世界模型的关键感知组件，BadToken 证明安全必须深入模型架构内部——仅在输入层防护不足以应对 Token 级威胁。
📄 arXiv 🌐 CVPR
Merge Hijacking: Backdoor Attacks to Model Merging of LLMs
ACL 2025 LLM 后门
Merge Hijacking: Backdoor Attacks to Model Merging of Large Language Models
Z. Yuan et al., Pan Zhou
提出 Merge Hijacking，首个针对 LLM 模型合并的后门攻击。攻击者构建恶意上传模型，在模型合并时将后门注入合并后的统一模型。世界模型常由多个子模型合并构建，本工作证明合并过程本身是安全攻击面——间接支持"安全需内建于训练流程全链路"的观点。
📄 arXiv 🐙 GitHub 🌐 ACL
Towards Building Model/Prompt-Transferable Attackers against LVLMs
NeurIPS 2025 LVLM 对抗攻击
Towards Building Model/Prompt-Transferable Attackers against Large Vision-Language Models
X. Cai, D. Liu, Pan Zhou et al.
引入信息论视角研究 LVLM 的可迁移对抗特性，通过解耦良性依赖与对抗依赖，构建可跨模型、跨 Prompt 迁移的攻击方法。说明当前 LVLM 的安全缺陷是系统性的、根本性的，单一防御无法应对——需要从世界模型架构层面原生解决安全问题。
📄 OpenReview 🌐 NeurIPS
A Survey of Attacks on Large Vision-Language Models
IEEE TNNLS 2025 综述
A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends
D. Liu et al., Pan Zhou, Y. Cheng, W. Hu
系统性综述 LVLM 攻击的全景图谱，覆盖对抗攻击、后门攻击、数据投毒、提示注入等多种攻击形式。全面梳理了"当前世界模型面临的安全威胁"，为原生安全世界模型的研究方向提供了系统性文献支撑和分类框架。
📄 arXiv 🌐 IEEE TNNLS
GUI-World: A Video Benchmark for Multimodal GUI-oriented Understanding
ICLR 2025 世界理解基准
GUI-World: A Video Benchmark and Dataset for Multimodal GUI-oriented Understanding
D. Chen et al., Pan Zhou
构建 GUI 世界理解的视频基准，覆盖 6 大 GUI 场景和 8 种任务类型。GUI 操作是 Agent 与数字世界交互的核心场景，GUI-World 本质上在评测"模型对数字世界状态的理解与推理能力"——为衡量世界模型的感知-认知水平提供了关键评测基准。
📄 arXiv 🐙 GitHub 🌐 Project
05 · Research Directions
研究方向
原生安全世界模型
🔐
原生安全世界模型
将安全约束内生地融入世界建模，使模型在预测环境演化和行为后果时，同步构建风险识别、违规检测和危险因果链阻断能力。从"基因"层面解决 AI 安全问题。
世界模型 内生安全 因果推理 风险预测
具身智能安全
🤖
具身智能安全
针对机器人在真实物理环境中的感知-决策-执行闭环，研究后门攻击、数据投毒、对抗样本等安全威胁，保障具身智能系统的可信部署与长期安全运行。
VLA 模型 机器人安全 后门攻击 具身决策
LLM Agent 安全
🧠
LLM Agent 安全
研究大语言模型智能体在复杂任务规划、多步推理、工具调用过程中的安全对齐问题，构建可解释、可审计、可纠正的可靠 Agent 系统。
LLM Agent 安全对齐 多步推理 工具调用
06 · Latest News
最新动态
Apr
2026
BadVLA 论文被 CCV 2025 录用，并入选 IEEE TNNLS 期刊长文
首次系统揭示 VLA 模型后门安全漏洞，引发学术界广泛关注
Jan
2026
周潘教授受邀担任 KDD 2026 程序委员会领域主席（Area Chair）
CCF-A 类顶会，最高水平国际学术会议服务
Dec
2025
实验室获批国家级重点专项「多模态安全融合技术研究」，经费 470 万元
近5年主持科研项目总经费突破 1,500 万元
Nov
2025
指导学生获第十九届"挑战杯"竞赛"揭榜挂帅"专项赛一等奖
国家级 A 类创新赛事 · 优秀指导教师
加入我们
如果你热爱 AI 安全研究，渴望在具身智能与原生安全世界模型领域探索前沿，欢迎加入我们的团队
🎓
招收方向
计算机科学、网络空间安全、人工智能等相关专业博士/硕士研究生
欢迎有机器学习、安全系统背景的同学
💻
研究氛围
前沿课题 + 充足算力 + 顶级合作资源
与 Georgia Tech、Lehigh 等国际团队联合指导
🌏
国际视野
CCF-A 顶会投稿全流程指导
出国访问/会议资助，支持在国际舞台展示成果
📧 panzhou@hust.edu.cn

© 2026 原生安全世界模型实验室 (NSWM Lab) · 华中科技大学 网络空间安全学院  |  技术支持：GitHub