CNCC2025举行《智能体发展与安全（2025）》《大模型生成内容安全与评测（2025）》成果发布

在中国计算机大会（CNCC2025）期间，第一届大模型生成内容安全评估与智能体安全论坛于10月25日在哈尔滨举行。

由哈尔滨工业大学联合上海交通大学等多家高校、科研院所、知名企业联合编写的《智能体发展与安全（2025）》《大模型生成内容安全与评测（2025）》在论坛上发布。此外，还发布了大模型安全漏洞库及AI安全开源社区，并倡议全球参与“大模型安全合规开源生态”建设。哈尔滨工业大学网络空间安全学院院长姜伟发布上述成果，现场10余位网络安全、人工智能安全领域的院士、知名专家学者，聚焦大模型与智能体发展与安全，深度交流对话，共谋生成式人工智能技术新发展，共商大模型生成内容安全新合作，共建人工智能安全治理新格局，共享智能体安全发展新机遇。

《智能体发展与安全（2025）》《大模型生成内容安全与评测（2025）》发布

《智能体发展与安全（2025）》发布

《智能体发展与安全（2025）》是业内首份系统性分析智能体发展与安全的研究报告。报告系统梳理了智能体定义及关键技术路线，总结了智能体发展成就，分析了智能体安全风险分类、技术应对措施、综合治理措施，提出了智能体安全风险模型和治理框架，为全球智能体发展与安全提供思想借鉴和智力支撑。

报告首次构建了全栈体系与分层结构的智能体安全风险模型，从感知、决策、记忆、执行四个环节识别潜在风险，以系统化视角揭示了风险在系统内部的耦合与放大效应、作用机制和演化路径。同时，报告提出“政策法规+技术防护+多主体协同”三位一体的治理框架，形成了可落地、可评估、可迭代的系统性防护方案。

针对人工智能行为体（AIA）安全，报告介绍了一种创新性防控技术。为应对具备移动能力、不可解释决策以及潜在自主目标制定能力的AIA可能引发的失控风险，预先构建行之有效的防控体系至关重要。方滨兴院士创新性地提出了“人工智能行为体保险箍”（以下简称“AI保险箍”）的技术。该技术的核心要义在于，于AIA的“大脑”（决策系统）与“四肢”（驱动装置）之间，强制性地嵌入一个独立的、拥有优先控制权的硬件安全模块，该模块包括基本功能、增强功能、安全机制、安全围栏，一旦满足特定条件就会被激活，开始限制人工智能系统行为，从而实现对AIA行为的最终控制权。推进AI保险箍的落地实施，是确保人工智能技术在快速发展进程中，其安全轨迹始终与人类根本利益保持契合的基础性工作。

“AI保险箍”技术框架

此外，报告还提出了智能体安全发展的4项对策建议：一是强化智能体发展与安全顶层设计，前瞻性布局与系统性推进；二是构建国家级能力验证与安全评测平台，推动风险监测与验证体系标准化；三是完善智能体安全治理的人才体系与教育体系，提升安全治理能力供给；四是加强国际标准与评测互认合作，提升我国在全球AI安全治理中的话语权与影响力。

《大模型生成内容安全与评测（2025）》发布

报告以“安全、可靠、可控”为核心目标，系统构建了大模型生成内容的安全风险分类体系与多维评测指标体系，从“有害信息风险、虚假信息风险、提示攻击风险、隐私泄露风险、版权侵权风险”等五个维度出发，提出涵盖模型设计、训练、应用与监管的全链条评测框架。

报告首次建立了面向全生命周期的安全可信评测体系，包括风险识别、动态测试、红队对抗、行为对齐和水印溯源等关键环节，形成从输入到输出、从模型到生态的闭环评测机制。同时，结合国家人工智能安全治理政策，提出“技术评测—风险防控—政策支撑”三位一体的体系化解决方案。

该报告的发布，旨在为行业提供科学、统一、可操作的安全评测标准，助力构建开放、透明、可追溯的生成式人工智能生态，为国家在算法安全监管、模型可信评估、行业合规发展提供坚实的技术支撑与制度依据；标志着我国在大模型安全理论、技术与治理体系方面迈出了关键步伐，也为推动人工智能产业安全、健康、可持续发展奠定了坚实基础。

大模型安全漏洞库及AI安全开源社区启动运行

哈尔滨工业大学和上海交通大学联合研究团队持续打造以开源社区、公开漏洞库、大模型靶场、大模型测评为核心支柱的“大模型安全开源生态”，实现从认知到实践、从能力到标准的闭环。

论坛现场，国内首个大模型安全漏洞库及AI安全开源社区正式启动运行，并呼吁全球从业者加入“大模型安全开源生态”，以开源凝聚力量，以实战锻造韧性，共同构筑大模型未来的安全堡垒，推动大模型生态安全协同的可持续创新。

AI安全开源社区发布

哈尔滨工业大学网络空间安全学院院长姜伟教授表示，人工智能是新一轮科技革命和产业变革的重要驱动力量，日益成为全球科技竞争的战略制高点。人工智能的安全、可靠、可控发展关乎国家安全、社会稳定、文化繁荣和国际竞争力提升。《智能体发展与安全（2025）》《大模型生成内容安全与评测（2025）》的发布，是对时代之问的积极响应，研究团队将聚焦人工智能安全领域发展前沿和最新趋势，持续推出大模型生成内容安全与评测、智能体安全等重要研究成果，努力为我国网络强国、数字中国建设建言献策、提供技术和智力支撑。

与会专家一致认为，上述成果不仅为行业提供了技术指引，更为构建安全、可靠、可控的人工智能生态体系奠定了坚实基础；既是我国人工智能发展与安全研究的重要阶段性成果，也是推动全球AI安全治理体系建设的中国方案与中国贡献。（记者 李政葳）

来源： 光明网