新华网测试发布AIGC-Safe：探寻破解AIGC安全治理痛点

新华网北京7月16日电（向思敏 郑然）国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局日前公布《生成式人工智能服务管理暂行办法》（以下简称《办法》），自2023年8月15日起施行。国家互联网信息办公室有关负责人表示，出台《办法》，旨在促进生成式人工智能健康发展和规范应用，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益。

网信办官网公布《生成式人工智能服务管理暂行办法》

据悉，在《办法》公布前一周，新华网召开了“生成式人工智能内容安全与模型安全检测平台”（AIGC-Safe）邀请测试发布会，测试发布由新华网联合中国科学院计算技术研究所（简称“中科院计算所”）等行业机构共同研发打造的AIGC安全治理平台，以积极响应国家数字经济战略，在监管规范AIGC治理与应用领域进行重要探索。

深伪内容安全治理为何迫在眉睫？

早在去年11月，国家网信办、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》，于今年1月10日起施行。今年4月11日，国家网信办发布《生成式人工智能服务管理办法（征求意见稿）》。7月13日，七部门联合公布《生成式人工智能服务管理暂行办法》。一系列政策的密集出台，正是为了应对生成式人工智能技术快速发展带来的机遇与挑战。

“国家非常鼓励生成式人工智能的发展，但前提是安全。”AIGC-Safe平台首席技术专家曹娟在发布会上说，“生成式人工智能（AIGC）包含三个部分：文本生成、图像生成、音视频生成。以ChatGPT-4为代表的大语言模型已出现智能‘涌现’现象，图像、音视频生成已能达到人类视觉听觉难辨的逼真效果。”

“生成式人工智能带来的风险引发了社会担忧。”新华网相关业务负责人举例说，“未经他人允许使用AI深度伪造其声音、动作、姿势、手势，甚至使用人工智能‘换脸’、‘盗脸’；以虚假图文、音视频等形式攻击公众人物，侵犯组织及公民的权益和隐私；以深度伪造技术攻破支付身份认证，使风险系统失效，给电信诈骗、金融诈骗、黄暴恐等违法犯罪活动带来可趁之机；运用虚拟助手生成论文等学术作弊行为，搅乱教育体系；由于AIGC在知识产权方面的法律边界一时难以厘清，版权保护等文化传媒领域也面临前所未有的挑战。”对生成式人工智能服务的监管与治理已箭在弦上。

新华网作为新华社主办的中央重点新闻网站和具有强大创新实力的互联网上市企业，服务国家战略，持续推进科技与传媒的深度融合，此次测试发布AIGC-Safe，探寻破解AIGC安全治理痛点，引领行业健康发展，可谓恰逢其时。

中科院计算所党委委员王凡表示，中科院计算所一直围绕智能算法安全这一重大创新领域，筹建算法安全全国重点实验室，已形成引领算法安全基础研究的战略力量。“中科院计算所将为AIGC-Safe平台全力做好核心技术支撑，通过和新华网的合作，充分调动‘政、产、学、研、用’各方优势力量，探索科学的治理机制，为AIGC行业的健康发展贡献力量。”

AIGC-Safe平台测试网页截图

行业呼吁，企业关注，AIGC-Safe解决哪些“痛点”？

曹娟现场测试发布AIGC-Safe，重点介绍了内容安全检测功能。该功能可覆盖文本、图像及音视频的检测，能有效保障内容的真实性与合规性。检测速度快、准确率高、易于部署，在有效降低产业安全技术投入成本的同时提高安全保护效率，能够广泛应用于虚假新闻、AI换脸诈骗、活体攻击、版权内容保护和学术诚信等多种检测场景，为媒体、教育、金融、公安等领域的AIGC安全治理保驾护航。

与会嘉宾共话AIGC安全治理

“AIGC在提升效率的同时，对整个科研的生态提出了挑战，如成果归属问题、内容来源问题、抄袭剽窃问题、对科研基础和真实性带来的风险等。”中国科学学与科技政策研究会科研诚信与负责任创新专业委员会主任委员、中国科学院文献情报中心科研诚信研究中心副主任袁军鹏认为，“AIGC-Safe可以协助检测和识别虚假信息，维护学者的学术贡献和知识产权。”

“AIGC-Safe是以‘道高一丈’去对抗‘魔高一尺’”，中国互联网联合辟谣平台运营中心总监荆克表示，中国互联网联合辟谣平台由中央网信办违法和不良信息举报中心主办、新华网承办，目前已初步形成“联动发现、联动澄清、联动处置、联动辟谣”的工作体系，是网上权威辟谣信息的主信源、主渠道、主阵地。“AIGC-Safe的发布，有利于加强对AIGC多模态深伪内容的检测和防范，通过技术赋能的手段，新华网将为除根‘春风吹又生’的谣言等虚假信息提供极大助力。”

腾讯智影生态负责人王辉表示，平台型互联网企业服务着非常大体量的用户，高度重视对隐私的保护和技术的合规使用，“迫切需要制定标准，厘清边界和提供安全治理，让AIGC在发展中不断完善。”

中国南方航空公司信息中心中台架构部副经理陈璟介绍，目前很多业务场景会遇到AI合规的挑战，“我们希望通过人工智能与旅客直接交互来提升服务质量，但这里面怎么做甄别，确保信息是可靠的，我们一直在思考。”陈璟说，“在现场和大家一起测试了AIGC-Safe，它的超快响应效率和准确性令人惊喜。我相信南航的人机互动梦想很快就可以成真。”

橙盾信息科技有限公司（阿里巴巴控股）信息安全产品总监雷涛认为，有了AIGC-Safe，不仅可以在常规的网络安全层面堵牢一些常见的供应链“越权”等漏洞，还能有效避免因大模型的污染引发的数据和个人隐私泄露等风险。

用AI科技为AI行业健康发展护航

据量子位智库今年4月发表的《2023中国AIGC产业全景报告》预测，我国2023年AIGC市场规模可达到170亿人民币，2030年市场规模超万亿人民币。AIGC蕴含着广阔的应用前景和市场潜力，同时，AIGC安全的边界决定着其发展的边界。国家互联网信息办公室有关负责人指出，生成式人工智能服务的发展与治理需要政府、企业、社会、网民等多方参与。

《生成式人工智能服务管理暂行办法》明确规定，支持行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等在生成式人工智能技术创新、数据资源建设、转化应用、风险防范等方面开展协作。

在陈璟看来，AIGC的安全治理应在政策指引下通过全社会协力来完善。

王辉认为，“用最小的投入产出最大的成果才是务实的，有可能落地的。”他认为，应加强与行业龙头企业合作，树立标杆模式，形成合作示范效应。

“AIGC安全治理主要面临两方面的巨大挑战。一是技术挑战，如生成式模型的快速迭代和强对抗环境的干扰；二是业务场景的挑战，包括业务场景中的受限条件、新业务场景不断涌现等。”曹娟坦言，“如果大家各自为政做这个事情，需要耗费大量人力物力。”因此AIGC安全治理应该是一个长期路线，开放邀请更多伙伴加入，不断去迭代。

“AIGC-Safe将联合行业管理机构、大模型研发机构、新闻媒体单位、数字场景应用平台等合作伙伴，发起构建生成式人工智能内容安全与模型安全检测平台，共同应对AIGC多模态深伪内容的检测和防范，用AI守护AI，护卫行业更好发展。”新华网相关业务负责人在活动现场发出共建生态矩阵的邀请。