科大讯飞学习机事件背后：价值观内容审核，AI大模型如何对齐？

未来网北京10月30日电（记者 张冰清）近期，科大讯飞学习机被家长投诉称出现违背正向价值观的文章内容。科大讯飞随后回应称，目前已永久性下架该文章，并进行系统性排查。

近年来，由ChatGPT引发的“百模大战”不断打响，大模型赛道相对拥挤：百度的文心大模型、阿里的通义千问、腾讯的混元大模型、华为的盘古大模型、科大讯飞的星火大模型，各大科技企业纷纷布局。此次事件也引出了更深层的科学思考：学习机中出现的违背正向价值观的内容，是否暴露出AI大模型的技术壁垒？

AI大模型如何做到与人类价值观对齐

据海报新闻报道，近日，有家长在自家孩子的科大讯飞学习机中的《蔺相如》一文里，发现了一些违背主流价值观的内容，引起了网友们的激烈讨论。10月22日，科大讯飞工作人员在接受记者采访时就该问题作出回应，目前已永久性下架该文章，并进行系统性排查。

24日，在2023科大讯飞全球1024开发者节上，科大讯飞董事长刘庆峰在接受媒体群访时对此回应称，事情是（10月）16日出现的，此事因保障内容安全的合作伙伴在试用时出错，发现以后已第一时间下架不当内容，并对合作伙伴进行处罚，内部也做了相应处分。讯飞会把在大模型上的内容审核机制放在学习机上做更严的审核。

10月25日，有投资者在互动易平台上对“AI星火大模型内容审核”提出质疑。科大讯飞对此事件再度回应称，与星火大模型无关，不涉及星火大模型库的语料内容审核清洗，不会影响公司星火大模型业务的正常发展。

深交所投资者互动平台官网截图

事实上，早在2022年3月24日国务院办公厅发布了《关于加强科技伦理治理的意见》，对新时代我国科技伦理治理工作做出了全面、系统的部署。

2023年4月11日，中央网信办发布了《生成式人工智能服务管理办法（征求意见稿）》，拟对生成式人工智能在我国的开发及应用进行规范，对AIGC产品提出了若干合规要求，主要体现在数据安全、内容合规和知识产权保护三方面。

清华大学新闻学院元宇宙文化实验室主任、教授沈阳在接受未来网记者采访时表示，出现价值观错误实际上属于是人工智能伦理问题，大模型的伦理问题包括虚假信息、算法失控、算法滥用、偏见歧视、AI幻觉、隐私安全、有害信息等。

“AI认知大模型的价值观形成，简言之有三个过程。”沈阳进一步解释道，第一个过程是语料，使用高质量的语料训练模型，就决定了大模型的认知底色。如果学习了大量有问题的语料，肯定会影响价值观的正确树立。第二个过程是算法策略，在算法策略中对于社会价值观伦理进行规定。第三个过程是价值观对齐，此过程中需要心理学、社会学、政治学、新闻学、伦理学等多学科参与，帮助模型在多语境下完成认知对齐。

沈阳表示，人工智能大模型出现价值观偏差，问题可能在于语料的选取把关不严格、算法策略规定上不完整、价值观对齐环节多学科参与上未齐头并进，还有可能是出现了AI幻觉。

沈阳表示，认知大模型让人工智能表现得更像人。对于人工智能不仅关注其能力，而忽视了道德观、价值观。如果价值观出错，人工智能反而会变成一个“坏人”。

“现在一些科技公司往往只注重技术主导，忽视了人工智能类人性的伦理问题，这才是导致现在问题发生的主要原因。”沈阳坦言，对于 AI的价值观，在青少年的使用过程当中，确实需要高度重视。

价值观内容审核，大模型技术目前能做到吗？

10月24日，第六届世界声博会暨2023科大讯飞全球1024开发者节举办。会上，科大讯飞董事长刘庆峰宣布讯飞星火3.0正式发布。他表示，讯飞星火3.0通用模型将全面对标ChatGPT，中文能力已超越ChatGPT，英文能力与之相当。

今年10月8日，科技部会同教育部、工业和信息化部等10部门印发了《科技伦理审查办法（试行）》（以下简称“《审查办法》”），覆盖了各领域科技伦理审查的综合性、通用性规定，重点解决科技伦理审查职责不明确、审查程序不规范、机制不健全等问题。从健全体系、规范程序、严格标准、加强监管等方面提出一系列措施、作出相关规定。

《审查办法》指出，针对偏见和不公平问题，倡议坚持公平性和非歧视性原则，避免在数据获取、算法设计、技术开发、产品研发与应用过程中，产生针对不同或特定民族、信仰、国别、性别等偏见和歧视。

未成年人网络保护无小事，如何通过科技手段进行价值观内容审核，大模型技术能做到吗？

沈阳在接受未来网记者采访时表示，目前市面上包括ChatGPT在内的多种语言模型都是基于Transformer架构的语言模型，学界通常认为Transformer架构并不能解决所有问题，因此想通过技术解决类人化的价值观等伦理问题目前仍是技术难点。

北京工业大学信息学部人工智能与自动化系讲师石睿在接受未来网记者采访时表示。“目前人工智能大模型生成内容的价值观、道德观，如何界定伦理、如何与人类道德认知对齐，是一个备受关注的问题。在技术层面上主要涉及人工智能可解释性、通用性等专业知识。”

石睿向未来网记者解释道，目前，使AI模型符合社会公序良俗、法律法规的实现方法主要有两方面：第一，通过人类反馈强化学习，促使AI模型学习人类所需的行为规范。

“在设计AI模型时，雇用大量人力，人为判断模型输出是否符合要求，如不符合则让模型重新学习，直至符合要求。这套方法能够直接利用人类认知，是直观有效的解决方法之一。”石睿表示，但是通过人力审核内容，不仅人力消耗比较大，不可控因素也更多。

第二，通过实现可通用、可解释的模型，实现理解大模型所有子模块，针对出现问题的大模型局部子集进行针对性修改。石睿表示，“该方法是AI的重点发展方向之一，但是目前尚无通用的解决方案，即便是ChatGPT也尚未做到，研究者也仍在探索可行路径。”