降低大模型幻觉 百川发布Baichuan2-53B

北京日报客户端 | 记者 孙奇茹

9月25日，王小川创立的百川智能发布Baichuan2-53B 闭源大模型，全面升级了此前发布的Baichuan1-53B的各项能力。技术人员称，Baichuan2-53B不仅数学和逻辑推理能力提升显著，还通过高质量数据体系和搜索增强极大降低了模型幻觉，是目前国内“幻觉”问题最低的大模型。

幻觉是大模型落地应用必须跨越的鸿沟。所谓“幻觉”问题，体现在大模型会编造事实，用看似流畅自然的表述方法给出不符合事实甚至错误的内容，“一本正经地胡说八道”，例如给出根本不存在的法庭辩护案例、为某个典故编造不符合实际的历史解释等。行业人士介绍，大模型只能基于模型训练中的阶段性的死板的知识储备进行表现，是导致其出现幻觉的重要因素。通常而言，解决这一问题有两种方式，一种是不断增加模型的数据规模、提升数据质量；另一种是通过调用搜索等外部工具让模型能够获取实时信息。

据悉，Baichuan2-53B在两个方面均做了大量优化。高质量数据构建方面，Baichuan2-53B独创了一套数据质量体系。以低质、优质为标准将数据进行分类，确保Baichuan-53B始终使用优质数据进行预训练。

信息获取方面，Baichuan2-53B对多个模块进行了升级，包括指令意图理解、智能搜索和结果增强等关键组件。这一综合体系通过深入理解用户指令，精确驱动查询词的搜索，最终结合大语言模型技术，优化模型结果生成的可靠性，实现更精确、更智能的模型回答结果，减少模型幻觉。

Baichuan2-53B与GPT-3.5在回答部分问题上的表现差异

据悉，百川智能于2023年8月8日发布Baichuan-53B搜索增强大模型。大模型的数学和逻辑推理能力一直是业内的关注焦点，也是评价一款大模型是否领先的重要指标。在Baichuan-53B的基础上，Baichuan2-53B不仅重点强化了以上两个维度的能力，并且对整体能力进行了全面升级。其中，逻辑推理能力提升100%，数学能力提升31%，语言理解能力提升29%，文本创作提升18%，知识问答提升9%。

作为首批通过《生成式》《生成式人工智能服务管理暂行办法》备案的大模型企业，百川智能此次还开放了Baichuan2-53B的API接口，正式进军企业级市场，开启商业化进程。

图片来源：百川智能