解决现有技术处理困境 作业帮公开“自然语言处理”相关专利

深度语义模型是目前最先进的表示学习技术，可以很好解决通用领域的语义表示，但在具体领域场景下进行应用时，往往区分能力不足。近日，记者从国家知识产权局官网获悉，作业帮公开了一项名为“自然语言处理方法、装置及电子设备”的发明专利。

此项专利由作业帮教育科技（北京）有限公司于2020年12月提出申请并于2021年3月公开，申请公布号为CN112528654A。该发明提出了一套新的领域内表示学习框架技术，可以结合领域内数据，面向领域内具体任务，融合多粒度表示框架，集成多种预训练模型来实现更有领域内语义区分能力的表示学习。

现有自然语言处理技术在具体场景落地时存在诸多困境。比如现有技术中的自然语言处理过程，均为基于某种单一粒度方式进行的，而在实际的中文中，单字、单词、短句等不同粒度都能表达不同的含义。再有，现有技术中的自然语言处理模型大都基于宽泛的通用语料库进行训练，力求得到一个适用于所有场景的自然语言处理模型，在处理具体领域场景任务时，语义区分度往往不足。以上两点使得现有技术中的自然语言处理模型在具体领域场景落地时无法达到满意的实用效果。

专利摘要中显示，本发明属于计算机信息处理技术领域，提供一种自然语言处理方法、装置、电子设备及计算机可读介质，该方法包括：对文本数据中的文字进行分词处理以获取文字和/或词汇；将所述文本数据和其对应的领域属性输入文字向量模型中，获取字向量；将所述文本数据和其对应的领域属性输入词汇向量模型中，获取词向量；基于所述文本数据确定所述文字对应的第一权重和/或所述词汇对应的第二权重；通过所述字向量、所述第一权重和/或所述词向量、所述第二权重确定所述文本数据的句子语义向量；基于所述句子语义向量对所述实时文本数据进行自然语言处理。本发明能够有效提升句子的语义表达能力。

该专利发明人之一作业帮中台产研中心蒋宏飞博士表示，本发明是一种通用的底层表示学习技术，可广泛应用于各种场景的自然语言处理下游任务：比如：文本分类、语义相似度计算、文本聚类、文本结构化分析等。在智能搜索、智能问答、异常发现、智能质检、用户意见挖掘等场景应用中显著提升应用指标。本方法属于无监督学习，无需依赖标注资源，实现起来高效便捷。