多模态融合技术研发项目可行性研究报告

1、项目概况

随着人工智能和数字化的快速发展，需要对大量的数据（特别是对图像、语音等数据）进行处理，而随着智能化和数字化的深入应用，对于包括图像、语音、音频、超声、温度、湿度、运动、地理位置等类型众多、协议各异的多模态数据的采集、汇总和处理需求日益凸显，也是人工智能深入各个领域（特别是行业领域）过程中所急需解决的问题。

根据 Allied Market Research (AMR)预测5，到 2022 年，世界传感器市场将突破 2,410 亿美元。单是一辆普通汽车内部就装有 30 余类，上百个传感器；一辆特斯拉 Model S 中就有 12 个超声传感器，8 个图像传感器；一架飞机上装有 6,000多个各种传感器，这些传感器每天产生 2.5T 的数据。各类新旧传感器及连接协议交织融合，各种体系架构，处理芯片，智能算法层出不穷。

基于对多模态数据的采集、汇总和处理的巨大需求，计划建设本项目，具体包括两个部分：其一，研发多模态智能数据总线，深入研究和开发多模态融合技术，为公司未来业务拓展提供数据和核心技术支持，具体包括：多模态数据采集技术，重点解决对多模态数据的清洗、降噪和安全传输；多模态数据汇总技术，重点解决对多模态数据的共性化处理和统一管理；多模态数据处理技术，重点解决对多模态数据的模块化处理和复用；其二，研发多模态智能应用总线，不断拓展新的业务应用领域，特别是智能网联汽车领域和企业数字化转型服务领域，为公司业务规模的扩大奠定基础。

2、项目必要性

（1）本项目的实施是解决行业痛点的重要举措

随着人工智能、大数据、物联网的快速发展，多样的传感器硬件、众多的网络连接协议、复杂的异构计算系统导致硬件、协议和计算单元之间无法互联互通，对智能系统的开发、部署和管理都造成了巨大障碍。以智能网联汽车为代表的智能设备，是由各类传感器、设备、执行单元、协议和控制应用构成的复杂系统，系统中的各单元有各自的标准、协议和特性。复杂系统的互联互通和统一分析的问题是产业发展必须要面对的挑战，对企业降低成本、提高灵活性、产品快速上市至关重要。

本项目对多模态融合技术进行深入研究，是建立开放、安全和可扩展的多模态融合体系，保障各行业数字化、智能化的重要措施。

（2）本项目的建设是解决人工智能多模态信息采集与统一分析问题的必然要求

多模态数据采集过程中会面临数据噪声大、质量低的问题，特别是对于图像、声音等原始多媒体数据。受现场环境影响，数据难以采集；受网络环境影响，数据无法稳定安全地传输；如何保证原始数据的真实性，在提取和传输过程中不被

篡改十分重要。多模态数据汇总过程中，采集回来的多模态数据具有协议不统一、时间不统一等问题，导致无法互联互通，不能支撑进一步的分析工作。

传统的人工智能应用，主要是针对图像、语音等单一数据进行分类处理。随着人工智能深入到自动驾驶汽车、智能机器人、智能制造等领域，往往需要针对不同类型的数据进行处理。以机器人导航这一典型应用为例，需要对激光雷达、视觉传感器、惯性传感器、GPS、轮速传感器等多种具有不同特性的传感器数据进行统一处理，才能完成进行精准快速的导航任务。如何快速、方便、开放和可扩展地对数据进行统一分析，是多模态融合技术的一个重要课题。

本项目将研发多模态数据采集、汇总、处理技术，重点解决对多模态数据的模块化处理和复用。

3、项目可行性

（1）国家政策的大力支持为本项目提供了良好的政策环境

多模态融合技术的需求来源于人工智能、大数据、物联网等产业和技术的快速发展，属于多学科多技术领域的融合，具有较高的技术壁垒。

在产业和技术发展支持方面，我国在“十三五”期间出台多个政策支持人工智能、大数据以及物联网等多个新一代信息技术的发展，国家陆续发布了《大数据产业发展规划（2016-2020 年）》、《物联网发展规划（2016-2020 年）》、《云计算发展三年行动计划（2017-2019 年）》、《促进新一代人工智能产业发展三年行动计划（2018-2020 年）》等一系列政策，为我国新一代信息技术产业发展提供了政策指引与导向。

本项目研发多模态融合技术，为硬件设计、网络通信、应用程序提供了整体结构，在本地设备内部或边缘计算节点进行实现数据信息时序对齐、多数据类型信息融合、数值特征提取、自动化决策，以达到边缘侧网络的感知、认识、决策全流程自治化。

本项目的建设内容符合国家对软件和信息技术服务业的发展规划，具有良好的政策可行性。

（2）公司深厚的技术基础和产品经验为本项目的顺利实施提供了有力保障

在技术积累方面，公司经过十余年发展，在传感器融合领域拥有规模较大的技术研发团队，涵盖图像处理、音频处理、边缘计算、网络协议、智能算法、系统安全等多个相关领域，积累了包括质量调校、ISP、HDR、降噪、防抖、拼接、多麦克风阵列、自然语言理解等丰富核心技术。相关的技术积累和产品经验为本项目实施提供了良好基础。

（3）公司广泛的生态体系为本项目的顺利实施创造了良好的条件

多模态传感器信息融合系统是一个传感器技术与智能系统的组合，无法由某一集成商、设备制造商、应用厂商、开源社区独立完成，需要构建开放、中立、健康的生态。公司从 2011 年开始同高通、英特尔、微软、三星等厂商建立了包括传感器实验室、摄像头调优实验室、音频调校实验室等在内的联合实验室，同国内外领先的传感器厂商建立有紧密的技术合作和业务关系。公司在多模态相关领域建立的生态体系为本项目实施提供了良好的基础。

（4）公司的全球化布局战略为本项目打开国外市场提供了坚实基础

公司持续推动全球化扩展战略，分子公司及研发中心分布于全球 25 个城市，在地域上已经覆盖美国、欧洲、印度、东南亚、日本、韩国等重点国家和地区，为全球客户提供便捷、高效的技术服务和本地支持，已构建起全球化的软硬件服务能力，可以通过本项目的实施为全球客户提供多模态融合信息的采集、汇总、分析与应用等服务，公司较高的国际化水平为本项目的实施奠定了坚实基础。

4、实施主体及项目投资情况

本项目实施主体为母公司。项目的建设投入包括租赁及装修研发办公场地，购置各类软硬件设备，以及研发费用支出等。本项目预计建设期为 3 年，项目总投资 12,660.24 万元，拟投入募集资金 8,227.67 万元，其余所需资金通过自筹解决。