普诺飞思（Prophesee）：神经拟态传感如何颠覆机器视觉？

文︱郭紫文

图︱Prophesee

传统的图像传感器，以帧为单位捕捉静止图像，通常以30帧/秒的速率记录信息并逐帧发送。这种图像采集方式的成像原理是通过快速且连续的图像捕获，造成“视觉暂留”现象，从而让视觉产生连续运动的错觉。

然而，在当今5G、物联网、AI、智能制造、大数据蓬勃发展的趋势下，基于帧的成像原理越来越难以满足生产应用日益增长的需求。由于按帧捕获图像，相机帧与帧之间的动作是无法记录的，这就意味着无法采集到物体运动的全部轨迹，一部分重要信息会丢失。另一方面，重复记录的背景信息也会生成冗余无用的数据，增加数据处理的负担。

为了解决传统机器视觉的弊端，普诺飞思（Prophesee）将“人眼”引入机器视觉，推出“神经拟态机器眼”技术，开辟了机器视觉应用的全新可能。7月6日，该公司宣布C轮融资，由创新工场领投、小米及上海韦豪创芯跟投，数家老股东加码。

创新工场董事长兼CEO李开复博士在发布会上表示：“创新工场一直致力于寻找和支持有潜力的、颠覆性的技术先驱，以能够真正地改变基于人工智能技术的范式，帮助改善并提升人们的生活质量。普诺飞思的‘神经拟态机器眼’技术在多个领域具备巨大潜力，包括计算摄影、自动驾驶、工业自动化、物联网、医疗保健、AR 和 VR 等，为行业已逐渐普及的机器视觉应用带来更令人振奋的前沿技术突破。”

突破固有局限：基于事件的机器视觉

受到人眼视网膜和大脑工作原理的启发，普诺飞思开发出“硅视网膜”。与传统图像传感器有着本质的区别，普诺飞思基于事件的视觉传感器突破了传统机器视觉的局限，从“Frame-based”转变为“Event-based”，补全了传统传感器每帧图像之间的信息空缺。

普诺飞思基于事件的传感器有着类似眼睛和大脑的功能，在获取信息的方式上发生了范式转移。通过神经拟态视觉和生物启发算法，传感器每个像素都异步独立，且由信号变化来控制触发，只有在场景信息发生变化时，像素才会作出反应，进而采集图像数据。相对而言，场景中静态信息则不会触发传感器采集。

“神经形态”的思想可以追溯到1990年，加州理工学院的Carver Mead 教授发表的论文中提及，神经拟态芯片可以模仿人脑神经元和突触的活动。直到七年前，基于神经拟态的机器视觉才开始进入商业化领域，普诺飞思也是在此际遇下成立。

据普诺飞思联合创始人兼CEO 卢卡·维雷（Luca Verre）介绍，从第一代的QVGA到现在的HD高清视觉传感器，普诺飞思的视觉产品开发技术在不断优化和创新。“普诺飞思最新的技术进展，将我们先进的机器视觉技术与索尼的生产制造工艺相结合，共同开发了市面上尺寸最小的视觉传感器，为智能手机、笔记本电脑、机器人等领域提供更易于集成、成本更低的视觉方案。”

Luca Verre表示，较之传统视觉系统，普诺飞思的传感器有三大优势：

减少冗余数据，减少需要处理的数据量；

响应速度快，同时加速识别检测的速度；

增加动态范围，适应极端的光照条件。

普诺飞思的神经拟态传感器技术，具有无限接近人类视觉的场景感知能力。此外，该技术解决了带宽瓶颈及算力不够等问题，较之传统图像传感器，产生的数据量减少近千倍，实现了大于10000fps的帧速率。

应用落地：构建机器视觉完整生态

作为世界领先的神经拟态机器视觉产品供应商，普诺飞思自2010年第一代产品发布，已经拥有超过40项国际认可，包含传感器、视觉系统、算法、应用等51项国际专利。普诺飞思机器视觉为客户提供最全面的基于事件的视觉套件MetaVision，以及机器视觉学习工具包。其中，包括机器学习、分析、相机校准、3D计算机视觉、计算机视觉、核心模块等六个扩展模块。

普诺飞思凭借突破性的机器视觉技术，为汽车、人工智能和深度学习、工业自动化、物联网、安全与监测，以及医疗保健等领域带来了开创性的技术革新，颠覆传统机器视觉系统。

智能驾驶领域

座舱监控

普诺飞思与Xperi旗下子公司DTS联合开发了全球首个基于神经拟态视觉系统的驾驶员监控解决方案（DMS），利用原视觉（MetaVision）技术提供微光性能、眼球移动或微表情检测更优的驾驶员监测功能。

高级驾驶辅助系统

采用普诺飞思原视觉传感器，增强激光雷达及摄像头系统，推动自动驾驶汽车和ADAS系统更加迅速、准确地检测环境数据，及时作出反应。

工业自动化

高速计数

针对机械零件等物体的计数和测量，以超千个零件每秒地吞吐量实时计算，有效提高生产效率，降低成本和设备复杂性。

震动监测

在运动监测、振动监测、预测性维护的频率分析等应用中，基于事件的视觉技术能够实时追钟每个像素的坐标、极性和时间戳变化，提供全局、持续的测量。

智能手机

将神经拟态视觉与传统相机结合，可以实现高性能、基于事件的实时图像去模糊。在任何速度和光照条件下，此技术都能够使得拍摄到的图像更加清晰。

“普诺飞思致力于构建人工智能及机器视觉领域的全球性公司，打造神经拟态视觉技术的完整生态系统。”Luca表示，当今全球针对机器视觉和人工智能的应用越来越多，机器视觉领域市场前景广阔。其中，在机器视觉、人工智能、手机乃至无人机等领域，中国市场都是最大的。另外，在自动驾驶、AI等领域，中国市场生态也在不断扩大。对于普诺飞思来说，中国市场蕴藏着巨大的商业机会，极具吸引力。当前，普诺飞思正不断推进技术迭代更新，加速落地中国应用市场。