这家法国公司要给手机装上不一样的“眼睛”

界面新闻记者 | 彭新

界面新闻编辑 |

人类大脑中有约1000亿个神经元，它们相互连接构成了一个网络，其中的连接部分被称为突触，而这些多达约10亿的突触，其视觉机制的运行只需要不到1个灯泡的能量就能驱动。

如今，这一生理机制有望作用于手机摄像中，被称为“基于事件的视觉传感器（EVS）”，法国公司Prophesee近期宣布与高通合作，将EVS技术应用于手机中，目标是明年结束之前会有首款搭载EVS技术的手机问世。

EVS的技术起源于视觉神经的信号模拟，是模仿眼睛的感光机制而建立的传感器技术：人眼感受到光线后，视网膜上的受体细胞就会将光信号转换成神经信息，后段的神经细胞再分别挑选出亮部和暗部，经由神经节细胞，将信息传递到大脑的视觉皮层。

EVS则如同人类视觉神经，射入传感器的光线会转换成电气信号。电气信号通过放大器，由比较器根据亮度变化进行分离，形成变亮信号和变暗信号，然后再通过后段的信号处理，以EVS图像数据的形式输出。因此，EVS是一种只对亮度变化敏感并输出图像的视觉传感器。

这一方式与目前手机上所用的CMOS传感器截然不同：CMOS会将捕捉到的所有图像信息全部输出，而EVS只输出有变化的像素部分，因此可削减数据量，同时实现高速且高效的传感。

另一方面，CMOS传感器以“帧”为单位，基于固定速度，以一定时间为周期（如每秒60次）来记录图像。与其相比，EVS有非常高的时间分辨率，据称等效于每秒能记录10000张影像，做到只捕捉运动物品的轨道部分，可以理解为几乎记录到物品的全部运动过程。

这意味着EVS在拍摄移动对象时十分有利，而智能手机厂商也希望自家摄像头拥有这类特点。目前，使用CMOS传感器的手机在拍摄高速运动物体时通常存在着所谓的“运动模糊”（motion blur），即照片中拍摄快速移动的物体存在明显痕迹。搭载了EVS传感器的摄像头就可以消除这种模糊，Prophesee和高通就期望在手机中做到这一点。

Prophesee主要研究模拟人眼视觉的“神经形态视觉技术（neuralmorphic vision technology）”，直到最近几年这种技术才逐渐成熟。目前，Prophesee已经获得超过1.2亿美元的融资，投资方包括中国创新工场、小米和韦豪创芯等，目前在法国、美国、中国和日本都设有办公室，拥有超过110人团队。

“其实我们没有创造一项新的技术，只是把自然界中存在了多年的原理，将之以最合适的、最正确的方式应用到产品和技术当中。”Prophesee联合创始人兼首席执行官Luca Verre告诉界面新闻，“在手机端，目前的应用是将Prophesee的EVS传感器与传统上以帧为单位的图像传感器进行结合，从而提高手机摄影照片的质量。”

Luca Verre提到，通过同步EVS传感器和传统传感器的数据，手机摄影可以实现高性能的图像去模糊。系统能够将EVS以微秒为单位记录的事件填充到两帧图像的间隙，通过算法提取纯动态信息，从而修复运动模糊。

与高通的合作也将为EVS进入手机市场降低难度，EVS传感器以及Prophesee的模糊消除算法可以与高通的骁龙手机平台整合。

传感器的生产是在索尼帮助下完成的，生产出的EVS传感器成品提供给客户，目前在索尼半导体部门的官网上，已经有两款EVS传感器对外提供。根据Prophesee介绍，借助索尼生产图形传感器的经验，使得EVS传感器得以大规模量产，实现优秀的拍摄性能并降低成本。

“在成本方面，EVS和传统的以帧为基础的传感器没有太大的区别，不管是从尺寸上来看，还是从产量上来看，因为我们使用的都是一样的生产工艺，所以最终成本逻辑也是一样的，生产的晶圆片量越大成本越往下压，芯片的大小也会影响芯片的成本。”Luca Verr说，目前EVS方案主要面向高端手机产品。

实际上，在拍摄中消除运动模糊，通过多帧图像算法合成，以及引入AI进行图像去模糊的方案已经存在应用，在手机中引入基于EVS传感器的一颗新“眼睛”将是一场冒险，涉及到成本、软件开发等难题。Luca Verre认为，跟传统的解决方案相比，EVS只关注画面中动态变化的信息，可以大大降低数据量，省电并且实现非常高速的物体追踪，除了给照片降低模糊的功能外，未来还可以有很多新应用方向可以挖掘。

在与手机OEM的合作上，Prophesee副总裁兼大中华区总经理杨雪飞提到，Prophesee正全面与中国各知名手机OEM厂商展开合作，考虑此前小米参与了Prophesee的融资，预计EVS未来将在小米手机上登场会是大概率事件。

手机外，Prophesee还努力将EVS推向更多市场，其中一个领域是工业机械领域，EVS可以用来监控、检查和测量以极高速度移动的设备或产品。此前传统产业用相机难以对高速运动物品发挥作用，而使用EVS则有望满足需求。

此外，EVS具有广阔的动态范围特性，即使同一个画面中同时存在昏暗环境和日照强烈的明亮环境，也能清晰拍摄人的活动；同时EVS在拍摄人的活动时，不会呈现面容等细节，只输出人的轮廓，因此有望作为保护隐私的安防摄像头发挥作用。