继苹果、华为后，手机厂商纷纷自研芯片，手机计算摄影要大爆发？

最近，手机大厂纷纷在苹果新品发布会前发布新款手机，比如华为P50、小米MIX4、三星Galaxy Z、荣耀Magic3等，大家关注比较多的是5G、屏下摄像头等。另外手机计算摄影可能是今年更值得关注的发展趋势，继苹果 、华为之后，Google 等手机厂商也加入到自研芯片的行列中，而且自研芯片主要集中在影像方面，是否预示着手机计算摄影要大爆发？

计算摄影(computational photography)

计算摄影是指使用数字计算代替光学处理的数字图像捕获和处理技术。我们可以理解为：利用手机镜头和图像传感器等物理硬件来捕获图像数据，然后应用软件算法自动生成图像的技术。具体在手机领域，我们可以看到包括高动态范围成像（HDR）、图像缩放（或叫超分辨率）、图像防抖、图像识别、自动对焦、背景虚化等技术。这些技术的应用让手机突破镜头和图像传感器的物理极限拍摄出可以媲美甚至超过专业相机照片的能力。

HDR+

说到计算摄影，不得不提手机计算摄影开创者——谷歌Pixel XL，当年仅凭IMX378传感器应用计算摄影算法吊打各大旗舰手机问鼎DXO排行榜（同期的小米 5S使用了相同的传感器，沦为反差对照组）。这一切的背后是Pixel XL采用了一项关键技术——HDR+。

谷歌的HDR+和传统的HDR不一样，传统的HDR是使用多张不同曝光级别的照片合成一张照片来实现类似于肉眼的高动态范围，也就是所谓的包围曝光。当然这种方式在光线较亮的条件下是比较有效的，但在暗光条件下用手机进行长曝光会增加抖动糊片的情况。HDR+则是使用短曝光连拍多张照片，有选择性地对齐最清晰的照片并使用计算摄影技术对其进行图像平均，天文摄影也有类似的技术叫幸运成像（lucky imaging）。

HDR+还使用了语义分割（计算机视觉里的一个术语）识别人体面部进行提亮或者识别天空进行变暗和降噪等处理。HDR+也不断发展演进，从HDR+增强到Live HDR+再到带包围曝光算法的HDR+。后续iPhone 11 Pro出现的Deep Fusion和华为XD Fusion等计算摄影基本也是采用了多帧融合的技术路线。

P50

前不久发布的P50在计算摄影上更进一步，在原有XD Fusion的基础上，在光学成像阶段加入了XD Optics计算光学，开创了“全局式”图像信息复原系统。一般手机仅能还原60%左右的图像细节，华为P50通过“全局式”图像信息复原系统能保留81%的图像信息。

比较遗憾的是因为制裁的原因，华为无法升级更高算力的SoC。其实麒麟9000内置的NPU性能已经很强大，但是随着计算摄影不断往更深层次演进，机器学习算法的迭代更新，麒麟9000的算力可能还不符合P50预期。经过前段时间的测评，我们知道P50在拍照实时画面质量是不行的，要打开保存的照片等待零点几秒后才会显示优化后的高质量照片，我们到底是要赞叹华为计算摄影的水平高呢，还是感慨麒麟芯片时运不济命运多舛呢？

iPhone 13

从iPhone 11开始苹果引入了机器学习和计算摄影，根据光线环境不同，分为智能HDR、Deep Fusion和夜景模式三种算法。其中智能HDR就是包围曝光算法，Deep Fusion和夜景模式采用多帧融合技术，并且运用机器学习识别物体进行语义渲染。苹果在影像方面是走得比较稳，iPhone 11 Pro整合了3个1200万像素的摄像头同时进行复杂算法的计算摄影，但是我们在拍照和摄像过程中感觉不到卡顿和延迟。也就是说当你按下快门的时候，手机已经解完了大量复杂的数学题。

要知道图像是由一个个图像点(像素)以矩阵的形式进行存储的，在图像处理领域的算法大部分是矩阵运算，包括矩阵乘加、卷积、点乘等，例如卷积神经网络(cnns)算法。A13仿生芯片有一个八核心的神经网络引擎（Neural Engine），并且在CPU中新增了两个机器学习加速器（Machine learning accelerators），把矩阵运算性能提升了6倍，使得CPU每秒钟可以完成高达一万亿次的计算，SoC算力的大幅度提升使得我们在iPhone 11 Pro使用计算摄影时也觉察不到它的存在。

预计在下个月发布的iPhone 13搭载的A15芯片在CPU、NPU、ISP上会有较大提升，有猜测算力可能达到15-20TOPS之间，期待iPhone 13能在计算摄影上更进一步吧。

Pixel 6

谷歌在其官方博客上宣布Google Tensor将在今年秋季新款Pixel 6上亮相。谷歌表示，从2016年第一款Pixel以来，就是为用户提供更有用、更智能的手机。多年以来推出的HDR+和Night Sight技术就是使用人工智能（AI）通过计算摄影创造了漂亮的图像。由于计算方面的限制，更强大的人工智能和机器学习（ML）受到限制，所以谷歌开始定制自己的系统芯片（SoC），以运行谷歌的计算摄影模型和算法，在影像、语音识别和其他功能上为Pixel用户提供更好的体验。

写在最后

谷歌在AI和ML等领域有很大的优势，定制的芯片可能会激发出计算摄影更大的潜力，但是想重新夺回最强拍照手机桂冠可能不会太容易。包括高通和国产手机厂商现在都已经在计算摄影上发力，像高通近期发布了一款Insiders Smartphone手机，似乎想要证明高通无论是在芯片硬件还是软件算法都很有竞争力。小米和vivo也在自研影像芯片，像小米的澎湃芯片和vivo即将发布的V1芯片。虽然他们只是ISP芯片，但是未来各大手机厂商将为不同手机的算法定制SoC，手机计算摄影的时代真的来临了。

大家对iPhone 13、Pixel 6和计算摄影有什么想法？欢迎留言讨论。