2023手机影像还能怎么卷?硬件?算法?到底什么才是未来?

摄影的过程是我去看世界,摄影记录的作品是世界来看我。

那么,向左就是“技术”,向右便是“艺术”。

这也就意味着,无论是过去、现在、未来,向前倒推百年,向后前进百年,关于影像,不外乎“技术”和“艺术”这两件事情。

其中,技术妙不可言,至少在2023年。

比如——“独立”影像芯片真正走出玄学。

曾经,我对早期各种“独立”芯片、“一帧两颗”之类的故事并不买账,时常觉得它们像玄学经文一样敷衍——符合直觉,经不住思考,甚至有可能是在借势大家对PC的“独立声卡”、“独立网卡”、“独立显卡”的烙印记忆,为手机上的“独立”前缀赋予某种营销意义。

尤其当你抛开直觉,深入思考之后,会不难发现,手机这种追求高度集成化的科技产品,出现“独立”的器件并不是顺大势而为的事情。但是,在之前那个很多人通过跑分数字了解谁体验好,更多人不清楚CPU、GPU之外还有什么芯片的世界里,深究这些,没有很大意义。

直到,有的一方面鼓吹独立ISP,一方面搭配劣质镜头让人怀疑人生;有的基本上只是用来固化3A算法,更多关于包括色彩修正、gamma校正等还有高像素超采样、多摄融合的东西还是给到手机SoC集成的ISP去处理,但绝口不提;更过分的,把涉及美颜、虚化这些看起来并不高level的后端数据计算,继续丢给手机SoC的AI端侧进行高负载工作处理。

用户虽然不了解其中原理,但是总能感觉到似乎哪里不太对劲——为什么出片还是慢、为什么夜景还是脏、为什么……

于是,这些芯片的“人设”从幕后“独立”到幕前“站台”,很多的故事至此都讲不下去了。

这其实也是为什么它们都出奇一致地要给自己的技术拔高密级,让人连“独立”芯片的大致架构这种模糊信息都get不到,就更不用谈内部长什么样、在整个影像记录的工作流当中承担了哪些事情,尤其是和通用SoC之间到底是怎么分工的,各家的话事人通通三缄其口。

坦率来讲,包括V1在内的各家初代“独立”芯片,都是这种不算高明的试水作品或是概念论证。如果说有什么让大家对当年的V1有特别的滤镜加成的话,那就是彼时极其高明的人像算法、远超平均水平的镜头搭配、还有务实作用于收效相对明显的夜景拍摄强化,给它吃到了蓝厂影像能力激增的红利。

后来,“独立”芯片的风口过去、热度退潮,从一开始就打算裸泳的都紧跟着退场了,而vivo V系列自研芯片的故事却还在继续。

以至于,我第一次完整窥探到一颗AI ISP的整体架构与链路,就是在vivo V2这里,甚至到了能获悉AI计算单元背后的DLA细节的程度,也是在那时了解到这颗AI ISP只是形态“独立”,与通用SoC并不是完全割裂的,它仍然可以基于异构部署的方式协同交互,分担工作。

图为V2,关于上一代V2,更具体的细节这个回答说不完,我们一图结束讨论

这样的芯片V2不是独家,对手们大致的样子也都和V2类似——理论上能做一些预览效果、视频效果的提升,能对AI降噪有一些作用,但是在使用时你分辨不出来哪些是得益于平台SoC,哪些是归因于本身的算法高效且强大。

再到后来,有关国产自研AI ISP的更进一步,我基本都只能在vivo V3这里了解到了。

因为令人唏嘘事情的发生了,V1时大家一起摸鱼,V2时还有少数朋友为伴,到了现在的V3,它就几乎已经是独苗了。

有意思的是,作为独苗的V3,没有因为对手们的消失就裹足不前。

1、它最本质的提升其实就是采用6nm先进制程。通过收割先进制程的红利,一方面缩小与手机SoC平台制程工艺的代差,另一方面就是用高能效比应对极限场景下算力需求,特别是解封了更多在V2上难以实现的特性功能。

比如由于功耗限制,vivo自研算法在V2上难以做到并发开启,导致很多算法是分时复用的。而在6nm增益之下,vivo全自研的算法都能够同时开启,那么更多需要复杂实时计算的视频拍摄这些需要消耗高算力、需要很多算法同时在线的功能开发都能提上日程了。

2、异构部署的原则是在V2引入,而真正开始广泛使用是在V3。尤其在人像模式、4K电影人像视频、4K级拍后编辑功能这些需要复杂算力的用途中,这个协作机制可以一方面把平台SoC的NPU算力、DSP、 GPU这些通用算力充分利用起来,另一方面结合 V3 的专用算力,实现了V2一直在做但做得并不成熟的双芯系统。

至少,我在前文里所说的那些美颜、虚化这些看起来并不高level的后端数据计算,不会再一股脑全丢给平台SoC挤占通用NPU算力了。尤其是low level、Pixel level的AI 算力需求可以全部交给V3处理,那些比较吃软件资源的传统算法甚至可以芯片化在V3当中解决。

回顾这些东西的时候,其实它们都有一个共同的源头——六年前Google面向Pixel 2推出的PVC芯片。甚至连开辟这条自研路线的理由出奇一致:通用SoC所提供的算力和效率已经不能满足计算摄影的野心,必须要芯片级的针对设计来实现更多的功能和更出色的功耗优化。

而且那个时候的PVC就已经可供编程了,同样能用以图像处理,也能参与计算。凭借于此,Google当时可以无视通用SoC平台,直接把最新的技术成果通过固件推送的方式给到搭载PVC的Pixel手机上,留下了一颗单摄打天下的佳话。

意想不到的是,如此强大的PVC停摆了。

峰回路转的是,Google后来做了Tensor。

结局是,PVC那个不安分的独立灵魂终究被集成在了这枚完整的手机SoC当中。

显然,“独立”的形态不是目的,而是一个过程。

我认为,vivo一路自研V系列芯片的终极目标其实应该也无限接近于PVC的结局。没准,到若干年后的某一天,当vivo有能力设计规模更大、定制更复杂的芯片的时候,一路坚持下来的V系列也许就能拿出久经市场验证的IP内嵌其中,产生差异化的作用。

当然,这是一个充满了不确定性和未知数的遥远畅想。

不谈太遥远的未来,在当下,如果每一个人都想拥有记录高素质影像的能力,技术可以满足,并且在不断给予满足——X9 Plus的HDR、X23的超广角、X27系列的夜景、X30系列的50mm人像以及60x潜望式长焦、X50系列的微云台、X60系列的蔡司影像、X70系列开始的自研芯片历程,无不是在解决画质、夜景、焦段等等的现实问题。

vivo X系列明显在为此一步步逼近或者说致敬专业相机。

比如,必与下一代X系列旗舰一同到来的Vario-Sonnar,就是一款首次在手机行业里应用APO设计的光学镜头。其中,APO代表着行业中色差控制的最高质量标准。它所解决的是一些深水区的问题——长焦镜头的色差。

要知道,光线通过玻璃后会因折射率不同而有变化,光线通过一般透镜后,不同色光会落在光轴焦点之前或之后。这种现象随着镜头焦距增加而放大,以135底片为例,200mm长焦镜头的偏离値是50mm标准镜头的4倍。

也就是说,同样的技术条件下,长焦镜头的色差一定比广角镜更加明显。

而APO作为一项标准,要求“把三原色色光校正到同一平面”,减少甚至消除色边、成像模糊的现象,增强反差,使成像清晰锐利。那么可想而知,达到APO标准的下一代X旗舰的光学设计会有一个大的变化。有意思的是,在摄影器材当中,复消色差的色差校通常是通过使用特殊种类的玻璃来完成的,同时造价高昂、需要严格的工序组装。

这让我已经开始好奇——下一代X系列旗舰的光学能力究竟做到了何种地步,这种严苛的标准所带来的高昂造价成本又如何解决?

另外,在这枚长焦上,还有新加入的浮动镜组提供了等效放大率1:2的微距拍摄,下一代X系列旗舰自然也就有了我们常说的长焦微距。

终于,你们想要的都等到了,并且是更高规格、后来居上的呈现。

如果聊技术太累——那么我们谈谈艺术。

说到底,影像的美不会局限于光线、色彩、构图这些技法,生活、文化、艺术本身蕴含着更多的无所不在美,不难理解,影像的美绝不仅仅是单纯的技术整合,更多是与艺术的结合。

这就像是当今的手机,不仅改变了普通人的生活,它自己本身也正经历着从日常记录工具到艺术创作工具的蝶变。

你可能不会注意到,一部手机既可以强调画质、原色、影楼人像修图,也可以支持人文质感的风格化创作。

你可能没有想到,有一天手机会引入 AIGC 算法,来支持堪比手搓后期特效的人像属性编辑,光照、年龄、发型、表情等都被囊括进去。

AIGC“炼丹”在影像后期编辑上的增益,可远比滤镜、“换天”那些小儿科的东西有意义。

你可能也没有发觉到,手机拍摄的剧情小短片不仅能在短视频平台到处流传,全由手机拍摄的电影长片也早已在院线中出现,很多手机短片甚至能登堂于电影展,并且让创作有了更多可能性——手机主导的影片可以让创作者把全部经验、负担都抛弃掉,甚至还可以打破演员的生涩拘谨,让更多的很多空镜、微观细节,拿起手机随时就可以拍,不再是流程化的创作。

视频加载中...

按照FIRST 青年电影展的说法,四年时间里,这个影展的超短片单元汇集了42104 份影像档案,手机拍摄的投稿作品比例逐年攀升,从第一年的 21%,到今年的 58.44%。这说明,手机作为创作工具,解放了技术对创作的限制,也释放了创作者的想象力。

毫无疑问,手机正被越来越多的专业创作者认可,正在成为真正的创作工具。

有意思的是,就我个人的亲身经历而言,手机影像走了那么多年之后,对于小圈子的影响和变化也是有的。

我之前在某TVC公司工作,偶尔,在他们卸下工作装备的休息间隙,听他们亲口说过一些让人略有冲击的东西:“感觉现在手机的画质、色彩已经做到及格了。”——这是一个日常监看电影机的导演,对vivo S系列之类的手机随口评价。

当然,他也表达过手机的感光能力、对焦性能还是太弱,但总体算是高度评价了。

所以,除了普通大众用户,手机在2023年“卷”的方向,以及未来的进化路径,也会受到这些创作者的影响,他们可能更关心未来手机产品还能有什么样新的进展,能提供什么样更多的功能。对专业创作者而言,工具越强大越简单,就越能将时间投入到创作本身。

这也是为什么,你能在vivo手机上看到SuperRAW、HDR10+格式的拍摄、LOG 模式及机内LUT、人像镜头视频拍摄规格提升、人像视频模式、电影风格视频镜头包、专业模式中的专业视频功能来切换多镜头ISO对焦甚至是分辨率帧率等等……

vivo甚至还做了专业模式的视频拍摄,你在这里不会遇到自动挡的自动帧率掉帧,甚至还能体验到极度完整的帧率规格支持,无论你想拍电影的24帧,还是Phase Alternating Line传统的25 / 50,以及传感器原生的120 / 240,在这里通通为专业用户解锁。

大部分用户可能不知道vivo手机支持专业模式的视频拍摄,以及专业用户用到的A-B对焦。

这就不难解释我在前文所说,vivo为什么技术上一直在逼近或者说致敬专业相机,甚至已经到了要在手机里应用APO设计的光学镜头,要定制6nm自研芯片解封4K电影人像视频的地步。

总而言之,在2023年或者是更远的未来,无论手机厂商们如何改变产品的定义,手机影像的“技术”和“艺术”这两条核心赛道是不会变的。当然,作为用户,可能最愿意口嗨的是“我去看世界”的“技术”,但在真正使用时更关注的是“世界来看我”的“艺术”。

这“艺术”,是成片,是结果。

对于题主的这个问题,我还有一点想说——其实在国内智能手机已经进入“VO荣米”格局的时代里,手机影像的发展也就取决于这几家TOP级选手会选择往何处去,无论是CMOS元器件的比拼、镜头的深度定制,还是算法算力的长航优化,它们各自会连同各自的伙伴告诉你——什么方向对了。

其中,客观来说,vivo无论是“技术”路线的坚持,还是“艺术”高度的比拼,都没有背离那套思考——“悦影悦心,人文之悦”,从用户身上听到诉求和故事、让用户用影像表达自己的想法,让影像与艺术关联,构建审美。

基于此,也更令人好奇,云集了所有的大招的下一代vivo X系列,以及它的对手们,将会在今年年末以及明年年初掀起怎样的巨浪。

展开阅读全文

页面更新:2024-05-23

标签:算法   影像   手机   人像   芯片   镜头   独立   未来   硬件   艺术   系列   技术

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top