云视科技徐小丽：面向超高清的视频修复与增强

在2021 GFIC 5G全球家庭互联网大会的5G+4K/8K超高清论坛上，上海云视科技股份有限公司产品部副总经理 徐小丽发表题为《面向超高清的视频修复与增强》的精彩演讲。

视频修复与增强的背景

发展趋势——超高清

8K由于其差异化、高端化成为视频显示领域产业升级的下一个重要战略方向点。8K分辨率的像素总量是4K的4倍。8K使画面细节纤毫毕现，呈现更多的颜色层次，带来极致的画质体验。

8K技术的普及是未来几年显示视频技术的发展的目标。随着网络宽带传输技术、图像处理技术和硬件制造技术的共同迅猛发展和提升，视频媒体内容的生产和呈现方式发生新的变革。采、编、播、传输、显示各环节的技术，基本具备8K条件。

2021年2月1日，中央广播电视总台8K超高清电视频道试验开播、央视春晚8K电视直播，将加速8K超高清的落地普及。

海量珍贵历史视频亟需修复增强

现存大量的现有的低分辨率的珍贵视频，例如：中央新闻纪录电影制片厂保存60万分钟极其珍贵的历史影像资料，包括历代党和国家领导人的影像资料、涉及党和国家重大决策事件的影像资料、各历史时期重大事件的真实记录......

中央广播电视总台音像资料馆保存200万小时标/高清电视节目和素材，包括87版红楼梦、86版西游记等央视版经典四大名著，抗战、长征各类题材经典电视剧，新闻、晚会、赛事、直播、专题片、纪录片等......

此类影像资料或多或少存在画质问题，在超高清设备上显示时，画面问题会被放大，严重的影响观看体验，因此，有必要对它们进行修复与增强，让它们以更好的效果呈现。人工智能技术是很好的选择。

运用人工智能技术，支撑珍贵历史资料的修复与增强

《开国大典》于1989年拍摄，献礼建国40周年。2019年进行4K修复，献礼建国70周年：1082个镜头，24万帧画面，6%资料片，修复团队超过600人，每天修复20小时，耗时4个月。人工智能算法的应用，可以更高效的对老旧影片进行批量修复增强。

超高清标准

超高清的标准涉及多个方面，首先是分辨率，至少需达到4K，尽量达到8K，其他的指标帧率、色深、色域、动态范围、音频都有比较高的要求。理想情况下，老旧影片修复增强后是需要达到超高清标准的，但是老旧影片中包含的信息太少了，因此修复增强的工作存在很大的挑战。

修复增强技术

难点与挑战

老旧影片由于拍摄年代久远、设备落后、播放保存损伤等原因，导致画面主观视觉质量差：画面模糊不清晰，颜色暗淡，大量噪声；运动拖尾不流畅，对比度层次感差；噪点、斑块、划痕、污迹等画面损伤。

人工智能修复增强技术

智能修复，让画面变干净：建立目标检测网络，采用深度神经网络对斑块进行检测和定位；基于运动补偿原理，采用时域去除法，将当前斑块所在帧的前后帧对应位置图像作为参考，补充当前斑块遮挡的区域；利用空域修复法，将无法检测到的细小瑕疵，用空间补差的方式进行消除，并保证时域图像的连续性。

超分辨率，让图像更清晰，通过深度学习网络进行特征自动学习、非线性映射和上变换重建，把低分辨图像放大成高分辨率，提升画面清晰度和细节信息。

视频插帧，让动态更流畅：基于光流的运动估计补偿插帧技术，结合对角线补偿、清晰度增强，实现2倍或4倍的帧率放大，并消除消除运动抖动/拖尾、。

画质增强，让画面更好看：从锐度/清晰度、饱和度/对比度、降噪、灰度级变换（8bit→10bit）、亮度动态范围（SDR→HDR）、色域提升（8bit BT.709→10/12bit BT.2020）等方面提升画面整体质量。

徐小丽最后总结到，修复增强技术的应用，让历史影像有机会以更好的质量呈现。过程涉及的人工智能算法，可以快速提升8K超高清视频节目的产能，加快8K普及的步伐。为用户呈现更高分辨率、更有吸引力的视频内容，丰富用户的视听体验。

面向真实世界应用，仍存在一些挑战。修复增强后的老旧影片即使视频参数符合超高清标准，但是相对于真实拍摄的4K/8K影片，画面质量存在明显的差距。