机器在雨雾天“看不见”怎么办？南大研究团队提出“感内动态计算”

机器在雨雾天“看不见”怎么办？现代快报记者从南京大学了解到，面对在低对比度视觉环境下识别目标的挑战，南京大学物理学院梁世军副教授和缪峰教授领导的团队创新提出了“传感器内动态计算”概念。通过在基于新型材料结构的传感器内集成更多计算与信息处理功能，该技术能够在对比度变化的环境中始终保持对目标的精准识别和高鲁棒追踪。该工作推动了智能机器视觉技术的发展，有望在多个领域内实现其革新应用。

在雨雪大雾天气出行时，路上的行人、非机动车等目标物往往难以分辨，造成交通安全隐患。这是由于在这些特殊气象条件下，来自目标物的光强与周围背景光强非常接近，整体视野内图像的对比度偏低，难以有效识别出目标。类似的情况也发生在夜间等光照条件不理想的场景下，例如在昏暗的走廊与街巷中，来自人和物体的反射光强与周围背景反射光强都比较弱。在上述这些低对比度光学环境下，目标物的轮廓与边缘等关键特征模糊，极大增加了在背景环境中对目标进行有效分辨和识别的难度。

机器视觉是人工智能正在快速发展的一个分支，简单说来就是用机器代替人眼来实现目标识别等功能，在工业自动化、无人驾驶、智慧城市等众多领域有着广泛应用。现有机器视觉系统（前端图像传感器+后端处理器）在低对比度环境下，主要通过在后端软件处理过程中，人为增强图像的对比度来提高目标的区分度，或者通过增加前端传感器内所有像元的感光度和延长曝光时间，这些方式不仅会拖慢速度和引入更多噪声，而且会增加后端算力负担。对此，一个可行的方案是在光电传感器进行探测的同时，就在传感器内部实现对低对比度环境内目标特征的放大与增强，用特征增强后的图像取代原始低对比度图像，这样利用后端处理器或神经网络进行目标识别时，将有望显著提升识别准确率和鲁棒性。

针对上述挑战，南京大学物理学院梁世军副教授、缪峰教授团队通过在传感器内引入更多计算与信息处理功能，首次提出传感器内动态计算范式，推动智能机器视觉技术功能升级与应用拓展。团队通过原理性实验验证，实现了低对比度光学场景下弱目标特征的准确提取，展现了对弱目标的鲁棒、精确的识别与追踪能力。该动态计算范式的硬件实现基于石墨烯/锗异质集成构筑的光电响应度多端口可调控感光器件。通过在相邻器件之间引入信号交互与关联控制，根据图像局域光强梯度动态调控卷积核权重，形成可自适应图像内容的传感器内动态卷积计算单元。

相关研究成果以“In-sensor Dynamic Computing for Intelligent Machine Vision”（面向智能机器视觉的传感器内动态计算）为题于2024年2月8日在线发表在国际电子学领域顶级期刊Nature Electronics 《自然·电子学》上。同期《自然·电子学》“研究简报（Research briefing）”栏目以“Pixel-Correlated Computing for Detecting and Tracking Targets in Dim Lighting（用于弱目标检测与追踪的像素关联计算）”为题，对该研究成果进行了专题报道，评价该工作展示了“一种先进的感内计算技术（an advanced form of in-sensor processing technology）”。由于这类材料与器件的制备均可采用较为成熟的工艺，该技术有望实现大规模芯片级集成与系统级应用。

据了解，该动态关联计算范式革新了传统图像传感阵列中每个像元彼此独立工作的静态传感模式，为智能机器视觉系统在复杂与极端光学场景中的弱目标精准探测提供了通用且可行的技术途径。

现代快报/现代+记者 于露 综合南京大学官微

（图源 南京大学官微）