多目标定位总翻车？UIC博士解耦推理与框预测，无幻觉还省算力

烽火星察

匠心出品

同祖国并肩望复兴景

大家好欢迎收看【烽火点评】，视觉定位任务中，传统 MLN 模型在处理多目标场景时面临推理成本上升和幻觉问题导致 F1 分数下降的挑战。

UIC 博士生康伟泰提出的新模型通过分离推理与框预测模块解决这一问题，其结构类似 Data2Vec 的编码器 - 解码器架构，编码器和解码器均为掩码语言模型，输入图像和语言但不做自回归。

提取掩码语言模型的隐藏状态作为下一个模型的键值对，下一个模型输入框提案通过交叉注意力做二分类。

这种设计分离了推理与定位过程，易于训练且能充分利用现有检测器如 SAM，避免自回归和幻觉问题，训练方式更为优雅。

多模态模型的发展速度慢于大语言模型是合理现象，因为语言是人类定义的，语义明确易于学习，而视觉来自自然，没有明确语义更难处理。

统一模型被认为是最有前景的未来方向，当前图像编辑与生成领域已看到理解对生成的帮助，但生成对理解的反哺还不明显，期待更优雅的模型结构支持统一模型和数据，充分发挥两者优势。

近期研究中，Uni-X 架构采用两端分离中间共享的设计，分离层处理不同模态的早期特征提取和最终 Token 投射，共享层专注高维语义融合，既避免梯度冲突又提升计算效率。

NEO-unify 原生架构直接处理像素与文字，无需视觉编码器或变分自编码器，实现端到端统一。

LatentUM 通过共享隐空间消除视觉理解与生成间的像素中介，支持交错式跨模态推理。

UniPath 框架则通过自适应路径选择协调理解与生成能力，提升推理效率与性能。

今年 CVPR 上的亮点研究包括苏凡的离散多模态标记引擎模型，该模型离散 Token 可自回归且并行，适合图像生成，但离散生成仍落后于对比学习，需要更好的范式。

凯明将对比学习引入图像领域的论文值得关注，可能启发下一代统一模型。

在找工作方向上，康伟泰不固定研究领域，认为技术发展快提前定方向不准确，应关注市场和技术数据成熟度。

工作中更看重领导层懂技术且重视技术，而非纯产品经理主导，希望与懂技术的人沟通，对公司规模没有特别要求。

他有考虑国内大厂，但因信息不足，欢迎与国内公司沟通以补足信息差寻找机会。

今天的【烽火点评】到这就要结束了，期待与大家共阅下期内容，我们下个文章见