当我们拿起一枚硬币或旋开一个瓶盖时，我们的大脑在不断融合来自眼睛和手指尖端的信息，几乎毫不费力地完成这些微妙的动作。
但对于机器人来说，这种看似简单的协调一直是个难题。

最近的突破性研究表明，通过结合视觉和触觉的预训练方法，科研人员正在帮助机器人逐步掌握与人类相当的灵巧度。
这项工作发表在权威期刊《科学机器人学》上，来自中国研究团队的创新成果展示了一条全新的技术路径。

传统的机器人操作系统几乎完全依赖摄像头，当机械手指挡住视线时，系统就会陷入困境，就像一个蒙上眼睛的人试图系鞋带。
而人类之所以能够在光线不足或视线被遮挡的情况下完成复杂任务，正是因为我们的大脑能够无缝地整合视觉信息和触觉反馈。

在仿真和实际实验中观察到的典型失效模式。(A) 由于扭矩不足（左图）和不自然的操作方式（用拇指指甲刮开瓶盖，右图），小瓶盖难以旋转。(B) 手指卡在水龙头把手的狭窄缝隙中。(C) 手腕抬起幅度有限或手指卡住导致拉杆滑动失败。(D) 在桌面上重新调整物体位置时，物体被意外推开。(E) 在手中重新调整物体位置时，物体从手中滑落。图片来源：叶琦

双管齐下的训练方法

研究团队采用了一个分阶段的革新性方案。
首先，机器人的人工智能大脑通过观看数千个小时的人类操作视频进行预训练，这些视频记录了人类赤手或戴手套完成各种任务的全过程。

在这个阶段，系统学会了将视觉线索（比如手指如何接近物体）与触觉信息（手指何时真正接触表面）联系起来。
这种多模态学习方式让机器人建立起对物理世界的更全面理解。

第二阶段是在虚拟环境中的集中训练。
研究人员让机器人同时学习多项技能，而不是逐个顺序学习，这大大加快了学习进度。

值得注意的是，整个系统使用的硬件成本极低：一台标准网络摄像头和一些基础触觉传感器就足够了。
这种可及性使得这项技术有望快速走出实验室，应用到各种商业机械手上。

从模拟到现实的飞跃

研究团队对机械手进行了八项不同任务的测试。
在五项它们已经在虚拟环境中练过的任务上，成功率高达百分之八十五，包括拧开瓶盖和滑动控制杆等复杂操作。

更令人印象深刻的是，机器人还能成功完成从未见过的新任务，比如削铅笔和拧螺丝。
研究人员故意改变光照条件和更换传感器来测试系统的鲁棒性，机器人在这两种极端环境下都表现稳定。

这种视觉触觉融合的关键在于研究团队在人工智能架构中构建了一个类脑神经元单元。
这个设计巧妙地模仿了人脑感觉整合的方式，让机器人即使在手指遮挡摄像头的情况下也能追踪物体的位置。

研究论文中的数据表明，这种多模态预训练方法带来了显著的改进：学习效率更高，从虚拟模拟到现实操作的性能差距更小，操作行为更像人类，对新物体和未见过的任务的适应能力也更强。

可以说，这项研究解决的不仅是技术问题，更是触及了人工智能感知系统的根本架构。
通过让机器人学会像我们一样融合多种感官信息，它们能够学得更快，适应能力也更强。

未来的研究方向包括让机器人感知抓握物体的力度大小。
一旦机器人能够实时调整握力，避免捏碎易碎物品或松手放掉物体，它们的操作能力将进一步逼近人类水平。

这场静悄悄的革命表明，机器人灵巧操作的未来不在于更复杂的硬件，而在于更聪明的大脑。