来源：cell

编辑：Emil，LQ

【新智元导读】最新一期Cell上发表了美国贝勒医学院的华人科学家陈广和李诺博士联合斯坦福大学进行的一项跨界研究：通过探讨生物的脑神经活动机制，来提升人工神经网络的稳健性。

在AI领域广泛应用的机器学习方法从某种意义上来说，是受到了神经生理学的启发而发明出来的。

尽管如今机器学习计算方法和最新成就都已经与生物学上的大脑神经结构完全不同，但是人们还是喜欢不断地将机器学习与生物的大脑作对比。

比如前天三位深度学习之父Hinton、LeCun以及Bengio共同发文探讨了深度学习未来发展的潜力，也在将深度学习与人类做对比，其中人类大脑一个重要的优势就在于在面对新环境时仍然具备出色的鲁棒性（稳健性），不会受到复杂环境及噪音的干扰。（点击图片可进入文章链接）

而对于机器学习而言，不断变化的环境参数及噪音则会对计算产生巨大的干扰，导致结果精度下降。

那人类或者其他动物的大脑是如何在面对新的环境变化及噪音时，保持鲁棒性的？

人或者动物具备的「短期记忆」功能就是大脑鲁棒性的体现。

比如在舞会上，你能够暂时记住同你打招呼的陌生人的名字以及手机号码；在超市，你还能够想起来之前看到的购物清单。

日前，Cell上发表的最新文章，从探究大脑神经机制入手，揭开了其中的奥秘。

7月1日，由美国贝勒医学院的陈广博士、李诺博士与斯坦福大学的博士生Byungwoo Kang和Shaul Druckmann博士等合作，在Cell发表了一篇名为「额叶皮质网络的模块化和鲁棒性」（Modularity and robustness of frontal cortical networks）的文章。

论文讲了什么？

本篇论文主要描述了以下几个特点：

• 跨额叶皮层网络对选择的相关和冗余表征
• 个体的变异性表明，模块化的组织方式对稳健性是必需的
• 动态门控允许脑区之间的交流和分隔
• 冗余的模块表征自然出现在稳健的网络模型中

短期记忆所依据的神经活动是由相互连接的脑区网络维持的。目前我们仍不知道大脑区域如何相互作用以维持持续的活动，同时对网络中部分信息的损坏表现出稳健性。

研究人员同时测量了小鼠额叶上的大型神经元群的活动，以探测大脑区域之间的相互作用。跨脑半球的活动被协调以维持连贯的短期记忆。

在整个小鼠实验中，研究人员发现了额叶皮层网络组织的个体差异性。持续性活动对扰动的稳健性需要有一个模块化的组织：每个脑半球在另一个半球受到扰动时保留持续性活动，从而防止局部扰动的扩散。一个动态的门控机制允许脑半球协调一致的信息，同时门控出损坏的信息。

本研究结果表明，强大的短期记忆是由跨脑区的冗余模块表征介导的。冗余的模块表征自然会出现在学习稳健动态的神经网络模型中。

试验结果

小鼠执行了一项延迟反应任务，它们用胡须辨别触觉刺激的位置（前部或后部），并通过定向舔（「舔左 」或 「舔右」）报告物体位置，以获得水的奖励。感觉指令和行为反应之间有一个延迟时间（1.7秒）。这要求小鼠使用短期记忆来产生正确的选择反应（Figure 1A; STAR Methods）。

本研究在小鼠执行短时记忆行为任务的时候，同时对其大脑两侧前额皮层进行了大规模「神经元群体电活动」的记录以及「光遗传学扰动」。

实验发现两侧前额皮层并行表征了两份相似的短时记忆信息, 并且表征该信息的神经活动呈现出高度的「一致性」。

进一步的实验及小鼠运动视频分析提示两侧活动的协调一致很可能是由两侧神经网络的相互作用形成的，而非其它脑区的共同输入所致。

为了验证这一点，研究人员对两侧脑区的相互作用进行了直接测量。

在记忆阶段的早期用光遗传学手段直接抑制了单侧前额皮层的神经活动，同时观测该扰动对对侧脑区的影响程度。结果发现，有的小鼠表现出高度的模块性，即抑制左侧神经活动对右侧几乎没有影响，抑制右侧神经活动对左侧也几乎没有影响，呈现两个模块。

而另外一些小鼠则缺乏模块性，左侧强烈地支配右侧的活动而右侧却不影响左侧，呈现不对称的单一模块。

总体上不同小鼠拥有不同的模块化程度，呈近似连续的变化。

进一步分析发现，强烈不对称的单一模块表现出两侧活动的高度一致性，而相对独立的双模块系统则表现出较低的一致性。表明两侧活动的协调确实与两侧皮层的相互作用有关。

进一步实验发现不同小鼠的这种差异化的及左侧优势的两侧脑区间相互作用并非完全天生的，改变行为任务的结构可以将左侧优势反转为右侧优势。

上述结果说明脑区间低相互作用的模块化防止破坏信息的扩散（模块性）对于稳健性是必要的，但同时未扰动脑区的正常记忆信息又需要通过脑区间的较强相互作用来补救（纠错性，error-correction）扰动脑区被破坏了的信息。

最后，研究人员通过训练循环神经网络（recurrent neural network, RNN）执行同样的行为任务来探索什么样的网络架构可以成为形成稳健网络的解，以及什么条件下在人工训练的神经网络中也可以重复出实验中观察到的现象和原理。

研究表明，要想神经网络在该短时记忆任务中拥有稳健的表现需要满足三个基本条件，即两侧皮层网络间连接的模块化初始，模块化训练以及神经元的非线性特性。

在此训练好的神经网络中也同时涌现出两侧网络间的状态依赖门控现象。并且类似于实验研究，改变训练中两侧网络感觉输入的相对强度可以改变人工神经网络的对称性结构。

机器学习可能会因为这项研究获得新的突破。

参考资料：

https://www.cell.com/cell/fulltext/S0092-8674(21)00656-5?_returnURL=https%3A%2F%2Flinkinghub.elsevier.com%2Fretrieve%2Fpii%2FS0092867421006565%3Fshowall%3Dtrue

https://www.163.com/dy/article/GDTKKK460532BT7X.html