作者/文龙

2017 年，谷歌推出了 AlphaGo Zero，以 100:0 的成绩轻松击败上一代打败了李世乭的 AlphaGo。该版本无需任何人工标注，仅给出围棋的基本规则，就能够凭借强化学习技术，通过与自己对战数百万次，从头生成策略，展示了 AI 强大的自主学习能力。

如果将芯片的电路板想象成 2D 网格棋盘，将布局规划需要遵守的密度限制和路由拥塞约束类比为围棋规则，将功耗、时序、面积、线长等优化指标类比成输赢的条件，那么，找到最佳的芯片布局就是赢得一盘围棋比赛。

2020 年，谷歌研究人员类比提出了一种基于深度强化学习的芯片布局方法，能够在 6 小时内设计出可以与人类设计相媲美甚至是优于人类设计的芯片布局，并将应用于谷歌下一代 AI 芯片——张量处理器（TPU）的设计。具体细节可参考机器之心之前的报道《6小时完成，Jeff Dean领衔AI设计芯片方案登Nature，谷歌第四代TPU已用》。

从 AlphaGo 到 AI 设计芯片布局，体现了人类智能的一项重要能力：类比。我们拥有从已有问题中抽象出解决方案应用于新的问题的能力，也就是所谓的迁移学习。这也是为什么可以将芯片布局问题重新定义为棋盘游戏，并用类似的方式去解决。

这项研究在前段时间登上 Nature 后再次引发热议，不少媒体称谷歌正在「用 AI 设计 AI」，也有不少评论指出，布局规划问题只是芯片后端设计的一部分，相关的自动化工具其实并不新鲜，谷歌只是利用强化学习大幅缩短了设计时长。

事实上，谷歌早有更深层的布局。在其今年 2 月初发表的论文 Apollo：Architecture Exploration 中，就讲述了他们的名为 Apollo 的研究项目使用迁移学习探索通用的芯片架构。研究人员称 Apollo 为「第一个可迁移架构探索的基础框架」，它从越多不同功能的芯片上学习，越能更好地探索出可能的芯片体系结构。具体细节可参阅 ScienceAI 之前的报道《Google：可迁移架构探索，用AI设计AI芯片》。

如果说「布局布线」在芯片设计中属于低层次的设计决策，那么芯片「架构探索」的层次则要更高；如果说前者更偏向于设计，那么后者更接近创造。但无论哪种，都无法完全脱离人类，人类与人工智能之间的协同可能是最好的创造力。

谷歌用 AI 究竟实现了怎样的芯片设计

或许我们并不知道围棋中的「气眼」该怎么判断，但我们都知道围棋的获胜规则是「比谁围的面积大」；虽然芯片在我们生活中发挥着重要作用，但是我们对它却知之甚少。

单看上面的描述，你可能并不清楚谷歌用 AI 究竟做了一件什么事。因此，在这里，我会做一个相对接近的类比，如果你对进一步的如何实现的细节感兴趣，可以阅读链接报道或原论文。

芯片的设计过程可分为两个部分：前端设计（也称逻辑设计）和后端设计（也称物理设计）。实际上，这两个部分也并没有严格统一的界限。逻辑设计依据芯片想要实现的功能而来，而物理设计保证了逻辑设计的有效以及其他性能。

这就像从零搭建房屋，首先，我们需要确定房屋的功能：接待、工作、饮食、睡觉、洗漱；然后，依照这些功能划分出客厅、书房、厨房餐厅、卧室、卫生间，并为不同的空间添置相应的家具，这就是前端设计，可以简单地认为使用硬件描述语言将加减乘除等模块功能以代码形式描述，再将代码翻译成实际的电子元器件；至于客厅、卧室、卫生间等空间的位置布局，以及房屋的水管、电线的走向，属于后端设计的布局布线。

虽然到了后端设计的阶段，芯片的功能设计已经完成，但布局会对速度和功耗产生巨大影响。

谷歌的 Anna Goldie 表示：「过去，布局规划是一项高度手动且耗时的任务。团队会将较大的芯片分成块并行处理各个部分，寻找改进空间。」但现在，该团队的 AI 系统可以在 6 小时内为芯片规划布局，并且在功耗、性能和芯片密度方面与人类耗时数月制作的布局相当甚至更优。

那么， Apollo 项目做了些什么呢？

我们前面提到芯片依据功能设计，事实上，可以通过芯片设计对专门的一种神经网络的加速，但与此同时，可能会对其他神经网络有一定程度的降速。Apollo 就是通过在为不同神经网络设计的芯片上进行架构探索，寻找最佳的通用架构。

设想一下，如果将厨房和餐厅分开，每个空间都有既定的舒服的空间设计，但如果想将两个空间合到一个空间，必然会损失一些舒适性，但也存在一种可以很好满足两者功能又不丧失过多舒适度的空间设计。

该论文的主要作者 Amir Yazdanbakhsh 是这样评价这两项工作的：「我会看到我们的工作和布局布线工作是正交且互补的。相比于芯片中的布局布线，架构探索的层次要更高。」他认为架构探索存在更高性能的改进余地。

Reward is enough 但仍需人类智能

强化学习设计 AI 芯片，很难不让人联想到同为谷歌团队前段时间发表的题为《Reward is enough》的论文。作者从已经开发出的可以在围棋等竞赛中超越人类的强化学习智能体出发，认为奖励最大化和试错经验足以培养表现出与智力相当的行为，并由此得出结论，强化学习作为基于奖励最大化的人工智能分支，可以导致通用人工智能的发展。具体内容可参考机器之心之前的报道《实现AGI，强化学习就够了？Sutton、Silver师徒联手：奖励机制足够实现各种目标》。

强化学习由三个关键要素组成：环境、智能体和奖励。智能体通过执行动作改变自己和环境的状态，再根据状态离目标的程度对其进行奖励或惩罚。在许多强化学习问题中，智能体没有环境的初始知识，从随机动作开始，根据收到的反馈学习，制定出最大化奖励的策略。

创建 AI 有两条路径，其一是在计算机中复制智能行为，比如受大脑视觉系统启发的计算机视觉可以识别物体；而另一条更具挑战的是，重新创建一种可以产生自然智能的简单而有效的规则。

谷歌研究人员就选择了第二条路，假设「奖励最大化足以驱动自然智能和人工智能中至少大部分的智能行为」，并用自然选择理论进行佐证。

这篇论文在社交媒体上引发了激烈的争论，评论从完全支持到彻底反对，各自都提出了有效的主张。但真相应该介于两者之间，自然进化证明奖励假说在科学上是有效的，但是实施纯奖励方法达到人类水平的智能有非常高的要求。

研究人员在他们的论文中进一步写道：「根据我们的假设，通用智能可以被理解为，通过在单一、复杂的环境中最大化单一奖励来实现。」

「复杂」一词就是假设与实践相背离的地方。想象一下使用强化学习来复制进化并达到人类水平的智能需要什么。首先，您需要模拟世界。但是，要模拟什么尺寸级别的世界呢？我们是否有这个算力？即使我们的确有计算能力来创建这样的模拟，我们又能否准确地表示世界的初始状态，还是让算法随机选择？

另外，既然是单一奖励，奖励的设计就变得格外重要。如果没有正确的奖励，强化学习智能体可能会陷入无限循环，做愚蠢而无意义的事情。谷歌团队之所以可以用强化学习模型实现高效的芯片布局规划，正是因为正确地将奖励设计为「线长、拥塞和密度的加权总和」，以及拥有足够的计算能力。

理论上，仅奖励对任何一种智能都足够。但在实际过程中，环境复杂性、奖励设计之间存在权衡。

鉴于问题的复杂性，解决此类问题很有可能仍将需要人类智能、机器智能和高性能计算的结合。就像 AI 芯片设计系统中使用的监督学习模型，还需要人工标注数据。

如果没有高质量的训练数据，监督学习模型最终会做出糟糕的推断。为此，谷歌团队创建了「一个包含 10,000 个芯片布局的数据集，其中输入是与给定布局相关的状态，标签是该布局的奖励。」

AI + 人类 = 创造力

我们人类使用各种方式来克服大脑的极限。我们无法解决较大的复杂的问题，但可以设计模块化、分层的系统来划分和克服复杂性。相反，人工智能可以直接求解复杂问题，得到的结果自然与人类的有所出入。我们可以从 AI 的创新性结果中得到启发，但是否可以说 AI 具有创造力呢？

关于什么是创造力，不同人有不同的看法。在科学研究领域，Mark Runco 和 Garrett Jaeger 在 2012 年共同撰写的文章《The Standard Definition of Creativity》中进行了总结：「标准定义是两方面的：创造力同时需要原创性和有效性。」

如果从这一标准定义出发，人工智能是满足的。但它存在一个大的 Bug ，那就是 AI 创造出的结果与输入有强相关，那是谁输入的呢？人类。

牛津大学的数学家 Marcus du Sautoy 教授曾分享说，人工智能的作用是「推动人类创造力的催化剂」。机器和人类的合作产生了令人兴奋的结果，如果单独工作，可能不会开发出新颖的方法。与其将人工智能视为取代人类创造力，不如研究如何将人工智能用作增强人类创造力的工具。

IT 咨询公司埃森哲的两位高管 Paul Daugherty 和 James Wilson 也认为，人工智能应该被称为「增强型智能」，因为最好的结果是人与机器相辅相成。卡斯帕罗夫法则（Kasparov’s Law ）让我们意识到，强大的流程在任何创造性活动中的重要性，没有任何智能技术能够替代人类的贡献。

人工智能已经开始自动化细节任务，为人们腾出时间去做真正的创造性工作：创意生产。正如谷歌的强化学习芯片设计师所展示的那样，人工智能硬件和软件的创新将继续需要抽象思维、找到正确的问题来解决、培养对解决方案的直觉，并选择正确的数据来验证解决方案。

归根结底，这并是一个「人工智能超越人类」或「人工智能创造更智能的人工智能」的故事。更确切地说，它是人类寻找方法将人工智能用作道具来克服自己的认知限制并扩展其能力的一种表现。如果存在良性循环，那就是人工智能和人类寻找更好的合作方式之一。

参考内容：

https://bdtechtalks.com/2021/06/14/google-reinforcement-learning-ai-chip-design/amp/

https://ai.googleblog.com/2020/04/chip-design-with-deep-reinforcement.html

https://ai.googleblog.com/2021/02/machine-learning-for-computer.html

https://venturebeat.com/2021/06/20/evolution-rewards-and-artificial-intelligence/

https://www.marpipe.com/blog/what-is-creativity

https://mindmatters.ai/2021/06/can-ai-design-ai-responding-to-googles-latest-tech/

https://www.newscientist.com/article/2280321-google-is-using-ai-to-design-processors-that-run-ai-more-efficiently/

https://www.digitaltrends.com/computing/google-artificial-intelligence-designs-microchips/

https://www.forbes.com/sites/bernardmarr/2020/02/28/can-machines-and-artificial-intelligence-be-creative/?sh=7ea7fc345803

https://zhuanlan.zhihu.com/p/85063131