小米家的“铁蛋”用的什么“芯”

8月10日晚，小米发布会的召开，给人留下印象最深的不是手机如何，而是在发布会最后雷军公布的小米仿生四足机器人——CyberDog，中文名“铁蛋”。

CyberDog（铁蛋）是一款工程探索版的仿生四足机器人。其12个自由度的四足移动平台，具有优越的平衡能力与环境适应能力，对于无规则地形有很好的环境适应性。

搭载视觉感知相机，使CyberDog具备优异的人脸、人体识别与跟踪能力；融合触摸传感器、语音Al模块，APP等可以实现多模态的人机交互，使CyberDog成为用户的陪玩伙伴。在开放更多功能操作与代码后，CyberDog也可以满足机器人表演、娱乐、科教等广泛的行业使用。

铁蛋

仿生四足机器人工程探索版米粉价9999元，将在小米社区开启首批共创体验官招募。最后，小米还宣布：小米机器人实验室正式成立，并邀请机器人领域精英工程师加入，此外小米计划筹建机器人开源社区。

这其中笔者注意到“铁蛋”采用了NVIDIA Jetson Xavier NX边缘AI超级计算机，要知道“铁蛋”的售价是9999元，而这个模块的成本就达到了399美元（约合人民币2600元左右），25%的成本都用在了这里，NVIDIA Jetson Xavier NX究竟有什么过人之处？

NVIDIA Jetson Xavier NX边缘AI超级计算机

01NVIDIA Jetson Xavier NX

首先我们来看一下NVIDIA Jetson Xavier NX的产品信息和性能参数，它的算力为 21 TOPS，分别由10W和15W两个模式，整体功耗非常小，模块尺寸仅为70×45mm（比我们常用的银行卡还要小），但性能却异常强劲。根据小米“铁蛋”的官方宣传图来看，采用的为15W高算力模式。

Jetson Xavier NX两个版本的参数

另外Jetson Xavier NX对外界设备的支持和兼容性也很好：

在CPU方面，配备了6核 Carmel Arm 64位的CPU，拥有6MB L2缓存+4MB L3缓存。GPU方面，拥有384个CUDA和48个Tensor Core的NVIDIA Volta架构，外加两个NVDLA。

不少玩家可能会惊呼，384个CUDA和48个Tensor Core能有多少算力？但对于Xavier系列，算力不止由GPU的CUDA核心提供，评估较为复杂。

Jetson Xavier NX

如果仅看GPU的FP32算力，有845 GFlops，其中48个Tensor Core，提供了6.8TFlops的FP16算力；两个NVDLA（Deep Learning Accelerator），提供FP16和INT8支持。这样总计就有21TOPs的INT8算力，这些只需要消耗15W功耗。如果切换到10W模式，也能提供 14TOPs的算力。

铁蛋的配置

CUDA和Tensor Core熟悉显卡的朋友都比较熟悉，而后面的NVDLA（NVIDIA Deep Learning Accelerator）为NVIDIA开源的一个开放框架，具有很好的可扩展性和配置性，为深度计算提供了一个简单灵活的推理加速解决方案。

NVDLA核心内部架构

NVDLA硬件主要包含卷积核心（Convolution Core）、一维数据处理器（Single Data Processor）、二维数据处理器（Planar Data Processor）、通道数据处理器（Channel Data Processor）、专用内存与数据形状重塑引擎（Dedicated Memory and Data Reshape Engines）。

我们继续说Jetson Xavier NX，内存方面采用了8GB 128bit LPDDR4x内存，带宽为51.2GB/s。LPDDR内存通常被用在移动端产品，相比我们熟悉的DDR系列内存，它最大的特点便是低功耗。

铁蛋全身遍布传感器

Jetson Xavier NX在视频输出方面支持2×4K30编码和2×4K60编码，拥有最多6个CSI摄像头(通过虚拟通道最多36个)，12路(3×4或6×2) MIPI CSI-2接口，并且该模块拥有千兆以太网连接。其中摄像机串行接口2（CSI-2 ）提供了更高的接口带宽和更好的通道布局灵活性，最重要的还是降低了接口功耗，改善了并行难以扩展的问题。

01CybDog——快进到赛博精神世界

我们都知道，这个Jetson Xavier NX模块就相当于“铁蛋”的大脑，那么这个大脑具体能干什么，只是记住操作指令吗？

NVIDIA表示，Jetson Xavier NX是目前全球最小的AI超级计算机，它的计算能力为许多嵌入式边缘计算设备敞开了大门，这些设备对性能需求大，但却收到尺寸、重量、功耗或成本的限制。其中包括小型的商用机器人、无人机、智能高分辨率传感器（工厂物流和生产线）、光学检测、网络录像机、便携式医疗设备以及其他工业物联网系统。

此前在GTC发布会上，NVIDIA发布了一个demo，演示了云原生技术帮助开发者在NVIDIA NGC训练好的模型，即在Jetson Xavier NX设备端上同时运行 4 个任务。左上角是 4 路视频的行人检测，左下角是多人姿态估计，右上角是使用了 BERT 的语音对话机器人，右下角是 Gaze 目光追踪。而这一切都同时在一块树莓派大小的板子上运行。

使用Jetson XAvier NX演示的4个demo

这4个Demo展示出了Jetson Xavier NX在智慧视频分析和机器人应用上的潜力。Demo 中虽总共只有6路视频流，但Jetson Xavier NX实际能进行16路H.264编码的1080P视频流解码。如果使用H.265编码，甚至可以支持到32路。那么左上角的 Demo 就可以用来做人数统计，甚至在加入重识别后可以分析活动轨迹。

而姿态估计的应用就更为广泛，并且在机器人领域中有着更大的价值，可以让“铁蛋”进行手势识别，动作分析，并根据分析结果执行进一步操作指令。

右侧两个技术则提供了构建对话机器人的良好范例。通过Gaze目光追踪，“铁蛋”可以知道用户是在跟自己说话，还是跟旁边的第三者。

当然，在未来机器人的应用远不止这4个demo，Jetson Xavier NX这种高算力低功耗超级计算机的出现，极大的扩展了我们的思路和应用场景。或许在不久的将来，机器人就可以观察我们的情绪，通过AI判断出适宜的对话内容，或许以后再我们不开心的时候，机器人可以“亲手”泡上一杯咖啡，端到我们面前。

AI计算的突破不仅让我们的生活变得更方便，也逐渐变得更有“人情味儿”。正如“铁蛋”的官方名称“CyberDog”，让我们离赛博精神世界又进了一步。