单张显卡跑出3D宇宙？李飞飞团队突破算力极限，传统渲染或遭打击

在AI领域，生成式模型正以惊人的速度进化。

斯坦福大学教授李飞飞联合创立的WorldLabs公司，最近推出了一个名为RTFM（Real-TimeFrameModel）的全新模型。

它能够实时生成持久且3D一致的虚拟世界，而且只需在单个H100GPU上运行！

这可不是科幻电影里的场景，而是实实在在的技术突破。

上个月，团队刚发布空间智能模型Marble，能从一张图片生成宏大3D环境；如今RTFM更进一步，实现了实时、持续的渲染，让交互式虚拟体验离现实更近一步。

RTFM的核心思路非常巧妙：它不像传统3D图形那样显式构建网格或点云，而是直接以2D图像为输入，通过神经网络自动生成不同视角的新图像。

简单说，它是个“学习型渲染器”通过大量视频数据训练，自回归地预测下一帧画面。

在这个过程中，模型隐式学会了处理3D几何、光影反射等复杂效果，完全靠数据驱动，而非人工设计算法。

这种设计让它特别高效，既能从稀疏照片重建真实场景，又能生成逼真的新视角，模糊了“重建”和“生成”的界限。

比如，输入多张图片时，它更像精准重建；输入少时，则靠想象力补全，更像生成。

我个人觉得，这种端到端的学习方式代表了AI发展的一个趋势：用数据代替规则，让模型自己发现世界的物理规律。

这不仅降低了开发门槛，还让技术更具扩展性。正如团队引用的图灵奖得主RichSutton的观点，简单可扩展的方法最终会主导AI，因为算力成本会持续下降。

RTFM正是这样的例子：它设计时就以高效为目标，确保在现有硬件上就能预览未来技术的雏形。

世界模型的算力挑战与RTFM的持久性突破

生成式世界模型听起来酷炫，但背后是巨大的算力需求。

举个例子：要实时生成4K分辨率、60帧/秒的交互式视频，每秒得输出超10万个token这相当于每秒生成一整本《哈利·波特与魔法石》的文字量！

如果还要保证一小时以上的交互一致性和持久性，模型得处理上亿token的上下文。

以当前计算基础设施，这既不经济，也不可行。

正因如此，WorldLabs团队瞄准了“在单张H100GPU上实现实时帧率”的目标，让技术提前落地。

RTFM的另一个亮点是解决了“世界持久性”难题。

在传统生成模型中，一旦视线移开，场景可能消失或重置；但RTFM通过为每帧图像建模3D姿态（位置和朝向），配合“上下文调度”机制，让世界即使长时间交互也能保持稳定。

这意味着，你可以离开一个虚拟场景再返回，它依然原封不动这种特性对游戏、虚拟现实等领域至关重要。

技术上，它通过注意力机制从隐式世界表示中读取信息，无需显式存储所有数据，从而兼顾了效率与一致性。

从行业角度看，RTFM的推出可能加速渲染技术的变革。

传统图形渲染依赖人工设计的网格和算法，扩展性有限；而RTFM这类学习型渲染器直接利用数据训练，能随算力提升不断优化。

团队相信，生成式世界模型未来对计算的需求可能超过大语言模型，但随着硬件进步，成本下降会让它更普及。

在我看来，这不仅是技术迭代，更是思维转变AI正从“辅助工具”升级为“世界构建者”，未来或许每个人都能用简单输入创造属于自己的3D宇宙。