H100推理能力飙升8倍！英伟达官宣开源TensorRT-LLM，支持10+模型

本文内容来自于网络，若与实际情况不相符或存在侵权行为，请联系删除

英伟达的最新开源软件TensorRT-LLM，近日引发广泛讨论。这款软件在H100上为大型语言模型的推理性能带来了惊人的提升，吞吐量最高可提高8倍。这一消息对于那些一直面临着部署和推理难题的开发者们来说，无疑是一个令人振奋的消息。下文将详细介绍TensorRT-LLM的特点和优势，以及它如何改变大型语言模型的推理现状。

传统上，大型语言模型的部署和推理一直是一项具有挑战性的任务，不仅难度大，而且成本高。然而，TensorRT-LLM的出现彻底改变了这一格局。这款开源软件将TensorRT的深度学习编译器、FasterTransformer的优化内核、预处理和后处理等功能封装在一个简单的Python API中，让开发者们可以轻松部署、运行、调试各种大型语言模型，同时获得顶尖性能表现。

不再需要深入的C++或CUDA专业知识，TensorRT-LLM为开发者提供了一个高度模块化的解决方案。

TensorRT-LLM通过多种方式优化了Nvidia GPU上的大型语言模型推理性能。首先，它引入了针对当前十多个大型模型的优化，让开发者们能够立即运行这些模型。其次，TensorRT-LLM作为一个开源软件库，支持在多个GPU和多个GPU服务器上同时进行推理，通过英伟达的NVLink和InfiniBand互连连接这些服务器，进一步提高了性能。

第三，TensorRT-LLM引入了全新的调度技术，称为"In-flight批处理"，允许不同模型任务独立于其他任务进入和退出GPU，有效提高了并行性能。最后，TensorRT-LLM通过优化，可以降低模型推理时的内存占用和延迟，进一步提高了性能。

支持丰富的大型语言模型生态是TensorRT-LLM的又一亮点。它使用张量并行技术将模型权重分配到多个设备上，从而简化了多GPU协同工作的过程，使得规模最大、最先进的语言模型可以实时提供响应，无需开发人员手动拆分模型或协调执行。

TensorRT-LLM还包括了一系列优化、可立即运行的大型语言模型，如MetaLlama2、OpenAIGPT-2、GPT-3、Falcon、MosaicMPT、BLOOM等，这些模型都可以通过TensorRT-LLM的Python API轻松调用，满足各行各业的不同需求。

在动态任务负载下，TensorRT-LLM也表现出色。大型语言模型通常用于多种看似不同的任务，从简单问答响应到文档摘要生成，工作负载高度动态，输出大小需求各异。

为了高效处理这些任务，TensorRT-LLM引入了"In-flight批处理"技术，将整个文本生成过程分解为多次执行迭代，从而提高GPU使用率，实际请求基准的吞吐量至少增加一倍。

此外，TensorRT-LLM还提供了H100TransformerEngine功能，可有效降低大型模型推理时的内存消耗和延迟。通过将模型权重转换为新的FP8格式，TensorRT-LLM能够量化模型，减小模型在GPU内存中的占用空间，从而在执行过程中节省时间。

这一过程无需任何代码编写，非常方便。

虽然TensorRT-LLM尚未正式发布，但用户已经可以申请抢先体验版本。英伟达也计划将TensorRT-LLM集成到NVIDIA NeMo框架中，为企业客户提供更安全、稳定、可管理的企业级AI软件平台。

Reddit上的网友对于TensorRT-LLM的推出展开了激烈的讨论。他们纷纷猜测TensorRT-LLM对LLM的硬件优化将带来何种提升，并对其潜在意义进行了热烈的争论。

有人认为这将有助于英伟达增加H100的销量，但也有人认为，对于使用RTX GPU的用户来说，TensorRT也可能带来好处。从更广泛的角度来看，随着大型语言模型的不断发展，专门为其设计的硬件优化可能成为未来的趋势。

综上所述，TensorRT-LLM的发布无疑是一次重大的技术突破，将为大型语言模型的部署和推理带来革命性的改变。不仅提高了性能，还降低了成本，让更多的开发者能够轻松应对大型语言模型的挑战。