英伟达推出 Tensor RT-LLM，使大语言模型在搭载 RTX 的 PC 平台上运行速度提高 4 倍

据 IT 之家消息，10 月 18 日，英伟达宣布推出 TensorRT-LLM 开源库，旨在提升大型语言模型（LLM）在本地 Windows PC 上的性能。据悉，这个库之前是为数据中心发布的，现在也可以用于 Windows PC。最大的特点是，如果 Windows PC 配备英伟达 GeForce RTX GPU，TensorRT-LLM 可以让 LLM 在 Windows PC 上的运行速度提高四倍。

此外，英伟达今天还在新的 GeForce 驱动更新中增加了一些基于人工智能的功能。其中包括新的 1.5 版本的 RTX Video Super Resolution 功能，可以在观看在线视频时提供更好的分辨率提升效果和更少的压缩效果。英伟达还为 Stable Diffusion Web UI 增加了 TensorRT 人工智能加速功能，让拥有 GeForce RTX GPU 的用户可以比正常情况下更快地从人工智能图片生成器那里获得图像。

原文链接