- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
NVIDIA RTX显卡AI推理提速5倍！
11月16日消息，正在举行的微软Iginte全球技术大会上，微软发布一系列AI相关的全新优化模型、开发工具资源，帮助开发者更深入地释放硬件性能，拓展AI场景。
尤是对于当下在AI领域占据绝对主导地位的NVIDIA来说，微软这次送上了一份大礼包，无论是面向OpenAIChatAPI的TensorRT-LLM封装接口，还是RTX驱动的性能改进DirectMLforLlama2，以及其他热门大语言模型(LLM)，都可以在NVIDIA硬件上获得更好的加速和应用。
其中，TensorRT-LLM是一款用于加速LLM推理的库，可大大提升AI推理性能，还在不断更以支持越来越多的语言模型，而且它还是开源的。
就在10月份，NVIDIA也发布了面向Windows平台的TensorRT-LLM，在配备RTX30/40系列GPU显卡的台式机、笔记本上，只要显存不少于8GB，就可以更轻松地完成要求严苛的AI工作负载。
现在，TensorRT-LLMforWindows可以通过全新的封装接口，与OpenAI广受欢迎的聊天API兼容，因此可以在本地直接运行各种相关应用，而不需要连接云端，有利于在PC上保留私人和专有数据，防范隐私泄露。
只要是针对TensorRT-LLM优化过的大语言模型，都可以与这一封装接口配合使用，包括Llama2、Mistral、NVLLM，等等。
对于开发者来说，无需繁琐的代码重写和移植，只需修改一两行代码，就可以让AI应用在本地快速执行。
↑↑↑基于TensorRT-LLM的微软VisualStudio代码插件——Continue.dev编码助手
本月底还会有TensorRT-LLMv0.6.0版本更新，将会在RTXGPU上带来最多达5倍的推理性能提升，并支持更多热门的LLM，包括全新的70亿参数Mistral、80亿参数Nemotron-3，让台式机和笔记本也能随时、快速、准确地本地运行LLM。
根据实测数据，RTX4060显卡搭配TenroRT-LLM，推理性能可以跑到每秒319tokens，相比其他后端的每秒61tokens提速足足4.2倍。
RTX4090则可以从每秒tokens加速到每秒829tokens，提升幅度达2.8倍。
基于强大的硬件性能、丰富的开发生态、广阔的应用场景，NVIDIARTX正成为本地端侧AI不可或缺的得力助手，而越来越丰富的优化、模型和资源，也在加速AI功能、应用在上亿台RTXPC上的普及。
目前已经有400多个合作伙伴发布了支持RTXGPU加速的AI应用、游戏，而随着模型易用性的不断提高，相信会有越来越多的AIGC功能出现在WindowsPC平台上。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2023-11-17 00:45:10
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
