- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
英伟达宣布更新tensorrt-llm
11月16日消息，微软Ignite2023大会已于今天拉开帷幕，英伟达高管出席本次大会并宣布更新TensorRT-LLM，添加了对OpenAIChatAPI的支持。
今年10月，英伟达面向数据中心和WindowsPC，推出TensorRT-LLM开源库。最大的特点是，如果WindowsPC配备英伟达GeForceRTXGPU，TensorRT-LLM可以让LLM在WindowsPC上的运行速度提高四倍。
英伟达在今天Ignite2023大会上，宣布更新TensorRT-LLM，添加OpenAI的ChatAPI支持，并增强DirectML功能，改善Llama2和StableDiffusion等AI模型的性能。
TensorRT-LLM可以通过英伟达的AIWorkbench在本地完成，开发者可以使用这个统一、易用的工具包，在PC或工作站上快速创建、测试和定制预训练的生成式AI模型和LLM。英伟达还为此推出了抢先体验注册页面。
英伟达将于本月晚些时候发布TensorRT-LLM0.6.0版本更新，推理性能提高5倍，并支持Mistral7B和Nemotron-38B等其它主流LLM。
用户可以在8GB显存以上的GeForceRTX30系列和40系列GPU上运行，一些便携式Windows设备也能使用快速、准确的本地LLM功能。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2023-11-16 15:45:21
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
