- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
技术奇迹！清华突破大模型算力难题 RTX 4090单枪匹马就能跑满血版DeepSeek
快科技2月15日消息，清华团队突破大模型算力难题，这让英伟达情何以堪。
据国内媒体报道称，清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目迎来重大更新，成功打破大模型推理算力门槛。
此次KTransformers项目更新带来重大突破，支持在24G显存（4090D）的设备上本地运行DeepSeek-R1、V3的671B满血版。
KTransformers项目的核心在于异构计算策略：稀疏性利用：MoE架构每次仅激活部分专家模块，团队将非共享的稀疏矩阵卸载至CPU内存，结合高速算子处理，显存占用压缩至24GB。
量化与算子优化：采用4bit量化技术，配合Marlin GPU算子，效率提升3.87倍；CPU端通过llamafile实现多线程并行，预处理速度高达286 tokens/s。
CUDA Graph加速：减少CPU/GPU通信开销，单次解码仅需一次完整的CUDA Graph调用，生成速度达14 tokens/s。
这带来了怎样的后果呢？传统方案：8卡A100服务器成本超百万，按需计费每小时数千元。
现在，单卡RTX 4090方案：整机成本约2万元，功耗80W，适合中小团队与个人开发者。
NVIDIA RTX 4090运行DeepSeek-R1满血版的案例，不仅是技术奇迹，更是开源精神与硬件潜能结合的典范。它证明：在AI狂飙的时代，创新往往源于对“不可能”的挑战。
【本文结束】如需转载请务必注明出处：快科技
责任编辑：雪花
文章内容举报
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2025-02-15 14:45:06
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
