• 我的订阅
  • 科技

清华团队开源大模型推理引擎“赤兔Chitu”:硬件成本削减50%

类别:科技 发布时间:2025-03-14 17:22:00 来源:浅语科技

快科技3月14日消息,据报道,清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布,开源大模型推理引擎“赤兔Chitu”。这一突破性技术为国产AI芯片的广泛应用和生态建设带来了新的机遇。

“赤兔Chitu”首次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型,解决了FP8精度模型对英伟达Hopper架构(如H100/H200)的硬件依赖。

在A800集群的测试中,赤兔引擎在GPU使用量减少50%的情况下,推理速度提升了3.15倍,显著降低了企业的硬件成本,同时提高了性能输出。

赤兔引擎的智能优化技术能够快速适配不同芯片架构,使国产厂商无需重复开发软件,专注于硬件升级。目前,清程极智已与沐曦、燧原等厂商合作,推出“开箱即用”的推理一体机,广泛应用于金融、医疗等行业。

清程极智CEO汤雄超表示,当前国内在推理引擎这一核心环节仍缺乏生产级开源产品。开源“赤兔”引擎是推动国内AI生态建设的重要一步,将为行业提供更高效、更灵活的技术支持。

清华团队开源大模型推理引擎“赤兔Chitu”:硬件成本削减50%

【本文结束】如需转载请务必注明出处:快科技

责任编辑:鹿角

文章内容举报

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2025-03-14 20:45:07

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

...了来自奇绩创坛的种子轮融资。清昴智能创始团队来自于清华计算机系,在边缘计算和模型自动压缩方向有十余年积累;创始人关超宇曾获清华大学研究生特奖,在研究生期间主导开源了首个自动图
2023-06-25 08:51:00
...愈加清晰。在人才组织层面,清昴智能核心成员主要来自清华大学、华为、阿里等高校和公司。创始人兼CEO关超宇毕业于清华大学计算机系,2021年西尔贝学者奖学金获得者(全球不到百人
2024-06-03 15:23:00
无问芯穹夏立雪:破解算力焦虑,我做了大模型算力领域的“淘宝”丨36氪专访
...业至今的第一感受依旧是——算力不够用。近期,有一家清华系创业公司瞄准了这一痛点。这家公司叫「无问芯穹」,项目发起人则是清华大学电子工程系主任汪玉,创始人是他的学生夏立雪。因此
2024-04-03 18:19:00
技术奇迹!清华突破大模型算力难题 RTX 4090单枪匹马就能跑满血版DeepSeek
快科技2月15日消息,清华团队突破大模型算力难题,这让英伟达情何以堪。据国内媒体报道称,清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目迎来重大更新
2025-02-15 10:52:00
4090笔记本0.37秒直出大片!英伟达联手MIT清华祭出Sana架构,性能秒杀FLUX
...导读】一台4090笔记本,秒生1K质量高清图。英伟达联合MIT清华团队提出的Sana架构,得益于核心架构创新,具备了惊人的图像生成速度
2024-10-18 09:49:00
大模型新趋势之MoE:现状、挑战及研究方向
...加快研发各种新型MoE架构,以提升模型性能或实用性。如清华和微软联合提出MH-MoE5,通过多头机制弥补MoE原始缺陷
2024-11-04 16:00:00
...eek点燃的火种,成为推动智能革命的熊熊烈火。(作者系清华大学计算机系长聘副教授、面壁智能首席科学家)
2025-02-27 21:52:00
智能体不够聪明怎么办?清华&蚂蚁团队:让它像学徒一样持续学习
...解决,而是需要更系统化的方法。在 NeurIPS 2024 上,来自清华大学和蚂蚁集团的研究者针对人工智能体构建方法的通用性和适应性提出了一个新方案
2024-12-11 09:53:00
联想发布端侧AI新技术 PC本地推理能力媲美 OpenAI-mini
...果 —— “联想推理加速引擎”。据了解,这款由联想、清华大学及无问芯穹联合研发的推理引擎,是专为高效AI PC推理而设计的软硬件协同优化平台
2025-05-07 11:10:00
更多关于科技的资讯:
天眼记者Vlog|2025数博会抢先体验
8月27日下午两点,中国国际大数据产业博览会(以下简称“数博会”)专业展在贵阳市国际会议展览中心隆重举行开馆仪式,正式拉开2025数博会的序幕
2025-08-28 06:03:00
清晨7:30,当手机铃声准时响起,拿起手机查看天气预报与空气质量指数——这是一天中我们与大数据的第一次相遇。一次手机支付
2025-08-28 06:03:00
LV美妆精品全球首店落户南京上半年我市共开出首店超200家,其中江苏及以上首店超43%南报网讯(记者黄琳燕)南京首店上新
2025-08-28 07:37:00
大多降价千元左右,有的品牌降了四五千元中高档自行车价格:从“居高不下”到“集体跳水”□南京日报/紫金山新闻记者王国俊近年来
2025-08-28 07:37:00
南报网讯(通讯员张炎张烨陶炎记者徐宁)记者昨天从扬子石化获悉,该公司不久前成功通过裂解炉燃料系统回收碳四,实现资源循环再利用
2025-08-28 07:37:00
河北日报讯(张辉、王继军)日前,由阿特钚锐秦皇岛科技有限公司(以下简称“阿特钚锐公司”)自主研制的国内最大振幅三质体电磁振动给料机发往上海
2025-08-28 07:51:00
首届炒菜机器人大赛精彩回顾 添可食万星厨彰显智能烹饪科技实力
近日,一场汇聚了政、产、学、研顶尖力量“首届中国炒菜机器人大赛暨首都共享中央厨房产业峰会”在北京平谷隆重举行。本次大赛由中国食品工业协会与北京市平谷区人民政府联合主办
2025-08-27 08:54:00
山推(德州)公司:靠“智造”省出大效益!成本降30%销售额反增15%
鲁网8月26日讯(记者 赵洪斌 实习记者 李安琦)8月26日,德州市举行“产业链上的山东好品牌”系列记者见面会第四场,聚焦高端装备产业链
2025-08-27 09:02:00
欧瑞电子:全国60%超算中心都用它!三年营收增速超40%
鲁网8月26日讯(记者 吴美琳 实习记者 李安琦)8月26日,德州市举行“产业链上的山东好品牌”系列记者见面会第四场,聚焦高端装备产业链
2025-08-27 09:03:00
吉镜头|高清大图!第十五届中国—东北亚博览会展馆一一看过来
第十五届中国—东北亚博览会开幕在即A2馆内的吉林市展馆 A2馆内的延边展馆A2馆内的辽源展馆 小米汽车展馆布置完毕特斯拉赛博越野旅行车已经抵达现场 印度尼西亚展馆正在进行最
2025-08-27 09:13:00
近 日 ,DeepSeek发 布DeepSeek—V3.1,基于下一代国产芯片训练。DeepSeek—V3.1采用UE8M0FP8精度训练
2025-08-27 09:14:00
从家庭式代工坊到“厦门品牌” 厦门制造“衣”鸣惊人
独立设计师王在实位于红顶艺术社区的工作室。时装工作室的师傅在制作样衣。(设计师 供图)“金顶奖”设计师曾凤飞的时装作品
2025-08-27 09:22:00
厦门软件园:人工智能企业在这里“拔节生长”
厦门软件园已形成从基础层、技术层到应用层的人工智能全产业体系。(厦门软件园 供图)厦门软件园企业美图公司应用人工智能技术
2025-08-27 09:22:00
从普惠金融看厦门消费金融服务体系
今年5月,“中情中意 消费一夏”购在厦门消费季活动吸引超20万人次打卡,金融活水与企业让利深度融合,吸引市民游客共赴这场夏日消费盛宴
2025-08-27 09:22:00
ZWO振旺联合格林尼治天文摄影大赛,共创全球天文盛事
国内独家冠名赞助,聚焦全球星空影像2025 年 8 月,中国天文摄影领军品牌 ZWO 振旺宣布,正式成为英国格林尼治皇家天文台主办的"第 17 届格林尼治天文摄影师大赛"(Ast
2025-08-27 09:55:00