• 我的订阅
  • 科技

清华团队开源大模型推理引擎“赤兔Chitu”:硬件成本削减50%

类别:科技 发布时间:2025-03-14 17:22:00 来源:浅语科技

快科技3月14日消息,据报道,清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布,开源大模型推理引擎“赤兔Chitu”。这一突破性技术为国产AI芯片的广泛应用和生态建设带来了新的机遇。

“赤兔Chitu”首次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型,解决了FP8精度模型对英伟达Hopper架构(如H100/H200)的硬件依赖。

在A800集群的测试中,赤兔引擎在GPU使用量减少50%的情况下,推理速度提升了3.15倍,显著降低了企业的硬件成本,同时提高了性能输出。

赤兔引擎的智能优化技术能够快速适配不同芯片架构,使国产厂商无需重复开发软件,专注于硬件升级。目前,清程极智已与沐曦、燧原等厂商合作,推出“开箱即用”的推理一体机,广泛应用于金融、医疗等行业。

清程极智CEO汤雄超表示,当前国内在推理引擎这一核心环节仍缺乏生产级开源产品。开源“赤兔”引擎是推动国内AI生态建设的重要一步,将为行业提供更高效、更灵活的技术支持。

清华团队开源大模型推理引擎“赤兔Chitu”:硬件成本削减50%

【本文结束】如需转载请务必注明出处:快科技

责任编辑:鹿角

文章内容举报

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2025-03-14 20:45:07

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

...了来自奇绩创坛的种子轮融资。清昴智能创始团队来自于清华计算机系,在边缘计算和模型自动压缩方向有十余年积累;创始人关超宇曾获清华大学研究生特奖,在研究生期间主导开源了首个自动图
2023-06-25 08:51:00
...愈加清晰。在人才组织层面,清昴智能核心成员主要来自清华大学、华为、阿里等高校和公司。创始人兼CEO关超宇毕业于清华大学计算机系,2021年西尔贝学者奖学金获得者(全球不到百人
2024-06-03 15:23:00
无问芯穹夏立雪:破解算力焦虑,我做了大模型算力领域的“淘宝”丨36氪专访
...业至今的第一感受依旧是——算力不够用。近期,有一家清华系创业公司瞄准了这一痛点。这家公司叫「无问芯穹」,项目发起人则是清华大学电子工程系主任汪玉,创始人是他的学生夏立雪。因此
2024-04-03 18:19:00
技术奇迹!清华突破大模型算力难题 RTX 4090单枪匹马就能跑满血版DeepSeek
快科技2月15日消息,清华团队突破大模型算力难题,这让英伟达情何以堪。据国内媒体报道称,清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目迎来重大更新
2025-02-15 10:52:00
4090笔记本0.37秒直出大片!英伟达联手MIT清华祭出Sana架构,性能秒杀FLUX
...导读】一台4090笔记本,秒生1K质量高清图。英伟达联合MIT清华团队提出的Sana架构,得益于核心架构创新,具备了惊人的图像生成速度
2024-10-18 09:49:00
大模型新趋势之MoE:现状、挑战及研究方向
...加快研发各种新型MoE架构,以提升模型性能或实用性。如清华和微软联合提出MH-MoE5,通过多头机制弥补MoE原始缺陷
2024-11-04 16:00:00
...eek点燃的火种,成为推动智能革命的熊熊烈火。(作者系清华大学计算机系长聘副教授、面壁智能首席科学家)
2025-02-27 21:52:00
智能体不够聪明怎么办?清华&蚂蚁团队:让它像学徒一样持续学习
...解决,而是需要更系统化的方法。在 NeurIPS 2024 上,来自清华大学和蚂蚁集团的研究者针对人工智能体构建方法的通用性和适应性提出了一个新方案
2024-12-11 09:53:00
联想发布端侧AI新技术 PC本地推理能力媲美 OpenAI-mini
...果 —— “联想推理加速引擎”。据了解,这款由联想、清华大学及无问芯穹联合研发的推理引擎,是专为高效AI PC推理而设计的软硬件协同优化平台
2025-05-07 11:10:00
更多关于科技的资讯:
胶东在线3月5日讯(通讯员常蕊徐冰鑫)近日,山东移动蓬莱分公司(以下简称“蓬莱移动”)成功助力烟台洛姆电子有限公司实现数智化升级
2026-03-08 03:03:00
300亿年误差不超过一秒!中国科大实现锶原子光晶格钟新突破
大皖新闻讯 3月7日,大皖新闻记者从中国科学技术大学获悉,近期该校潘建伟、戴汉宁、陈宇翱、彭承志等科研人员在光钟研制方面取得里程碑式进展
2026-03-07 17:23:00
3月6日消息,“晋e行”作为山西高速公路出行服务的“数字大脑”,自2022年正式上线以来,以数字赋能为核心,标准化运营为抓手
2026-03-07 18:15:00
2026雄安国际机器人大赛征集机器人领域新技术新产品新场景。
2026-03-07 18:40:00
中新经纬3月7日电 (谢婧雯)你下班了,站在公司楼下,掏出手机。以前打车,要打开打车软件、输入目的地、比价、选车型、确认呼叫
2026-03-07 18:52:00
春晚机器人表演带火租赁市场 厦门景区商超一机难求
东南网3月7日讯(海峡导报记者 孙春燕/文 陆军航/图)马年央视春晚,人形机器人的“赛博表演”惊艳全球,也带火了线下租赁市场
2026-03-07 14:21:00
【读图】回眸十四五,最感人至深的是…… 扫码阅读手机版
2026全国两会(策划 郁建锋、王聪 文案 董琳晶 设计 贾静、杜珊、张晓钰)
2026-03-07 14:56:00
大河网讯 一束微光照亮“智造”星系,璀璨的电子信息产业在郑州航空港拔节生长。在这里,产业星光汇聚成河,超千亿级集群汇聚了从芯片研发到整机组装的产业链
2026-03-07 16:14:00
全国人大代表刘庆峰:未来AI硬件会走进千家万户
大皖新闻讯 2026年是“十五五”开局之年,也是人工智能深度赋能千行百业的关键一年。正在召开的2026年全国两会上,人工智能毫无意外地成为代表委员们热议的高频词
2026-03-07 16:48:00
视频摄制:冯阳 霍艳恩 赵新宇 王思宁
2026-03-07 10:02:00
中国青年医师IP孵化计划在杭州启动
2026年3月5日,以“AI链全球 生态共生”为主题的中国青年医师IP孵化计划在杭州启动。本次活动来自全国多所医院的专家
2026-03-07 10:40:00
租金两块钱一分钟 “共享机器人”即将入驻杭州商场、电影院
星枢智能的“机器人家族” 记者 杨亦淇 摄一台售价20多万元的春晚同款人形机器人,现在花5000元就能租一天;如果是基础款
2026-03-07 08:05:00
摘要:随着信息技术的快速发展,人工智能技术逐渐渗透金融机构的各类业务与管理环节,对传统金融运作模式产生了深刻影响。金融机构在激烈竞争和成本约束的背景下
2026-03-07 05:46:00
近日,省应急管理厅举行“AI+工业企业火情预警(火眼哨兵)”“AI+烟花爆竹监管(烟花卫士)”应用上线发布仪式。浙江拥有30余万家工业企业
2026-03-07 07:34:00
视频摄制:张晶、赵新宇、朱泊宇
2026-03-07 07:47:00