- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
月之暗面 Kimi 联合清华大学等开源大模型推理架构 Mooncake
IT之家 11 月 28 日消息，月之暗面 Kimi 和清华大学 MADSys 实验室 2024 年 6 月联合发布了 Kimi 底层的 Mooncake 推理系统设计方案。该系统基于以 KVCache 为中心的 PD 分离和以存换算架构，提升了推理吞吐量。
近日，为了进一步加速该技术框架的应用与推广，月之暗面 Kimi 和清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存储、面壁智能、趋境科技等共同发布开源项目 Mooncake，共建以 KVCache 为中心的大模型推理架构。
11 月 28 日，Mooncake 技术框架已开源上线，IT之家附地址如下：
据介绍，Mooncake 开源项目从论文延伸，以超大规模 KVCache 缓存池为中心，通过以存换算的创新理念大幅度减少算力开销，提升了推理吞吐量。
本次开源将采用分阶段的方式，逐步开源高性能 KVCache 多级缓存 Mooncake Store 的实现，同时针对各类推理引擎和底层存储 / 传输资源进行兼容。其中传输引擎 Transfer Engine 部分现在已经在 GitHub 全球开源。
Mooncake 开源项目的最终目标是，为大模型时代打造一种新型高性能内存语义存储的标准接口，并提供参考实现方案。
Mooncake 推理系统架构图
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-11-29 12:45:01
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
