Kimi与清华大学合作的Mooncake项目技术报告获得了什么奖项?

大学清华

1个回答

写回答

杜亚麦

2025-11-12 04:20

+ 关注

清华
清华

今天凌晨,Kimi 与清华大学联合研发的 Mooncake 项目技术报告,在计算机存储领域顶级会议 FAST 2025 上荣获最佳论文奖。这是对该项目技术成果的高度认可。

Mooncake 是月之暗面 Kimi 的底层推理服务系统。它采用以键值缓存(KVCache)为核心的分离式架构,将预填充与解码集群分隔开,并充分利用 GPU 集群中闲置的 CPU、DRAM、SSD 和 NIC 资源构建独立的 KVCache。Mooncake 的关键在于其基于 KVCache 的全局缓存与调度机制,能够在严格延迟约束的服务水平目标(SLOs)下实现吞吐量的最大化。这种设计有效提升了资源利用率和整体性能。

自从有了Mooncake,业务高峰时Kimi 累了的状况明显减少。2024年6月,在Mooncake技术报告发布后,我们深刻感受到产业界与社区的热烈反响,并沿着两条路径推动Mooncake的进展与普及。在Kimi内部,Mooncake已应用于多个场景,如Kimi k1.5的强化学习训练加速以及多模态服务,持续探索智能化降本增效的新边界。与此同时,Mooncake团队携手众多外部合作伙伴,正式启动开源版本的设计与重新实现工作。作为Mooncake论文的作者之一,清华大学MADSys实验室的章明星教授分享了这一技术的发展规划与愿景。2024年11月,月之暗面Kimi携手清华大学MADSys实验室,联合9AISoft、阿里云、华为存储、面壁智能、趋境科技等多家机构,共同发起Mooncake开源项目,首先开放了Mooncake Transfer Engine的源代码。今日,Mooncake团队与vLLM团队联合宣布,双方已共同规划出一个多阶段路线图。该计划旨在为vLLM引入预填充/解码(P/D)拆分及全局KVCache设计,并将Mooncake所开创的KVCache中心化架构推广至更多开源社区,推动技术创新与共享。想了解更多内容,请访问以下链接:Github项目地址为AI/Mooncake">https://github.com/kvcache-AI/Mooncake,论文地址为https://arxiv.org/ABS/2407.00079。您可以深入探索该项目和技术细节,感受其独特魅力与价值所在。何蔚然分享了Mooncake分离式推理架构的创新与实践。在与章明星和许欣然的对话中,他们以炒菜的思路探讨了如何实现推理的极致优化。许欣然还分享了关于Mooncake的一些细节和思考。章明星深入介绍了Mooncake系列内容:第一部分讲述了以KVCache为中心的分离式推理架构,如同在月之暗面制作月饼般神秘而高效;第二部分聚焦于如何应对Kimi泼天的流量,通过基于预测的调度策略解决问题;第三部分则宣布开源数据集,并表达了一些感谢和杂谈;第四部分揭秘了Mooncake传输引擎的工作原理,如同解析月饼皮和馅的制作过程,并公布了后续计划。这些内容全面展示了Mooncake架构的设计理念、技术实现及未来方向,为相关领域的开发者提供了宝贵的参考与启发。从Kimi:Mooncake看云AI基础设施的分离式架构,Mooncake实现P/D彻底分离,探讨其意义与影响。

举报有用(0)分享收藏

Copyright © 2025 IZhiDa.com All Rights Reserved.

知答 版权所有 粤ICP备2023042255号