DeepSeek开源DeepInfer推理框架:算子竞争进入AI时代
DeepSeek全面开源推理框架DeepInfer,将模型运行链路彻底开放,FlashMLA等算子已达硬件极限的90%以上。而同一周,全AI编写、无人工调优的ForgeKernel登顶英伟达与昇腾两大算子评测榜,基准加速比1.835×,领先第二名25%,算子优化正式进入AI自主迭代时代。
行业动态
DeepSeek全面开源推理框架DeepInfer,将模型运行链路彻底开放,FlashMLA等算子已达硬件极限的90%以上。而同一周,全AI编写、无人工调优的ForgeKernel登顶英伟达与昇腾两大算子评测榜,基准加速比1.835×,领先第二名25%,算子优化正式进入AI自主迭代时代。
中国人工智能初创公司杭州深度求索人工智能基础技术研究有限公司(DeepSeek)宣布开源自研推理框架DeepInfer。该框架并非实验性原型,而是长期支撑DeepSeek自身生产服务在线运行的底层引擎。公司明确表示,以合理价格服务海量用户是推理框架要解决的核心问题,此次开源直指大模型服务成本这一行业最痛点。