ai.hackcv
行业资讯
行业资讯精选 85雷锋网 AI

DeepSeek 开源看家算子的同一周,AI 超过了它

国产大模型的竞争,正从模型层延伸到算力层:再强的模型,最终都要基于算子在芯片上执行。同一个模型、同一块芯片,换一套更优的算子,有时会带来数倍的性能提升。算子的效率决定了同样的显卡能跑多快,也决定了每个 token 的价格。 DeepSeek 近日全面开源推理框架 DeepInfer。继模型权重和 FlashMLA、DeepGEMM 等算子库之后,他们把模型运行的链路开放了。其中的 FlashMLA,有工程师在芯片上逐行手调的版本,算子性能跑到了硬件极限的 90% 以上,这也是人类手艺目前在部分芯片上达到的极限成绩。 而这个极限,同一周就被 AI 刷新了。据悉,截至 10 月 22 日,完全由 AI 编写算子、无人工逐行调优的 ForgeKernel,同时登顶两个算子评测榜:英伟达主场的 SOL-ExecBench FlashInfer-Bench 合集第一,以

📎 发布于 10-26 14:58🔗 阅读原文(leiphone.com)
相关推荐

本站内容由 LLM 精选聚合,原文版权归 雷锋网 AI 所有 · 摘录仅供参考