ai.hackcv
📰 AI 研究简报 · 10月27日
今日头条:DeepSeek 开源看家算子的同一周,AI 超过了它 —— 国产大模型的竞争,正从模型层延伸到算力层:再强的模型,最终都要基于算子在芯片上执行。同一个模型、同一块芯片,换一套更优的算子,有时会带来数倍的性能提升。算子的效率决定了同样的显卡能跑多快,也决定了每个 token 的价格。 DeepSeek 近日全面开源推理框架 DeepInfer。继模型权重和 FlashMLA、DeepGEMM 等算子库之后,他们把模型运行的链路开放了。其中的 FlashMLA,有工程师在芯片上逐行手调的版本,算子性能跑到了硬件极限的 90% 以上,这也是人类手艺目前在部分芯片上达到的极限成绩。 而这个极限,同一周就被 AI 刷新了。据悉,截至 10 月 22 日,完全由 AI 编写算子、无人工逐行调优的 ForgeKernel,同时登顶两个算子评测榜:英伟达主场的 SOL-ExecBench FlashInfer-Bench 合集第一,以
共 5 条预计阅读 3 分钟Token 消耗 9,000
← 前一天已是最新
arXiv 最新论文
本板块今日暂无内容
GitHub 热门开源项目
本板块今日暂无内容
精选 AI 行业资讯
行业资讯精选 85

DeepSeek 开源看家算子的同一周,AI 超过了它

国产大模型的竞争,正从模型层延伸到算力层:再强的模型,最终都要基于算子在芯片上执行。同一个模型、同一块芯片,换一套更优的算子,有时会带来数倍的性能提升。算子的效率决定了同样的显卡能…

📎 雷锋网 AI🕒 10-26 14:58🔗 leiphone.com
YouTube 热门 AI 视频