Latent Space·· 2 小时前精选AI 评分79
DeepSeek 开源生产推理框架 DeepInfer，单集群日处理 155T tokens
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，基于 vLLM 定制，支持分布式推理、投机解码与 SWA Bounded Replay，覆盖 NVIDIA SM100 与华为昇腾平台。
推荐理由
文章在开源发布之外拆解了缓存层级、调度与成本口径，读者可据此判断单集群吞吐数字的真实边界。
来源：Latent Space · latent.space