Latent Space· Latent Space·· 12 天前精选AI 评分87
DeepSeek 开源推理栈 DeepInfer，披露 155T tokens/日产能与单卡小时收入
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并发布配套的 deepseek-recipe 协议转换库，支持 NVIDIA SM100 与华为昇腾 950，KV cache 管理和负载均衡等组件因与内部基础设施耦合暂未完整放出。
推荐理由
材料把 DeepSeek 开源推理栈的架构设计与经济测算放在一起，读者可据 vLLM 的对比视角判断其可复用程度。
来源：Latent Space · latent.space