Latent Space·· 2 小时前精选AI 评分86
DeepSeek 开源生产推理栈 DeepInfer，称单集群日处理 155T tokens
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源其生产推理栈 DeepInfer，称单集群日处理 155T tokens、96% 输入缓存命中、首 token 平均 400ms、生成 230 tokens/s，编码场景达 300 tokens/s。
推荐理由
DeepSeek 开源生产推理栈，同时给出单集群吞吐与单卡收入数据，读者可据此理解缓存命中在推理经济性中的分量。
来源：Latent Space · latent.space