适用场景
- 要把夜间迁移批处理放进自有 GPU 机房
- 采购前需要说清卡数与电费
- 批处理超时后要判断是算力不足还是调度问题
PROMPT
你是运维负责人，机房现有八张推理卡，老板要求用 DeepSeek 开源的内部推理框架承接每晚的 COBOL 改写批处理，先给一份不拍脑袋的显存预算。 【需求】 1. 按每晚两万段、平均每段 600 token 输入与 400 token 输出测算总 token 量，再折算成所需并发； 2. 给出显存占用的三项构成，模型权重、键值缓存、批处理余量，并说明键值缓存随并发线性增长的估算方式； 3. 对比两套方案，七天内跑完的保守配置与赶工三天的激进配置，写清卡数、单卡显存、预计耗时； 4. 说明开源框架相比托管接口的成本结构变化，卡折旧与电费替代按 token 计费，并给出盈亏平衡的月处理量； 5. 提醒把白天在线推理与夜间批处理错峰，避免柜面交易响应变慢，错峰窗口设在二十三点到次日六点，留一小时做落库与校验。 【输出要求】 1. 输出预算表，五列：方案、卡数、单卡显存、预计耗时、月成本量级； 2. 给 3 条容量红线，例如并发超过阈值后的排队等待时间； 3. 附一段 80 字以内的扩容触发条件说明； 4. 全文不写具体电价，只用区间表述； 5. 附一段给财务的 100 字说明，解释为何用成本区间而非精确报价。 ---