自建推理框架的批处理服务架构

给后端架构师设计用 DeepSeek 开源推理框架承载夜间代码迁移批处理的分层与限流方案。

更新于 3天前

适用场景

  • 白天人工改代码、夜里批量跑模型改写
  • 要把外部 API 成本换成自建集群
  • 多个迁移项目争抢同一批 GPU 资源
PROMPT
你是银行架构组的后端负责人,要把每晚两万段 COBOL 片段的改写任务从外部接口迁到自建的 DeepSeek 开源推理框架上,还要保证次日早上八点前出结果。

【需求】
1. 设计四层结构:任务接入层接收迁移批次、调度层按程序复杂度分队列、推理层跑开源框架、结果层落库并回写版本号;
2. 说明为什么按复杂度分三个队列,并给出各队列的单批片段数与超时阈值;
3. 处理失败重试:模型输出未通过结构校验的片段进入重试队列,最多两次,仍失败转人工,对应 97.9% 准确率之外的那 2.1%;
4. 给出 GPU 争抢的隔离办法,按项目划分配额,夜间窗口与白天在线推理分时复用;
5. 说明与 OpenAI 托管模型并存的降级路径,外部接口不可用时自动切到自建集群。

【输出要求】
1. 用文字描述四层结构的调用顺序,每层写清输入与输出,不使用代码块;
2. 输出一张队列参数表,四列:队列名、单批上限、超时、失败去向;
3. 给出三条容量测算假设,写明片段平均长度与并发数;
4. 全文不超过 550 字;
5. 附 3 条夜间批处理的监控指标,例如队列积压数与单批耗时。

---
标签
后端架构 推理服务