适用场景
- 白天人工改代码、夜里批量跑模型改写
- 要把外部 API 成本换成自建集群
- 多个迁移项目争抢同一批 GPU 资源
PROMPT
你是银行架构组的后端负责人,要把每晚两万段 COBOL 片段的改写任务从外部接口迁到自建的 DeepSeek 开源推理框架上,还要保证次日早上八点前出结果。 【需求】 1. 设计四层结构:任务接入层接收迁移批次、调度层按程序复杂度分队列、推理层跑开源框架、结果层落库并回写版本号; 2. 说明为什么按复杂度分三个队列,并给出各队列的单批片段数与超时阈值; 3. 处理失败重试:模型输出未通过结构校验的片段进入重试队列,最多两次,仍失败转人工,对应 97.9% 准确率之外的那 2.1%; 4. 给出 GPU 争抢的隔离办法,按项目划分配额,夜间窗口与白天在线推理分时复用; 5. 说明与 OpenAI 托管模型并存的降级路径,外部接口不可用时自动切到自建集群。 【输出要求】 1. 用文字描述四层结构的调用顺序,每层写清输入与输出,不使用代码块; 2. 输出一张队列参数表,四列:队列名、单批上限、超时、失败去向; 3. 给出三条容量测算假设,写明片段平均长度与并发数; 4. 全文不超过 550 字; 5. 附 3 条夜间批处理的监控指标,例如队列积压数与单批耗时。 ---