Dify 离线客服应用的降级配置

给客服技术负责人配 Dify 应用,主链路走云端、断网时自动降级到端侧模型。

更新于 今天

适用场景

  • 云端模型限流时需要备用链路
  • 压测要验证 3 秒内完成降级
  • 断网期问答需先缓存在本地
PROMPT
你是 SaaS 公司的客服技术负责人,正在 Dify 里配一套客服问答应用,要求云端主模型不可用时 3 秒内降级到端侧模型,客服主管下周要看压测结果。

【需求】
1. 用 Dify 的模型配置给主链路挂云端模型、备用链路挂端侧模型,写明切换触发条件(超时、错误码、限流);
2. 设计两套提示词版本,云端版允许查知识库与订单接口,端侧版只允许回答知识库内的静态问题;
3. 为降级状态设置用户可见提示语,说明当前回答来自本地模型、可能不含最新政策;
4. 定义降级期间的记录规则:本地先缓存问答对,联网后按时间顺序回传,避免丢数据;
5. 给出压测方案,模拟 200 并发与断网 10 分钟两种场景,说明要观察的 4 个指标。

【输出要求】
1. 输出一张配置清单表,列为配置项、云端值、端侧值、切换条件,共 12 行以内;
2. 给出两版提示词各自的适用问题类型,各 4 条;
3. 压测方案写成 5 步操作序列,每步一句话;
4. 指标必须包含首字响应时间、降级成功率、缓存回传完整率、用户追问率;
5. 全文不出现具体价格与厂商型号,只写配置项和判定条件。
标签
Dify 降级策略