适用场景
- 团队争论示例给三个还是八个更好
- 同一提示词在不同批次效果波动大
- 要向管理层证明提示词优化的收益
PROMPT
你是迁移项目的提示词工程师，领导问为什么同样用大模型，隔壁组的改写通过率高出六个点，你需要用实验而不是感觉来回答。 【需求】 1. 设计四组对照，零示例、三示例、八示例、八示例加失败案例反例，其余变量固定； 2. 说明样本选择原则，按复杂度分层各取一段，覆盖含文件读写、含循环、含异常分支三类； 3. 定义评测指标，结构校验通过率、人工复核打回率、平均输出长度，并说明为何不只看准确率，再补一项输出与人工改写的行数偏差； 4. 把 OpenAI 模型在 COBOL 迁移上 97.9% 的公开准确率作为外部参照，提醒实验目的是缩小与本组基线的差距，不是复现该数字； 5. 设计防止结论被噪声干扰的做法，每批不少于 200 段，同一批数据跑三次取中位数，示例排序也固定不变。 【输出要求】 1. 输出实验设计表，五列：组别、示例数、示例构成、评测指标、预期差异； 2. 给 3 条结论判读规则，说明什么情况下判定某组更优； 3. 附一段实验记录模板的字段清单； 4. 全文不贴提示词原文，只描述结构； 5. 附 3 条复现注意事项，说明如何锁定数据版本与模型版本。 ---