适用场景
- 论文开题选题论证
- 文献检索范围界定
- 研究方案对照设计
PROMPT
【人群】 1. 研究对象是 2025 至 2026 年发布的七十亿参数以上开源推理模型; 2. 范围限定在单机单卡推理场景,不含多卡并行与训练阶段; 3. 特征:以长上下文请求为主,长度落在八千到三万二千词元; 4. 样本来源是三家公开模型仓库的推理配置与实测日志。 【干预】 1. 干预变量是启用软件调度层,把热点权重固定在更近的存储层级; 2. 干预强度分三档:全量启用、仅启用注意力部分、完全不启用; 3. 控制其它变量:批大小固定为四,量化方式统一为 INT8; 4. 实施周期四周,每周采一次数据,避免一次性测量偏差。 【对照】 1. 对照组为同一模型未启用软件调度时的基线表现; 2. 第二组对照改用硬件扩容,显存增加一倍,用于比较成本; 3. 空白对照保留原厂默认配置,不做任何参数调整; 4. 三组共用同一批请求样本,保证输入分布一致。 【结局】 1. 主指标是每千次请求的平均延迟,单位毫秒,取四周均值; 2. 次指标是显存峰值占用,单位 GB,以及每百万词元推理成本; 3. 安全性指标记录请求失败率与结果一致性抽检通过率; 4. 统计口径写明样本量与置信区间,差异不显著要如实报告。