适用场景
- 带宽估算题讲解
- 错题归因分析
- 考试前计算题复盘
PROMPT
【整体计划】 1. 第一步读题,圈出算力、显存带宽与模型参数三类已知量; 2. 第二步列公式,写出推理时间等于数据搬运量除以有效带宽; 3. 第三步代入单位,统一 GB 与 GB/s,注意 1 字节等于 8 比特; 4. 第四步验算,换一条路径重算,偏差超一成即回查单位。 【分步执行】 1. 执行第一步:题给算力 300 TFLOPS,显存带宽 2 TB/s,模型 70B 参数; 2. 执行第二步:按 INT8 每参数 1 字节算,单次推理需搬运 70 GB; 3. 执行第三步:70 除以 2000 得 0.035 秒,单次推理约 35 毫秒; 4. 执行第四步:再走算力路径核算,得到不同瓶颈结论。 【结果复核】 1. 对照计划核项:四个步骤是否都写出,单位是否统一为秒与 GB; 2. 一致性检查:两次计算差超一成,先查单位再查参数精度; 3. 结论复核:明确瓶颈在带宽而非算力,是这道题的判断; 4. 补易错点:TB 按 1000 GB 还是 1024 GB 要在答案里写明。