评估驱动的模型选型

选型需要比较哪些维度？

总原则: 不是简单地 “选最强的模型”，而是按应用场景与评估结果在多个维度之间权衡;
Prefill 与 Decode: 大模型推理分两个阶段，Prefill 一次性读入完整上下文，Decode 随后逐 token 生成回答;
输入/输出吞吐量: 分别对应 Prefill 和 Decode 的速度;
TTFT（Time To First Token）: 等于排队时间加 Prefill 时间，是用户感知的 “反应快慢”，上下文越长 prefill 越慢、TTFT 越大;
思考延迟: 不同模型生成的思考 token 数差异可达数倍，且思考长度与任务效果不一定正相关，应在自己的工作负载上实测;
例: 一个 50 tokens/s 的模型生成 2000 个思考 token，光思考就要 40 秒;
p95 尾部延迟: 95% 的请求都不会超过的延迟，比平均值更能反映真实用户体验，均值会被大量快速请求拉低并掩盖少数严重卡顿;
成本: 输入/输出/缓存 token 的定价；便宜但成功率低的模型因频繁重试，实际花费可能反而更高，应计算每个任务的平均成本与成本-性能比;
性能: Pass@1、Pass@k、Pass^k、Best@k 的精确定义见成功率指标与 Pass@k;
速率限制与可靠性: RPM/TPM 限制影响并发能力，部分 API 在高峰期动态调整限额；鲁棒性关注分布外数据、对抗性输入与长时运行稳定性（模式崩溃、注意力分散）;

问题: 固定预算下的单点成绩不足以判断 Agent 能否胜任长程任务;
做法: 除了成功率，还应报告性能随墙钟时间、token、工具调用次数或算力预算变化的曲线;
RE-Bench 人机对照: 每个环境 2 小时总预算下，最佳 Agent 得分约为人类专家的 4 倍；8 小时时人类已略微超过最佳 Agent；跨多次尝试合计 32 小时时人类得分约为其 2 倍;
结论: 人类从增加时间预算中获得的收益更大，短预算领先不能直接外推成长时间运行能力，选型必须在接近真实任务时长的多个预算点上比较;

设置: 同一 OpenRouter OpenAI-compatible 端点调用 GPT-5.6-sol 与 Claude Sonnet 5，固定系统提示、工具 Schema、任务仓库、测试命令与最大轮次，中性提示既不要求读够若干文件也不要求尽快编辑;
规模: 三个小型代码库分别覆盖局部 bug、跨模块身份规范化与公共契约敏感的缓存修复，每个模型对每题独立运行三次，共 18 条轨迹;
结果一: GPT-5.6-sol 首次修改前平均调用工具 6.89 次、读取 4.67 个文件；Claude Sonnet 5 分别为 4.56 次和 3.56 个文件;
结果二: 差距在局部任务中最明显，在明确跨模块的任务中几乎收敛（7.00 对 6.67 个文件）;
结果三: 两者首个受测补丁和最终测试均为 100% 通过，支持 “行动策略随模型而变”，而不是 “多读或早改必然更好”;
结果四: 时间到首次修改也几乎相同（15.01 秒对 14.48 秒），说明工具步数、并行调用和模型延迟必须分开看;
因果判断: 中性实验回答 “同一 Harness 下行为是否随模型变化”；要测 Harness 的调节作用需另跑一组 policy，不要把两种 policy 混在同一模型比较里;
证据方向: 更换模型时行为改变、且同一模型跨 Harness 保持倾向 → 更支持模型效应；反之 → 更支持 Harness 效应;