本轮已获得可复核的改善。较便宜的GPT-6 Luna在新预留题 7/12 → 12/12合格;MiMo为 6/12 → 10/12。作为对照,Deepseek 在原10场景调优集由 12/20合格、83分 提高到 20/20合格、95分;冻结配置后,新预留题从同期原提示 9/12 提高到 12/12。工具按模型和场景选择,统一加工具会造成退步。
接续上一轮11模型基线。本轮聚焦基线、较便宜的MiMo/GPT/Muse,以及免费Space Bunny。测试通过OpenCode Go真实模型API完成,复现本项目AI业务场景;不是OpenCode编码代理全流程测试。项目代码未修改,未部署或写远程数据库;实验脚本和结果均在项目外临时目录。
原10场景覆盖所选失败用例提示、英文代码对话与逐行批注、空代码下一步、教师建题、独立题意断言、引用课件的知识点、无相关来源、教师提交诊断,以及代码流程图与扫描真值表OCR。它们取自本项目AI入口及实际输出约定。
每次按预设5条准则评分,至少4/5且没有关键错误才合格。批注行号错误、断言违背原始题意、虚假引用、泄露具体题解、非法生成输入或缺少规定最大规模均影响合格。请求失败、截断、无有效回复和项目解析拒绝计0分。人工语义裁判由本助手担任,没有让被测模型互相打分;人工裁判未隐藏模型身份。
只改提示与统一工具配置各100次,5模型×10场景×2次。4轮小规模试错另有56次;兼容修正2次,协议探测5次,以及最初遗漏User-Agent导致403的5次探测错误,均保留且不计主表。失败没有被成功重跑覆盖。每次45秒总预算、无自动重试;工具配置最多3个模型轮次,建题最多2个,最多6个工具调用。每个实验最多两并发,兼容探测曾短暂与提示词复测重叠;预留对照统一两并发且随机交错。
参考程序通过已有本地Clang/WASI判题服务运行。每份使用40个独立固定和随机合法输入;Python裁判按原题定义算预期,另核对模型自造输入元素数量、边界、覆盖与预期。统一工具配置:9份可解析草稿,360/360独立输入通过;仅优化提示:8份可解析草稿,320/320独立输入通过;预留原提示:9份可解析草稿,320/360独立输入通过;预留优化配置:6份可解析草稿,240/240独立输入通过。参考程序正确仍可能因自造测试不足而不合格。
图 1|原提示、提示优化与统一工具配置

图 1|原提示、提示优化与统一工具配置
| 模型 | 原项目提示 | 仅优化提示 | 统一提示+工具 |
|---|---|---|---|
| Deepseek V4.1 Flash | 12/20 · 83分 | 17/20 · 94分 | 20/20 · 95分 |
| MiMo V2.6 Flash | 13/20 · 86分 | 17/20 · 88分 | 12/20 · 76分 |
| Space Bunny Free | 17/20 · 87分 | 17/20 · 84分 | 11/20 · 70分 |
| Muse Spark 1.3 Contributor | 18/20 · 93分 | 20/20 · 100分 | 20/20 · 98分 |
| GPT-6 Luna | 17/20 · 93分 | 17/20 · 93分 | 20/20 · 97分 |
表中分数保留部分满足准则的得分;合格数同时排除关键错误,因此高分不等于可交付。原项目提示来自上一轮同题复测,时间并非同期。此处用于调优选择,独立验证见下一节。
Deepseek 的核心收益来自批注原文定位、原始brief优先的断言,以及避免空代码时扩展整题。Muse仅优化提示已20/20,无需强行加工具。GPT不调用工具时仍会把前导空行和注释数错,行号工具值得保留。MiMo的纯提示提高到17/20,但工具轮与JSON对象模式并用时出现尾部控制标记并被项目解析拒绝;后续适配只关闭工具轮JSON对象模式,最终JSON仍正常解析验证,没有剥离标记来掩盖失败。
Space Bunny统一工具配置降到11/20,主要是推理占用输出预算、截断和多轮耗时。其OCR和无来源返回已经稳定,保留原配置;知识点与断言采用短提示,建题只保留构造输入工具。
预留任务在调优开始时生成并保存哈希,模型在冻结前没有收到这些输入。2026-10-06 13:04(中国时间)冻结模型/场景映射、提示词、工具代码和协议适配;随后在同一个随机队列中交错运行原提示与优化配置,5模型×6新任务×2次×2组,共120次。结果未用于进一步调优。
新题变更了分支倍数与输入、前导空行数、来源ID、连续段目标从正数变负数、最大规模从100变60、分档阈值与标签、递归主题从阶乘变最大公约数,扫描表改为异或。原任务事实、格式与评分难度保持对应,避免只记住原题数字。
图 2|预留题同期对照

图 2|预留题同期对照
| 模型 | 同期原提示 | 冻结后的场景配置 |
|---|---|---|
| Deepseek V4.1 Flash | 9/12 · 85分 | 12/12 · 95分 |
| MiMo V2.6 Flash | 6/12 · 76.7分 | 10/12 · 78.3分 |
| Space Bunny Free | 8/12 · 70分 | 9/12 · 80分 |
| Muse Spark 1.3 Contributor | 8/12 · 91.7分 | 8/12 · 86.7分 |
| GPT-6 Luna | 7/12 · 86.7分 | 12/12 · 96.7分 |