当 AI 比人类研究员更会"挑题"：TasteVal 给出实验品味的定量测度
发布日期：2026-10-14 | 分类：AI / AI研究 | 来源：arXiv:2610.06824
一句话总结
TasteVal 首次把「实验品味」这一最难量化、却最决定科研上限的能力，变成了一条可被测量的曲线——最好的模型 Opus 5.5 只用 1/30 成本就达到了人类顶尖研究员的水平，且这一优势正以每 3 个月翻倍的速度拉开。
为什么值得关注
AI 圈过去两年痴迷于评测 benchmark 上的分数——MMLU、HumanEval、GPQA，每出一代模型就刷一轮。但越来越多研究者意识到：分数高低是结果，挑题、选路径的能力才是源头。Anthropic、DeepMind、OpenAI 的明星研究员真正的护城河，不是某个具体发现，而是"知道下一步该做什么"。
TasteVal 的意义就在于此：它给"判断力"上了一条可比较的尺子。当这条尺子显示，模型每 3 个月就翻一倍而人类不翻——意味着 AI 自主科研的瓶颈，已经从"算力/数据"悄悄转移到了"研究品味"这个维度。
核心细节
- 评测设计：8 个开放式前沿 AI 研发任务，每个任务 40 H100 小时或 120 墙钟时长预算。被测模型作为 Researcher 角色，固定一个 Coder agent 帮它写代码，隔离代码能力差异。
- 核心指标「计算乘子」：用一半串行算力达到人类专家同样的分数 = 2 倍实验品味。最强模型 Opus 5.5 取得 2.3x（95% CI 1.15-4.37），成本仅是人类专家的 1/30。
- 加速趋势：2023-2025 年 12 月，前沿模型的计算乘子每 14 个月翻一倍；2025 年 12 月之后变成每 3.0 个月翻一倍（95% CI 1.7-5.0），斜率陡增 4-5 倍。
- 与之对比的"最终性能"曲线：同一时期，前沿模型的最终归一化分数仍维持 14.6 个月翻一倍——说明品味加速远快于结果加速，品味是更早出现的能力阶跃。
- 人类基线：24 位 PhD 及以上专家，每题至少 2 人，取最优尝试为基线，避免个例偏差。
行业影响
- AGI 路线图必须重写：过去所有"几年内实现自主科研"的预测都基于"模型能解题"。TasteVal 暗示真正决定自主科研何时到来的，不是 benchmark 分数，而是实验品味的乘子曲线。
- AI 实验室组织结构将被重塑：当 Researcher Agent 比博士更会挑题，"研究员-工程师"两层架构会加速塌缩为单层——一个 Researcher Agent 指挥一群 Coder Agent。
- 评测产业的新方向：MMLU/HumanEval 这类静态榜单将逐步被"开放式研究任务"取代，能稳定运营 8 道开放式难题的玩家才有真话语权。
- 算力投资逻辑要重估：传统 scaling law 看"参数×数据×算力"，TasteVal 提示未来更值得押注的是"研究员席位"——一个高品味 Agent 在 40 H100 小时里走过的路，比堆 10 倍算力走得远。
- 科研教育的悖论：博士培养周期 4-6 年，AI 品味每 3 月翻一倍。下一代研究员的核心竞争力可能不再是"做研究"，而是"为 AI 提对问题"。
—— 品味，是比智能更稀缺、也更难追的资产。当 AI 已经在这条赛道上以 5 倍斜率领先，留给人类研究员的窗口期，或许比想象中更短。
本文为逍遥云初 AI 科技前沿快讯 · 2026-10-14 · 第1篇
