Fable 5.2贵17倍还输了！12 个AI进群当同事，OpenAI包揽前二

花430倍的钱，只多11%的分数！

太夸张了。数据协作平台Deepnote今天发布了一项评测结果——

创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西，把12个前沿模型丢进同一家公司的Slack群里当AI同事，让它们自己决定什么时候该帮忙、什么时候该闭嘴。

跑完一看——OpenAI包揽前二！

GPT-6 Astra拿了8.97分，第一。GPT-6.1 Sol拿了8.65分，第二，单个任务只花0.11美元。

排第三的Anthropic Fable 5.2，8.17分，单个任务1.87美元。

贵了17倍，分还低了。

折算成一个70人公司每月的Slack监控账单：Sol是281美元，Fable 5.2是4684美元。

同样的活儿，Fable 5.2贵16倍。

而整张表上最离谱的一组对比是：Fable 5.1每单3.02美元，GPT-6 Luna每单0.007美元，价格差了430倍，得分只差1.1分。

你品品。

这个评测到底在测什么？

它不测模型有多聪明，它测模型当同事靠不靠谱。

Deepnote造了一家叫PageMantle的虚构公司。

但这个「虚构」做得极其真实——6年的运营历史，71个员工，100家企业客户，从CRM、发票、工单、产品分析到数据仓库，11套业务系统全部齐活。

连SVB倒闭、竞品发新功能这些现实世界事件都融进了公司时间线里，员工会在Slack里讨论应对策略，然后在Linear上开issue跟进。

AI的角色是：潜伏在Slack里旁听所有对话，自己判断要不要出手。

出手的方式有三种：回复频道、回复线程、私信当事人。当然还有第四种——什么都不做。

而这第四种，恰恰是最难的部分。

50个真实职场任务，涵盖找信息、解释流程、分析数据、核实声明、做判断、诊断问题、协调团队、审查安全等8种场景。

12个模型各跑一遍，每次3分钟上限，两个盲评模型独立打0到10分，600次完整运行，数据集和代码全部开源。

数据摊开：

第一，Sol 6.1是这场考试的最大赢家。它和Astra的得分差距只有0.32分，95%置信区间还有重叠——统计上可能根本分不出谁高谁低。但价格是Astra的六分之一。96%的性能，六分之一的价格。

第二，Anthropic全线偏贵。前12名里Anthropic占了5个席位（Fable 5.2、Opus 5.5、Fable 5.1、Sonnet 5.5、Haiku 5.5），但按性价比排，没有一个进前三。Fable 5.2排第三看着不错，但单任务花费是Sol的17倍、月账单是Sol的16.7倍。唯一的安慰是速度：Sonnet 5.5只要15秒、Opus 5.5只要29秒，是全场最快的两个模型。

第三，Gemini和Grok彻底翻车。这俩每个任务平均调35次工具，是Sol的两倍。但调得多不等于干得好——Gemini在50个任务里有27个超时没交卷，Grok有18个。考试时间到了答题卡还是空的，分数自然垫底。

最难的不是帮忙，是知道何时闭嘴

这个评测最狠的设计，是里面埋了10个「不该帮忙」的场景——事情已经解决了，或者根本不关AI的事。

结果很有意思：帮忙这件事，所有模型都挺积极的，需要出手的40个任务里9成都能搞定。

但该闭嘴的时候？表现最好的也只忍住了8次，大部分只忍住了6次。

GPT-6 Luna、DeepSeek V4.1 Flash、Mistral Large 4，10次该沉默的场景里开口了6次。两个Fable也开口了4次。

关键是，这些「不该说的话」质量还挺高——它们会认认真真翻系统、查数据、写分析，然后一本正经地回了一条不需要回的消息。

就像公司里那个逢会必发言的同事，不是能力问题，是没搞清楚这事儿到底需不需要他。

而这种「热心过头」是要花钱的。  Deepnote发现，同一个模型插错嘴时，平均比闭嘴多花1.8倍的时间和金钱。 模型不是随口瞎说，它是认认真真调了一圈工具之后才瞎说的。

这也解释了两种模型风格的分野——Deepnote把它们分成了「狙击手」和「深度思考者」：

• 狙击手代表：Opus 5.5。平均10次工具调用，29秒交卷，7.84分。快准狠，不废话。而且在该沉默的10个场景里忍住了8次，和Astra、Sol并列最佳。

• 深度思考者代表：Sol 6.1。平均18次工具调用，54秒交卷，8.65分。多花了80%的时间，多调了80%的工具，但分数高了10%，价格只有Opus的十分之一。

而Gemini和Grok属于第三种——迷路型。

35次工具调用，但一半任务都没来得及给出答案。翻书翻到考试结束，卷子还是白的。

这件事为什么重要？

第一，选AI同事的标准变了。

传统benchmark比的是「谁最聪明」。但当AI的角色从「你问我答」变成「24小时在线的主动型同事」，评判标准就变成了：

该帮忙时帮得上、不该帮忙时闭得住、花的钱经得住算账。 这是判断力，不是智力。

OpenAI的两个模型在这个三角上目前做得最好。Sol尤其突出——它几乎复制了Astra的判断力（帮忙39/40、沉默8/10），但价格打了一折。

第二，Always-on Agent的账单逻辑完全不同。

以前调一次API花一次钱，用完即走。

但24小时在线的AI同事是按流量持续计费的。Sol一个月281美元，Fable 5.2一个月4684美元，Fable 5.1一个月7540美元。

这还只是一家70人公司的Slack。

如果你的公司有500人，如果Agent还要同时盯邮件、日历、工单……省出来的不是零花钱，是实实在在的人力预算。

第三，速度和质量的取舍出现了新路径。

Anthropic最快（Sonnet 15秒），OpenAI最准（Astra 8.97分），Sol最划算（0.11美元）。

对做产品的团队来说，答案可能不是「选一个」，而是「按场景路由」——实时对话用Anthropic的快模型抢时间，后台分析用Sol省钱拿分。

Deepnote也在报告里建议了这种分层策略。

AI同事最重要的能力不是有多聪明，而是有多靠谱：该说话时说得准，该闭嘴时忍得住，账单还别太离谱。

按这个标准，OpenAI的Sol 6.1用0.11美元一单、8.65分的成绩，目前是性价比天花板。

而那些贵了17倍、430倍却没贵出多少分数的模型，是时候好好想想了：在AI同事的世界里，最贵的那位，未必是老板最想留下的那位。 

参考资料：

https://x.com/jakubjurovych/status/2121256499552915586

https://deepnote.com/research/benchmark

文章来自于微信公众号 “新智元”，作者 “新智元”