27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞
9384点击    2026-11-21 11:37

长期智能体同级SOTA,其他测试仅次Qwen3.8-27B。


智东西消息,今日,前OpenAI CTO米拉·穆拉蒂(Mira Murati)联合创办的AI独角兽Thinking Machines Lab(简称:TML)推出一个新混合专家模型——Inkling 2 Mini。该模型总参数达27B,激活参数达3.4B,每个token有5.4B权重激活值以应对循环,兼顾小体积、快速度和较强性能,可在笔记本电脑上运行。


穆拉蒂在社交平台X上称:“Inkling 2 Mini是一款可在笔记本上运行的循环Transformer。循环机制让模型思考更多、输出更少。在当前这个规模下,它的思考过程仍可监控;但未来未必如此。我们还将放出一款可变循环研究模型,供业界进一步研究。”


27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞


▲TML联合创始人兼CEO米拉·穆拉蒂在社交平台X上发文


Inkling 2 Mini总内存占用约20GB,可在消费级笔记本和台式AI计算机等本地设备运行。TML研究人员曾把它带到飞机上,在MacBook Pro上离线运行,并在几分钟内构建了一个可玩的飞行模拟器。


27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞


在DeepSWE v1.1(48.2%)和Vals Index v2.2(46.5%)等基准上,Inkling 2 Mini在100B级参数以内开放权重模型里名列前茅,在长期智能体编程等赛道拿下同级别SOTA(行业最佳),超过了Gemma 4 31B、Muse Glimmer、Qwen3.8-27B等模型。Inkling 2 Mini长时序软件编码智能体、多行业自主Agent任务能力强,运行速度也优于性能相近的其他模型。


但其在MultiChallenge(50.0%)、ComplexConstraints v1.1(33.4%)等测评中略逊色,在复杂多约束指令跟随、多轮对话上弱于被业界称为“27B模型之王”Qwen3.8-27B;在高难度硬核推理任务上不及更大规模模型。


27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞


在人工智能分析指数(AII)中,该模型排名第20位,得20分,与Qwen3.8-27B (xhigh)和Nanbeige4.3-33B水平相当,但其激活参数分别少了约5倍和6倍。它在总体参数和有效参数上都处于智能与规模的帕累托前沿。


在相同的AAI得分下,Inkling 2 Mini的输出token数比Qwen3.8-27B多约38%,但计算量约为其三分之一。同时,Inkling 2 Mini比Qwen3.8-27B便宜约6倍,速度快约4倍。成本采用Thinking Machines的第一方定价,每百万次输入/输出/缓存命中token 0.15美元/0.50美元/0.015 美元。不过,新模型Qwen4-27B也接近发布,Inkling 2 Mini能否匹敌还不可知。


27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞


模型一经发布,不少开发者对27B这个尺寸反应非常热情。有X平台上的开发者拿它类比:“简而言之,现在只需16GB内存即可在本地运行Sonnet 5.5。”


27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞


27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞


▲社交平台X上发文上的开发者评论


背后,TML称该模型是业内首批采用循环架构的模型之一。对每个token,模型中间层会运行三次,这让模型能用更少token找到正确答案,在智能体编码等依赖推理质量的任务中表现尤其突出。


Inkling 2 Mini现已发布,提供开放权重,并可在Tinker上进行推理和自定义。


Hugging Face地址:


https://huggingface.co/thinkingmachines/Inkling-2-Mini


模型卡地址:


https://thinkingmachines.ai/model-card/inkling-2-mini/


长期智能体SOTA


其他测试仅次Qwen3.8-27B


此前5月12日,TML发布了交互语音模型研究版TML-Interaction-Small,该模型可以持续接收音频、视频和文本信息并进行实时思考,能够与用户像跟真人聊天一样及时反馈。


本次推出的Inkling 2 Mini,与Inkling 2 Small优势相近:在长期智能体工作中达到同级别模型SOTA(行业最佳),在官方测量的大多数任务中,是规模相近开放权重模型中最高分。


官方认为,Inkling 2 Mini兼具能效和性能,适合在本地硬件上运行多个持久Agent。


如下图所示,Thinkyville是一个由 Inkling 2 Mini 制作的像素小镇,所有20位村民都由同一台离线MacBook控制。他们会安排自己的日程、闲聊八卦、举办烘焙比赛,还会回复你留在他们家门口的纸条。


27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞


在DeepSWE v1.1和SWE-bench Pro v2等智能体编码基准中,Inkling 2 Mini得分高于所有同类模型,在其他测试中仅次于Qwen3.8-27B。在内核优化基准PMPP-Hard中,其得分接近规模更大的Inkling 2 Small。


循环可提升推理能力,但不能让权重存储更多事实,知识主要取决于参数总量。Inkling 2 Mini在AA-Omniscience事实性指标上的得分与其他同等规模模型相当。研究可变循环模型发现,在GraphWalks BFS和MRCR v2等长上下文基准上,性能随循环次数增加而提升;但在AA-Omniscience、SimpleQA Verified、SimpleVQA和WorldVQA等知识密集基准上,性能不会随循环次数增加而提升。


Inkling 2 Mini通过高效使用搜索和工具弥补知识差距。在BrowseComp、DeepSearchQA和MCP Atlas等规模相近开放权重模型中表现领先;在包含搜索和工具使用的知识工作基准中也有不错表现。


斯坦福大学研究人员以“每焦耳智能”衡量LLM每次查询达到给定性能所需能量。Inkling 2 Mini在NVIDIA DGX Spark上得分为0.703,明显高于Qwen3.6-35B-A3B的0.430、Gemma-4-26B-A4B的0.159和Qwen3.5-27B的0.036。


Inkling 2 Mini也存在局限性,它并非处理多回合聊天或包含大量约束指令时最强的小型模型:MultiChallenge得分50.0%,ComplexConstraints v1.1得分33.4%,均落后于Qwen3.8-27B。在CritPt v2和HLE-Diamond等推理密集型基准中,它也逊色于规模更大的模型。


27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞


27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞


27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞


27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞


27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞


24层、剪枝专家


业内首批采用循环架构的模型之一


Inkling 2 Mini是24层模型,源自主线预测扩展阶梯模型。与市面上的主流模型相比,主要改动是剪枝三分之二专家节点以减小模型规模,并引入循环提升推理能力。其余训练步骤,包括量化和数据混合,遵循主流模型流程。


循环设计上,Inkling 2 Mini共24层,分为四个模块,每个模块六层。中间两个模块运行三次,第一个和最后一个模块各运行一次。该设计基于先前循环Transformer研究,思路是模型中间层承载更抽象的推理,首尾层更多用于嵌入和内部表示转换。在28次不同评估中,有27次表明,循环中间12层比循环最后12层带来更大准确率提升。


27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞


该模型使用注意力残差:每一层读取前面模块输出并学习各自组合,而非简单累加,从而在循环间传递更丰富信息。每次循环从序幕(第一个模块)输出开始;第二次和第三次经过中间模块时,还会读取前一次循环中中间模块的输出,即“消息”。前一循环消息通过门电路与前奏输出合并,门电路根据模块中前几层输出缩放合并消息。该门电路在训练中学习:最初阻止整个消息传输,使每个循环起始状态与非循环模型相同,随后逐步增加消息增益,从而稳定引入循环。


27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞


为评估循环影响,官方在扩展阶梯上比较未剪枝循环版本和未剪枝非循环模型。非循环模型训练计算量少7.5%,但在51.2万tokenAgent追踪数据集上,为达到与循环版本相同损失,推理计算量增加140%。


Inkling 2 Mini训练采用4位精度。从预训练到强化学习,所有前向传播中的专家层均采用4位NVFP4精度,并借助专用内核和NVIDIA GB300平台硬件加速优化。最后4层前向传播采用8位MXFP8精度。部署权重与训练数值精度相同:NVFP4为20层,MXFP8为4层,因此量化不会造成转换损失。


Inkling 2 Mini初始训练参数稀疏度为48,从384位专家中选取8位。训练过程中剪枝三分之二专家,最终保留每层最常用的128位专家,以减少总参数、加快运行并支持本地硬件。剪枝后,模型使用从更大内部Inkling模型提取的1T个token训练,通过训练剩余专家接管被删除模型的工作,恢复剪枝前性能。


经过剪枝和修复后,Inkling 2 Mini使用与Inkling 2 Small类似的数据集进行SFT训练;随后进行强化学习,共处理2.2T个token,历时2000步。训练后阶段包括策略内蒸馏以进行训练对齐,与Inkling 2 Small相同。


循环模型“闷想”会更难监控吗?


官方开源1-5次可变循环模型探底


监控CoT是理解和监控AI系统的关键工具之一。CoT监控的有效性部分源于标准非循环Transformer:每个token只经过固定数量层,限制了输出前可执行的连续计算步骤,因此需要更多步骤的推理必须写入生成文本,便于读取。


循环Transformer通过多次运行相同层提高这一限制。循环模型可在不增加参数的情况下增加串行深度,意味着在通过CoT表达思维过程前,会在内部对每个token执行更多计算。未出现在CoT中的推理无法被CoT监视器捕获,这引发对循环Transformer可能更难监管的担忧。


官方发布Inkling 2 Mini的原因之一,是希望社区开展循环Transformer研究,尤其期待探索可监控性问题并开发可解释性技术理解循环内部计算。为探究不同循环次数对可监控性等属性的影响,官方还训练了可变循环次数模型TML-d24-varloop-research,因为Inkling 2 Mini仅支持固定循环次数。该可变循环模型训练循环次数在1到5次之间,已公开发布在Hugging Face上。


初步分析总体发现:循环增强了模型在无需语言表达时能完成的任务,但在目前规模下,未发现推理过程可监控性显著降低。


为了衡量代理环境下的可监控性,TML用LinuxArena这个Agent安全测试环境,专门测智能体隐藏恶意行为、绕过监控的能力。当前Inkling 2 Mini(含可变循环研究版)隐蔽作恶的能力不强,相对容易被监控模型抓到隐藏的恶意任务;作为检测方的Qwen3.8-27B在这项检测任务上表现更强,几乎能识别全部这类隐藏攻击尝试。


27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞


如需了解更多技术细节,可参考:


https://thinkingmachines.ai/news/inkling-2-mini/


结语:从堆参数拉向循环推理


27B赛道卷起来了


Inkling 2 Mini把开放权重小模型的竞争焦点,从堆参数拉向循环推理。约20GB内存跑持久Agent,意味着离线隐私场景和多Agent应用门槛进一步下探,循环架构也有望成为可监控性研究的新入口。


27B档模型在很多人眼里是Qwen3.8-27B的天下,后者在多项测试中仍压其一头,Qwen4-27B等后续迭代渐近,竞争只会更卷。TML的差异化在循环架构生态、能效与可解释性;能否把先发研究优势转成开发者粘性,才是关键。


文章来自于微信公众号 “智东西”,作者 “智东西”

AI转型,免费服务,就找AITNT
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI代理

【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务,如比较价格、添加购物车、回复各种社交媒体等。

项目地址:https://github.com/browser-use/browser-use


2
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md