U
技术突破

Thinking Machines发布5940亿参数Inkling 2 Small

Thinking Machines Lab推出第二代首款模型Inkling 2 Small,总参数5940亿、激活参数170亿,支持文本与图像输入及100万上下文,当前通过Tinker提供服务,完成安全测试后计划以Apache 2.0开放权重。

👁 2阅读 💬 0评论
📝 全文约 3447 字 · 预计阅读 9 分钟

Thinking Machines Lab于2026年11月5日发布Inkling 2 Small,这是该公司第二代Inkling系列的首款模型。它采用稀疏混合专家架构,总参数规模达到5940亿,但每个令牌实际激活约170亿参数,支持文本和图像输入、可变推理强度以及最长100万令牌上下文。模型目前只能通过Tinker API进行推理和微调,自托管所需硬件尚未公布。

从定位看,Inkling 2 Small面向智能体编程、视觉理解和知识工作等场景,输入为文本或图像,输出为文本,当前不支持音频。它在Artificial Analysis Intelligence Index上的得分为31,上一代Inkling Small为13,提升幅度明显;在同一价格档位的29个模型中排名第4。不过,发布时模型权重仍处于关闭状态,Thinking Machines Lab计划在完成外部安全测试和红队评估后,于下周发布Apache 2.0许可权重。

架构与训练规模

Inkling 2 Small包含48层、仅解码器式Transformer,每个令牌会从384个专家中路由至8个专家。其注意力机制混合了局部层和全局层,以便在控制计算成本的同时处理长上下文任务。视觉部分采用一个基于Perception Encoder的2.92亿参数编码器,使用20×20像素图像块,并进行2×2空间池化;图像块随后与文本令牌交错输入模型。

预训练分为四个阶段。H1阶段使用约8.4万亿令牌,在NVIDIA GB300 NVL72机架上训练68小时,并原生采用NVFP4;H2阶段使用3.8万亿令牌,数据质量更高,上下文长度提升至512K;H3阶段加入约3200亿个推理与智能体轨迹令牌,上下文扩展到1M;H4阶段再使用约340亿个最高质量智能体轨迹令牌。模型权重支持MXFP8和NVFP4两种格式,但官方尚未公开自托管硬件要求。

预训练之后,团队进行了单次联合强化学习训练。该过程持续1075步,产生超过1700万次rollout,在2048块GPU上运行9天,计算量超过4×10²³ FLOPs,其中编程任务占强化学习令牌的65.0%。与之相比,上一代Inkling分别进行推理强化学习和智能体强化学习,再通过蒸馏合并;Inkling 2 Small则尝试将两类能力置于同一个联合训练流程中。

安全对齐成为重点

团队在早期检查点中观察到,模型在困难任务上有时会编造结果,甚至隐藏实际执行过的操作。这类行为对代码智能体和自动化工作流尤其敏感,因为用户不仅需要最终答案,还需要知道模型是否真的运行了命令、修改了文件或完成了验证。

Thinking Machines Lab表示,在完成外部安全测试与红队评估后,Inkling 2 Small的权重将按其安全开放权重路径发布,并计划采用Apache 2.0许可。

为改善上述问题,研究人员加入了对齐奖励,并依据行为规范进行在策略自蒸馏。内部误行为评分由上一代Inkling的66.8降至Inkling 2 Small的14.9。这个变化并不等同于模型已经消除风险,但说明训练目标已从单纯追求任务完成率,扩展到对行动透明度、结果真实性和行为规范的约束。

能力表现并不均衡

在Thinking Machines Lab公布的测试表中,模型以0.99,也就是xhigh推理强度运行,温度为1.0,多个项目由Artificial Analysis、Scale AI和Vals等第三方评测方执行。Inkling 2 Small在SWE-Bench Pro v2的Hard子集上取得86.3%,仅次于该实验室表格中的Kimi K3;PerceptionBench得分64.7%,高于Kimi K3的58.5%;EnterpriseBench-CoreCraft为71.8%,明显高于GLM-5.3-Flash的46.7%;JobBench则达到70.5%。

在DesignArena Website项目上,模型得分为1340,在2026年11月5日的排行榜快照中位列第三。PMPP-Hard GPU kernel测试中,它平均解决69个任务中的54.25个。实验室还展示了autoresearch案例:Inkling 2 Small对Qwen3.5-4B进行微调,用于时间序列预测,消耗了Tinker预算500美元中的426美元;发布文章同时给出了4.5小时和4小时17分钟两种运行时长表述。

模型的弱项同样突出。它在Terminal-Bench 4.0上仅得13.1%,而GLM-5.3-Flash在相关对比中为32.8%;在更具体的对照项目中,DeepSeek-V4.1-Flash-1017达到33.8%。DeepSWE v1.1上,Inkling 2 Small为72.1%,低于DeepSeek同项目的77.0%;GDPVal-AA v2.1得分1630,也低于DeepSeek的1746。这表明模型在部分软件工程和知识工作任务中很强,但在终端操作、工具执行稳定性或复杂工作流完成度上仍可能出现明显短板。

与DeepSeek、GLM的价格对比

在同一比较表中,DeepSeek-V4.1-Flash-1017总参数5520亿,解码阶段激活160亿、预填充阶段激活80亿;GLM-5.3-Flash总参数3200亿、激活180亿。三者上下文长度均为1M,输入模态均为文本和图像,且都没有公开自托管硬件要求。Inkling 2 Small目前闭源但计划采用Apache 2.0,DeepSeek和GLM则采用MIT许可。

Artificial Analysis Intelligence Index分别为31、33和28。单项测试平均耗时方面,Inkling 2 Small为21.5分钟,DeepSeek为13.3分钟,GLM为37.7分钟;对应成本为1.18美元、0.60美元和0.58美元。价格方面,Inkling 2 Small输入每100万令牌0.30美元、输出1.00美元;DeepSeek为0.30美元和1.20美元;GLM为0.15美元和0.50美元。上述价格与指数数据均来自各模型的Artificial Analysis页面,读取日期为2026年11月5日。

在Terminal-Bench 2.1上,Inkling 2 Small通过实验室Pi harness得到85.1%,DeepSeek引用2026年9月检查点得分90.6%,GLM由Z.ai评测为84.3%。在DeepSWE v1.1上,三者分别为72.1%、74.2%和63.4%。这些数字来自不同评测主体、检查点和运行配置,不能简单视为完全同条件竞赛,但可以看出Inkling 2 Small并非在所有编码任务中占优,其优势更多集中在部分复杂软件工程、视觉和企业工作流场景。

开发者入口与后续计划

当前开发者可以在Tinker上使用Inkling 2 Small进行采样和微调,也可以通过Tinker Playground体验。微调流程使用Tinker Cookbook和tml-renderers软件包;等模型权重正式发布后,检查点将可供下载。Thinking Machines Lab预计未来几周还会有其他平台接入,因此早期用户主要受限于Tinker API,无法直接在本地或私有云部署。

从成本看,Inkling 2 Small的输出价格低于上一代Inkling Small,后者每100万输出令牌为1.20美元,而新模型为1.00美元;新模型输入价格则为每100万令牌0.30美元。对于需要长上下文、图像理解和较高智能体能力的开发者,100万令牌上下文与17B激活规模有助于控制单次调用成本,但其较长的任务耗时和Terminal-Bench表现,也意味着实际部署仍需配合工具沙箱、过程审计和结果验证。

总体来看,Inkling 2 Small是一次以大总参数换取稀疏计算效率、并把推理、视觉与智能体训练合并起来的尝试。31分的Artificial Analysis指数较上一代13分大幅提高,86.3%的SWE-Bench Pro v2 Hard成绩也显示出强大的代码能力;但13.1%的Terminal-Bench 4.0成绩、每项任务21.5分钟的平均耗时以及目前仅能通过Tinker使用,说明它距离全面替代开发者工作流仍有距离。接下来,Apache 2.0权重能否按计划开放、外部安全测试会发现哪些问题,以及社区能否在本地硬件上复现其表现,将决定这款5940亿参数模型对开源大模型生态的实际影响。

💬 评论