英伟达开源Nemotron 3.5 Bolt E4B：4GB显存跑起本地语音Agent

英伟达正式开源了Nemotron 3.5 Bolt E4B 4GB，一款专为快速对话式Agent打造的小型语言模型。它的核心卖点是：在约4GB显存内实现完整的多轮对话、工具调用与指令遵循能力，让语音助手、游戏NPC和机器人接口可以完全在本地硬件上运行，而不必依赖云端。对开发者而言，这意味着把宝贵的显存留给了语音识别、视觉等其他模型，在RTX、Jetson、RTX Spark乃至DGX Spark设备上搭建端侧多模型系统成为可能。

一个“轻装上阵”的本地Agent模型

Bolt E4B定位于三类工作负载：设备与语音助手、交互式角色、嵌入式或工业Agent。它将自然对话与多轮工具调用结合在一起，官方发布说明中列出了几项关键特性：支持多轮工具使用并附带异步工具调用指引；提供conversational_mode开关，让回复更短、更适合语音播报；支持可配置推理与运行时思考预算以限制延迟；64K上下文可容纳对话历史、工具定义与应用状态。

英伟达研究报告中展示了一个典型组合：在Jetson Orin Nano 8GB上运行的Reachy Mini机器人，由Cosmos 3 Edge负责视觉感知，Bolt则处理语音回复与工具调用。此外，英伟达团队称Bolt是面向NVIDIA ACE游戏角色的第三代小模型，延续了其在游戏NPC方向的布局。从Gemma 4 E4B（总参数8B、有效4B）出发、只改行为不改底座，正是这条产品线的最新一步。

训练方法论：完全放弃SFT的纯强化学习

这份技术报告最有趣的地方在于训练方式。英伟达完全跳过了监督微调（SFT）——研究发现SFT虽然提升了工具调用能力，却损害了Gemma原本的对话质量，并导致回答冗长。取而代之，团队通过NeMo-RL和NeMo-Gym使用RLVR与RLHF进行后训练，环境覆盖工具调用、指令遵循、指令层级和结构化输出。

训练细节同样值得注意：每个训练样本都在推理与非推理两种模式下运行，每个批次保持2:1的非推理与推理样本比例；GenRM环境中的长度惩罚机制防止回答在训练中越变越长。数据集与完整训练配方均已公开。在部署侧，BF16检查点通过llama.cpp量化为Q4_K_M格式，采用重要性矩阵校准（约100万token的RL rollout数据），目标是约4GB显存包络。英伟达实测Q4_K_M版本在RTX上占用3.1至4.3GB显存。

性能表现：15项领先，也有明显短板

英伟达将21项基准分为对话、工具使用、指令、上下文、事实落地五大能力域，所有BF16分数均由英伟达在自家NeMo-Gym测试框架中测得，对比对象包括Gemma 4 E4B、Qwen3.5-4B和Nemotron 3 Nano 4B。结果显示Bolt在15项中领先，平均分数较Nemotron 3 Nano 4B高出约40%，在开启推理的对比中输出token最多减少80%。

具体来看，亮点包括：IHEval（指令层级）84.8分，远超Gemma 4 E4B的67.0和Qwen3.5-4B的60.6；MultiChallenge 53.1分为四款模型最高；RelyToolBench 63.2分对比Qwen3.5-4B的43.3。独立评测方面，Scale Labs在X平台发帖称Bolt以56.03%位列小模型MultiChallenge榜首。

短板也很清晰：Tau2-Bench仅55.1分，落后Qwen3.5-4B的75.1约20分；RULER 64K长上下文测试87.0分低于Qwen3.5-4B的95.1；MMMU-Pro Vision 42.0分不敌Gemma 4 E4B的47.6；在Jetson Orin Nano上3K输入时首token延迟高达5785毫秒，说明端侧低配设备上的响应速度仍是挑战。

推理速度：DFlash让生成提速1.21倍

为追求语音交互所需的低延迟，Bolt附带一个DFlash草拟器用于投机解码：草拟器一次并行提出7个token，由主模型验证。在RTX 5070上，Bolt搭配DFlash达到272.6 tokens/s，而Gemma 4 E4B使用其MTP草拟器为225.9 tokens/s，Bolt快1.21倍。这一吞吐水平配合对话模式下的短回复，基本能满足实时语音对话的体验门槛。

从纯RL后训练、长度惩罚控制冗余、imatrix量化到投机解码加速，Bolt展示了一条把开源底座改造成专用Agent模型的完整工程路线。

目前模型已在Hugging Face以开源形式发布，配套博客与技术报告均可获取，数据集与训练配方公开。这意味着社区可以复现乃至继续改进这条RL训练路线，而不是只能下载一个黑盒权重。

展望：端侧Agent的又一个信号

Bolt E4B传递的信号是明确的：4GB级显存的本地Agent已经在能力上足够实用，且开源权重加开源配方的组合大幅降低了门槛。对语音助手、游戏NPC与机器人开发者来说，它提供了一个可与云API并行选择的本地方案；对整个社区来说，英伟达“放弃SFT、纯RL改造开源底座”的方法论，或许会成为小型专用模型的新范式。不过Tau2-Bench与长上下文上的落后、以及低配设备上的首token延迟，也提醒开发者仍需按场景权衡选型。随着ACE生态与Jetson硬件的迭代，端侧Agent的竞争才刚刚开始。