U
产品发布

270亿参数Drex Max开放权重,支持Mac本地运行

Nace AI开放270亿参数决策模型Drex Max v1权重,4位量化版可在24GB及以上内存的苹果芯片Mac运行。模型面向路由、分类与策略检查,支持本地部署;公开成绩均为厂商自报,Mac与CPU路径暂不支持图像。

👁 2阅读 💬 0评论
270亿参数Drex Max开放权重,支持Mac本地运行
📝 全文约 3539 字 · 预计阅读 9 分钟

把270亿参数的决策模型部署到个人电脑上,正成为开发者可以实际尝试的选择。Nace AI发布Drex Max v1开放权重版本,提供bf16权重、Q8_0 GGUF文件、affine Q4检查点,以及适配后的llama.cpp和Ollama分支。其中,4位量化版本面向内存24GB及以上的Apple Silicon Mac,让智能体路由、工单分类和策略检查等任务能够留在本地执行。Nace将其定位为自家能力最强的决策模型。不过,这次发布的准确含义是在Nace.AI Open RAIL-M许可下开放权重,实际使用仍需遵守相应许可条款。

专做选择与评分,一次计算输出选项概率

Drex Max的工作方式与常见聊天模型有所不同:开发者传入一个状态,可以是文本、JSON或图像,再附上具有名称的问题,模型便在一次前向计算中返回每个选项的概率,不生成自然语言回答。它支持三种问题形式:在命名选项中选择、判断是或否,以及给出有序等级评分;每个问题最多支持255个选项。这样的输出形式适合需要结构化判断的系统,例如决定由哪个智能体接手任务、把客服工单分配到哪个队列,或检查输入是否符合既定策略。其托管服务也主要面向路由、分类和策略检查。

模型采用270亿参数的稠密骨干网络,共64层,其中48层是从左向右处理序列的Gated DeltaNet线性注意力层,另外16层是全注意力层,每隔4层设置一层。后者采用非因果注意力,允许每个词元关注整个序列。图像经由原生视觉塔处理,并可被同一次请求中的所有问题访问;一个255路读出头将最后的隐藏状态转换为选项概率。配置文件将模型类型标为qwen3_5,最大位置窗口为262,144个词元,默认上下文长度为16,384个词元。需要区分的是,模型支持的最大窗口并不意味着所有本地设备都能以这一长度高效运行。

公开决策指数达67.52,成绩仍需独立验证

按照Nace AI自行报告的数据,Drex Max在公共文本评测Decision Index 0.4中取得67.52分,比Drex v2.0的61.25分高6.27分,Jev 1.13.0的对应成绩为57.96分。分领域表现中,Tools为81.9,Language为72.2,Retrieval为68.8,Knowledge and Reasoning为57.1,Arts为53.4;视觉任务InfographicVQA的skill指标达到97.3。公共视觉指数为73.92,覆盖11项基准和12,210条数据。这些成绩展示了模型在工具相关判断和视觉信息理解上的潜力,也表明不同领域之间仍存在明显差异,不能用单一总分替代具体业务验证。

其他评测方面,Drex Max的Artificial Analysis Decision Index成绩为64,Nace称其在18个模型中排名第4;JevBench准确率为92.2%,即231项中答对213项;Decision Bench v4准确率为94.30%,即1,071项中答对1,010项。公开结果数据集覆盖140,620次请求,未作答请求按错误计入。上述数字均由Nace AI自行报告,原文未提供独立复测结论,而且MarkTechPost明确披露该报道由Nace AI赞助,并感谢该团队提供观点与资源。因此,这些数据适合作为选型线索,正式上线前仍需用真实工单、路由规则或策略样本检验效果。

五种运行路径,24GB Mac可用4位版本

Nace为本地部署记录了5种运行时,它们统一提供POST /v1/systemone接口,但硬件要求和图像能力并不相同。Python路径面向NVIDIA GPU,支持约49GB的bf16检查点或约26GB的8位版本,也是当前唯一支持图像输入的路径;原文列出的部署组合包括H100运行bf16,以及48GB显存的L40S运行8位版本。llama.cpp分支支持Apple Metal和CPU,使用27.25GB的Q8_0 GGUF文件;Ollama分支同样面向Apple Metal和CPU,使用Q8_0 GGUF。Kapitsa要求v0.2.25或更新版本,可在Apple Silicon上使用Q8_0 GGUF或affine Q4;MLX路径则使用14.45GB的affine Q4检查点。这四条非Python路径目前均不支持图像。

在Mac上,affine Q4版本面向24GB及以上内存设备,Q8_0 GGUF则需要48GB内存。针对48GB Mac,Nace建议Kapitsa采用--context 2048,说明实际部署需要在上下文长度和内存余量之间做取舍。Ollama用户可设置num_gpu 40,将40层卸载到Metal执行;设为num_gpu 0则使用CPU。其定制分支还要求在Modelfile中加入CAPABILITY decision声明。这意味着开发者需要使用本次发布适配的运行工具,而不能仅凭文件格式就假定通用版本具备完整支持。统一接口有助于切换后端,但并未消除不同平台之间的功能差异。

量化降低门槛,概率接近不等于全面等效

量化版本能否保留决策结果,是此次端侧发布的关键。Nace称,在一台48GB内存的Apple M5 Pro设备上,Q8_0 GGUF与H100运行的bf16版本相比,每个选项的概率差异均在0.02以内;affine Q4相较Q8_0的概率差异在0.0329以内,测试中没有出现最终选项翻转。对依赖最高概率选项完成路由或分类的应用而言,这提供了一个积极信号:更小的本地检查点可能保留有用的决策一致性。不过,原文没有给出这些量化对比的完整测试范围,也没有披露本地吞吐量、响应延迟或功耗,因而不能据此认定所有任务上的体验都与云端高精度版本相同。

从产品价值看,本地部署让企业可以在自己的硬件上执行判断,减少将业务上下文交给外部服务的需要,并支持离线运行。对于频繁调用的分类或策略检查,成本结构也可能从按次付费转向硬件投入与运维支出,但原文没有足以计算成本回收周期的数据。与此同时,Mac和CPU版本目前仅支持文本,模型本身具备视觉塔并不意味着这些部署路径也能处理图像。需要识别截图、图表或其他视觉内容的团队,仍应选择支持图像的Python与NVIDIA GPU路径;需要基于概率阈值自动执行操作的系统,还应检查量化误差是否会改变阈值附近的判断。

与前代及Jev相比,架构、价格同步变化

产品对比显示,Drex Max v1采用270亿参数稠密架构,Drex v2.0则是350亿总参数、约30亿激活参数的MoE模型,Drex v1.5为90亿参数,Jev 1.13.0未公开参数规模。两款较早的Drex模型最大上下文均为131,072个词元,Max将上限提升到262,144;Jev未披露对应信息。Max支持文本、JSON和图像,v2.0移除了视觉塔,仅支持文本,v1.5也仅支持文本,Jev的输入能力在对照材料中未披露。三代Drex均以Nace.AI Open RAIL-M开放权重,Jev则是闭源托管产品。本地文件方面,Max提供14.45GB的affine Q4版本并面向24GB及以上Mac,v2.0列出的最小本地文件为36.9GB的Q8_0,v1.5的Q8_0约为9.5GB,Jev没有对应本地文件。

成绩与价格也体现了新版本的定位。Drex v1.5的公共Decision Index成绩为58.08,v2.0为61.25,两者标注的评测版本均为0.3.1;Max的67.52来自0.4,Nace团队表示两个版本使用相同的公共测试套件。JevBench中,v2.0为85.7%,Jev 1.13.0为86.6%,v1.5未披露,Max则达到92.2%;Artificial Analysis Decision Index中,v2.0和Jev均为58,Max为64,v1.5未列入。托管价格方面,Max发布时为每1,000次决策0.03美元,v2.0为0.06美元,v1.5为0.04美元;Jev的报价为每100万项任务42美元。由于“决策”与“任务”的计费口径未必完全一致,比较实际成本时还需核对各服务的请求定义和使用条件。

此次发布同时提供模型权重、Q8_0 GGUF、代码与文档,以及相关社交公告和云端控制台入口,使开发者能够在本地部署与托管调用之间进行选择。它的主要意义,是把结构化决策能力带到更容易获得的个人和企业设备上。后续值得关注的,是独立复测能否确认厂商报告的优势、本地长上下文的实际资源开销,以及不同运行时能否扩大功能覆盖。原文没有公布Mac或CPU图像支持的后续时间表;对当前准备采用Drex Max的团队而言,先围绕真实任务验证准确率、概率稳定性和运行表现,才能判断这款开放权重模型是否适合进入生产流程。

💬 评论