腾讯开源WeVisOne-VL统一视觉理解
腾讯微信视觉团队于2026年11月3日推出开源视觉语言模型WeVisOne-VL，提供2B与4B版本，以单模型覆盖检测、指代、计数、OCR、分割和抠图。模型借助轻量像素解码器输出掩码与透明度图，在多项自报基准上表现突出，但识别不存在目标仍有短板。
腾讯微信视觉团队近日发布开源视觉语言模型WeVisOne-VL，名称意为微信视觉全能模型。它基于Qwen3-VL构建，提供2B和4B两种规格，目标不是泛化聊天，而是把细粒度视觉感知与定位集中到一个模型中：从检测、指代定位、计数、点选和OCR，到分割与透明度抠图，开发者可按需选择点、框、二值掩码或连续alpha matte等输出形式。腾讯称，这种整合有望让开发者少部署一个检测器、一个OCR引擎和一个分割模型。
一个模型覆盖框、点与像素级输出
WeVisOne-VL的2B版本在Hugging Face上的参数量为2.44B，4B版本为4.83B；两者均配有仅9.6M参数的像素解码器。这个解码器负责生成掩码和透明度图，模型因此不必另接SAM一类分割模型。对于只需目标位置的任务，模型可以返回点或边界框；需要精细轮廓时，则可继续输出像素级结果。腾讯也开源了数据引擎使用的抠图标注工具Mask2Alpha。
模型把各类任务统一为结构化的下一词元预测。它以<0>到<1000>的坐标词元表达归一化边界框和点；如果查询对象不存在，则应返回None，而不是猜出一个框。像素任务中，每预测一个框，模型还会输出
轻量解码器复用视觉特征，训练规模超过亿级
据模型卡介绍，像素解码器由三部分组成。视觉特征适配器直接复用Qwen3-VL视觉Transformer的多层特征，不再另建第二个图像编码器；框引导查询解码器包含6个可变形交叉注意力模块，以
训练数据由知识图谱驱动的数据引擎构建，覆盖超过1亿张图像、约36亿个边界框。区域候选由SAM3、Rex-Omni和腾讯内部检测器提出，再由Qwen3-VL核验。训练分为三阶段监督微调：第一阶段用9000万条样本对齐输出格式；第二阶段将输入提高到1960个视觉词元，并训练模型在单次响应中处理最多500个框；第三阶段训练像素解码器，并使用1.3亿条样本进一步专门优化抠图。之后，团队还用17.8万条经过不确定性筛选的样本进行GRPO训练。模型训练时使用的上下文长度最高为8192个词元，但部署时可用上下文长度尚未披露。
自报基准多数领先，拒识能力仍待检验
腾讯公布的结果为自报数据，覆盖30多个基准；测试采用贪心解码，每张图像最多使用1960个视觉词元。检测、指代和OCR的F1均按IoU从0.5到0.95取平均。4B模型在LVIS上的F1为55.3，在Dense200上的F1为71.3，后者高于LocateAnything-3B的58.7。RefCOCOg测试集指代F1达到81.8，对比LocateAnything-3B的77.6；PointBench得分为71.9。相关对比表中，Qwen3-VL-4B-Instruct、Rex-Omni和LocateAnything-3B在LVIS上的分数依次为44.0、46.9和50.7，在Dense200上依次为15.2、58.3和58.7，在RefCOCOg上依次为74.3、74.3和77.6，在PointBench上依次为57.1、69.9和56.9。
在其他任务上，4B模型在PixMo-Count测试集的精确匹配率为89.6%，对比值为82.8%；TotalText OCR F1为52.0，高于专用OCR模型PP-OCRv5的25.7。ReasonSeg验证集分割gIoU为71.2，高于LISA-13B的65.0。P3M-500-NP边界框提示抠图的MAD为7.3，优于对比模型SAM2-Matting（SAM3）的15.4；MAD越低越好。2B版本多数任务落后于4B，但在同一P3M-500-NP框提示抠图任务上取得6.6 MAD，反而更好。
拒识结果则显示，能力会随测试集变化。在腾讯自建的WeRef-Bench上，模型对不存在目标的拒绝率为96.4%，高于对比值73.0%，该测试包含2880个查询；但在PR-Bench上拒绝率只有52.6%，意味着不少不存在的目标仍可能得到一个框。对比表所列RefCOCOg-Rej拒绝率中，WeVisOne-VL-4B为67.4%，Qwen3-VL-4B-Instruct为18.8%，Rex-Omni为0.5%，LocateAnything-3B为0.6%。这些不同基准上的数字不宜混为一谈，也说明开放词汇定位中的目标缺失判断仍是模型短板。
权重开放，部署门槛与能力边界并存
2B和4B权重已在Hugging Face提供，wevisone_vl软件包封装Transformers与vLLM后端，支持detection、referring、point、count_box、ocr、segmentation和matting等任务。官方说明模型可在单张GPU上以BF16运行，软件包也列出NPU和CPU设备；但官方没有披露显存需求。社区制作的GGUF版本曾在6GB显存的RTX 2060上运行对象级任务，这一案例不代表官方公布了完整硬件要求。由于像素解码器依赖原生视觉特征，GGUF构建无法生成掩码。
对比模型的授权和上下文信息也有所不同：WeVisOne-VL采用Apache 2.0许可，基座为Qwen3-VL，模型卡没有披露部署上下文；Qwen3-VL-4B-Instruct由阿里巴巴Qwen团队开发，许可同为Apache 2.0，原生上下文为256K，但模型卡未列出原生掩码或透明度图能力。Rex-Omni由IDEA Research开发，规模为模型卡所列3B，基于Qwen2.5-VL-3B-Instruct，使用IDEA License 1.0；LocateAnything-3B由NVIDIA开发，基于Qwen2.5-3B-Instruct与MoonViT-SO-400M，采用NVIDIA非商业许可。后两者的上下文长度未披露，模型卡也未列出原生掩码或抠图能力。腾讯已提供2B和4B托管演示，微调代码仍在待办事项中。
整体来看，WeVisOne-VL的主要看点是把多种视觉任务和像素级输出放进一套开放权重模型，并以较小的专用解码器复用已有视觉特征。Apache 2.0许可和统一接口可能降低开发者拼接多个工具的成本，但自报基准、尚未披露的显存需求、不同数据集间不一致的拒识表现，以及GGUF无法生成掩码等限制，都需要在真实应用中进一步验证。后续若腾讯补齐微调工具与部署数据，模型能否在复杂图像和目标缺失场景中稳定工作，将是其从研究发布走向实际产品的重要考验。