U
技术突破

VAST开源实时世界模型EdenLive:从参考素材到可玩游戏世界

VAST开源Project Eden系列实时生成式渲染器EdenLive,5B模型单张RTX 5090即可超24FPS生成720P画面,同步开源EdenGolem游戏生成skill,并启动V·STAR人才计划,覆盖游戏、动画与具身数据增强等场景。

👁 99阅读 💬 0评论
VAST开源实时世界模型EdenLive:从参考素材到可玩游戏世界
📝 全文约 2060 字 · 预计阅读 5 分钟

在AI生成的游戏画面里,玩家的每一次临时起意——突然停下、突然转身、突然起跳——都要求模型逐帧稳定跟上。VAST刚刚开源的实时世界模型EdenLive,正是为了解决这一问题:它作为Project Eden系列中的实时生成式渲染器,让玩家能一边操作、一边看到AI实时生成的世界。

任意参考素材,边玩边生成

EdenLive的参考输入极其灵活:一个粗糙的3D白模、一段2D场景,甚至一段已有录像,都能提供结构和运动。同一段参考,换一张首帧、一句提示词,就能得到写实、手绘线稿、卡通、像素或油画等完全不同的外观。游戏、动画预览等可交互内容的规则与状态,仍由上游交互系统维护,EdenLive只负责把状态渲染成画面。

具体分工上,EdenLive的三类输入各司其职:参考视频决定场景布局、镜头运动、物体轨迹和事件发生的时间;目标首帧确定主体、材质、配色和画风;文本提示词补充风格与细节,交互中还能在事件发生时追加描述。参考画面决定结构与运动,生成模型负责重写这些内容最终「看起来是什么」。

这让生成式渲染从离线视频生成,进入长时游戏交互、视频画风转换、具身数据增强等场景。例如真人教学的「闪身步」视频,可以在保留构图和运镜的同时,把人物与画面整体动画化,模型沿原视频的动作和空间关系重绘每一帧,而不照搬原视频的质感。

实时性与长时生成的硬指标

与先拿完整输入再整段生成的离线视频模型不同,EdenLive能追着不断变化的参考画面实时前进。据团队披露,EdenLive 5B在单张消费级显卡RTX 5090上能以超过24 FPS生成720P画面,并支持分钟级连续生成。

在长时生成质量上,基于Gemini-3.8-Flash对45个长时案例的两两盲评(每组交换顺序各评一次,再按维度计算Elo分数),EdenLive在参考遵循、首帧一致性、物理合理性、画质和避免外观泄漏五个维度上,14B和5B全部包揽第一、第二。以参考遵循为例,14B得分1704,比AgentGarten高出约200分。

规则归交互系统,画面归模型

EdenLive并不判断游戏里发生了什么,也不负责让世界运转。在今年5月发布的Project Eden中,VAST将世界模型研究分为三层架构:持续演化的世界状态(记录物体位置、交互规则与动作后果);状态到画面的接口;以及生成式渲染器。EdenLive实现后两层,不限定第一层。

以格斗游戏为例,玩家按下攻击键后,指令先进入上游交互系统,由它判断是否命中、扣多少血,再更新状态和血条;交互系统将变化渲染成灰盒画面,一个专门微调的视觉编码器从中提取布局、镜头和动作——它不需要精细的皮肤和光影,只要交代清空间结构与运动轨迹。

「规则归交互系统,画面归模型」,这套分工解决了视频模型不擅长长期保存规则的问题,保证视觉元素的稳定呈现。当然,这套分工仍要经过更长时间、更复杂交互的检验。

在场景和动画预览中,参考不变、只换首帧和提示词,就能在同一场景、同一段动画上比较不同材质、光照和配色。镜头离开再转回来,参考里的结构仍在原处,EdenLive按同样结构继续渲染,不必从过去画面中重新推测。

具身数据增强:被忽视的关键用途

机器人训练中并不缺「人类怎样擦桌子」的知识,缺的是「从机器人眼睛看出去,机械手怎样靠近并抓住物体」的素材。真人录像里是人的手臂和五指,机器人部署时看到的却是机械臂和夹爪,两者外形、运动范围和遮挡方式都不同,模型可能遇到明显的视觉分布差异。

通过EdenLive,可以把真人第一人称视频中的手替换成机械手:人拿起水壶的动作、水壶与桌面的相对位置、镜头移动都保留,只把执行者换成机械臂,从而生成更接近机器人实际视野的训练数据。

开源内容与人才计划

面向游戏开发,VAST同步开源了EdenGolem(v0.1),一款给编程智能体使用的skill:输入一段玩法描述,智能体分四个阶段依次完成玩法设计、场景搭建、交互逻辑实现与界面完善,生成可独立运行的3D灰盒游戏,目前支持解谜、射击、驾驶、冒险、竞技场、格斗等类型。

此次开源包括5B、14B模型权重(各含双向生成与少步流式生成两个版本)、实时流式推理代码、EdenGolem v0.1和前端工作台,并公开技术报告,开发者可接入自己的参考来源,测量延迟、稳定性与参考遵循程度。同时发布的V·STAR顶尖人才计划,招募3D生成模型、3D理解与Agentic AI、世界模型三个方向,参与者将直接参与核心项目,薪资比头部大厂更具竞争力、特别优秀者上不封顶,另有长期期权。

值得注意的是,Project Eden早在今年5月就把「交互系统维护世界状态、生成模型负责视觉呈现」写进完整架构,而2026年1月牛津学者的综述才把「视觉混淆」列为世界模型的挑战,主张世界模型应从视觉引擎转向可操作的模拟器;市场上类似方案到8、9月才密集出现。过去的世界模型演示用一段视频证明模型能想象一个世界,而EdenLive把整条链路开源之后,随着更多开发者接入自己的代码、场景和参考画面,这项技术有望真正成长为可用的创作工作流。

💬 评论