1月8日,智元机器人在具身圈再次掀起波澜,正式推出首个4D世界模型EnerVerse,多视角任意观测,基于未来空间生成引导机器人动作规划,再次加速具身智能进程。
在机器人技术领域中,动作规划始终是一项充满挑战的任务。现有的机器人动作规划方法,往往因为缺乏对动态操作空间的深入理解和长序任务的记忆处理能力不足而表现不佳,而已有的基于2D视频生成的world model又难以准确表达复杂的3D关系。为了解决这一问题,智元机器人提出了机器人领域首个4D世界模型EnerVerse,将生成式空间智能与机器人动作预测相结合,使机器人能够更高效、更准确地完成任务。
智元4D世界模型EnerVerse 的问世,打破了传统人工智能模型局限于三维空间的问题。EnerVerse引入了自由锚定视角(FAV)来表征4D时空,允许机器人动态调整其视角,克服了固定多视角在狭窄或遮挡环境中的局限性。FAV通过光线投射原理和视线方向图作为视角控制条件,时间维+多视角视频生成,确保了生成视频的几何一致性,“上帝视角”任意观测,预测4D未来,从而提升了机器人在复杂环境中的动作规划能力,大幅增加任务成功率。在实验中,EnerVerse在单视角设定下取得平均最优效果,而在三视角设定下效果得到进一步增强。
此外,EnerVerse在LIBERO仿真场景和AgiBotWorld真实场景中生成的多视角视频质量也得到了充分验证,在短程与长程任务视频生成中,EnerVerse均展现出卓越的性能。
最后,EnerVerse构建了一个数据飞轮,通过在仿真数据上训练的4D生成模型(EnerVerse-D)与4D高斯重建交替迭代,为真实场景下的FAV生成提供了伪真值支持。这一创新方法不仅增强了模型的泛化能力,还为机器人在真实世界中的应用奠定了坚实的基础。
智元机器人推出首个 4D 世界模型 EnerVerse ,是一次具有里程碑意义的创新之举,开创了未来具身智能的新方向。通过未来空间生成引导动作规划,EnerVerse不仅突破了机器人任务规划的技术瓶颈,还为多模态、长程任务的研究提供了全新范式。随着 EnerVerse 架构的不断优化和完善,期待它为具身智能行业的发展带来更多的惊喜和变革,引领人工智能技术进入一个崭新的时代。
“特别声明:以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布,本平台仅提供信息存储空间服务。
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”