您的位置:首页 >要闻 >

24项真机硬碰硬!不靠大规模机器人预训练,Fysiverse-UniWAM拿下导航、移动操作双第一

2026-11-01 20:33:27    来源:机器之心Pro

编辑|陈陈


(资料图)

机器人终于不只是知道往哪走,还知道该在哪里停、以什么方向面对目标,甚至停稳之后,就能直接上手干活。

听起来理所当然,但对机器人来说,这恰恰是一道长期存在的难题。

比如,让机器人收拾桌上的杯子。能走到桌边,不代表就能拿起杯子。底盘停得稍远一点,机械臂可能够不着;朝向稍有偏差,后续抓取也可能受到影响。

如何让机器人不仅走得到,还能停得准、拿得起,甚至完成更复杂的灵巧操作?

最近,国内团队给出了一条颇有意思的新路线。

飞捷科思(Fysics AI)联合复旦大学认知与智能技术实验室(CITLab),提出统一世界动作模型Fysiverse-UniWAM,尝试用一个模型,将自主导航、移动操作与固定工位灵巧操作三类原本相对独立的能力贯通起来。

更值得关注的是,这套模型没有走以大规模机器人预训练为起点的传统路线。

团队从预训练视频世界模型出发,通过共享骨干网络实现导航与操作的联合学习,并提出 MAP(Manipulation Anchor Pose,操作锚定位姿),构建了超过150 万条轨迹、累计约 7500 小时的 MAP-Data 数据集

技术路线不一样,实际表现究竟如何?

结果还真有点出乎意料。

在 MAP-Bench 基准测试中,Fysiverse-UniWAM 的平均位置误差仅为9.85 厘米,平均朝向误差为2.30°,较最强外部基线分别降低30.1% 和 44.0%

更有看头的是,团队直接将模型部署到 4 种机器人平台,开展了覆盖自主导航、移动操作与固定工位操作的24 项真机测试

其中,13 项导航任务的位置误差全部领先,4 项移动操作任务成功率全部第一;在复杂固定工位操作中,整体表现也接近经过大规模机器人预训练的 π₀.₅。

不靠大规模机器人预训练,一个模型凭什么交出这样的成绩?

视频链接:https://mp.weixin.qq.com/s/mci26p6jgAQqpj7IITgGiQ

24 项真机实测,一个模型到底有多能打?

先不急着看技术原理,直接上真机。

自主导航:不仅走得到,还能停得准

研究人员将机器人移动到远离目标的位置,改变起点与朝向,机器人便能根据当前环境自主规划接近路线,调整底盘位置与方向,最终精准停靠。

即使更换目标、场景乃至机器人平台,模型依然能够完成相应的导航任务。

视频链接:https://mp.weixin.qq.com/s/mci26p6jgAQqpj7IITgGiQ

视频链接:https://mp.weixin.qq.com/s/mci26p6jgAQqpj7IITgGiQ

这并不只是演示效果。

在 13 项 MAP 导航真机测试中,UniWAM 的位置误差全部排名第一,朝向误差在其中 11 项任务中取得最优。

而精准停靠的意义,正是为接下来的机械臂操作创造合适条件。

移动操作:走到位,还要把活干完

在移动操作任务中,机器人需要自主靠近目标,调整底盘,再控制机械臂完成抓取与放置。

例如,从移动到桌边,到伸手抓起杯子并收纳,整个流程由模型自主完成。

视频链接:https://mp.weixin.qq.com/s/mci26p6jgAQqpj7IITgGiQ

换成彩色方块分类,机器人则需要识别目标颜色,协调底盘与机械臂,将方块放入对应托盘。

视频链接:https://mp.weixin.qq.com/s/mci26p6jgAQqpj7IITgGiQ

这些任务真正考验的是导航和操作的衔接能力,而不只是单独完成某个动作。

技术报告表 7 给出了 4 项真机移动操作任务的逐项评测结果。UniWAM-Scaled 在 4 项移动操作任务中的成功率全部第一,平均成功率达到 80.0%,领先当前最强的机器人预训练基线 π₀.₅达 17.5 个百分点。

技术报告表 7 中 4 项移动操作的逐任务评测结果

灵巧操作:万物抓取、双臂三层叠杯、高精度插管、长程度咖啡制作

如果说导航与移动操作已经展现了模型的综合能力,那么接下来的灵巧操作,则更加令人眼前一亮。

首先是一段Pick Up Anything 一镜到底交互演示

视频链接:https://mp.weixin.qq.com/s/mci26p6jgAQqpj7IITgGiQ

面对形状、大小和摆放姿态各异的物体,机器人能够根据实时视觉观察灵活调整抓取动作,连续完成不同目标的交互式抓取。

人手移动到三维空间中的不同位置,机械臂会持续感知手部位置,并相应调整递送动作,完成精准递物。人手伸向哪里,机械臂就将物体送到哪里。

更高难度的操作也不在话下。

双臂三层叠杯任务中,机器人需要协调双臂,精准抓取、逐层放置,最终搭建起三层杯塔。

视频链接:https://mp.weixin.qq.com/s/mci26p6jgAQqpj7IITgGiQ

在高精度试管插放任务中,机器人则需要控制机械臂末端的位置与姿态,完成精细对准和插入,对空间精度提出了更高要求。

视频链接:https://mp.weixin.qq.com/s/mci26p6jgAQqpj7IITgGiQ

而在长程咖啡制作任务中,机器人还需要连续完成多个操作步骤,对长时序任务规划、动作衔接与执行稳定性提出了更高挑战。

视频链接:https://mp.weixin.qq.com/s/mci26p6jgAQqpj7IITgGiQ

从泛化抓取、双臂协作到精细插放,Fysiverse-UniWAM 展现出丰富的灵巧操作能力。

在 7 项固定工位真机评测中,模型有 3 项任务超过 π₀.₅,整体成功率达到68.9%,仅落后 π₀.₅ 2.5 个百分点。

技术报告表 7 中 7 项固定工位操作任务的成功率对比

综合 24 项真机任务来看,技术报告表 6 汇总了三类任务的整体表现:UniWAM-Scaled 在 MAP 导航和移动操作的停靠精度上均取得最优,移动操作成功率排名第一,固定工位操作成功率排名第二。

技术报告表 6 展示了 24 项真机任务整体评测结果

一个没有经历大规模机器人预训练的统一模型,不仅能在导航和移动操作中取得领先,还能兼顾如此丰富的灵巧操作,背后究竟有什么技术秘诀?

不靠大规模机器人预训练,UniWAM 走了一条什么路?

近年来,以 π₀.₅、GR00T 等为代表的大规模机器人预训练,已经成为具身智能的重要技术路线。

但真实机器人数据并不容易获得。尤其是完整移动操作轨迹,需要连续采集从移动、停靠到机械臂执行任务的整个过程,成本和复杂度都不低。

更重要的是,导航与操作本身存在明显差异:前者关注环境布局与底盘运动,后者关注近距离物体交互与机械臂精细控制。

那么,能否不依赖海量完整机器人操作轨迹,而让导航和操作在一个模型中共同学习?

为此,团队将问题拆成了两个层面。

第一个问题:机器人怎样知道,哪里才是适合操作的导航终点?

第二个问题:导航和操作的数据不同、动作不同,怎样让它们在一个模型中共同学习?

对应的答案,正是 MAP 与 Mixed-Stream。

移动操作面临的挑战及 Fysiverse-UniWAM 的解决方案。

MAP:让导航的终点,成为操作的起点

传统语义导航通常只要求机器人抵达目标附近,但对于移动操作而言,“到达” 远远不够。

机器人还需要知道,底盘应该停在哪里、以什么方向面对目标,才能方便机械臂接下来的动作。

为此,团队提出MAP(操作锚定位姿),将适合后续操作的参考位置与朝向,明确作为导航学习目标。

更关键的是,MAP 监督数据能够大规模自动生成。

团队利用 HM3D、InteriorGS 以及私有大规模场景数据,结合场景几何信息、视觉语言模型和自动路径规划,为不同操作目标生成参考停靠位姿与接近轨迹。

每条轨迹不仅包含视觉观察和导航动作,还记录目标边界框、MAP 图像投影等几何监督信息。

MAP-Data 自动生成流程。

最终形成的 MAP-Data 包含超过 150 万条轨迹、约 7500 小时的数据。

这意味着,机器人不必完全依赖真实移动操作示范,也能通过大规模生成数据学习如何走到适合动手的位置

但解决 “在哪里停”,还不意味着解决 “如何一起学”。

Mixed-Stream:导航与操作分开学,模型能力共享

导航和操作需要的视觉信息、动作空间与控制方式都有明显差异。

直接把两类动作拼接在一起,可能增加统一学习的难度;分别训练两个模型,又难以充分共享能力。

Fysiverse-UniWAM 采用了另一种思路:两条数据流独立,核心骨干网络共享。

Fysiverse-UniWAM Mixed-Stream 整体架构。

导航流专门处理环境观察与底盘动作,操作流专门处理多视角观察与机械臂动作。

两条数据流拥有各自的输入编码器和动作输出头,却共享统一的视频 DiT 与动作 DiT 骨干网络,通过 Mixture-of-Transformers(MoT)机制实现视觉动态与动作生成的协同建模。

更重要的是,导航数据和操作数据不必来自同一条完整移动操作轨迹。

训练时,两类数据可以独立采样、批量输入,共同更新共享骨干;推理时,两条数据流既能独立工作,也能够并行执行。

这使得海量导航数据与固定工位操作数据能够共同参与统一模型训练,降低对完整移动操作示范数据的依赖。

此外,模型还引入图像平面辅助监督:导航流预测目标边界框和 MAP 投影位置,操作流预测机械臂末端的二维投影轨迹,进一步加强视觉信息与动作预测之间的联系。

导航 MAP 预测与操作末端轨迹预测可视化

至此,UniWAM 的技术逻辑便清晰起来:

MAP 解决机器人应该在哪里停,Mixed-Stream 解决导航与操作如何共同学习。

两者结合,让原本相对独立的导航、移动操作与固定工位操作,能够在统一世界动作模型中协同建模。

从基准测试到零样本迁移,这条路线究竟有多有效?

为了验证这套设计,团队构建了包含 15000 条评测轨迹的 MAP-Bench,对比 π₀.₅、GR00T N1.7、FastWAM、Uni-NaVid 及 InternVLA-N1 等模型。

结果显示,UniWAM-Scaled 在短、中、长距离任务中均取得最低的停靠误差,整体平均位置误差仅9.85 厘米,朝向误差仅2.30°

相比最强外部基线,位置误差降低 30.1%,朝向误差降低 44.0%。

技术报告表 4 展示了 MAP-Bench 各模型性能对比

而且,优势并不完全来自额外数据。

在不引入 MAP-Data 的情况下,UniWAM-Base 已经取得优于外部基线的结果;加入 MAP-Data 后,停靠精度进一步提升。

架构对照实验也表明,Mixed-Stream 相比统一动作 Token、独立动作专家和序列拼接等方案,能够改善移动操作成功率与停靠精度。

更有意思的是零样本真机迁移。

团队仅使用 MAP-Data 训练 UniWAM-Sim,不加入真实机器人示范数据,随后直接部署到两种真实机器人平台。

最终,模型取得18.7 厘米的位置误差和 6.34° 的朝向误差,展现出从生成式场景数据向真实机器人迁移的潜力。

技术报告表 8 展示了 UniWAM-Sim 零样本真机迁移结果

这也进一步说明,通过明确的几何监督和统一模型设计,机器人能力的提升并不只能依靠扩大真实机器人预训练规模。

统一机器人能力,不只有扩大预训练规模一条路

Fysiverse-UniWAM 真正值得关注的,不只是导航和移动操作指标上的领先。

更重要的是,它展示了一条不同的机器人能力构建路径。

通过 MAP,让导航真正面向后续操作;通过 Mixed-Stream,让分散的导航与操作数据在一个世界动作模型中共同学习。

这并不意味着大规模机器人预训练已经不再重要,而是说明它未必是构建统一机器人能力的唯一前提。

从精准导航到移动抓取,再到双臂协作与精细操作,Fysiverse-UniWAM 用 24 项真机测试展示了一个统一模型的能力广度,也证明了这条技术路线的潜力。

当具身智能不再只比拼机器人数据的规模,如何让不同能力真正融合,或许同样是通向通用机器人的关键。

最后,附上项目与开源资源:

项目主页与演示

https://fysics-ai.github.io/uniwam.github.io/

技术报告

https://arxiv.org/abs/2609.39388

GitHub 代码

https://github.com/Fysics-AI/UniWAM

Hugging Face 导航权重

https://huggingface.co/Fysics-AI/UniWAM

MAP-Data 数据集

https://huggingface.co/datasets/Fysics-AI/MAP-Data

MAP-Bench 数据与评测轨迹

https://huggingface.co/datasets/Fysics-AI/MAP-Bench

标签: 动作 机械 机器人 预训练 移动操作 真

精彩阅读

每日速看!10月30日北向资金ETF成交额45.41亿元

中国海油前三季度营收3555.74亿元 净利润1191.18亿元

焦点快看:图解财报:天目药业前三季归母净利润810.60万元,同比减少42.95%

世纪恒通(301428.SZ):公司现有AI短视频审核业务

金价降了水贝卖爆了 水贝黄金门店销量翻番

今热点:瀚天天成(02726.HK)拟不超17.8亿港元购回H股

【聚看点】重庆钢铁股份(01053.HK)2026年前三季度净亏损3.04亿元 同比扩大

齐鲁超赛决赛期间 泰安部分路段临时交通管制

库里:我给华子发过短信 相信他能尽快回归&延续最佳状态|观热点

赛季首胜!费尔斯:虽然开局并不理想 但我们肯定会扭转局面

荣耀李健:正推进阿莱影像适配拍照|最新消息

3天2次相遇!曼城打响榜首保卫战:哈兰德冲击英超8连斩

百奥赛图-B(02315.HK)获易方达基金增持8.6万股 即时看

华侨城A前三季度净亏损47.07亿元 三季度营收降24.20%_热文

前三季度全国可再生能源新增装机占全部新增装机比重超七成

07年科比申请交易,哪些球队给过报价?芝加哥最接近成交,为何最终交易没能成行 焦点速递

意甲仅替补出场14分钟的姆班古拉怎么上演帽子戏法?|要闻

最新快讯!刘涛笑着换了三次站姿,那只手始终没放下

动态焦点:贵州茅台:前三季度营收1332.84亿元,净利润同比下降0.25%

WANG ON GROUP(01222.HK):邓灏康及邓凯聪将获委任为执行董事_每日热点

上海石化(00338.HK)回购14,000股H股

创新奇智(02121.HK)10月30日耗资283万港元回购80.1万股 焦点简讯

热文:KEEP(03650.HK)10月30日耗资16.7万港元回购15万股

中国铁路很多年没见过这么严峻的形势了,2026 年 8 月,中国铁路的数据又刷新了纪录。

狂轰5连胜!西部最大黑马诞生,探花三双破纪录,杨瀚森3分2篮板

周琦:牙被打掉了一小块;我们是一个很团结的球队 每日聚焦

天津金融监管局关于黄志奇华安财保资产管理有限责任公司监事任职资格的批复

晶赛科技(920981)10月30日主力资金净买入119.93万元

百事通!宇特光电龙虎榜数据(10月30日)

微泰医疗-B:10月30日斥资5407.5港元回购800股 速讯

前三季度营收首次破百亿,中微公司归母净利大增241%,股权投资相关收益合计19.4亿元

新消息丨苏豪弘业(600128.SH)前三季净利润3096.82万元,同比下滑37.71%

速讯:8人出征,四战全胜登顶!大连夺辽宁省县域五人制足球赛冠军

@摄影爱好者|“沂蒙四季好风光”文旅摄影作品征集活动来了!

LLDPE商品报价动态(2026-10-30)_每日热点

速讯:三季度43家百亿私募跻身上市公司前十大流通股东 合计持股市值671.66亿元

观焦点:10月30日天鹅股份涨停:棉花,供销社,大农业概念热股

花旗:百威亚太(01876)第三季度自然EBITDA逊预期12% 维持“买入”评级及8.7港元目标价|天天快报

欧股开盘涨跌不一_实时

图解财报:盛邦安全前三季归母净利润-7065.64万元,上年同期-5406.74万元

财通证券三投联动兑现 盈利稳健增长ROE提升

【热闻】事关婴幼儿日常安全 这4项强制性国家标准11月起实施

马斯克公布Neuralink脑机新产品进展:“盲视”准备就绪 只待监管批准 聚焦

西藏药业:截至9月30日最新股东户数4.32万户,较上期增加4.48%

图解财报:森特股份前三季归母净利润7249.41万元,同比减少24.70% 每日消息

焦点播报:ETF洞察|港股通信息技术ETF、中韩半导体ETF、港股通医疗ETF、港股通汽车ETF、恒...

今日观点!松岛辉空明明已经很强了,为何还被西多连科爆冷 刘国正说到了本质

迈瑞医疗三季报营收270.97亿元 AI与国际化共筑增长引擎

2-氨基-3-氯-5-三氟甲基吡啶商品报价动态(2026-10-30)

生意社:10月30日浙江弘博DBP企业报价上涨|今日播报

北京住总如院容积率1.05、最大楼间距约48米,低密现房居住私密性实测解读

观察:探花三双超老詹,7号秀轰34+14!伦德博格再添对手,不愧是超级大年

高兴太早,广东队战胜江苏队却收坏消息,超级中锋受伤,徐杰迷离_当前热讯

美银证券:海螺水泥重申“买入”评级 目标价降至19港元

湖南新田新农人盘活撂荒山地 订单种植稳销增收

半全场分析:福伦丹后程发力,格拉夫夏普能否守住半场优势?-每日短讯

阿卡夫34+6+16创NBA历史第2神迹,还刷爆纪录!国王5连败!费尔斯22+13+4盖帽|焦点速看

西双版纳同汇橡胶有限公司成立 注册资本3万人民币

甘肃磊诚商贸有限公司成立 注册资本120万人民币

焦点精选!苹果硬件高管:iPad mini 8屏幕绝对出色

每日聚焦:太难了!广东44岁骑手哭诉,跑外卖六年,日跑14小时仅赚百余元,负债遇离婚官...

比利亚利夫雷梅开二度,桑坦德竞技客场2-0里巴德塞拉晋级国王杯 焦点热闻

东土科技:前三季度营收阶段性下降

大唐发电(00991.HK)跌超3%,截至发稿,跌3.44%,报2.525港元,成交额6796.74万港元_焦点速读

NBA:不能领先,骑士又被逆转,看了比赛都知道,哈登不背锅_焦点热议

快播:波斯特科格鲁:利雅得胜利已重回正轨,将全力延续胜势

开赛六连上双生涯首次!威金斯20+7让骑士双枪汗颜 老鹰2换1妙手

每日简讯:靶向施训、精准赋能!苏州苏锦街道开展人社专员业务能力提升培训

今日关注:短期承压不改韧性 把握布局窗口机遇

速讯:一张图看商品支撑阻力:金银油气+铂钯铜农产品期货(2026年10月30日)

大行评级|大摩:降ASMPT目标价至215港元,行业逆风或限制短期上行空间_焦点报道

性能直升,跨代之作,一加 Ace 7 系列国补到手价2761.65元起

开拓者官宣留下杨瀚森,年薪比詹姆斯高80万美金,他需要证明自己

小米米家多头筋膜枪3 C开售:16个球形按摩头,到手价209元-观热点

23岁国乒新星遭批!前国手:用同一种方式输了7次 永远突破不了

#柜员手误多打个0储户称离柜不负责#上热搜 网友问:如果少打个0呢?-讯息

焦点讯息:绝处逢生 孙心然首进WTA巡回赛八强

关注:中山市火炬开发区昕琪冷饮店(个体工商户)成立 注册资本0.5万人民币

英国演员帕特里克·斯图尔特去世,享年86岁,业内悼念

新闻纵深·燕赵实验室探访|河北电力接通“创新电源” 今日热门

10月30日生意社玻璃基准价为11.95元/平方米

当前聚焦:10月30日生意社热轧板卷基准价为3216.00元/吨

螺纹钢短期或维持偏强震荡格局 但上行空间有限|每日速读

太盟投资要约收购恒大物业超51%股份,总代价40.26亿港元

杨瀚森第三年合同获保障,开拓者官宣执行其2027-28赛季球队选项,目前薪资为464万美元,2...

智元发布具身模型GO-3 Preview,年底全面开源

每日观点:5-1后!意甲升班马踢疯了,9轮17分进前六+反超2豪门,差米兰1分

速讯:美日宣布达成协议,将在日本联合生产导弹,中方:美日开展安全合作,不应破坏地区...

森林狼官宣爱德华兹已成功接受右膝关节镜手术

广东杀出后场新星,11分钟砍12分 下半场遭雪藏 球迷怒批亚帅论资排辈

多家北交所公司前三季度盈利增速突出|报资讯

今日看点:莫雷托:巴萨愿意出售孔德,切尔西正评估引进的可能性

环球体育:达伽马与加拉塔萨雷商谈奎斯塔,预计不会买断|当前热门

江波龙(09976.HK)前三季净利润143.22亿元 同比增长1909.68%

中信银行(0998.HK)2026年前三季度归母净利润552.93亿元 同比增长3.56%

ST椰岛: ST椰岛关于公司股票被实施其他风险警示相关事项的进展公告|新资讯

泡泡玛特三季度收入腰斩,王宁坦言全年目标大概率落空

热资讯!复洁科技(688335.SH)新增一起对外投资,被投资公司为上海复洁众联企业管理有限公司

焦点报道:C罗社媒庆祝获评“史上最佳金球奖”:75%得票登顶,争议与热度并存

世体:莱万特西甲主场战马竞,自2016年起未曾取胜-每日消息

上海石油化工股份(00338)前三季度归母净利润约10.85亿元 同比扭亏为盈

每日热闻!百龙创园2026年前三季度归母净利润2.93亿元 同比增长10.70%

和誉-B:10月29日斥资31.75万港元回购5万股 报资讯

唐人神前三季度归母净亏损13.08亿元 亏幅同比扩大-热推荐

鸿合科技(002955.SZ):第三季度净利润1879.34万元 同比减少50.01%

关注:冷空气活动频繁 降水吹风降温天气即将到来

润丰股份:10月28日董事袁良国增持股份合计6100股 每日速读

上声电子(688533.SH):第三季度归母净利润2782.21万元,同比下降44.49%