您的位置:首页 >要闻 >

平均成功率91%!苹果研究团队披露机器人“大脑”进展:调用千问模型在宇树G1上验证

2026-11-07 17:57:18    来源:澎湃新闻

苹果研究团队披露机器人“大脑”研究进展。


【资料图】

当地时间11月4日,苹果研究团队在预印本平台arXiv提交论文《Perceptive Humanoid Motion from Simulation》,披露了人形机器人自主控制系统HALO。研究团队将该系统部署在宇树科技的G1人形机器人上进行验证,让机器人将在仿真环境中学到的动作,带到陌生的现实房间中执行。

研究团队还公开了数据生成、模型训练和部署代码,涵盖动作生成、动作跟踪、任务编排以及仿真和真实机器人运行等环节。

搭载HALO系统的宇树G1机器人在不同真实环境中演示钻过桌底、坐上沙发和推箱子等任务。图片来源:HALO研究团队

项目页面展示了机器人听从指令推箱子、跟随人、坐上椅子,以及侧身穿过半开的门、俯身或爬行穿过桌底等动作。这些任务需要机器人理解周围环境,并根据空间条件调整身体姿态。

执行任务时,HALO由三个层级协同控制。最上层是基于视觉语言模型(VLM)的任务编排模块,默认采用千问Qwen3.6-35B-A3B,在机器人搭载的Mac mini上本地运行,与动作生成器共用模型服务引擎,无需联网即可工作。系统也可选择通过API调用云端模型,以获得更强的推理和规划能力。

这一层需要处理指令中的模糊信息,并根据环境安排动作。例如,“坐下”没有明确指定目标,需要机器人从眼前场景中判断坐在哪里;“坐到椅子上”在路径畅通时可以直接执行,但如果有桌子挡路,就需要拆成俯身通过、接近椅子、坐下等连续子任务。任务编排模块通过机器人视角的视频持续观察环境,判断当前动作是否成功,并据此推进计划或重试,每次向动作生成器下达一个明确的子任务。

中间的动作生成层采用另一款千问模型Qwen3.5-2B。研究团队将其作为参数冻结的编码器,与负责生成动作的DiT解码器配合,根据机器人看到的画面和当前子任务,规划未来约5秒的全身动作。这一层每秒重新规划约3次,使动作计划能够随环境变化持续更新。

底层则是经强化学习、策略蒸馏等步骤训练的动作跟踪器,以每秒50次的频率运行,结合深度图像和机器人自身状态,将动作计划转化为关节控制指令。

三个层级分别承担任务安排、动作规划和身体控制,协同完成从理解指令到执行动作的过程。

HALO的三层控制架构:视觉语言模型负责任务编排,作生成模块规划全身动作,经强化学习训练的动作跟踪器执行关节控制。图片来源:HALO项目页面截图拼接

据论文披露,研究团队在6个未预先扫描或建图的真实环境中开展360次单项任务测试,平均成功率为91%。另在一个真实环境中,对3种组合任务分别开展10次测试,平均成功率为70%。其中,“俯身通过障碍—走向目标—推箱子”这一组合的成功率为50%。

机器人如何获得完成这些任务所需的数据,是这项研究关注的问题。研究团队在1000个程序生成的模拟家庭环境中,合成了约300小时的主要训练数据,将机器人“看到什么”“接到什么指令”和“如何运动”配对起来。

具体而言,系统先生成动作,再将动作放进虚拟房间,最后从机器人的视角生成画面。项目页面以“坐到扶手椅上”为例,将其拆成向前走、转身和坐下等片段,由动作生成模型根据文字提示、路径点和关键姿态生成动作序列,再通过几何检查筛选动作,减少脚部滑动、身体穿入地面等问题。

随后,系统将动作安排到程序生成的房间中,检查机器人与家具的位置关系,寻找没有碰撞的摆放方案,再利用仿真工具渲染机器人执行动作时看到的画面。训练中还会改变光照、色调、画面模糊程度等条件,使视觉输入更加多样。这样,同一套流程就能生成包含指令、视觉画面和全身动作的配套数据。

HALO的合成数据生成与训练流程:先生成动作轨迹,将其放入虚拟场景,再渲染机器人视角的画面,形成配套训练数据,用于训练动作生成器和动作跟踪器。图片来源:HALO论文

据介绍,研究团队使用250张英伟达H100 GPU,耗时约48小时合成主要训练数据。动作生成器通过模仿学习训练,使用64张B200;动作跟踪器经强化学习、策略蒸馏等步骤训练,使用4张H100。

需要指出的是,仿真生成数据并未完全摆脱人工参与。团队表示,新增物理任务仍需人工编写提示词、设计动作关键帧,部分动作还使用了人类视频或动捕素材。

研究团队同时指出,目前机器人主要依赖视觉感知,难以直接感知接触情况;当物体离开相机视野或被遮挡时,涉及较多接触的任务表现会下降。加入触觉感知,是后续改进方向之一。

标签: 动作 机器人 任务 研究 HALO 团队 模型

精彩阅读

最新:江苏有线:11月5日融资买入1510.97万元,融资融券余额5.46亿元

PriceSeek提醒:11月5日亚洲PX市场收盘价格下滑

10月29日当周美国豆粕净销售390400吨

存储概念股全线受挫 澜起科技(06809)跌13.02% 小摩指行业基本面改善未必能立即推动股价反弹

星源材质:公司与杭州慧感智能科技有限公司的合作目前在顺利推进中

每日关注!官方:里斯蒂奇不再担任青岛海牛主帅,郑龙代理最后一场中超

我国高端镀膜装备实现自主突破,新景昇首台8.5代电致变色薄膜设备下线

Recruit Holdings股价跌至17110日元,创2026年10月以来新低

微动态丨【数读IPO】国内激光加工智能制造解决方案提供商,今日上市

国泰基金梁杏:细化2027年配置策略,哑铃式布局穿越市场震荡 快看点

多氟多:融资净买入1891.64万元,融资余额15.01亿元

41家券商前三季度业绩透视:投资收益成胜负手;上交所召开两场并购重组专题座谈会 | 券...

【速看料】晨读|孔曦:判断力

腾盛博药-B(02137.HK)于2026年AASLD年会上发布ENRICH和ENHANCE两项II期研究最新突破性数据_观察

热消息:29分逆转!76人掀翻詹皇,1624场生涯最大翻盘

每日聚焦:媒体人:骑士还是那支熟悉的骑士,打不了逆风球

28罚21中对比30罚23中,76人8分优势击败骑士|今日快讯

米奇:现在评价马刺三后卫阵容为时过早_热门

红军队副状态下滑!上赛季还是队内最佳 如今首发位置不保

观天下!【ETF观察】11月5日宽基指数ETF净流入104.08亿元

沛县建忠包装厂(个体工商户)成立 注册资本1万人民币

维埃拉:马内留在家里等喜讯缺席;雅各布斯决定退出国家队

今日关注:跟队记者:输给费伦茨瓦罗斯后阿莫林向全队进行了长时间讲话

峨眉山A索道升级完成在即 客流恢复叠加文旅新项目催化_每日快报

每日报道:纳指跌近4%,费城半导体指数跌幅扩大至8%

每日快看:伦敦股市5日下跌

内蒙古蒙能新能源股份有限公司启动上市辅导

赤子城科技(09911.HK)注销327.60万股回购股份

米洛耶维奇:结果有些令人遗憾,马纳法今天打后腰非常出色

记者:米兰的各方面因素要求阿莫林必须大面积轮换 快资讯

6天20家!上市公司加码私募基金投资,产业资本加速布局新兴赛道 今日看点

今晚,又有一批A股公司宣布拟回购、增持

百胜中国:第三季度营收34.77亿美元同比增8.4%,净利润3.11亿美元

单场轰50分20板5帽有多难?奥尼尔0次,贾巴尔0次,唯有他5次

【速看料】笑不活了!地铁抓拍情侣一幕走红,“护食式占有欲”引发网友热议

调休减少 2027年放假安排来了!9天超长春节假期再次回归

简讯:漫步者:归属于上市公司股东的净利润3.40亿元,同比增长13.37%

凯恩:2029年前想至少拿一次欧冠;妻子把续约决定权交给了我|焦点要闻

克洛普:菲尔克鲁格在不莱梅的影响大得惊人,凭状态回德国队|每日聚焦

男子预判金价涨到2000元/克,“梭哈”买7斤金条,9个月亏114万割肉离场,隔日金价反弹

康圣环球(09960.HK)发布公告,于2026年11月5日斥资2.68万港元回购3万股

百度集团-WR(89888.HK)11月5日收盘涨5.86%-每日看点

41岁C罗宣布从葡萄牙国家队退役

NBL(澳)战报:伊拉瓦拉鹰107-93太攀蛇,马库尔-梅克24+9+2

睿创微纳最新公告:实控人提议5000万元至1亿元回购股份

观点:美的集团(00300.HK)回购A股涉资6445.78万元

天福(06868)11月5日斥资5200港元回购2000股-新资讯

广发证券(01776)将于11月9日派发2024年公开发行公司债券(第四期)的利息-每日资讯

基本半导体(09971.HK)公布,2026年11月5日耗资约63.89万港元回购2万股股份

观察:SportsMole预测:费内巴切2-4利物浦,红牛2-4曼城,维京2-2沙巴

效率惊人,利贝拉利本赛季欧冠累计出场44分钟直接参与3球 报道

中国技术集团(01725.HK)发布10月经营数据 收入同比减少约3.13%

弘阳地产(01996.HK)前10个月累计合约销售金额14.63亿元 同比减少63.25%

【独家】中国海外发展(00688.HK):“23中海01”将于11月9日兑付暨摘牌

盛达资源涨停,深股通龙虎榜上净卖出2069.01万元

潮宏基:东冠集团持股比例已降至6.54%

理想汽车:不存在所谓“气囊召回”事项

每日观点:听金曲、品羊肉、看烟花,常州第三届江岛音乐会来了

怡合达:截至2026年10月20日、2026年10月30日公司股东总户数分别为31,216户、29,872户

11月5日先导基电涨停:光伏,电子特气,有色 · 铋概念热股 热点

宾利托卡尔首发版官图 旗舰级动力系统 0-100km/h加速2.9秒

文投控股(600715)龙虎榜数据(11-05)|当前资讯

华瑞股份:海外客户订单份额占总体换向器订单比例约为20%,相对保持稳定 今头条

神州数码AI算力订单密集落地 驱动业绩高增

摩根大通上调麦当劳目标价至270美元,看好门店现代化改造带来的长期增长潜力

每日消息!ST美晨:截至10月30日最新股东户数2.99万户,较上期增加0.53%

长芯博创首次回购43万股 金额4998万元

焦点滚动:泰林生物:子公司取得1项专利证书

易成新能(300080.SZ):截至2026年10月30日公司股东人数为38200-当前信息

斯嘉丽谈加盟《新蝙蝠侠2》:这个角色让我很焦虑 滚动

实时:生意社:11月5日利华益维远苯酚价格下调

如何应对微短剧碎片化?柠萌影视董事长苏晓:比以往更需要现实主义创作-快播

民生银行北京分行警银联动为客户避免40余万元资金损失

媒体人:医生建议不要剧烈运动,但周琦依然将前往国家队报到

【热闻】NBA战报:湖人116-103国王取NBA4连胜,东契奇40+9+7

热火加时20分逆转送快船7连败:字母哥27+14 克莱30分献三分绝杀 每日快播

“芒果TV 登不上”冲上微博热搜-热点聚焦

每日信息:生意社:11月5日鲁西化工异辛醇报价下跌

海尔智家渠道数字化显效 份额逆势提升对冲收入下滑_简讯

繁星|仙 桃

前Anthropic Claude Code产品负责人Cat Wu跳槽加入OpenAI,负责核心产品管理_观天下

焦点要闻:9-1大胜费内巴切!欧冠新军前四轮狂入19球,还曾4-1击败曼联

拒逆转!亚历山大42+8+4,哈登19+9+6,大将伤退,东部格局改变

热文:体坛:徐正源回韩国观战K联赛,可能看上首尔FC的球员

当前聚焦:爆冷!哈登19+9+6,骑士遭雷霆双杀,亚历山大轰42+8,米切尔27分

济民健康控股股东九折转让5%股份套现1.6亿元,公司前三季度亏损同比扩大

四方达:CVD金刚石散热片已通过客户测试并取得小批量测试订单-今日报

76人胜活塞!布朗统治进攻,老詹盘活全队,马克西+埃奇库姆吃瘪

新资讯:美“雨燕”天文台再入大气层 估计大部分部件烧毁

戴上皇冠!41岁勒布朗又造历史首人纪录 轰13+10+8无愧费城发动机

习水县工业能源和科学技术局关于贵州万胜恒通矿业有限责任公司赤水市岔角煤矿安全生产标...

注资5000万元!中国中煤、中国电建成立新能源公司 今日热搜

南通支云下赛季出战中超首要目标确定,要尽快带队保级,值得期待

巴萨晴天霹雳!诺坎普头号核心重伤缺阵!弗里克遭毁灭性打击-焦点精选

PriceSeek提醒:2026年前三季度黄金产消数据行情分析

生意社:11月5日山东地区硝酸铵价格暂稳-每日视点

焦点速看:华纬科技:截止2026年10月30日,公司登记在册的股东数为20267户

石油股全线低开,截至发稿,中国石油股份(00857.HK)跌5.46%,报10.22港元-精彩看点

每日焦点!老二突然炸雷,电驴生意塌了

石墨烯中超快量子过程实现实时追踪-时讯

时讯:内蒙古“沙戈荒”大型新能源基地外送通道建设忙

当前热点芯原股份推出面向可穿戴设备的新一代GCNanoOptimaV 2.5D GPU IP

预订量大增近300%!全年少有的购票窗口期来了

ETF追踪丨11月4日股票型ETF净申购435亿元 资金加仓中证500ETF南方

精彩看点:天融信:融资净买入468.43万元,融资余额5.52亿元

每日快报!高端磷酸铁锂供应偏紧 上市公司积极扩产

科创50大涨近10%,A股大反攻背后是反弹还是反转?

三棵树Q3承压但零售突围 市占率提升打开成长空间-讯息