您的位置:首页 >滚动 >

今日视点:AI能看懂视频里的物理世界吗

2026-10-30 22:34:12    来源:科技行者

你有没有想过一个问题:如果给AI看一段倒牛奶的视频,再让它凭空写代码重建出一个一模一样的虚拟场景,它能做到吗?

这听起来像是个无聊的技术测试,但往深里想一想,这其实是在问一个更根本的问题:机器到底懂不懂这个世界是怎么运转的。不是"识别出这是牛奶"那种表面的懂,而是真正理解液体会流动、会飞溅、会在重力作用下坠落这种底层物理规律的懂。


【资料图】

2026年,斯坦福、约翰霍普金斯和MIT的研究者们搞了一个叫4DCodeBench的测试,专门用来戳穿这个问题的真相。结果挺打脸的:那些写代码能力已经逼近人类顶尖程序员的AI模型,一旦被要求重建动态场景里物体怎么运动、怎么碰撞、怎么变形,成绩立刻跳水。

这事说起来有点反直觉。毕竟过去两年,AI写代码的进步速度让所有人目瞪口呆,GitHub Copilot之后冒出一堆号称能独立完成整个项目的编程智能体。按理说,"看视频写代码"这种任务,对它们应该不算太难。但4DCodeBench的测试结果告诉你:静态的几何形状和画面长什么样,AI学得不错;但东西怎么动、怎么碰、怎么碎,AI还差得远。表现最好的模型在静态指标上能拿0.91分(满分1分),但到了动态指标上直接掉到0.67分,这中间0.24分的落差,翻译成人话就是:知道这是什么东西,但不知道它接下来会发生什么。

这篇论文的价值,恰恰在于它第一次把这种"会看不会懂"的现象量化、系统化地测了出来。

### 什么叫"用代码重建一个会动的世界"

先说清楚这个任务到底是什么。

研究者给AI一段视频,比如一个人往桌子上铺餐布,或者一根绳子被拉伸甩动。AI的任务不是描述视频里发生了什么,也不是生成一段类似的新视频,而是写出一段可执行的程序代码,这段代码运行之后能在Blender(一款开源3D建模软件)里重新构建出整个场景的三维几何形状,并且让这个场景随时间演化,最终渲染出一段新视频,这段视频应该和原视频长得差不多像,连里面物体运动的轨迹都要对得上。

逆向图形学:指从观察到的图像或视频出发,反推出生成这些画面所需要的三维场景结构、材质、光照等底层参数,是计算机图形学"正向渲染"过程的反向问题。

这个任务的难点在于,AI必须自己决定用什么方法去描述"动"这件事。是写一个物理模拟器去算牛顿力学?还是手动给每一帧的物体位置打关键帧?还是用一套数学公式直接算出轨迹?论文作者完全不限制这一点,他们就是想看看,面对不同的物理现象,AI会选择什么样的建模策略,这些策略又分别有什么代价。

这就好比让一个建筑师不仅要画出房子的外观图,还要写出一份详细的施工说明书,告诉工人每一块砖该怎么砌、钢筋该怎么弯、水泥配比是多少。光看懂房子长什么样不算本事,得能把建造过程的每一步都讲清楚才算真懂。如果只是临摹外观,房子可能看着像,结构稳不稳、会不会塌,谁也不知道。AI重建视频也是这个道理,只是把画面拼凑得像,和真正理解物体为什么这样运动,是两码事。

### 200个场景,四种物理现象,专门挑硬骨头啃

研究团队没有随便拍几段视频就算完事,他们精心设计了一套涵盖多种物理现象的测试集,一共200个场景,分成两大类。

一类是100个真实世界的视频,从现有的机器人操作数据集、物理演示视频库以及网络素材里精挑细选而来。这些视频有一个共同特点:相机基本固定不动,场景里发生的事情足够复杂,比如滚珠撞倒多米诺骨牌、冰块在桌上融化、机器人手臂拧瓶盖。研究者特意排除了有人和动物出现的画面,因为人手的精细动作太难建模,会干扰对物理规律本身的测试。

另一类是100个合成场景,用专业的物理模拟器精心计算生成,好处是研究者知道每一帧里每一个点的真实三维坐标,这样就能直接拿模型重建出来的结果和标准答案逐帧比对,而不只是比较渲染出来的画面像不像。

这两类场景又被归到四个物理类别里:刚体和关节体(比如积木、机械臂)、可变形固体(比如橡皮泥、海绵)、共维结构(比如布料、绳索)、流动材料(比如液体、沙子)。

材料点法:一种计算机图形学里用来模拟弹性、塑性、流体等复杂材料变形的数值方法,把连续的材料看作离散的"质点",同时用背景网格辅助计算,能同时处理固体碎裂、液体流动这类拓扑结构会发生剧烈变化的现象。

这里要澄清一个误解,很多人以为AI做视频重建,难点在"看清楚"物体是什么。但这个研究恰恰证明,真正难的不是识别,而是推理接下来会发生什么。比如面条被拉伸时会怎么变细、布料被风吹起时褶皱怎么形成、液体撞上固体容器壁时怎么飞溅,这些现象背后都是连续的物理方程在起作用,而不是简单的像素模式匹配。

这83%的场景里都有不止一个运动物体在互相作用,66%涉及多种材料混合,比如固体撞进液体里,或者布料盖在木质桌子上滑落。这种复杂的材料间相互作用,恰恰是最考验AI物理推理能力的地方。

### 18个模型大乱斗,谁在裸泳一目了然

研究者找来了18个当前最前沿的多模态编程模型进行测试,既包括OpenAI、Anthropic、Google等公司的商业模型,也包括Qwen、DeepSeek、GLM等开源模型。每个模型都要在全部200个场景上各跑一遍,没有提示场景名字、没有物体清单,一切信息都得自己从视频里推理出来。

结果排名第一的是一个代号Astra的模型(以最大推理强度运行),综合得分0.79分。往后依次是Opus 5.5(0.78分)、Astra高强度版(0.77分)、Fable 5.1(0.74分)。开源模型整体表现明显落后商业模型,表现最差的Gemma-4只拿到0.19分,几乎可以说完全没理解任务。

这个综合分数由五个维度的子分数平均而成:视觉相似度(渲染画面和原视频长得像不像)、2D动态表现(画面里物体的运动覆盖情况)、2.5D几何精度(深度估计准不准)、3D几何精度(静态结构还原得准不准,只能在合成场景上测)、3D动态精度(物体真实运动轨迹对不对,同样只能在合成场景上测)。

把这五个数字拆开看,问题就暴露出来了。表现最好的Astra模型在静态指标(视觉和3D几何)上能拿0.91分,但在动态指标(2D和3D动态)上只有0.67分,中间差了24个百分点。而且这个规律在所有18个模型身上都成立,不是个别现象。

这就像是让一个学生考试,静态知识题(背公式、记概念)都能答对九成,但一到需要动态推理的应用题(算物体运动轨迹、判断碰撞结果),正确率立刻掉到六成七。如果只看静态题的分数,你会以为这学生物理学得很好,但一旦涉及真实世界的动态场景,马上露馅。这不是粗心,而是根本性的能力差距:理解"是什么"和理解"会怎样",是两种完全不同的认知能力,前者靠模式识别就能搞定,后者需要真正的因果推理。

为了验证这套自动打分系统靠不靠谱,研究者还专门找了76名真人,做了3587次两两对比打分,让人类看完视频后判断哪个AI重建的结果更接近原视频。结果人类评分和AI自动评分系统的相关性高达0.98,说明这套量化指标确实抓住了人类真正在意的东西,不是自说自话的数字游戏。

### AI怎么描述"运动"这件事,居然五花八门

这篇论文最让我觉得有意思的一点,是研究者去扒了AI到底用什么办法实现"让物体动起来"这件事。

结果发现,67%的解决方案用的是解析式运动,也就是直接写一个关于时间的数学公式去计算每一帧物体该在哪个位置,比如插值一条样条曲线穿过几个关键姿势点,或者用抛物线公式算物体受重力下落的轨迹。19%的方案自己手写了物理模拟器,用上了材料点法、位置约束动力学这类专业算法。10%直接调用Blender自带的物理引擎,剩下3%纯靠手动打关键帧。

更有意思的是,不同模型之间的策略选择差异极大。Opus 5.5用自定义模拟的比例高达61%,而推理强度最低的Astra版本和另一个叫Terra的模型,几乎全部(85%到100%)靠解析公式硬算。

拿论文里举的一个例子来说,同样是重建一块面包被撕开的场景,Fable 5.1跑了一个双场材料点法模拟,每个粒子都设了断裂阈值;DeepSeek v4.1用位置约束动力学算法去模拟撕裂缝隙处的连接断开;而最强的Astra模型压根没写任何物理求解器,直接用解析公式推进一条"内聚断裂前沿"沿着面包体往下走。

这个发现挺耐人寻味的。写一个真正的物理模拟器,好比你要造一辆真车,发动机、变速箱、刹车系统都得按物理规律设计,跑起来是因为内部机械确实在工作。而解析式运动更像做一个玩具模型车,外表看着像,内部其实是提前设定好轨道的小马达带着跑,轨道铺多细,车跑起来就多像真的。如果只靠解析公式,遇到训练数据里没见过的物理情形,这套"轨道"立刻露馅,因为它本质上是在拟合已知轨迹,而不是在推演未知的物理过程。这也解释了为什么静态重建分数高,动态推理分数低,因为很多AI选择了更省事但也更脆弱的那条路。

### 花钱越多效果越好?并不见得

另一个颠覆直觉的发现是,token消耗量和重建质量之间几乎没有相关性。

研究者统计了每个模型完成一个任务平均花费的token数量(也就是计算资源消耗),发现跨模型比较的时候,这个数字和最终得分的相关系数低到可以忽略不计。比如某个叫Qwen的模型,平均每个任务跑了752步、输出150万token,算是相当"卖力"了,但综合排名只排到第11。

不过这个规律有个例外。如果固定住同一个模型架构,只是调整它的推理强度(比如Astra模型分低、中、高三档),那么推理投入和效果就呈现出清晰的正相关。Astra从最低档调到最高档,输出token数从1.3万涨到6.7万,综合得分从0.726稳步爬升到0.791,花的钱也从3.5美元涨到11.3美元。

这说明一件事:不同模型之间比拼"谁用得多",意义不大,因为每个模型内部的推理效率天差地别;但对同一个模型来说,给它更多的思考时间和计算预算,确实能换来实打实的进步。

这就好比两个学生准备考试,一个是死记硬背型选手,花再多时间刷题,成绩曲线也是平的,因为方法本身效率低;另一个是真正理解了解题思路的学生,多花一小时复习,分数就能明显提升,因为他的每一分投入都用在了刀刃上。给前者更多时间没用,给后者更多时间有用,关键不在投入量,而在投入的方式对不对路。

### 哪些场景最容易暴露AI的短板

论文还做了一个挺细致的分类分析,看看不同类型的场景会分别暴露出什么样的弱点。

相比合成场景,真实世界的视频在视觉相似度和问答准确率上都明显更差,差了快一个标准差。这不难理解,真实视频里有复杂的光照、材质反光、运动模糊这些干扰因素,合成场景则是理想化的干净数据。

包含多种材料互相作用的场景(比如固体撞进液体),表现也明显差于单一材料场景。共维结构(布料、绳索这类薄片或线状物体)在2D动态和2.5D几何这两个指标上掉分最严重,说明AI对布料飘动、绳索甩动这种柔性结构的建模能力特别弱。而被外力驱动的场景(比如机器人手臂主动操作物体)在问答准确率上偏低,但在3D几何精度上反而更高,这个有点反直觉,可能是因为外部驱动的运动模式相对规律,容易用解析公式精确描述形状,但理解"为什么会这样动"这个因果链条更难。

这些细分数据提醒我们一件事:笼统地说"AI不懂物理"是不够精确的,它对不同类型的物理现象,理解深浅是不一样的。有些现象(比如刚体碰撞)相对好掌握,有些现象(比如布料褶皱、液体飞溅)则是系统性的软肋。

### 这个测试的局限和没解决的问题

论文作者自己也坦承,目前这套评测体系有一个没法回避的漏洞:它测的是"重建得像不像",而不是"是否真的理解了物理机制"。

打个比方,一个AI完全可以靠硬编码一套提前设定好的运动轨迹,在这个特定场景上拿高分,但这种"背答案"式的解法完全无法推广到新的初始条件或者外力扰动上。换句话说,现在的评分体系还没法区分"真懂物理"和"精准记住了这个视频该怎么动"这两种情况。

研究者提出,未来应该设计一些干预性测试,比如改变初始条件、施加新的外力、要求模型预测更长时间之后会发生什么,这样才能真正检验AI是不是掌握了可迁移的物理推理能力,而不只是把看到的轨迹原样复刻出来。

这篇论文留下的核心问题挺值得玩味的:当我们说AI"理解"了一个视频,到底是指它记住了这段画面该怎么演,还是它真的掌握了背后那套物理规律,可以应用到从没见过的新场景里去。这两者在表面分数上可能长得一模一样,但本质完全不同。

Q&A

Q1:4DCodeBench是用来测试什么的?

A:4DCodeBench是一个评测AI编程智能体能力的基准测试,要求AI根据一段视频,写出可执行的图形学代码,在Blender中重建出视频里场景的三维几何结构和随时间的运动变化,最终评估重建结果在视觉效果、几何精度和动态物理表现上和原视频的匹配程度。

Q2:为什么AI重建视频里的静态画面表现好,动态运动表现差?

A:测试显示最强模型在静态指标(视觉相似度和3D几何精度)上能拿0.91分,但在动态指标(物体运动轨迹)上只有0.67分。这是因为识别物体长什么样靠的是模式匹配能力,而推断物体接下来怎么运动需要真正的物理因果推理,多数AI倾向于用解析公式硬算轨迹而非搭建物理模拟器,遇到复杂材料互动就容易失准。

Q3:AI实现物体运动效果时都用了哪些方法?

A:统计显示67%的方案用解析式数学公式直接计算运动轨迹,19%手写了自定义物理模拟器(比如材料点法),10%调用Blender自带物理引擎,3%靠手动打关键帧。不同模型策略差异很大,比如Opus 5.5有61%的方案用自定义模拟,而部分模型几乎全靠解析公式。

标签: 算法 物理世界 神经网络

精彩阅读

焦点报道:C罗社媒庆祝获评“史上最佳金球奖”:75%得票登顶,争议与热度并存

世体:莱万特西甲主场战马竞,自2016年起未曾取胜-每日消息

上海石油化工股份(00338)前三季度归母净利润约10.85亿元 同比扭亏为盈

每日热闻!百龙创园2026年前三季度归母净利润2.93亿元 同比增长10.70%

和誉-B:10月29日斥资31.75万港元回购5万股 报资讯

唐人神前三季度归母净亏损13.08亿元 亏幅同比扩大-热推荐

鸿合科技(002955.SZ):第三季度净利润1879.34万元 同比减少50.01%

关注:冷空气活动频繁 降水吹风降温天气即将到来

润丰股份:10月28日董事袁良国增持股份合计6100股 每日速读

上声电子(688533.SH):第三季度归母净利润2782.21万元,同比下降44.49%

焦点速递!于大宝造访马夫拉,17年前曾外租该队出战1次

焦点短讯!曝知名男星隐婚生子!一家3口公园遛弯,儿子已3岁、妻子打扮朴素

百事通!曼联克星!1190万草根边锋如今稳居英超射手榜前三,未来值得期待

每日观察!特斯拉FSD加速落地 海外高增对冲国内旺季失速

韩国首尔乔雅登填充怎么选?看懂材质特性,避开填充假面感

先导基电2026年前三季度营收同比增长66.76% 加快布局固态燃料电池等新赛道_快报

今日报丨重庆啤酒:Q3业绩跌幅扩大至14% 大本营市场成主要拖累 | 财报解读

热推荐:被窝整装新展厅首发三大热门户型改造样板间

意媒:米兰2-4博洛尼亚,老板卡尔迪纳莱失望离场

世体:孔德脚踝伤未愈,确定缺席巴萨战阿拉维斯_每日速递

老娘舅2026年上半年亏损1730.34万同比亏损减少 推进精细化运营与供应链采购降本

生意社无缝管10月29日均差为-19.80元/吨 由负向扩大转为缩小

思看科技:截至9月30日最新股东户数6630户,较上期减少23.99% 当前聚焦

苹果压价闪存供应商 iPhone 17 Pro容量升级单档毛利或达185美元-快看点

永辉举办全国黑猪节,签约核心供应商锁定长期直供 快讯

当前资讯!巴萨女足统治力的秘诀?主帅罗梅乌:说实话,没有那么多秘诀

首进巡回赛八强!小花孙心然挽救赛点险胜7号种子,跻身广网1/4决赛

每日快播:新凤鸣3Q26净利暴增635% 龙头减产保价周期波动减弱

EasyMarkets易信:汽油累库提醒需求需分层观察 观天下

今日看点:【调研快报】鹏鼎控股接待华安财保资产管理有限责任公司等126家机构调研

图解财报:拉芳家化前三季归母净利润4903.76万元,同比增长290.48%

玉湖集团:以标准与绿色驱动冷链产业版图

埃贝尔:凯恩在拜仁成长为领袖和最佳,输巴萨后曾发表精彩讲话 速看料

向长征致敬 | 湘江战役中,敌人到了眼前,他为何把枪口转向自己 今日快讯

当前热点领益智造(01688)前三季度实现归母净利润19.17亿元

焦点快播:中国联通:第三季度净利润16.64亿元,同比下降31.3%

打造船舶“数字分身” 渤海湾港轮驳公司数字孪生技术赋能拖轮智慧运维

每日关注!限时权益价21.99万/双电机四驱 红旗天工08 620四驱Ultra上市

热文:破发股*ST康乐跌6.01% 2023年上市即巅峰中信证券保荐

带你穿越进《清明上河图》 京东11.11赛博联欢会复刻“汴京”宋韵美学

热刺纽卡等队盯上里斯本竞技卡塔莫 解约金6000万欧|今头条

打进中国球员青年欧冠首球,万项:非常高兴,下场表现会更好

罗体:穆阿尼不适合中锋,尤文锋线无人可用

这片热土之上 新质生产力正悄然起势-滚动

最新:上汽集团:第三季度净利润4.86亿元,同比下降76.70%

速读:图解财报:美联新材前三季归母净利润-1097.17万元,上年同期-3720.37万元

当前看点!图解财报:华昌达前三季归母净利润-1790.59万元,上年同期1191.49万元

播报:对话智元CTO彭志辉:Worken是自然演化结果,机器人评价应从“参数表”转向“工时表”

焦点日报:2-氨基-3-氯-5-三氟甲基吡啶商品报价动态(2026-10-29)

生意社:10月29日开封九泓DBP企业报价上涨-时快讯

【新视野】开源证券:给予新凤鸣买入评级

焦点!政策新风口 | 摩玑以独家技术打通门店量肤定制全链路

海淀准现房窗口期:嘉华天珺的确定性,正在被现房新规“定价”

苹果发布首款可触控MacBook Pro,22999元起售-热消息

头条焦点:恒生指数午盘涨0.05% 恒生科技指数跌1.98%

上市首日高开!920306,一度暴涨超185%|速看料

三星重工第三季度营收3.15万亿韩元 同比增长20%

打造“材料-储能-算力”产业闭环,美锦能源正在重构发展逻辑 热头条

亚冠二级赛!大概率队长吴曦不能出场 副队长朱辰杰更加不能上 通讯

吉利汽车:前三季度净利润139.28亿元 同比增长7%|滚动

中通快递-W:10月28日斥资545.66万美元回购27.58万股

焦点滚动:从社群管理到自动报价,ChatDoingAI员工走进更多企业工作场景

PriceSeek提醒:西北工厂检修 大厂TDI报价出台|今日热搜

从一支针剂到一张网络,锦波生物金奖背后的“生命材料”版图|精选

中国平安拉升涨超2%领涨板块,前三季度归母营运利润同比增8.3%-焦点快播

当前热点大行评级|美银:重申优步“买入”评级,第三季总预订额料符合华尔街预期

NBA战报:火箭132-100狂胜雄鹿取NBA5连胜,范弗利特24+6+5

焦点速讯:勇士险些被森林狼大逆转!库里+伦德博格轰70分,格林又在犯错!

港股异动 | 中广核电力(01816)涨超4% 前三季度归母净利同比增长12.75% 公司将受惠潜...

锦欣生殖(01951.HK)连续17日回购,累计回购3347.35万股|新资讯

华帝三季度报发布:前三季度营收36.80亿元,归母净利润2.15亿元 当前热讯

消息!10月29日风电设备板块涨幅达2%

富创精密郑广文:目前公司在手订单充足 来自头部设备厂商的订单规模显著增长-新资讯

财政金融促内需“组合拳”政策效能加速释放-每日讯息

看热讯:张进华:以场景牵引重塑汽车技术创新

观焦点:东方电热:子公司大圆柱电池预镀镍材料已向亿纬锂能小批量供货

微信新功能上线!真的只用动嘴!

机构风向标 | 青岛银行(002948)2026年三季度已披露前十大机构持股比例合计下跌2.34个百分点 聚焦

10月29日超跌股板块跌幅达2%

广州市黄埔区萝岗街包笼鲜包点店(个体工商户)成立 注册资本3万人民币_热议

华甸防雷2026年上半年净利1315.27万同比增长74.01% 毛利率增加及信用减值损失减少_热闻

安徽马鞍山:石臼湖畔候鸟飞-今日播报

微型神经芯片实时监测药物对大脑影响;脑虎科技完成B轮融资

凯龙股份:聚焦主业持续改善经营质量、提升盈利能力_最新

10月28日深证成指ETF大成基金份额增加900万份,重仓股宁德时代、中际旭创、新易盛 重点聚焦

每日观察!韩国KOSPI指数开盘上涨0.08%报6017.22点;日经225指数高开0.27%报64126.25点

阿尔特:融资净买入1422.45万元,融资余额4.62亿元 观天下

短期逐步转强

彗星可能并非地球生命起源始祖_焦点速读

焦点快看:吉州区辰汐珠宝首饰店(个体工商户)成立 注册资本5万人民币

穆帅重新定义贝林厄姆:主打 10 号位,减负释放进攻天赋,重塑贝林厄姆场上角色

CBA速递!广东男篮接触超级得分手小外援,上海男篮麦基进入离队倒计时,深圳男篮王浩然最...

罗杰斯:点球大战输球是最残酷的;绝不会责怪罚丢点球的队友|焦点速讯

信贷结构持续优化

埃贝尔:孔帕尼已出院,此前出现不适的原因是脑膜刺激_微动态

阿斯:巴萨希望孔德能出战阿拉维斯;克里斯滕森将复出

每日视讯:回购增持分红 沪市公司持续释放积极信号

今日播报!天风证券(601162.SH)新增一起对外投资,被投资公司为宜宾市商业银行股份有限公司

观焦点:股票行情快报:中一科技(301150)10月28日主力资金净买入261.43万元

金宏气体(688106.SH)新增一起对外投资,被投资公司为金宏气体(武汉)有限公司

中国三迪(00910.HK)完成配售508.8万股 净筹约670万港元|今日精选

利拉德关键三分东契奇空砍41+9 开拓者送湖人赛季首败|播资讯

文班29+10+5萨博尼斯20+14+8 马刺大胜国王|微资讯

上海临港三季度归母净利润2.62亿元、同比下降64.01%|今日要闻

航新科技(300424.SZ)前三季净亏损793.48万元

每日信息:美股存储概念股普涨 SK海力士绩后大涨近10%

每日视讯:美股三大指数集体高开 SK海力士涨超8%

亚威股份(002559.SZ)前三季净利润5459.90万元,同比下滑46.52% 热头条