首次尝试!深度进修从原始视频中发明未知输出激励的动力体系的可解释物理定律

编辑/绿萝由于深度进修的发展进步,从视频中提炼可解释的物理定律引发了计算机视觉社区的兴趣,但仍旧面临巨大的挑战。管制方程(例如 PDE、ODE)的发明可能促进我们对复杂动力体系行为的理解、建模和预测。收集数据的日益丰富和机器进修的进步带来了静态体系建模的新视角。近日,来自中国人民大学和中国科学院大学、美国东北大学的钻研团队提出了一个端到端的无监视深度进修框架,根据录制的视频提醒静止物体呈现的显式动力学管制方程。模拟静态场景的实验表明,所提出的法子能够提炼查封形式的管制方程并同时辨别视频记录的多个动力体系的未知激励输

编辑/绿萝

由于深度进修的发展进步,从视频中提炼可解释的物理定律引发了计算机视觉社区的兴趣,但仍旧面临巨大的挑战。

管制方程(例如 PDE、ODE)的发明可能促进我们对复杂动力体系行为的理解、建模和预测。收集数据的日益丰富和机器进修的进步带来了静态体系建模的新视角。

近日,来自中国人民大学和中国科学院大学、美国东北大学的钻研团队提出了一个端到端的无监视深度进修框架,根据录制的视频提醒静止物体呈现的显式动力学管制方程。

模拟静态场景的实验表明,所提出的法子能够提炼查封形式的管制方程并同时辨别视频记录的多个动力体系的未知激励输出,这填补了文献中没有现有法子可用且适用于解决此类问题的空白。

该钻研以「Distilling Governing Laws and Source Input for Dynamical Systems from Videos」为题,发布在预印平台 arXiv 上。

图片

管制方程的发明可能促进我们对复杂动力体系行为的理解、建模和预测。

对数据驱动的管制方程发明的钻研,仍旧主要集中在从给定的物理状况测量中建立数学模型。随着深度进修的进步,人们对从视频中发明物理规律的兴趣扩大了。

为了提高已发明物理定律的可解释性,进修显式动力学(例如,查封形式的管制方程或其参数)最近在物理场景理解中变得越来越流行。然而,这些法子需要对物理定律或管制方程的结构有很强的先验知识。此外,对于那些法子,物理是在像素坐标中建模的,这限制了复杂静态体系(例如,ODE)的发明,其中物理状况需要在另一个物理坐标系中描述。

因此,直接从原始视频中发明管制方程仍旧是一个巨大的挑战,尤其是在源输出未知的情况下。

图片

图 1:钻研的由未知输出激发的动力体系。

在这项工作中,钻研职员提出了一个端到端的无监视深度进修框架,以从视频中提醒受未知输出影响的动力体系的闭式管制方程。要解决的任务,如图 1 所示,展示了所构建的范式,旨在同时提炼静止物体的物理状况,提醒其受控的查封式方程,并辨别体系输出。

图片

图 2:所提出的端到端无监视深度进修的架构示意图,以同时提醒查封形式的管制方程并从视频中辨别动力体系的输出(单个静止物体情况)。

与现有的深度进修法子通常从静止物体的空间/像素坐标轨迹中发明物理规律不同,钻研职员所提法子从回归物理坐标系中的物理状况提醒了显式管制方程,这使得发明更复杂的动力体系成为可能。此外,物理状况的提炼不是独立于编码器-解码器和物理坐标系回归,而是在底层物理定律的约束下进行的。联合优化不仅有助于物理状况的提炼,而且导致了查封形式的管制方程和未知输出的辨别。

所钻研动力体系的发明结果如图 3 所示,其中提醒了物理轨迹、它们的管制方程和外部激励。这表明管制方程,尤其是它们的系数与基本事实完全相同。而缩放后 TMTD 体系,还表明且该法子能够处理出现多个静止物体的情况在场景中。

图片

图 3:所钻研动力体系的发明结果。

接下来,钻研职员通过从有噪声的视频中发明管制方程来进一步测试所提法子对噪声的稳健性。如图 4 所示。结果表明,由于噪声的影响,与从没有噪声的视频中发明相比,辨别出的体系输出噪声更大,但管制方程和物理轨迹仍旧未被发明和正确提炼。

目前,直接从视频中发明具有未知输出的静态体系的管制方程方面的文献仍旧很少。钻研职员将图 2 中所示的坐标一致编码器解码器替换为传统的卷积编码器-解码器,并将得到的法子作为另一个基线。发明该网络能够从视频中提炼物理定律。由于提炼的潜在变量不能正确地表示基于位置的物理状况,该法子未能提醒潜在的物理规律。此外,传统的自动编码器无法保证静止物体的物理状况和真实位置之间的固定关系。

图片

图 4:基线的发明结果。

钻研职员提出了一种端到端的无监视深度进修方案,从记录静止物体的原始视频中提醒出明确的可解释物理定律,这些静止物体代表了由未知输出激发的动力体系。

该工作是首次尝试从具有未知输出激励的静态体系的原始视频中发明可解释的物理定律。但法子也存在一些局限性,例如,它不能处理非静止背景、带扭曲的视频和 3D 空间中的移动对象。钻研职员将在正在进行和未来的钻研中解决这些挑战。

论文链接:https://arxiv.org/abs/2205.01314

原创文章,作者:ScienceAI,如若转载,请注明出处:https://www.iaiol.com/news/shou-ci-chang-shi-shen-du-jin-xiu-cong-yuan-shi-shi-pin/

(0)
上一篇 2022年 6月 6日 上午9:18
下一篇 2022年 6月 7日 下午2:30

相关推荐

  • 读博五年,我总结出了7条帮你「少走弯路」的真理

    这些经验教训不一定有关学术,但长远来看,将有益于你所接触的任何歇息。

    2021年 12月 31日
  • 中科院图协作进修模型,从空间分辨转录组学数据中阐明肿瘤异质性

    编辑 | 萝卜皮空间解析转录组学 (SRT) 技术使钻研职员可以或许获得对构造结构和细胞发育的新见解,尤其是在肿瘤中。然而,缺乏对生物背景和多视图特点的计算开发严重阻碍了构造异质性的阐明。在这里,中国科学院的钻研团队提出了 stMVC,这是一种多视图图协作进修模型,它在通过注意力分析 SRT 数据时集成了构造学、基因表白、空间地位和生物学背景。具体来说,采用半监督图注意力自动编码器的 stMVC 分别进修构造学相似性图或空间地位图的特定视图表示,然后在生物上下文的半监督下通过注意力同时整合两个视图图以获得鲁棒表示。st

    2022年 10月 14日
  • 晚上就应该睡觉?新的机器学习技术探索昼夜节律

    编辑 | 雪松昼夜节律,如睡眠-觉醒周期,是大多数生物与生俱来的,对地球上的生命至关重要。昼夜时钟在 24 小时日夜周期中协调生物的各项生理变化,会间接影响我们人类的体能水平、健康程度、生存能力。同样,将新陈代谢与日出落日同步等情况也存在于动物中,精确的生物钟有助于调理开花。了解昼夜节律,于动物而言,有助于提高动物的生长和产量;于人类而言,则有可能揭示出治疗疾病的新途径。IBM欧洲钻研所与厄尔汉姆钻研所的合作团队,描述了一系列基于人工智能(AI)和机器学习(ML)的办法。这些办法可以举行更具本钱效益的分析并深入了解

    2021年 9月 22日
  • 做研究无人咨询、与先生不交心,UNC助理熏陶两年教职挣扎史

    当助理熏陶是怎样一种体验?来自北卡罗来纳大学教堂山分校的Colin Raffel谈了谈他自己的感受。

    2022年 7月 5日
  • 站在2022前展望大模型的未来,周志华、唐杰、杨红霞这些大咖怎么看?

    岁末年初之际,让我们回顾大模型的过去,展望大模型的未来。

    2021年 12月 29日
  • 增大模型依然有用,DeepMind用2800亿参数的Gopher,测试谈话系统极限

    DeepMind 连发三篇论文,全面阐述大规模谈话模型依然在进展之中,能力也在继续增强。近年来,国内外各大 AI 巨头的大规模谈话模型(large language model,LLM)一波接着一波,如 OpenAI 的 GPT-3、智源研讨院的悟道 2.0 等。大模型已然成为社区势不可挡的发展趋势。然而,当前谈话模型存在着一些问题,比如逻辑推理较弱。那么,我们是否可以仅通过添加更多数据和算力的情况下革新这些问题呢?或者,我们已经达到了谈话模型相关技术范式的极限?今日,DeepMind「一口气」发表了三篇论文,目的

    2021年 12月 9日
  • 干货速递,baiduBML主动超参搜寻技术原理揭秘与实战攻略!

    在人工智能领域,算法工程师在训练神经网络模型的过程中,完成网络构建和准备好训练数据后,往往需要对模型从事各种参数优化,以获得更好的模型成效。但调参其实并不简单,背后往往是通宵达旦的参数调试与成效验证,并需要做大量的实验,不仅耗时也耗费大量算力。这个时候,往往想尝试主动超参搜寻,但又开始担心算力要求所带来的额外训练成本。莫慌!baidu全功能AI开发平台BML带着免费算力额度与主动超参搜寻能力来了!先来介绍baidu最近全新升级的BML,何方神圣?全功能AI开发平台BML(Baidu Machine Learning) ,是为企

    2021年 8月 11日
  • 对抗图象变幻进犯,腾讯OVB-AI手艺中心获NeurIPS2021图象近似度寻衅赛季军

    近日,在 AI 顶会 NeurIPS 2021 的图象近似度寻衅赛中(Image Similarity Challenge),来自腾讯在线视频 BU-AI 手艺中心的团队,在 Matching Track 赛道战胜来自全球 1000 多支队伍,荣获季军。

    2022年 1月 9日
  • 香港中文大学薛天帆老师招收全奖博士生、硕士生 | 2023夏季

    新的一期招生正式启动!本期我们将为大家介绍香港中文大学多媒体实验室招收全日制全奖博士生和硕士生等相关信息。

    2022年 10月 26日
  • 新版Linux在M2 MacBook Air可用,Linus Torvalds发布最新内核

    更多人应用 Arm 硬件将带来更好的 Arm 软件。

    2022年 8月 2日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注