编辑/绿萝
由于深度进修的发展进步，从视频中提炼可解释的物理定律引发了计算机视觉社区的兴趣，但依然面临巨大的挑战。
统制方程（例如 PDE、ODE）的发觉可能促进我们对复杂动力体系行为的理解、建模和预测。收集数据的日益丰富和机器进修的进步带来了动向体系建模的新视角。
近日，来自中国人民大学和中国科学院大学、美国东北大学的研讨团队提出了一个端到端的无监视深度进修框架，根据录制的视频展现疏通物体呈现的显式动力学统制方程。
模拟动向场景的实验表明，所提出的法子能够提炼关闭形式的统制方程并同时鉴别视频记录的多个动力体系的未知激励输出，这填补了文献中没有现有法子可用且适用于解决此类问题的空白。
该研讨以「Distilling Governing Laws and Source Input for Dynamical Systems from Videos」为题，发布在预印平台 arXiv 上。
统制方程的发觉可能促进我们对复杂动力体系行为的理解、建模和预测。
对数据驱动的统制方程发觉的研讨，依然主要集中在从给定的物理形态测量中建立数学模型。随着深度进修的进步，人们对从视频中发觉物理规律的兴趣扩大了。
为了提高已发觉物理定律的可解释性，进修显式动力学（例如，关闭形式的统制方程或其参数）最近在物理场景理解中变得越来越流行。然而，这些法子需要对物理定律或统制方程的结构有很强的先验知识。此外，对于那些法子，物理是在像素坐标中建模的，这限制了复杂动向体系（例如，ODE）的发觉，其中物理形态需要在另一个物理坐标系中描述。
因此，直接从原始视频中发觉统制方程依然是一个巨大的挑战，尤其是在源输出未知的情况下。
图 1：研讨的由未知输出激发的动力体系。
在这项工作中，研讨职员提出了一个端到端的无监视深度进修框架，以从视频中展现受未知输出影响的动力体系的闭式统制方程。要解决的任务，如图 1 所示，展示了所构建的范式，旨在同时提炼疏通物体的物理形态，展现其受控的关闭式方程，并鉴别体系输出。
图 2：所提出的端到端无监视深度进修的架构示意图，以同时展现关闭形式的统制方程并从视频中鉴别动力体系的输出（单个疏通物体情况）。
与现有的深度进修法子通常从疏通物体的空间/像素坐标轨迹中发觉物理规律不同，研讨职员所提法子从回归物理坐标系中的物理形态展现了显式统制方程，这使得发觉更复杂的动力体系成为可能。此外，物理形态的提炼不是独立于编码器-解码器和物理坐标系回归，而是在底层物理定律的约束下进行的。联合优化不仅有助于物理形态的提炼，而且导致了关闭形式的统制方程和未知输出的鉴别。
所研讨动力体系的发觉结果如图 3 所示，其中展现了物理轨迹、它们的统制方程和外部激励。这表明统制方程，尤其是它们的系数与基本事实完全相同。而缩放后 TMTD 体系，还表明且该法子能够处理出现多个疏通物体的情况在场景中。
图 3：所研讨动力体系的发觉结果。
接下来，研讨职员通过从有噪声的视频中发觉统制方程来进一步测试所提法子对噪声的稳健性。如图 4 所示。结果表明，由于噪声的影响，与从没有噪声的视频中发觉相比，鉴别出的体系输出噪声更大，但统制方程和物理轨迹依然未被发觉和正确提炼。
目前，直接从视频中发觉具有未知输出的动向体系的统制方程方面的文献依然很少。研讨职员将图 2 中所示的坐标一致编码器解码器替换为传统的卷积编码器-解码器，并将得到的法子作为另一个基线。发觉该网络能够从视频中提炼物理定律。由于提炼的潜在变量不能正确地表示基于位置的物理形态，该法子未能展现潜在的物理规律。此外，传统的自动编码器无法保证疏通物体的物理形态和真实位置之间的固定关系。
图 4：基线的发觉结果。
研讨职员提出了一种端到端的无监视深度进修方案，从记录疏通物体的原始视频中展现出明确的可解释物理定律，这些疏通物体代表了由未知输出激发的动力体系。
该工作是首次尝试从具有未知输出激励的动向体系的原始视频中发觉可解释的物理定律。但法子也存在一些局限性，例如，它不能处理非静止背景、带扭曲的视频和 3D 空间中的移动对象。研讨职员将在正在进行和未来的研讨中解决这些挑战。
论文链接：https://arxiv.org/abs/2205.01314