用消息传递求解偏微分方程,ML大牛Max Welling等用全神经求解器做到了更强、更快

对于求解偏微分方程来说,阿姆斯特丹大学、高通 AI 研究院的研究者最近推出的 MP-PDE 求解器又提供了一个选择。

在科学范围,常年的工作已经面向各种物理现象生成了极其详细的数学模型。很多这些模型通过微分方程(Olver, 2014)的形式进行自然地表达,大多数时候表现为时光偏微分方程(partial differential equation, PDE)。求解这些微分方程对于解决天气预报、天文数字模拟、分子建模、喷气式发动机设计等所有数学学科中的问题至关重要。大多数重要方程的求解难以分析,因此不得不反溯至数值近似格式。想要以最小的计算开销获得有界误差的精确解需要手动求解器(handcrafted solver),通常根据手头的方程量身定制。设计一个「好的」PDE 求解器绝非易事。完美的求解器应该满足大量的条件。首先是用户需求,比如速度快、利用最少的计算开销、提供不确定性估计、跨 PDF 泛化以及易于利用;然后是问题的结构需求,比如空间分辨率和时光尺度、域采样正则性、域拓扑和几何、边界条件、维数和解空间平滑度;接着是实现需求,比如在长时光 rollout 时保持稳定性和不变形。正是由于上述大量的多样化需求,数值法( numerical method)是一个 splitter 范围,而不是一个 lumper 范围,旨在为每个子问题构建手动手动求解器。近日,阿姆斯特丹大学、高通 AI 研究院的三位研究者在论文《Message Passing Neural PDE Solvers》中提出利用端到端神经求解器来从数值上求解 PDE。

图片

论文地址:https://arxiv.org/pdf/2202.03376.pdf详细而言,这篇论文主要做出了以下贡献:

提出一个基于神经消息传递(message passing, MP)的端到端全神经 PDE 求解器,其灵活性能够满足典型 PDE 问题的所有结构需求。这一设计的灵感来源于一些经典求解器(有限差分、有限体积和 WENO 格式)可以作为消息传递的特例;

提出时光捆绑(temporal bundling)和前推(pushforward)技术,以在训练自返回模型中鼓励零稳定性(zerostability);

在给定类中实现跨多个 PDE 的泛化。在测试期间,新的 PDE 稀疏可以成为求解器的输入。

格式研究者基于最近该范围令人兴奋的工作进展来学习 PDE 求解器。这些神经 PDE 求解器的背后离不开这一快速发展且有影响力的研究范围。用于时光 PDE 的神经 PDE 求解器可以分为两大类,分别为自返回格式和神经算子格式,详细以下图 1a 所示。

图片

研究者通过两部分详细描述了他们的格式,即训练框架和架构。其中训练框架解决自返回求解器中的分布位移问题,该问题会导致不稳定性;网络架构是一个消息传递神经网络。训练框架自返回求解器将解 u^k 映射到因果后续(causally consequent)解 u^k+1。一种直接的训练格式是单步训练。如果 p_0(u^0 ) 在训练集中是初始条件的分布,则

图片

是迭代为 k 时的真值分布。研究者最小化以下公式(6)

图片

下图 2 为不同的训练策略。图左为单步训练,只能预测接下来一步的解;图中为展开(unrolled)训练,可以预测接下来 N 步的解;图右为对抗性训练,可以预测接下来 N 步的解,但只能在最后一步反向传播。

图片

架构在网络架构选择上,研究者遵循 Battaglia et al. (2018) 和 Sanchez-Gonzalez et al. (2020) 提出的编码器 – 处理器 – 解码器(Encode-Processor-Decode)框架,并做了调整。他们并不是首个将 GNN 用作 PDE 求解器的,但自己的格式具有一些显著特征。下图 3 为本文 MP-PDE 求解器的概览:

图片

详细而言,编码器用来计算节点嵌入。处理器计算学得消息传递的第 M 步,中间图表示为图片。详细更新以下公式(8)和(9)

图片

最后来说解码器。在消息传递后,研究者利用了一个浅层 1D 卷积网络,并在空间位置上共享权重,以在网格点 x_i 处输出 K 接下来的时光步预测。对于每个节点 i,处理器输出向量 f^M_i。他们将该向量视为时光连续的信号,并随时光推移将它馈入到 CNN。

实行研究者在不同难度的任务上展示了 MP-PDE 求解器的有效性。其中,在 1D 方程中,研究者探究了 MP-PDE 泛化到给定族中未见过方程的能力,周期性、狄利克雷(Dirichlet)边界条件和诺伊曼(Neumann)边界条件下的边界处理能力,以及建模冲击波(shock wave)的能力。然后,他们又展示了 MP-PDE 有能力求解 2D 方程。此外,研究者还针对前推技术和变体进行了消融实行,以验证实用性。作为基线,他们比较了几种不同的标准经典 PDE 求解器,即 FDM、伪谱格式和 WENO5 求解器。不仅如此,研究者还与 SOTA 神经算子格式——傅里叶神经算子(Fourier Neural Operator, FNO)进行了比较。在实行中,研究者考虑了三种场景,分别以下:

E1 伯格斯(Burgers)方程,没有用于冲击建模的扩散θ_PDE = (1, 0, 0);

E2 伯格斯方程,有可用扩散θ_PDE = (1, η, 0),其中 0 ≤ η ≤ 0.2;

E3:θ_PDE = (α, β, γ) 的混合场景,其中 0.0 ≤ α ≤ 3.0、0.0 ≤ β ≤ 0.4 和 0.0 ≤ γ ≤ 1.0。

详细而言,他们调查 E1 方程上的求解器生存时光,定义为「解偏离真值之前的时光」。该求解器展开到 n_t = 1000 时光步,其中 T = 16 s。下图 4 底部展示了一个示例,研究者调查到大约 8 秒后发散增加。该现象在下图 5a 中得到了验证,他们发现了生存率与时光步的关系。

图片

在第二个实行中,研究者比较了前推技术的效用。他们调查到,前推技术加上时光捆绑可以提升自返回任务中的 FNO 效果。在下图 5b,研究者绘制了利用和未利用前推技术训练的模型的生存率。

图片

下表 2 比较了 MP-PDE 求解器与 SOTA 数值伪谱求解器。结果可知,MP-PDE 求解器在伪谱求解器中断工作的低分辨率条件下获得了准确的结果。有趣的是,MP-PDE 求解器可以在不同的边界条件上泛化,并且如果边界条件通过θ_PDE 特征注入到方程中,泛化更加明显。

图片

最后,研究者测试了 MP-PDE 到更多空间维度上的可扩展性,尤其是在 2D 实行中。他们利用来自开源流模拟工具包 PHIFLOW1 中的数据。详细而言,研究者调查了基于纳维 – 斯托克斯方程(Navier-Stokes equation),并将烟雾流模拟成 32 × 32 网格,在每个时光步后添加更多烟雾。结果显示,MP-PDE 求解器能够准确地捕获给定时光阶段内的烟雾流入,表明它可以扩展到更高维度。

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/yong-xiao-xi-chuan-di-qiu-jie-pian-wei-fen-fang-cheng-ml-da/

(0)
上一篇 2022年 2月 18日 下午3:20
下一篇 2022年 2月 21日 上午11:58

相关推荐

  • 综述:药物发觉中的机械进修

    编辑 | 萝卜皮不知不觉,人工智能已经渐渐延伸到了各个领域,医药领域也不例外。来自印度 B V Raju 理工学院的研究人员发表综述,讨论了药物发觉中的机械进修,归纳总结了应用于制药领域的各类机械进修手艺,并指出当前该领域发展的难点,以及未来发展方向。该综述以「Machine Learning in Drug Discovery: A Review」为题,于 2021 年 8 月 11 日发布在《Artificial Intelligence Review》杂志。人工智能概念与许多领域密切相关,如模式鉴别、概率论、

    2021年 8月 31日
  • 观点 | 物理车钥匙该退出历史舞台了吗?

    原作者 / BENGT HALVORSON:Green Car Reports编辑、Internet Brands Automotive Group高级编辑,已从事汽车行业报道工作20余年。编译 / Angelina上周五晚上(11月19日),一些特斯拉车主遇到了棘手难题——特斯拉的APP或者网络出现错误,致使他们无法连接到自己的车辆,并且其中一部分人,根本无法加入车内并驾驶。 这次错误致使特斯拉的手机钥匙功效,对部分人来说变得毫无用处,而并不是由车辆本身的硬件问题所致使。「看起来我们大概不小心增加了过多

    2021年 11月 23日
  • 服务量化投资,基于学问图谱的事宜表征框架钻研入选SIGIR

    瞰点科技和上海交大的钻研团队提出了一种服务于量化投资的基于学问图谱的事宜表征框架,称为 Knowledge Graph-based Event Embedding Framework(KGEEF)。通过在真实股票市场上进行的大规模实行表明,本文提出的格式显著有助于量化投资的政策提升。

    2021年 8月 22日
  • RoLAP 实验室|鉴于凸凸凸的工业臂柔性计划系统

    大界成立的RoLAP实验室(RoboticPlus Laboratory for Autonomy and Perception),由中科院博士后、加州理工物理学博士、大界首席科学家周诚喆领衔,聚集了一批专业的硕博团队,致力于研究工业机器人在智能制造场景下的视觉感知(眼)、静止计划(手)、场景理解(大脑)的协同闭环系统。本文将鉴于RoLAP实验室的研究成果,为各位读者深度解析机器臂静止计划的关键技术。一. 背景介绍随着科学技术的发展,机器人技术正在被广泛应用到各种结构化的场景,比如3C消费电子和汽车工厂等标准化制造

    2022年 6月 17日
  • 提升编码水平,这本Python软件工程开源册本为研讨职员量身打造

    在科研领域,计算机软件的应用无处不在。但是,一些研讨者因为自身并非毕业于计算机相关学科,所以有时不得不将大量的时间花费在自学软件工程上。对于有些想要提升自身编码与软件开发水平的研讨者来说,合适的学习资料至关重要。本文介绍的这本开源册本就是为这类研讨者「量身打造」的。

    2021年 2月 5日
  • 拖拽公式图片、一键转换LaTex公式,这款开源公式识别神器比Mathpix Snip更适合你

    只必要把公式图片用鼠标拖动到东西内,就能一键转成 LaTex 公式。

    2021年 8月 15日
  • [研究问卷] AI数据猎取与绽放的近况调查

    你是AI从业者或学习者吗?缺少数据做 AI 训练或尝试?华夏情境和语言的数据太少?那就来到场调研,一同改变近况吧!关于问卷我们是《AI 数据绽放的近况与标杆案例呈报》研究团队,由上海白玉兰开源绽放研究院与绽放数据华夏联合组成。我们的效果预期于 2022 年世界人工智能大会期间,由木兰开源社区和白玉兰开源联名颁布。你或许记得我们在 2021 年为了规范和促进 AI 数据绽放所颁布的「木兰-白玉兰绽放数据协议」,而我们现在的研究工作则旨在排摸现在供 AI 训练、尝试所使用的的AI 数据的猎取与绽放情况,从而进一步推出「

    2022年 4月 14日
  • PyFlink 开发情况利器:Zeppelin Notebook

    也许你早就听说过 Zeppelin,但是之前的文章都偏重讲述如何在 Zeppelin 里开发 Flink SQL,今天则来介绍下如何在 Zeppelin 里高效的开发 PyFlink Job,特别是解决 PyFlink 的情况问题。一句来总结这篇文章的主题,就是在 Zeppelin notebook 里利用 Conda 来创造 Python env 自动部署到 Yarn 集群中,你无需手动在集群上去安装任何 PyFlink 的包,并且你可以在一个 Yarn 集群里同时运用互相隔离的多个版本的 PyFlink。最后你

    2021年 9月 29日
  • 用技术致敬每一位妈妈,B站up主用AI复原李焕英老照片动态影像

    「从我有记忆开始,妈妈就是中年妇女的模样,所以我会忘记,她也曾是花季少女。」

    2021年 2月 23日
  • 我,波士顿能源的机器人工程师,这是我的一天

    波士顿能源大家都很熟悉,但该公司员工的任务和生活却很少有人了解。特别是新冠疫情在美国的蔓延,员工的日常任务和生活不可避免地受到了影响。本文就带大家看看波士顿能源的员工如何度过自己的一天。

    2021年 5月 27日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注