AI在线 AI在线

清华首次提出数据驱动控制新形式,算法效率直翻三倍

当大数据席卷各行各业,控制理论也迎来新的拐点:从依赖模型到依赖数据。 但是,在数据驱动控制领域,却缺乏一种标准化的数据表示形式。 针对这一问题,清华大学李升波教授课题组(iDLab)首次将现代控制理论中的标准型概念引入数据驱动控制(datatic control)范式,提出了一种基于数据的系统描述新形式。

当大数据席卷各行各业,控制理论也迎来新的拐点:从依赖模型到依赖数据。

但是,在数据驱动控制领域,却缺乏一种标准化的数据表示形式

针对这一问题,清华大学李升波教授课题组(iDLab)首次将现代控制理论中的标准型概念引入数据驱动控制(datatic control)范式,提出了一种基于数据的系统描述新形式。

每个标准形式的样本由必要的转移和可插拔的属性组成,分别用于描述系统变化规律和人为定义特征。

清华首次提出数据驱动控制新形式,算法效率直翻三倍

不仅如此,该数据标准型还可根据算法需求定制属性,显著加速控制器设计,为提高数据驱动算法效率提供了新的思路。

目前,该成果已发表于ACC2025。

人工智能的蓬勃发展,离不开数据这一核心支柱。

近年来,随着人工智能技术的广泛应用,以数据为核心的系统表征方法迅速渗透到控制领域。

控制系统的设计方法正迎来一场从模型驱动向数据驱动的范式变革,即从传统的模型驱动控制(modelic control,即model-driven control)到数据驱动控制(datatic control,即data-driven control)。

清华首次提出数据驱动控制新形式,算法效率直翻三倍

图1:两种控制范式对比

模型驱动控制(上方路径)首先利用系统辨识来拟合一个模型,然后用这个模型来合成控制器。

数据驱动控制(下方路径)则直接利用数据来求解控制器。

在模型驱动控制(modelic control)的范式下,模型的标准型是一个有力工具。

例如,现代控制理论的奠基人鲁道夫·卡尔曼(Rudolf E. Kálmán)指出:将状态空间模型表示为可控标准型或可观标准型,无需额外的判断步骤即可直接确保系统的可控性或可观性。

此外,现代群论的奠基人之一卡米耶·若尔当(Camille Jordan)指出:任何状态空间模型都可以转换为约旦标准型,系统矩阵会变为对角方阵,其对角线元素代表系统的特征值。

因此,只需检查所有特征值是否为负,即可轻松验证系统的稳定性。更进一步,不同的特征值对应着系统不同的模态,这使得控制器设计更具针对性。

数据驱动控制(datatic control)范式下的标准型是一个新问题。

近年来,随着机器人、自动驾驶等具身智能系统的蓬勃发展,海量、复杂的交互数据正以前所未有的速度被生成。这不仅为传统控制算法带来了巨大挑战,也引出了一个全新的议题:

在数据驱动控制范式下,如何构建一个有效利用大规模数据的标准描述方式?即是否存在数据驱动版本的标准型?

数据的描述形式直接决定了后续控制器设计算法的运行效率和可扩展性。

以强化学习为例,训练算法通常涉及大量的迭代计算和高维数据处理。

在这一过程中,算法很容易陷入重复计算的泥潭,例如在每一步训练迭代中,都重新计算样本间的范数距离、特征相似度等信息。

这种重复性的计算不仅耗时,而且对计算资源造成了显著的浪费,严重制约了算法在现实世界中的部署和应用。

因此,如何高效、标准地组织和描述数据,以减少冗余计算、加速算法运行,是数据驱动控制范式面临的一项核心挑战。

类比于模型标准型,该研究首次提出,适用于数据驱动控制系统的标准描述形式:每条样本数据包含两个部分(如图2所示):

清华首次提出数据驱动控制新形式,算法效率直翻三倍

图2:数据标准型示意图

(1)必要的转移部分

,即<当前状态

清华首次提出数据驱动控制新形式,算法效率直翻三倍

,当前动作

清华首次提出数据驱动控制新形式,算法效率直翻三倍

,下一状态

清华首次提出数据驱动控制新形式,算法效率直翻三倍

>;

(2)可插拔的属性部分,例如奖励信号或其他人工设计特征。

前者蕴含了控制器设计必要的系统的动力学信息,后者可以根据控制器设计算法的需求来灵活定制与取用,降低存储压力,加速算法运行,即提高控制器设计效率。

该研究给出了一个典型的数据标准型应用实例。对于给定数据集,为了使得设计出的控制器效果可靠,许多强化学习算法存在近邻搜索的需求。

例如给定回放的样本状态

清华首次提出数据驱动控制新形式,算法效率直翻三倍

,算法需要在线计算当前策略

清华首次提出数据驱动控制新形式,算法效率直翻三倍

的行为与数据集行为之间的距离:

清华首次提出数据驱动控制新形式,算法效率直翻三倍

由于需要遍历数据集中每个样本来寻找最近邻,计算负担非常沉重。

在数据标准型的视角下,对于每个样本,可以通过提前定制一种特殊的空间属性,显著加速近邻搜索这一过程。

具体地,如图3所示,提前在样本空间中约定n个锚点

清华首次提出数据驱动控制新形式,算法效率直翻三倍

,对于每个样本,计算其与各锚点的距离保存为空间属性。

清华首次提出数据驱动控制新形式,算法效率直翻三倍

图3:标准型的空间属性示意图 图3:标准型的空间属性示意图

当每个样本都具备空间属性后,该研究给出如下空间筛选条件定理来加速近邻搜索。

定理1(空间筛选条件)

考虑一个包含

清华首次提出数据驱动控制新形式,算法效率直翻三倍

个锚点的数据集。记C为一个选定的样本,而S为任意其他样本。若S位于C的R-邻域范围内,则一个需要满足的

必要条件为:

清华首次提出数据驱动控制新形式,算法效率直翻三倍

其中

清华首次提出数据驱动控制新形式,算法效率直翻三倍

表示表示逻辑与运算符。

清华首次提出数据驱动控制新形式,算法效率直翻三倍

图4:空间标准型的空间筛选机制示意图

应用这一空间筛选条件,只需要一行判断指令,就可以快速缩小候选范围(如图4所示),显著加速最近邻搜索的过程,从而提高算法的整体运行效率。

该研究在D4RL数据集的Hopper环境下进行了实验,对引入空间标准型前后的训练时间进行了比较。

图5清晰地展示了这一改进:基础版本(蓝色曲线)的训练耗时约20小时,而应用了空间标准型筛选机制(橙色曲线)后,训练时间缩短至仅7小时,实现了三倍的效率提升

清华首次提出数据驱动控制新形式,算法效率直翻三倍

图5:应用空间标准型前后的训练时间对比

总的来说,数据标准型可以极小的存储空间开销,换取显著的时间效率优势。

除此之外,它还可以根据算法需求灵活插拔属性部分来降低存储需求,具备扩展性,为提高数据驱动控制算法效率提供了新的方向。

论文链接:https://ieeexplore.ieee.org/document/11107988

相关资讯

微软顶尖AI研究员加盟清华大学,强化中美科技人才竞争

在中美科技竞争加剧的背景下,中国清华大学成功吸引了一位来自美国的顶尖人工智能(AI)研究员 —— 亚历克斯・兰博(Alex Lamb)。 他曾在微软研究院担任高级研究员,现已确认将在即将到来的秋季学期担任清华大学人工智能学院(CAI)的助理教授。 这一举动再次显示了中国在全球 AI 领域的人才争夺战中愈发积极的态度。
4/29/2025 5:00:50 PM
AI在线

微软携手清华、北大推出奖励推理模型:根据 AI 任务复杂性动态分配计算资源

微软研究院联合清华大学、北京大学组建团队,推出奖励推理模型(Reward Reasoning Models,RRMs),通过显式推理过程动态分配计算资源,提升复杂任务评估效果。
5/27/2025 2:17:41 PM
故渊

AGI是否需要世界模型?顶级AI专家圆桌论道,清华求真书院主办

2025年7月20日,2025基础科学与人工智能论坛在中关村展示中心会议中心举行。 清华大学人工智能研究院常务副院长孙茂松教授主持,北京中关村学院院长、中关村人工智能研究院理事长刘铁岩博士、清华大学电子工程系主任汪玉教授、美国纽约州立大学石溪分校顾险峰教授、曦智科技创始人兼CEO沈亦晨博士四位顶尖AI专家齐聚一堂,围绕人工智能的根本问题展开了一场火花四溅的讨论。 从因果性到原创能力,从算力瓶颈到未来架构,这场论坛为我们勾勒出AI技术的前沿图景与未来挑战。
7/25/2025 3:56:13 PM
鹭羽
  • 1