
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

论文标题:CL-DiffPhyCon: Closed-loop Diffusion Control of Complex Physical Systems
论文链接:https://openreview.net/pdf?id=PiHGrTTnvb
代码地址:https://github.com/AI4Science-WestlakeU/CL_DiffPhyCon
高效采样:CL-DiffPhyCon 通过异步去噪框架,能够显著减少采样过程中的计算成本,提高采样效率。与已有的扩散控制方法相比,CL-DiffPhyCon 能够在更短的时间内生成高质量的控制信号。
闭环控制:CL-DiffPhyCon 实现了闭环控制,能够根据环境的实时反馈不断调整控制策略。相比已有的开环扩散控制方法,提高了控制效果。
加速采样:此外,CL-DiffPhyCon 还能与 DDIM [5] 等扩散模型的加速采样技术结合,在维持控制效果基本不变的前提下,进一步提升控制效率。













首先离线收集大量的轨迹数据,每条轨迹包括初始状态、控制序列和相应的状态序列。
然后,用这些离线轨迹训练一个去噪步数为T,物理时间窗口为N的扩散模型,并将所有物理时刻的系统状态和控制信号的联合隐变量
作为扩散变量。这里在记号
中,用下角标表示物理时间
或其所处的区间,用括号里的t表示扩散步骤。在扩散过程中,随着t增大,
中的噪声程度逐渐增加:
不含噪声,
为高斯噪声。
在去噪过程(实际控制过程)中,以系统的初始状态
为条件,利用训练的扩散模型,在控制目标
的梯度引导下,让t从T 降到 0,将高斯噪声
逐步去噪为不含噪声的
,其中包含控制序列
和对应产生的状态序列
。
最后,将控制序列
逐步输入到环境中,实现对系统的控制。
同步联合隐变量:
表示在物理时间区间
内,对每个分量加入相同程度噪声。这里t的取值范围是 0 到T。
异步联合隐变量:
表示在物理时间区间
内,为越晚的物理时间赋予越高的噪声程度,即实现了物理时间和去噪进度的解耦。这里t的取值范围是 0 到
。





























第(1)步:在第 个物理时间步,获得物理时间窗口
内的初始状态
和系统状态
。特别地,当
时,通过上文的同步扩散模型
采样得到
。
第(2)步:以 为采样条件,利用异步扩散模型
,从
开始连续采样
步,得到
。
第(3)步:将 的第 1 个分量
中包含的控制信号
输入到环境中,得到下一个状态
。
第(4)步:采样一个高斯噪声 ,拼接到第(2)步采样得到的
的最后
个分量的结尾,得到物理时间窗口
内的初始状态
,同时将
作为条件,进入下一个物理时间步
。























