1. 前言
北京邮电大学与EVOL创新团队和ACG工业算法组针对时序动作分割任务共同提出了基于query新架构的模型ASQuery。ASQuery包含了动作及边界两种query，利用动作query将原先的帧维度分类过程转化为query与视频帧的相似度计算过程，提高了分类精度；利用边界query预测动作的边界，进一步平滑了原先的预测结果，大大缓解了过分割现象。论文ASQuery: A Query-based Model for Action Segmentation 已被ICME2024接收。论文地址：https://github.com/zlngan/ASQuery/blob/main/paper.pdf。
2. 背景和动机
现有的时序动作分割模型通常将该任务建模为帧维度的分类问题，通用范式为先建模视频的时序信息，提取到具有较强表征能力的视频帧特征，然后使用分类器对每帧类别进行判断。在这种范式中，每个视频帧的最后预测结果严重依赖于分类器，但其权重在训练完毕即固定不变，因此在推理的时候缺乏灵活性。其次，当前方法通常存在过分割现象，为了缓解该现象，MS-TCN，ASFormer使用多层优化网络来平滑网络的预测结果，但是大大增加了模型的参数量与计算量；BCN，ASRF提出使用边界分支来优化模型预测，但是这些边界分支与分类分支是独立训练的，难以实现联合优化。这些问题导致模型的预测结果准确率低且平滑性差，严重影响了算法的实际应用。
图1 ASQuery与其它算法的框架对比
为了解决上述问题，我们提出了一种基于query的时序动作分割算法，称为ASQuery。相较于之前的算法，我们的算法将帧维度的分类问题转化为动作query与视频帧特征的相似度计算问题。每类动作的语义中心由一个query表征，并通过Transformer解码器模块进行动态更新，因此它们能够更加灵活且综合地感知整个视频的特征。对于过分割问题，我们提出边界query的概念，它与动作query一起训练进行联合优化。边界query通过与帧特征求相似度得到动作边界的分布，利用该边界可以进一步调整动作类别预测的结果，从而得到更加平滑的预测。
2. 方法
ASQuery的模型结构如图所示，它主要包含三个模块。首先是特征提取模块，它由一个backbone和neck组成，主要用于聚合与增强多层级视频特征；其次是Transformer解码器模块，用于更新动作及边界query；最后是分割模块，用于得到动作及边界分数，以及获得最终的预测结果。
特征提取模块的输入为经过预处理的视频特征，输出为多尺度增强的特征。构建Backbone时，ASQuery首先使用了几层浅层的卷积网络，起到聚合局部信息并稳定后续Transformer网络训练的作用。随后ASQuery使用了加窗形式的Transformer网络，每次自注意力计算仅对窗口内部的视频帧进行建模，并通过滑动窗口的方式覆盖所有的视频帧，以此实现时间感受野与计算效率的平衡。对于Neck网络，ASQuery采用最简单的1D特征金字塔网络来进一步增强特征。
Transformer解码器模块输入为随机初始化的动作、边界query以及多尺度视频特征，输出为更新后的动作与边界query。ASQuery使用标准的Transformer解码器，其包含若干层Transformer解码层，每层包含多个Transformer解码块。这些解码块与Neck的输出特征一一对应，解码块将动作和边界query作为Query，将视频特征作为Key和Value。每个解码块内部，包含了一层自注意力层与一层互注意力层。在自注意力层中，动作query与边界query进行交互，使得每个query都感知了所有动作类别及动作边界的语义信息，因此可以提升其表征能力。在互注意力层中，动作与边界query与所有视频帧特征进行交互，帮助其对整个视频的特征进行综合感知。训练后，解码器输出的动作及边界query能够有效表征动作类别及边界信息。
分割模块使用包含两层隐藏层的MLP将动作及边界query映射为对应embedding，随后通过将embedding与视频特征进行点积，并通过sigmoid函数将其变换至0-1区间，由此得到动作及边界分数。最后结合类别预测与边界预测结果得到最终分割结果。
损失函数分为两部分，第一部分为动作类别损失，包含了视频帧分类的focal loss以及动作mask的dice loss。第二部分为边界预测损失，使用的是二进制交叉熵损失。边界的标签
为以动作边界帧为中心，呈高斯分布。
3. 实验结果
ASQuery在时序动作分割任务的常用数据集Breakfast和Assembly101上取得了SOTA的结果。ASQuery还通过消融实验验证了动作及边界query的有效性。
通过下图的可视化结果可以看到预测的边界对于平滑预测的有效性。
3. 总结
ASQuery提出基于Query架构的时序动作分割新架构，其提出的动作query可以实现更高精度的分类效果，边界query可以达到更好的预测平滑度。如何将query架构中的其它技术如匈牙利匹配等引入时序动作分割任务，进一步提升模型效果，是我们后面的探索方向。
作者介绍：
淦子良： 北京邮电大学博士研究生，研究方向为人体行为理解，发表了多篇SCI及EI论文。
金磊：北京邮电大学特聘副研究员，博士生导师，研究方向为人体感知理解、具身智能，现有工作聚焦于基于计算机视觉的人体姿态估计、人体解析、行为理解等，相关成果发表在CVPR/AAAI/ACMMM/TMM等CCF-A类和中科院一区期刊会议10余篇，主持一项国家自然基金青年基金，参与两项国家重点研发项目以及四项国家自然基金面上项目。多次依托国内及国际会议组织ICCV2021/CVPR2023/FG2024/PRCV2024研讨会。
赵健：中国电信人工智能研究院多媒体认知学习实验室（EVOL Lab）负责人、青年科学家，西北工业大学光电与智能研究院研究员、博导，博士毕业于新加坡国立大学，研究兴趣包括多媒体分析、临地安防、具身智能。
共发表CCF-A类论文50余篇，含一作T-PAMI×2（IF: 24.314）、IJCV×3（IF: 13.369），第一发明人授权国家发明专利5项。相关技术成果在百度、蚂蚁金服、奇虎360等6个科技行业领军企业得到应用，产生了显著效益。曾入选中国科协及北京市科协“青年人才托举工程”，主持国自然青年科学基金等项目6项。曾获吴文俊人工智能优秀青年奖（2023）、吴文俊人工智能自然科学奖一等奖（2/5，2022）、新加坡模式识别与机器智能协会（PREMIA）Lee Hwee Kuan奖、ACM Multimedia唯一最佳学生论文奖（一作，1/208，CCF-A类会议，2018），7次在国际重要科技赛事中夺冠。
担任北京图象图形学学会理事，国际知名期刊《Artificial Intelligence Advances》、《IET Computer Vision》编委，《Pattern Recognition Letters》、《Electronics》特刊客座编辑，VALSE资深领域主席，ACM Multimedia 2021分论坛主席，CICAI 2022/2023领域主席，CCBR 2024论坛主席，中国人工智能学会/中国图象图形学学会高级会员，“挑战杯”大学生科技作品竞赛评委，中国人工智能大赛专家委委员等。
GitHub主页：https://zhaoj9014.github.io
学院主页：https://iopen.nwpu.edu.cn/info/1252/4626.htm
