1. 前言
北京邮电大学与EVOL创新团队和ACG工业算法组针对时序举动联系任务共同提出了基于query新架构的模型ASQuery。ASQuery包罗了举动及边境两种query，利用举动query将原先的帧维度分类过程转化为query与视频帧的相似度计算过程，提高了分类精度；利用边境query展望举动的边境，进一步光滑了原先的展望结果，大大缓解了过联系现象。论文ASQuery: A Query-based Model for Action Segmentation 已被ICME2024接收。论文地址：https://github.com/zlngan/ASQuery/blob/main/paper.pdf。
2. 背景和动机
现有的时序举动联系模型通常将该任务建模为帧维度的分类问题，通用范式为先建模视频的时序信息，提取到具有较强表征能力的视频帧特色，然后利用分类器对每帧类型从事判断。在这种范式中，每个视频帧的最后展望结果严重依赖于分类器，但其权重在训练完毕即固定不变，因此在推理的时候缺乏灵活性。其次，当前方法通常存在过联系现象，为了缓解该现象，MS-TCN，ASFormer利用多层优化搜集来光滑搜集的展望结果，但是大大增加了模型的参数量与计算量；BCN，ASRF提出利用边境分支来优化模型展望，但是这些边境分支与分类分支是独立训练的，难以实现联合优化。这些问题导致模型的展望结果准确率低且光滑性差，严重影响了算法的实际应用。
图1 ASQuery与其它算法的框架对比
为了解决上述问题，我们提出了一种基于query的时序举动联系算法，称为ASQuery。相较于之前的算法，我们的算法将帧维度的分类问题转化为举动query与视频帧特色的相似度计算问题。每类举动的语义中心由一个query表征，并通过Transformer解码器模块从事动态更新，因此它们能够更加灵活且综合地感知整个视频的特色。对于过联系问题，我们提出边境query的概念，它与举动query一起训练从事联合优化。边境query通过与帧特色求相似度得到举动边境的分布，利用该边境可以进一步调整举动类型展望的结果，从而得到更加光滑的展望。
2. 方法
ASQuery的模型结构如图所示，它主要包罗三个模块。首先是特色提取模块，它由一个backbone和neck组成，主要用于聚合与增强多层级视频特色；其次是Transformer解码器模块，用于更新举动及边境query；最后是联系模块，用于得到举动及边境分数，以及获得最终的展望结果。
特色提取模块的输入为经过预处理的视频特色，输出为多尺度增强的特色。构建Backbone时，ASQuery首先利用了几层浅层的卷积搜集，起到聚合局部信息并稳定后续Transformer搜集训练的作用。随后ASQuery利用了加窗形式的Transformer搜集，每次自注意力计算仅对窗口内部的视频帧从事建模，并通过滑动窗口的方式覆盖所有的视频帧，以此实现时间感受野与计算效率的平衡。对于Neck搜集，ASQuery采用最简单的1D特色金字塔搜集来进一步增强特色。
Transformer解码器模块输入为随机初始化的举动、边境query以及多尺度视频特色，输出为更新后的举动与边境query。ASQuery利用标准的Transformer解码器，其包罗若干层Transformer解码层，每层包罗多个Transformer解码块。这些解码块与Neck的输出特色一一对应，解码块将举动和边境query作为Query，将视频特色作为Key和Value。每个解码块内部，包罗了一层自注意力层与一层互注意力层。在自注意力层中，举动query与边境query从事交互，使得每个query都感知了所有举动类型及举动边境的语义信息，因此可以提升其表征能力。在互注意力层中，举动与边境query与所有视频帧特色从事交互，帮助其对整个视频的特色从事综合感知。训练后，解码器输出的举动及边境query能够有效表征举动类型及边境信息。
联系模块利用包罗两层隐藏层的MLP将举动及边境query映射为对应embedding，随后通过将embedding与视频特色从事点积，并通过sigmoid函数将其变换至0-1区间，由此得到举动及边境分数。最后结合类型展望与边境展望结果得到最终联系结果。
损失函数分为两部分，第一部分为举动类型损失，包罗了视频帧分类的focal loss以及举动mask的dice loss。第二部分为边境展望损失，利用的是二进制交叉熵损失。边境的标签
为以举动边境帧为中心，呈高斯分布。
3. 实验结果
ASQuery在时序举动联系任务的常用数据集Breakfast和Assembly101上取得了SOTA的结果。ASQuery还通过消融实验验证了举动及边境query的有效性。
通过下图的可视化结果可以看到展望的边境对于光滑展望的有效性。
3. 总结
ASQuery提出基于Query架构的时序举动联系新架构，其提出的举动query可以实现更高精度的分类效果，边境query可以达到更好的展望光滑度。如何将query架构中的其它技术如匈牙利匹配等引入时序举动联系任务，进一步提升模型效果，是我们后面的探索方向。
作者介绍：
淦子良： 北京邮电大学博士研究生，研究方向为人体行为理解，发表了多篇SCI及EI论文。
金磊：北京邮电大学特聘副研究员，博士生导师，研究方向为人体感知理解、具身智能，现有工作聚焦于基于计算机视觉的人体姿态估计、人体解析、行为理解等，相关成果发表在CVPR/AAAI/ACMMM/TMM等CCF-A类和中科院一区期刊会议10余篇，主持一项国家自然基金青年基金，参与两项国家重点研发项目以及四项国家自然基金面上项目。多次依托国内及国际会议组织ICCV2021/CVPR2023/FG2024/PRCV2024研讨会。
赵健：中国电信人工智能研究院多媒体认知学习实验室（EVOL Lab）负责人、青年科学家，西北工业大学光电与智能研究院研究员、博导，博士毕业于新加坡国立大学，研究兴趣包括多媒体分析、临地安防、具身智能。
共发表CCF-A类论文50余篇，含一作T-PAMI×2（IF: 24.314）、IJCV×3（IF: 13.369），第一发明人授权国家发明专利5项。相关技术成果在百度、蚂蚁金服、奇虎360等6个科技行业领军企业得到应用，产生了显著效益。曾入选中国科协及北京市科协“青年人才托举工程”，主持国自然青年科学基金等项目6项。曾获吴文俊人工智能优秀青年奖（2023）、吴文俊人工智能自然科学奖一等奖（2/5，2022）、新加坡模式识别与机器智能协会（PREMIA）Lee Hwee Kuan奖、ACM Multimedia唯一最佳学生论文奖（一作，1/208，CCF-A类会议，2018），7次在国际重要科技赛事中夺冠。
担任北京图象图形学学会理事，国际知名期刊《Artificial Intelligence Advances》、《IET Computer Vision》编委，《Pattern Recognition Letters》、《Electronics》特刊客座编辑，VALSE资深领域主席，ACM Multimedia 2021分论坛主席，CICAI 2022/2023领域主席，CCBR 2024论坛主席，中国人工智能学会/中国图象图形学学会高级会员，“挑战杯”大学生科技作品竞赛评委，中国人工智能大赛专家委委员等。
GitHub主页：https://zhaoj9014.github.io
学院主页：https://iopen.nwpu.edu.cn/info/1252/4626.htm