多模态手艺

一文详解多模态手艺在 QQ 浏览器视频搜寻上的实践经验。引言视频搜寻作为搜寻中最大的横向垂类，在约 50% 的搜寻词下都会有视频结果的展现。然而，视频资源又不同于文本网页资源，在视频理解、视频立室排序，以及交互行为等方面都会带来新的手艺挑战。多模态手艺近年逐步走进人们的视野，特别是 Transformer 结构在 NLP 领域的大放异彩后，也向视觉、音频等多模态领域延伸，为跨模态交融带来更大的便利…