5月30日,国际人工智能顶会CVPR 2024举办的第3届野外像素级视频明白挑战赛(The 3rd Pixel-level Video Understanding in the Wild, PVUW。下文简称PVUW)公布赛事结果,美图影象研究院(MT Lab)再获殊荣,斩获视频语义肢解(VSS)、搀杂场景视频方向肢解(MOSE)双赛道亚军,视频全景肢解挑战赛(VPS)赛道季军,这也是美图影象研究院(MT Lab)第3次在CVPR大会上摘得奖项,共获得了1金3银3铜的杰出成绩。
作为全球范围内计算机视觉规模的顶级会议,CVPR凭借其广泛影响力吸引了大批顶尖高校、科研院所等参与其中,成为全球AI规模领先科研团队展示前沿研究成果的舞台,深受学术界及产业界的关注。
同时,PVUW赛事专注于视频明白规模,由牛津大学、复旦大学、浙江大学、北京航天航空大学、北京交通大学、Amazon、Meta等学术界及产业界的顶尖研究者共同发起,凭借其前沿性及挑战性,本届竞赛吸引了包括中国科学院大学、中国科学院自动化研究所、哈尔滨工业大学、美图公司、三星、中兴通讯等海内外高校、科研院所及知名企业参加。
本届PVUW竞赛共包含4个赛道,除视频语义肢解挑战赛(VSS Challenge)、视频全景肢解挑战赛(VPS Challenge)外,新增搀杂场景视频方向肢解挑战赛(MOSE Challenge)和基于动作描述的指向性视频肢解挑战赛(MeViS Challenge)2个超高难度赛道,其中,搀杂场景视频方向肢解挑战赛(MOSE Challenge)采集了目前最大规模的搀杂场景视频方向肢解数据集Complex Video Object Segmentation (MOSE),包括方向的消失和重现、不显眼的小物体、严重的遮拦以及拥挤的环境等。旨在于帮助应对视频明白规模目前面临的如背景搀杂性、方向遮拦和消失重现、描述动作的文本明白等挑战,提升对搀杂场景及现实场景的明白能力。
美图影象研究院(MT Lab)此次参赛取得的优异成绩背后,是在视频规模长期布局与持续探索的成果证明,同时也已将这一前沿技术应用于美图公司旗下美图秀秀、美颜相机、Wink、美图设计室等产品中,为用户带来“视频人像精修”、“AI商品视频”、“智能抠图”等实用功能与创意玩法,通过创新研发成果为广大用户提供优质影象与设计服务。
随着新兴视频形态的蓬勃发展,视频行业进一步向多元化发展,美图影象研究院(MT Lab)也持续加大在视频规模的研发投入,目前专业视频人像精修东西Wink荣登视频编辑东西赛道第二名,开拍已成为口播创作东西赛道第一名。
作为美图的核心研发中枢,美图影象研究院(MT Lab)未来也将继续专注于AI规模前沿技术研发,推动AI技术的落地应用,通过技术创新与升级为用户和客户打造更好的AI工作流。