COLING24|自符合剪枝让多模态大模型减速2-3倍,哈工大等推出SmartTrim
鉴于 Transformer 结构的视觉语言大模型(VLM)在各种下游的视觉语言任务上取得了巨大成功,但由于其较长的输出序列和较多的参数,导致其相应的较量争论开消地提升,阻碍了在实际环境中进一步部署。为了追求更为高效的推理速度,前人提出了一些针对 VLM 的减速要领,包括剪枝和蒸馏等,但是现有的这些要领大都采用静态架构,其针对分别输出实例采用同样的较量争论图进行推理,忽略了分别实例之间具有分别较量…- 4
- 0
自符合剪枝算法
❯
个人中心
今日签到
搜索
扫码打开当前页
返回顶部
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
- ¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!