阿里通义千问推出 Qwen2-VL:开源 2B / 7B 模型,处理任意分辨率图像无需分割成块

通义千问团队今天对 Qwen-VL 模型进行更新,推出 Qwen2-VL。Qwen2-VL 的一项关键架构改进是实现了动态分辨率支持(Naive Dynamic Resolution support)。与上一代模型 Qwen-VL 不同,Qwen2-VL 可以处理任意分辨率的图像,而无需将其分割成块,从而确保模型输入与图像固有信息之间的一致性。这种方法更接近地模仿人类的视觉感知,使模型能够处理任何清晰度或大小的图像。另一个关键架构增强是 Multimodal Rotary Position Embedding(M-

通义千问团队今天对 Qwen-VL 模型进行更新,推出 Qwen2-VL。

Qwen2-VL 的一项关键架构改进是实现了动态分辨率支持(Naive Dynamic Resolution support)。与上一代模型 Qwen-VL 不同,Qwen2-VL 可以处理任意分辨率的图像,而无需将其分割成块,从而确保模型输入与图像固有信息之间的一致性。这种方法更接近地模仿人类的视觉感知,使模型能够处理任何清晰度或大小的图像。

阿里通义千问推出 Qwen2-VL:开源 2B / 7B 模型,处理任意分辨率图像无需分割成块

另一个关键架构增强是 Multimodal Rotary Position Embedding(M-ROPE)。通过将 original rotary embedding 分解为代表时间和空间(高度和宽度)信息的三个部分,M-ROPE 使 LLM 能够同时捕获和集成 1D 文本、2D 视觉和 3D 视频位置信息。这使 LLM 能够充当多模态处理器和推理器。

阿里通义千问推出 Qwen2-VL:开源 2B / 7B 模型,处理任意分辨率图像无需分割成块

在 7B 规模下,Qwen2-VL-7B 保留了对图像、多图像和视频输入的支持,以更具成本效益的模型大小提供“具有竞争力”的性能。

阿里通义千问推出 Qwen2-VL:开源 2B / 7B 模型,处理任意分辨率图像无需分割成块

Qwen2-VL-2B 模型针对潜在的移动部署进行了优化。尽管参数量只有 2B,但官方表示该模型在图像、视频和多语言理解方面表现出色。

阿里通义千问推出 Qwen2-VL:开源 2B / 7B 模型,处理任意分辨率图像无需分割成块

AI在线附模型链接如下:

Qwen2-VL-2B-Instruct:https://www.modelscope.cn/models/qwen/Qwen2-VL-2B-Instruct

Qwen2-VL-7B-Instruct:https://www.modelscope.cn/models/qwen/Qwen2-VL-7B-Instruct

相关资讯

阿里云通义千问 Qwen2-VL 第二代视觉语言模型开源

阿里云通义千问今日宣布开源第二代视觉语言模型 Qwen2-VL,并推出 2B、7B 两个尺寸及其量化版本模型。同时,旗舰模型 Qwen2-VL-72B 的 API 已上线阿里云百炼平台,用户可直接调用。据阿里云官方介绍,相比上代模型,Qwen2-VL 的基础性能全面提升:读懂不同分辨率和不同长宽比的图片,在 DocVQA、RealWorldQA、MTVQA 等基准测试创下全球领先的表现;理解 20 分钟以上长视频,支持基于视频的问答、对话和内容创作等应用;具备强大的视觉智能体能力,可自主操作手机和机器人,借助复杂推

iPhone 可跑 2B 小钢炮:谷歌 Gemma 2 小模型来袭,跑分超 GPT-3.5

谷歌 DeepMind 的小模型,又上新了!就在刚刚,谷歌 DeepMind 发布 Gemma 2 2B。它是从 Gemma 2 27B 中蒸馏而来。虽然它的参数只有 2.6B,但在 LMSYS 竞技场上的得分,已经超越了 GPT-3.5 和 Mixtral 8x7B!在 MMLU 和 MBPP 基准测试中,它分别取得了 56.1 和 36.6 的优异成绩;比起前代模型 Gemma 1 2B,它的性能超过了 10%。小模型击败了大几个数量级的大模型,再一次印证了最近业界非常看好的小模型方向。谷歌在今天,一共公布了

智谱 AI 开源 CogVideoX-5B 视频生成模型,RTX 3060 显卡可运行

智谱 AI 开源了 CogVideoX-5B 视频生成模型,相比此前开源的 CogVideoX-2B,官方称其视频生成质量更高,视觉效果更好。官方表示大幅度优化了模型的推理性能,推理门槛大幅降低,可以在 GTX 1080Ti 等早期显卡运行 CogVideoX-2B ,在 RTX 3060 等桌面端“甜品卡”运行 CogVideoX-5B 模型。CogVideoX 是一个大规模 DiT(diffusion transformer)模型,用于文本生成视频任务,主要采用了以下技术:3D causal VAE:通过压缩视