刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

Mini-Gemini 堪比 GPT4 DALLE3 王炸组合。更高清图象的精确明白、更高质量的训练数据、更强的图象解析推理本领,还能结合图象推理和生成,香港中文大学终身教授贾佳亚团队提出的这款多模态模型 Mini-Gemini 堪称绝绝子,相当于开源社区的 GPT4 DALLE3 的王炸组合!Github 地址: 地址: ::: 还提供了 2B 小杯到 34B 的超大杯,最强模型在多个指标上相比 Google Gemini Pro 甚至 GPT-4V 都不遑多让。目前,Mini-Gemini 从代码、模型、到数据

Mini-Gemini 堪比 GPT4+DALLE3 王炸组合。

更高清图象的精确明白、更高质量的训练数据、更强的图象解析推理本领,还能结合图象推理和生成,香港中文大学终身教授贾佳亚团队提出的这款多模态模型 Mini-Gemini 堪称绝绝子,相当于开源社区的 GPT4+DALLE3 的王炸组合!

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

Github 地址:https://github.com/dvlab-research/MiniGemini

Demo 地址: http://103.170.5.190:7860/

论文地址:https://arxiv.org/pdf/2403.18814.pdf

模型地址:https://huggingface.co/collections/YanweiLi/mini-gemini-6603c50b9b43d044171d0854

数据地址:https://huggingface.co/collections/YanweiLi/mini-gemini-data-660463ea895a01d8f367624e

Mini-Gemini 还提供了 2B 小杯到 34B 的超大杯,最强模型在多个指标上相比 Google Gemini Pro 甚至 GPT-4V 都不遑多让。目前,Mini-Gemini 从代码、模型、到数据已全部开源,还登上了 PaperWithCode 热榜。

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

值得一提的是,Mini-Gemini 的图象明白和生成本领已经出了 Demo,可以在线跟自定义图象对话的那种。

操作也极其简单,直接跟输出图象或文字举行对话即可,欢迎来撩!

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

Mini-Gemini Demo 放出后受到广大网友关注,一番 “品尝” 后,他们认为 Mini-Gemini 跟商业模型差不了多少!

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

效果展示

目前,绝大多数多模态模型仅支持低分辨率图象输出和文字输出,而在实际场景中,许多任务都需要对高清图象举行解析,并用图象的形式举行展现。

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

如上图所示,Mini-Gemini 不仅能够根据图片对做面包的过程举行手把手教学,也能够准确将不同电脑根据图片中的各种参数举行对比。网友表示:妈妈再也不用担心我的生活了。

更重要的是,Mini-Gemini 在保留超强的图象明白和推理本领的同时,还解锁了图象的生成本领,就如同 ChatGPT 和生成模型的结合。

下面,让我们通过几个例子来更直观地感受这种本领:

还记得 Google Gemini 的官方演示视频么?当用户给出两个毛线团并问出能用它们做什么时,Gemini 可以识别出图片内容并给出相应的建议。

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

当我们把相似的输出给到 Mini-Gemini,它会怎么回答呢?

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

可以发现,Mini-Gemini 也可以识别出图片中的元素,并且给出合理的建议,同时生成了一只对应的毛线小熊。

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

通过一些抽象的多模态指令来让模型给出推理,并生成合适的图片,这个操作就很像是 ChatGPT 和 DALLE3 的联动了!

接下来让 Mini-Gemini 做自己最擅长的推理和图片明白,看看它表现:

比如明白图片中的冲突点并举一反三:输出冰川中的仙人掌,它会解释其中的冲突并生成一张热带雨林中北极熊的图片:

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

图片呈现了仙人掌的典型栖息地与冰的存在之间的视觉冲突,因为在沙漠环境中自然不会出现冰。这种冲突的类似例子可能是一只北极熊出现在热带雨林中,因为北极熊适应于寒冷、覆盖着冰的环境,在炎热潮湿的气候中无法生存。这种并置创造了一个引人注目且超现实的视觉效果,挑战观众的期待,并可能引发人们对气候变化、环境适应或不同生态系统融合的思考。

同时,正如 ChatGPT+DALLE3 的梦幻结合一样,Mini-Gemini 的推理生成功能还可以在多轮对话中通过简单指令生成连环小故事。

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

比方说,让它根据用户输出讲一个贵族小老鼠的故事。Mini-Gemini 会根据前文的文字生成结果和用户输出举行推理,在保持一致性的情况下对图片举行修改,使其更符合用户的要求。

当然,Mini-Gemini 对于多模态模型的传统技能图片明白也不在话下。比如让模型明白输出曲线图(上图)的数学意义(高斯分布),并让它运用代码复现这张图,通过运行生成的代码,模型可以高质量地还原曲线图,节省了复现的时间。

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

又或者让 Mini-Gemini 明白梗图,通过其强大的 OCR 和推理本领,也可以准确指出笑点。

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

高清复杂的多图表明白和归纳也是小菜一碟,Mini-Gemini 秒变打工人效率提升的超级外挂。

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

Mini-Gemini 背后的技术

大道至简,Mini-Gemini的整体思路并不复杂。其中的Gemini(双子座)表达的是运用视觉双分支的信息挖掘(Mining-Info in Gemini)解决高清图象明白问题。

详细来说,Mini-Gemini 将传统所运用的 ViT 当做低分辨率的 Query,而运用卷积网络 (ConvNet) 将高分辨率的图象编码成 Key 和 Value。运用 Transformer 中常用的 Attention 机制,来挖掘每个低分辨率 Query 所对应的高分辨率区域。从而在保持最终视觉 Token 数目不变的情况下去提升对高清图象的响应,保证了在大语言模型 (LLM) 中对于高清图象的高效编码。值得一提的是,由于高分辨率分支卷积网络的运用,可以根据需要对图象所需的分辨率自适应调整,能够遇强则强。对于图象的生成部分,Mini-Gemini 借助了 SDXL,运用 LLM 推理后所生成的文本链接两个模型,类似于 DALLE3 的流程。

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

而对于数据这个万金油,Mini-Gemini 进一步收集并优化了训练数据的模型结合的文本数据举行训练。在仅运用 2-3M 数据的情况下,实现了对图象明白、推理、和生成的统一流程。

实验结果

Mini-Gemini 在各种 Zero-shot 的榜单上毫不逊色于各种大厂用大量数据训练出来的模型,可谓是 “平、靓、正” !

量化指标

刷爆多模态任务榜单!贾佳亚团队Mini-Gemini登热榜,代码、模型、数据全部开源

可以看出,Mini-Gemini 提供了多种普通和高清版本的模型,并且覆盖了 2B 的小杯到 34B 的超大杯,各个版本都取得了相似参数量下领先的效果,在许多指标上甚至超越 Gemini Pro 和 GPT-4V。

给TA打赏
共{{data.count}}人
人已打赏
应用

「音乐界Sora」Udio来了:前DeepMind员工创业,比Suno可定制性更强

2024-4-16 11:23:00

应用

Sora加入Adobe全家桶,视频改图加戏样样行:PR大更新预告

2024-4-16 15:19:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索