查看原文
其他

梗图理解“天花板”!港中文终身教授贾佳亚团队推出多模态模型:GPT-4+DALL-E 3,王炸组合刷爆榜单

AI前线
2024-08-22

整理 | 傅宇琪

近日,港中文终身教授贾佳亚团队推出了一款名为 Mini-Gemini 的多模态模型,包括 2B 小杯到 34B 的超大杯,一经发布便登上了 PaperWithCode 热榜。凭借超强的图文理解力,Mini-Gemini 的最强模型版本在多个指标上,直接媲美 Gemini Pro,GPT-4V,网友称其效果堪称是开源社区的 GPT4+DALL-E 3 的王炸组合!

目前,研究团队将 Mini-Gemini 的代码、模型、数据全部开源。更有意思的是,超会玩梗的 Mini-Gemini 线上 Demo 已经发布,人人皆可上手试玩。“浅尝”之后,有人认为:Mini-Gemini 跟商业模型差不了多少!


最“懂”图的大模型?

图像理解及推理

当下,绝大多数多模态模型仅支持低分辨率图像输入和文字输出。而在实际场景中,许多任务都需要对高清图像进行解析,并用图像的形式进行展现。Mini-Gemini 在这一点上有着不错的表现:

给它一张做面包的九宫格漫画教程,Mini-Gemini 能看懂并进行手把手教学。


拍一张苹果店 Mac 电脑信息图,Mini-Gemini 能够将两种 Mac 的参数列表横向对比。


Mini-Gemini 还能理解输入曲线图的数学意义,并使用代码复现这张图。


高清复杂的多图表理解和归纳也是小菜一碟,Mini-Gemini 直接秒变打工人效率提升的超级外挂。

有网友对此表示:妈妈再也不用担心我的生活了。

图片生成

更重要的是,除了图像理解和推理能力,Mini-Gemini 还解锁了图像的生成能力。通过一些抽象的多模态指令,Mini-Gemini 就可以给出推理,并生成合适的图片,这个操作像不像是 ChatGPT 和 DALL-E 3 的联动?让我们看一些例子:

输入一张画着冰川中的仙人掌的图片,让 Mini-Gemini 解释图中的矛盾点并举一反三。它会说:“在沙漠环境中自然不会出现冰。这种矛盾的类似例子可能是一只北极熊出现在热带雨林中,因为北极熊适应于寒冷、覆盖着冰的环境,在炎热潮湿的气候中无法生存。”并生成一张热带雨林中北极熊的图片:


Mini-Gemini 还可以在多轮对话中通过简单指令生成连环小故事。比方说,让它根据用户输入讲一个贵族小老鼠的故事。Mini-Gemini 会根据前文的文字生成结果和用户输入进行推理,在保持一致性的情况下对图片进行修改,使其更符合用户的要求。

梗图理解

目前市面上的大模型们在对于 meme 图的理解方面总是不尽人意,不过 Mini-Gemini 不一样,通过其强大的 OCR 和推理能力,它能做到准确指出笑点。


输入一张周一上班心神俱疲“社畜”狗的梗图,Mini-Gemini 还能用它的生图功能还你一只周末下班的快乐小鸡毛!


技术细节

大道至简,Mini-Gemini 的整体思路并不复杂。其中的 Gemini(双子座)表达的是使用视觉双分支的信息挖掘(Mining-Info in Gemini)解决高清图像理解问题。

核心在于三点:

(1)用于高清图像的双编码器机制

2)更高质量的数据

(3)训练阶段结合生成模型数据拓展

详细来说,Mini-Gemini 将传统所使用的 ViT 当做低分辨率的 Query,而使用卷积网络(ConvNet)将高分辨率的图像编码成 Key 和 Value。使用 Transformer 中常用的 Attention 机制,来挖掘每个低分辨率 Query 所对应的高分辨率区域。从而在保持最终视觉 Token 数目不变的情况下去提升对高清图像的响应,保证了在大语言(LLM)模型中对于高清图像的高效编码。值得一提的是,由于高分辨率分支卷积网络的使用,可以根据需要对图像所需的分辨率自适应调整,能够遇强则强。对于图像的生成部分,Mini-Gemini 借助了 SDXL,使用 LLM 推理后所生成的文本链接两个模型,类似于 DALLE3 的流程。


Mini-Gemini 进一步收集并优化了训练数据的质量,并加入了跟生成模型结合的文本数据进行训练。在仅使用 2-3M 数据的情况下,实现了对图像理解、推理、和生成的统一流程。可以说,Mini-Gemini 在各种 Zero-shot 的榜单上毫不逊色于各种大厂用大量数据训练出来的模型:


量化数据指标对比

最后提一嘴,Mini-Gemini 的 Demo 操作极其简单,直接输入图像或文字进行对话即可,读者朋友们可以试一试(网址附在文末咯)!


参考链接:

Github 地址:https://github.com/dvlab-research/MiniGemini

Demo 地址: http://103.170.5.190:7860/

论文地址:https://arxiv.org/pdf/2403.18814.pdf

模型地址:https://huggingface.co/collections/YanweiLi/mini-gemini-6603c50b9b43d044171d0854

数据地址:https://huggingface.co/collections/YanweiLi/mini-gemini-data-660463ea895a01d8f367624e

 内容推荐

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI 前线」公众号,回复「开发者洞察」领取。

 活动推荐

AICon 全球人工智能开发与应用大会 暨 大模型应用生态展将于 5 月 17 日正式开幕,本次大会主题为「智能未来,探索 AI 无限可能」。如您感兴趣,可点击「阅读原文」查看更多详情。

今天是会议 9 折购票阶段,购票或咨询其他问题请联系票务同学:13269078023,或扫描上方二维码添加大会福利官,可领取福利资料包。

今日荐文


逃离 Windows!德国又宣布迁移到 Linux,涉及数万系统、3 万余人,官员吐苦水:Windows 对硬件要求太高了


芯片反击,英特尔和AMD惨了!国内电信运营商逐步淘汰外国芯片,网友:这只是个开始


字节跳动成全球最大独角兽公司?官方回应;智己汽车三次致歉小米:我们被网络霸凌;苹果计划裁员超 600 人|AI周报


OpenAI 创始成员用 1000 行 C 代码手搓了一个大模型,Mac 即可运行!网友:真男人就该用C编程


离开百度7年后,吴恩达终于大厂“再就业”:加入亚马逊董事会,帮其实现AI大志


OpenAI 重磅发布的GPT-4 Turbo with Vision,是编码的倒退

你也「在看」吗?👇

继续滑动看下一个
AI前线
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存