迷你 GPT-4 抢跑看图聊天:OpenAI 有的它都有,服务器已被挤爆

GPT-4 识图功能迟迟不开放,终于有人忍不住自己动手做了一个。

MiniGPT-4 来了,Demo 开放在线可玩。

传一张海鲜大餐照片上去,就能直接获得菜谱。

传一张商品效果图,就可以让 AI 写一篇带货文案。

手绘一个网页,可以给出对应的 HTML 代码

除了生产力拉满,也支持根据常识推理图上内容是否合理、解释表情包为什么好笑,以及看截图找电影等娱乐玩法。

可以说,GPT-4 发布时展示过的功能,MiniGPT-4 基本也都有了。

这下网友直接把 Demo 服务器挤爆,开发团队连开 4 台备用服务器,都有几十人在排队。

不等 OpenAI 了,现在就能玩

除了研究团队给出的示例,网友也用 MiniGPT-4 玩出了各种花样

有人上传自己画的画,让 AI 评价评价。

有人上传一张从车道拍摄的飞机坠毁瞬间,让 MiniGPT-4 尽可能详细地描述,并思考自动驾驶 AI 能不能理解这个场面。

做到这么好的效果,MiniGPT-4 实现起来却并不复杂。

把图像编码器与开源语言模型 Vicuna(小羊驼)整合起来,并且冻结了两者的大部分参数,只需要训练很少一部分。

传统预训练阶段,使用 4 张 A100 在 10 个小时内就可完成,此时训练出来的 Vicuna 已能够理解图像,但生成能力受到很大影响。

为解决这个问题,团队让 MiniGPT-4 与 ChatGPT 合作创建了 3500 个图像文本的高质量数据集,也一并开源。

用新的数据集微调可以显著提高模型的生成可靠性和整体可用性,而且计算效率很高,使用单个 A100 只需要 7 分钟。

并且团队正在准备一个更轻量级的版本,部署起来只需要 23GB 显存。

也就是消费级显卡中拥有 24GB 显存的 3090 或 4090 就可以本地运行了。

MiniGPT-4 开发团队来自 KAUST(沙特阿卜杜拉国王科技大学),包括 4 位华人成员和他们的导师 Mohamed Elhoseiny。

两位正在读博的共同一作还在 GitHub 页面上特别标注正在找工作

有意向的公司要抓紧抢人了~

在线 Demo:

https://minigpt-4.github.io

开源代码:

https://github.com/Vision-CAIR/MiniGPT-4

论文:

https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf

本文来自微信公众号:量子位 (ID:QbitAI),作者:梦晨

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注