微软重磅开源 Visual ChatGPT！一个月内斩获30K star

article/2024/10/18 14:33:24

点击上方“Github中文社区”，关注

看Github，每天提升第067期分享  github中文社区

大家好，我是Huber。

今年由于大环境恶化，为了生活本人这一年在某外企从事某个秘密项目（正经的那种）的研发，所以没有时间（动力）和精力（钱）更新推文，最近项目已经交付完成，这里向大家说声对不起，很开心再一次和大家相见（搞JI）。

最近ChatGPT 在国内非常火，但国外开发者对ChatGPT 不太热衷，自从ChatGPT4.0发布后，一些巨头公司都开始跟进，刚开始微软自研自己的ChatGPT，接着阿里巴巴也开始启动 ChatGPT的自研，上个月百度开源了自己的ChatGPT（文言一心），如此火爆的背景下，是不是我也该更跟进跟进？

ChatGPT 是什么?

众所周知，国外科技巨头公司微软除了大力开发 Open AI ，还亲自下场大搞 AI 。微软开源了 Visual ChatGPT ，这个软件可以连接 ChatGPT 和一系列视觉模型，在实现在 ChatGPT 的聊天过程中可实现发送和接收图像功能。

大家都知道 ChatGPT 问世已经过去半年多了，近期怎么才被大家重视？这里除了科技技术本身，有一部分来自资本的推手，在没有绝对风口可吹捧时，新技术基本成了最好饼的好了，跑题了，咱们看看ChatGPT是什么玩意？

ChatGPT（全名：Chat Generative Pre-trained Transformer），美国OpenAI 研发的聊天机器人程序，于2022年11月30日发布，ChatGPT是人工智能技术驱动的自然语言处理工具，它能够通过理解和学习人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码，写论文等任务。

好了，通俗的一点， ChatGPT 就是一个智能聊天机器人，采用人工智能技术和自然语言处理实现，强大在于 ChatGPT 甚至可以用来写小说写论文，但目前也仅限于文字交流。

Visual ChatGPT

由于 ChatGPT 只能用文字实现，不能通过语音和表情包交流，所以新的插件技术来了。

微软发布了 Visual ChatGPT，目前该项目已经收获30K star

Visual ChatGPT的出现，就像在微信一样，在文字交流时候添加了表情包功能，而且还是根据用户输入的文本自动生成的 “定制化表情包”，大大提升了 ChatGPT 的趣味性和应用领域。

研究过ChatGPT 都了解 ChatGPT（或 LLM）充当通用界面，提供对图像的理解和用户的交互功能。另外基础图像模型通过提供特定领域的深入知识帮助专家们提升技术。

我们发现改代码仓库中列出了技术架构及原理图：

截至 4 月 3 本社区推文前，Visual ChatGPT 该项目已暂获 29.2K Stars ，过去不到一个月增长非常快速，说明开发者非常关注。

快速入门

好了, 好了, 别说了，

看着这么牛逼，怎么入门？

官方 Demo 中共进行了三种不同类型的对话，分别是 Visual ChatGPT 接收用户的图像、Visual ChatGPT 根据用户的文本修改图像并发送给用户，以及 Visual ChatGPT 识别图片，并回答用户的提问。Visual ChatGPT 会根据用户的输入，判断是否需要使用 VFM 来处理该问题。