爆火的ChatGPT 背后的大模型与大数据创新

article/2024/9/17 3:23:57

最近,ChatGPT 迅速引爆 AIGC 领域,依托全网大数据与海量智能模型训练,一举成为 Stable Diffusion 之外的 AI 新宠。不同于过往初阶聊天机器人,这位“懂王”似乎可以取代大型搜索平台,与用户展开高质量同频对话。网友也特别乐于「调戏」它,还生成出了不少奇怪的神回复。

ChatGPT 奇特之处恰在于其『学习性』,也就是说它具备进化能力,能够在与人沟通、学习过程中变得更加聪明。在官方介绍里也提到过,它可以指出不正确前提,拒绝回答不适当问题,甚至会承认错误。

展开高智商对话的同时,ChatGPT 也能写出优雅的代码。如果你告诉他需要创建一个 PHP 程序来扫描主机名上的开放端口,就可以得到一份代码,虽然目前看来还是比较初级的,但随着后续的学习和调整,应用前景存在无限可能。

更厉害的是,它还能够在 ChatGPT 中构建虚拟机,运行 Linux 指令,甚至还可以用 curl 来让 Chat GPT 和自己做交互。

如果格局打开一点,我们是不是可以说,在跨端开发时候它可以取代election,真的有助于降本增效?尽管目前还不能做到这么高阶的玩法,但是依照 ChatGPT 的潜质,这或许只是时间问题。

当然,玩法只是表层,更值得谈论的则是其里程碑式意义:AI已然从幕后转向了台前。

在过去的两周里,ChatGPT的热度一度超过 Alpha Go 的峰值。虽然在过往,像是 AlphaGo 这类 AI 产品确实为用户所熟知,但是离用户还是太远了。而 ChatGPT 更像是「民用级」的产品,真正意义上让AI技术广泛破圈应用。

1

大规模模型训练、海量数据

共同成就 ChatGPT

ChatGPT 的出圈并不是偶然,透视结构,它是一种基于 InstructGPT算法架构开发的大型预训练语言模型,而在这之中,OpenAI 为这个模型新增了代码理解和生成能力,这样就可以极大的拓宽应用场景,甚至在这之中,它还加入了一些道德原则,如此就能够识别恶意信息,而且还可以拒绝回答等。在使用体验被拉满之后,我们所能够见到的就是不同于原先的、更贴近于「人」的使用感。

如果从技术角度去解读,我们不难看出,这些产品的背后,都是基于大模型、大数据的不断训练。在之前就有报道指出,ChatGPT背后的训练除了常规的万亿级别语料投喂之外,还依托于其强大的算力。

据数据披露,ChatGPT的总算力消耗约为3640PF-days。事实上这几件事我们可以认为是相辅相成的,即高质量的人工标注数据+强化学习为底层逻辑,在经过万亿级别的语料投喂后不断进行学习和迭代,最后依托于强大的算力为产品的学习和输入输出进行支撑。

看上去难吗?不难,但也很难。在过去的很长一段时间里,许多的厂商都是通过本地设备来进行训练的,甚至在过去,知乎还曾经有人提问「为什么很少有机器学习上云」。

事实上在过往有很多的公司都因为对算力的强需求被拖垮了,这也就是为什么很长一段时间内我们都很难在机器学习领域看到新的产品了。出彩的产品本身就因为算力的桎梏而变得很少,更遑论出圈的呢?

但是,当时间大跨步进入现在以后,这件事就变得截然不同了。在当下,机器学习和深度学习的上云已经相当普遍,而市面上也有很多的产品都在基于大模型的训练和推理给出更适合个人开发者和企业开发的解决方案,亚马逊云科技就是其中之一。

2

从高门槛到低成本,

亚马逊云科技做对了什么?

从刚刚过去不久的2022亚马逊云科技 re:Invent 全球大会上,我们可以得知ChatGPT 这类基于大模型的训练和推理,正是未来驱动机器学习发展的关键趋势之一。

首先,大模型的训练和应用门槛亟须降低。

ChatGPT 相比以往对话机器人,之所以“聪明”,是因为摄入了数以亿计的语料库内容,而如此规模的大模型的训练和应用成本极高,绝大部分企业都无法承担,但我们看到越来越多的大模型走向了开源,并允许用户在此基础上进行低成本的微调,以更加适配最终用户的业务场景。如何获取这些大模型,并快速进行部署和微调,是真正落地大模型应用需要考虑的问题。 

Amazon SageMaker JumpStart简单明了的回答了这个问题,JumpStart提供了超过350个来自TensorFlow、PyTorch、Hugging Face以及MXNet等广受欢迎的模型中心所提供的最先进的预训练模型、内置算法以及预置解决方案模板,能为对象检测、文本分类和文本生成等流行的ML任务提供支持,在re:Invent 2022上,亚马逊云科技宣布将来自Stability.AI (发布了火出圈的用于AIGC的 stable diffusion模型)和 AI21 公司的大模型集成到SageMaker JumpStart,用户仅需点点鼠标,即可完成模型的部署和微调,极大的降低了大模型应用的门槛。

沙利文中国及头豹研究院近期发布了《2022中国 AI 开发平台报告》,亚马逊云科技连续第二年被评为中国 AI 开发平台领导者,在创新指数(横轴)和增长指数(纵轴)均位列第一,具有明显的优势。“亚马逊云科技具备完备的AI开发软硬全栈供应水平,从专用基础设施、AI平台到各类场景开箱即用的AI服务解决方案,结合亚马逊云科技的系列云上服务,满足各类型客户的不同需求”。

第二,大模型训练和推理,更需高性能芯片助力。

ChatGPT 不仅需要巨量数据源“投喂”训练模型,而且也需要强有力的算力与芯片支持,而这些都需要巨量的成本。即便是在技术水平相当理想的情况下,成本问题也很惊人。

事实上对于很多个人学习者和初创公司来说,成本都是绕不开的问题。个人学习者其实很难不因为传统云的价格而感到吃力,但是亚马逊云科技对这类问题则有了更好的解决方案。

在前段时间,亚马逊云科技推出了基于 Amazon Trainium 自研芯片的 Amazon EC2 Trn1实例的高性价比解决方案,与基于 GPU 的同类实例相比,Trn1可节省高达50%的训练成本,不管是从缩短时间、快速迭代模型,还是提升训练准确率维度来说,都可以助力 ChatGPT 一类 AIGC 应用降本增效,表现更出众。

值得一提的是,使用 Trn1 实例无需最低消费承诺或预付费用,只需为使用的计算量付费,计费方式十分合理。像是 Stable Diffusion 模型的母公司 Stability AI  就在使用 Trn1 进行模型训练,持续提升生产效能。

对于大模型的推理,亚马逊云科技同样给出了答案,由第二代Amazon Inferentia 加速器支撑的Amazon EC2 Inf2实例。与第一代 Inf1 实例相比,Inf2 实例的计算性能提高了 3 倍,加速器内存提高了 4 倍,吞吐量提高了 4 倍,延迟降低了 10 倍。Inf2 实例经过优化,可以大规模部署日益复杂的模型,例如大型语言模型(LLM)等,其通过加速器之间的超高速连接可支持横向扩展分布式推理,即使是大如175B 参数模型也可以方便部署并提高高速推理。

第三,基于 NLP 大模型的服务,并非仅有 ChatGPT。

像 ChatGPT 这种基于NLP大模型的服务,亚马逊云科技也拥有多种 AI 服务。

事实上,NLP大模型的落地是很难的,因为它们普遍需要高效的分布式大模型训练和快速的在线推理服务才能够落地,所以对于绝大多数公司来说,不管是从人力成本还是其他层面上来说,都存在一定的阻碍,亚马逊云科技凭借多年云业务经验,可以在多条业务线上齐头并进,协同合作伙伴快速展开生态化创新。

比如 CodeWhisper 就是基于机器学习的代码开发助手,能够帮助更多人来加速开发、提高生产力,除此之外还有还有大家都熟知的Alexa语音助手,也是基于包含200亿个参数的AlexaTeacher Model(AlexaTM 20B)大模型,而这些都能够切实地帮助用户进行降本增效,继而更好地享受到科技红利。

3

写在最后

当我们谈论 ChatGPT 时,我们讨论的是大模型与大数据创新,强悍的机器学习能力建立于此。整体来看,ChatGPT 同亚马逊云科技,在迈向未来探索之路殊途同归,创新落点都是 AI 技术、机器学习、云技术的体系化深入探索。当技术真正作用于人、真正地赋能千行百业一线场景,产生高质量、高效能后,我们所能够见到的,便能瞭望到崭新的科技边界。


http://chatgpt.dhexx.cn/article/LXZiECF4.shtml

相关文章

ChatGPT背后有哪些关键技术?CSIG企业行带你一探究竟

目录 1 ChatGPT的时代2 CSIG企业行3 议题&嘉宾介绍3.1 对生成式人工智能的思考3.2 对话式大型语言模型研究3.3 文档图像处理中的底层视觉技术 4 观看入口 1 ChatGPT的时代 2015年,马斯克、美国创业孵化器Y Combinator总裁阿尔特曼、全球在线支付平台PayPal联合…

ChatGPT背后的模型三兄弟

ChatGPT作为最接近强人工智能的系统,具有强大的信息理解和信息抽象总结能力,在这个信息过剩的时代,为我们提供了一个非常好的智能辅助工具。在我们日常的工作中,怎么充分的利用ChatGPT等类似的智能系统,会给我们生活和…

ChatGPT火爆,背后的核心到底是什么?

点击上方“小麦大叔”,选择“置顶/星标公众号” 福利干货,第一时间送达 2022年12月份的时候,ChatGPT还只是个被人各种撩的聊天工具。但进入2023年后,已经向着效率工具迈进了。 微软宣布正和ChatGPT开发团队OpenAI进行洽谈&#xf…

ChatGPT背后的模型

文章目录 1.RLHF方法2.ChatGPT中的RLHF方法2.1 微调模型GPT-32.2 训练奖励模型2.3 利用强化学习进一步微调语言模型 3.效果4.面临挑战5.参考 InstructGPT语言模型,是一个比 GPT-3 更善于遵循用户意图,同时使用通过我们的对齐研究开发的技术使它们更真实、…

ChatGPT既然这么火,有没有弊端呢?

介绍 在现代社会中,人们越来越依赖技术来解决问题。聊天机器人是一种最新的技术趋势,这种技术可以为人们带来很多便利。而ChatGPT聊天机器人则是其中的一种,它使用了大型的语言模型GPT(Generative Pre-trained Transformer&#…

突发!ChatGPT疯了!

‍数据智能产业创新服务媒体 ——聚焦数智 改变商业 今天,笔者正常登录ChatGPT,试图调戏一下他。但是,突然震惊的发现,ChatGPT居然疯了。 之所以说他是疯了,而不是崩溃了,是因为他还能回复我,但…

ChatGPT背后的逻辑

版权声明 本文原创作者:谷哥的小弟作者博客地址:http://blog.csdn.net/lfdfhl OpenAI与ChatGPT OpenAI是一个美国的人工智能(AI)研究实验室,由非营利组织OpenAI Incorporated和其盈利子公司OpenAI Limited Partnersh…

ChatGPT爆火网络背后的故事?

文章目录 前言一、ChatGPT的诞生背景二、ChatGPT的技术原理三、ChatGPT的推广策略四、ChatGPT的未来展望五、橙子送书第2期 前言 ChatGPT是一款基于人工智能技术的聊天机器人,它的出现引起了广泛的关注和热议。在短短的时间内,ChatGPT就成为了全球范围内…

ChatGPT 用户破亿背后...

2022 年 12 月初,ChatGPT 被社会广泛讨论之初,我们就介绍了 ChatGPT 母公司 OpenAI 使用了身份云(IDaaS)服务。在当时,人们还在感慨 ChatGPT 上线不到一周时间用户量就突破百万,而仅仅在不到两个月后&#…

ChatGPT背后的经济账

ChatGPT能否取代Google、百度这样的传统搜索引擎?为什么中国不能很快做出ChatGPT?当前,对这些问题的探讨大多囿于大型语言模型(LLM)的技术可行性,忽略或者非常粗糙地估计了实现这些目标背后的经济成本&…

ChatGPT是风口吗?爆火后的质疑猝不及防

作者观: 首先要明确一点,ChatGPT代替不了人类,不要抱不切实际的期望。 作为一款由OpenAI开发的人工智能聊天软件,该程序在一些人的眼里具有革命性的意义。 有人说,这玩意儿可以在一夜之间让无数人失业,也有…

带头抵制高级AI,马斯克在怕什么

Chat-GPT 和 GPT-4 给大家留下的话题实在不少,一边是大家已经开始享受着人工智能带来的便捷,各种写论文出脚本,另一头则是更多的精英人士开始对高级 AI 心存忧虑。 上个月底,据路透社的报道,有一群人工智能专家及行业…

二月安全月报 | 45亿条快递数据疑泄露,Twitter史上最大规模宕机

为了让大家更全面的了解网络安全的风险,顶象针对每月值得关注的安全技术和事件进行盘点总结。 国内安全热点 👉业务安全 男子注册上万账号薅羊毛获利13万 近日,上海市,由闵行区人民检察院提起公诉的刘某某诈骗一案开庭审理&…

最先被GPT革掉命的,大概率是你每天都在用的验证码

前段时间,有一个叫 “ Chirper ” 的互联网社区突然火了。 和普通的社区不一样,这个社区拒绝任何真实人类的进入。所有在上面发帖的,都是提前设定好角色属性的 “ 机器人 ”。 它们之中有年龄高达 300 岁的可以使用魔法和动物交流的森林女王…

“用过 Rust 后,我写 Python 的方法都变了!”

近年来,Rust 以其安全性出名,逐渐被各大科技巨头所拥抱——那么,其他主流语言是否可以参考 Rust 的编程思想呢?本文作者以 Python 为例,做了一番尝试。 原文链接:https://kobzol.github.io/rust/python/202…

如何实现在纯 Web 端完成各类 API 调试?

作者 | 张涛,携程机票研发部高级软件工程师 责编 | 夏萌 在软件开发过程中,对于各类 API 的调试工作至关重要。API 调试是验证和测试应用程序接口的有效性和正确性的关键步骤。传统的 API 调试方法通常依赖于独立的工具或桌面应用程序,限制了…

BASIC 之父出生 | 历史上的今天

整理 | 王启隆 透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。 今天是 2023 年 5 月 31 日,在 1962 年的今天,伦纳德克兰罗克(Leonard Kleinrock)发表了他的第一篇论文,题为“大型通…

22字声明、近400名专家签署、AI教父Hinton与OpenAI CEO领头预警:AI可能灭绝人类!...

整理 | 屠敏 出品 | CSDN(ID:CSDNnews) 经过不到一年的时间,AI 的发展超乎所有人的想象,也大有失控的风险。 就在今天,全球部分顶尖的 AI 研究员、工程师和 CEO 就他们认为 AI 对人类构成的生存威胁发出了新…

时至 2023 年,2000 万行仍然是 MySQL 表的软限制吗?

一直有传言说,MySQL 表的数据只要超过 2000 万行,其性能就会下降。而本文作者用实验分析证明:至少在 2023 年,这已不再是 MySQL 表的有效软限制。 原文链接:https://yishenggong.com/2023/05/22/is-20m-of-rows-still-…

GPT-4 Copilot X震撼来袭!AI写代码效率10倍提升,码农遭降维打击

新智元报道 【新智元导读】GPT-4加强版Copilot来了!刚刚,GitHub发布了新一代代码生成工具GitHub Copilot X,动嘴写代码不再是梦。 微软真的杀疯了! 上周,微软刚用GPT-4升级了Office办公全家桶,还没等人们反…