第3章 ChatGPT简介

article/2024/2/25 16:00:32

3.1ChatGPT厚积薄发

最近,工智能公司OpenAI推出的ChatGPT风靡全球,其上线仅两个月,注册用户破亿。ChatGPT包含丰富的知识,不仅能更好地理解人类的问题和指令,流畅进行多轮对话,还在越来越多领域显示出解决各种通用问题和推理生成能力。许多人相信,ChatGPT不仅是新一代聊天机器人的突破,也将为信息产业带来巨大变革,也预示着AI技术应用将迎来大规模普及。

ChatGPT表现不俗?其背后的技术有哪些?

3.2 从GPT到GPT-3

3.3 从GPT-3到ChatGPT的进化路线图

下图为从最初的GPT-3到GPT-3.5的进化路线图。

图1 GPT-3初版到ChatGPT的进化路线图

其中text—davinci—002是在code—davinci—002的基础上使用InstructGPT训练方法改进的。GPT-3.5在GPT-3的基础上加入了代码的能力,ChatGPT的代码训练中,很多数据来自于类似Stack Overflow这样一些代码问答的网站,所以我们会发现它做简单的任务其实做得还蛮好的。

从图1可知,GPT-3为ChatGPT打下了扎实的基础,但codex、RLHF等技术新增很多新功能,挖掘了GPT-3的潜力。

3.4 使GPT-3初版升级到ChatGPT的多项关键技术

从图1可知,这两项关键技术是代码训练(Codex)、RLHF及TAMER等

1、Codex

Codex 模型系列是 GPT-3 系列的后代,它经过了自然语言和数十亿行代码的训练。该模型系列精通十几种语言,包括 C# JavaScript、Go、Perl、PHP、Ruby、Swift、TypeScript、SQL甚至Shell,但最擅长 Python。

你可以使用Codex完成各种任务,包括:

  • 将注释转换为代码

  • 在上下文中补全下一行代码或函数

  • 为你提供一些知识,例如为应用程序查找有用的库或 API 调用

  • 添加注释

  • 重写代码以提高效率

Codex如何训练的呢?

首先,在GITHub数据上预训练模型。这个模型可以合理地表征人类编码空间,可以极大地减少搜索量级。使用带tempering的GOLD目标函数,结合编程竞赛数据集,微调模型。可有进一步降低搜索空间,给每个编程题目生成一个较大的样本集;过滤这个样本集,得到一个较小的候选结果集。

然后,进行代码补全,代码补全这个任务的特殊性:具体来说,传统的NLP任务,生成的结果越接正确答案,那么模型得分越高,但是代码不是这样的,代码但凡有一点点小Bug,都可能造成毁灭性的结果。所以对于代码补全任务,判断生成代码的正确与否就是使用的单元测试(unittest)。

针对代码补全这样一个特殊问题,作者提出了一个pass@k的一个指标,生成k个结果,只要有一个通过就算通过(k如果比较大,就会对模型的能力过度乐观,当k比较大的时候,虽然模型分数比较高,但是在使用时,会给用户返回一大堆代码,让用户去选,这个也是很难的,所以说需要排算法,但这个分数并没有反映排序)。

在预训练过程中引入程序代码,和文本一起参与预训练,以此进一步增强大型语言模型(Large Language Model,LLM)的推理能力。这个结论从不少论文的实验部分都可以得出。如图3所示。

图3 有关codex的试验数据

从图3给出的实验数据,来自于论文“On the Advance of Making Language Models Better Reasoners”,其中GPT-3 davinci就是标准的GPT-3模型,基于纯文本训练;code-davinci-002(OpenAI内部称为Codex)是同时在Code和NLP数据上训练的模型。如果比较两者效果,可以看出,不论采用具体哪种推理方法,仅仅是从纯文本预训练模型切换到文本和Code混合预训练模型,在几乎所有测试数据集合上,模型推理能力都得到了巨大的效果提升。

2、RLHF

人类反馈强化学习(ReinforcementLearning from Human Feedback,RHFL)模型将预训练语言模型按照人类反馈进一步微调以符合人类偏好,利用人类反馈信息直接优化模型。Open AI 采用了人类反馈强化学习作为ChatGPT和核心训练方式,并称其是“能有效提升通用人工智能系统与人类意图对齐的技术”。RLHF 的训练包括三个核心步骤:

(1)预训练语言模型(也可以使用额外文本进行微调,监督微调新模型可以让模型更加遵循指令提示,但不一定符合人类偏好)。

(2)对模型根据提示(prompt)生成的文本进行质量标注,由人工标注者按偏好从最 佳到最差进行排名,利用标注文本训练奖励模型,从而学习到了人类对于模型根据给定提示生成的文本序列的偏好性。

(3)使用强化学习进行微调,确保模型输出合理连贯的文本片段,并且基于奖励模型对模型输出的评估分数提升文本的生成质量。

详细过程如图4所示。

图4 RHFL的训练过程,

原图来自:Learning to summarize from human feedback

3、TAMER

TAMER(Training an Agent Manually via EvaluativeReinforcement,评估式强化人工训练代理)框架。该框架将人类标记引入到智能体(即强化学习中的Agents)的学习循环中,可以通过人类向Agents提供奖励反馈(即指导Agents进行训练),从而快速达到训练任务目标。其架构图如下所示。

3.5 ChatGPT训练过程

3.6ChatGPT不断迭代的路线图

3.7ChatGPT的不足

尽管ChatGPT在上下文对话能力甚至编程能力上表现出色,完成了大众对人机对话机器人由“人工智障”到“人工智能”的突破,我们也要看到,ChatGPT仍然有一些局限性,还需不断迭代进步。

(1)ChatGPT在其未经大量语料训练的领域缺乏“人类常识”和引申能力,甚至会一本正经的“胡说八道”。

(2)ChatGPT无法处理复杂冗长或者特别专业的语言结构。对于来自金融、自然科学或医学等专业领域的问题,如果没有进行足够的语料“喂食”,ChatGPT可能无法生成适当的回答。

(3)ChatGPT还没法在线的把新知识纳入其中,而出现一些新知识就去重新预训练GPT模型也是不现实的。

(4)训练ChatGPT需要耗费非常大量的算力,成本还是很大的。

3.8ChatGPT应用场景

ChatGPT能够提供高效的信息获取方式,有望成为重要的生产工具,潜在应用领域广泛。业界普遍认为,ChatGPT将在智能办公、智慧科研、智慧教育、智慧医疗及游戏、新闻等领域迅速落地。在金融、传媒、文娱、电商等领域,ChatGPT可以为各类消费群体提供个性化、高质量的服务,解锁多领域智慧应用。


http://chatgpt.dhexx.cn/article/ryCvylGM.shtml

相关文章

用ChatGPT快速制作PPT

如果你想制作一份漂亮的PPT却不知道从何下手,不要担心,ChatGPT来帮你了!ChatGPT是一种自然语言生成和理解模型,不仅可以和你聊天,还可以帮你设计和撰写一份出色的PPT。本篇文章将带你快速掌握使用ChatGPT制作PPT的技巧…

在线使用AI合集

POE 前言 目前有关注的小伙伴应该会发现,ChatGPT注册功能已经关闭。那些还没有注册的小伙伴岂不是不能使用ChatGPT,今天为大家推荐的就是Poe | AI机器人集合 Sage、Claude、ChatGPT、Dragonfly。Poe链接 使用poe.com/ChatGPT 注册也非常简单&#xff…

ChatGPT机会与变现大全

这是一篇教你如何利用ChatGPT变现的文章,从商业的视角看ChatGpt这个产品。 虽然我们都听过chatGPT,网络上也铺天盖地的文章介绍这个产品有多牛,甚至是一些有点关联的产品都跑过来陈热度给自家产品打广告。但是,这些我们都不关心&a…

初遇 chatGPT

背景 今天终于有时间尝试一下心心念的 chatGPT。注册了一下,然后尝试问了一些问题。不刁钻,结果确实令人惊艳。17年我在做自然语言处理学习的时候,还是 Tensorflow 1.0 的时代。当时还在用 LSTM 解决词意联系的问题。当然 GPT 的幕后逻辑不得…

Python 使用 ChatGPT

Python 使用 ChatGPT 前面我们已经介绍过 ChatGPT 的注册了,现在我们看一下如何通过Python 使用ChatGPT 由于ChatGPT 注册相关的文章被平台限制了,所以有注册相关的问题可以私聊 API key 的获取 到这里我们已经完成ChatGPT 的注册了,如果我们需要在代码里使用ChatGPT ,那…

chatgpt插件

chatgpt插件安装 安装步骤 安装步骤 1)打开微软的edge浏览器 2)找到相应浏览器扩展 3)获取扩展 4)搜索wetab(初始没安装的话,主页中最热门的第一个应该就是) 5)添加好后选择启用 6)打开新的…

5天注册破百万,一文详解爆火 ChatGPT 到底是个啥

作者:qizailiu,腾讯 IEG 应用研究员 导读 OpenAI 近期发布聊天机器人模型 ChatGPT,迅速出圈全网。它以对话方式进行交互。以更贴近人的对话方式与使用者互动,可以回答问题、承认错误、挑战不正确的前提、拒绝不适当的请求。高质…

火遍全网的chatGPT

最近网上非常火爆的CHATGPT,它是OpenAI开发的一款开源的自然语言处理 (NLP) 模型,用于实现对话生成和语言模型预测。CHATGPT 模型基于 GPT-3 (Generative Pretrained Transformer 3) 模型构建,拥有语言理解和文本生成能力。CHATGPT 模型可以用…

注册ChatGPT时提示Oops! The email you provided is not supported

问题描述 今天本想出一个ChatGPT的注册与使用的教程,结果上来吃了个闭门羹。之前我通过微软账号登录验证是没有问题的,但这次想使用另一个微软账号,结果提示Oops! The email you provided is not supported(您提供的电子邮件不支…

ChatGPT准备工作_step1_注册邮箱

如何注册Outlook邮箱 访问Outlook网站:在您的网络浏览器中打开 Outlook的官方网站。 点击"创建账户":在Outlook网站的主页上,点击"创建账户"选项,开始注册过程。 填写个人信息:在注册表格中填…

centosAI数据模型

传送:https://ai.centos.chat/ 之前一直公益运营 万万没想到流量比预想的要大很多,API接口的这个Tokens消耗的速度比预想的要快的多。 想持续提供免费服务,目前看只能自己拿真金白银来顶。光靠一点捐助肯定是杯水车薪。 所以有能力的伙伴…

ChatGPT快速入门

1. :介绍ChatGPT的背景、目的、特点和优势,让读者对ChatGPT有一个初步的了解。 ChatGPT简介 ChatGPT是一种基于自然语言处理技术的智能对话系统,旨在为用户提供更加智能、便捷、高效的交流体验。ChatGPT的背景是人工智能技术的快速发展和智能…

chatgpt 中文版 日常使用教程

之前的很多文章相信很多小伙伴都看了,今天就把我日常的使用分享给大家希望可以帮助到大家。 1.写代码 在我们需要写代码的时候一定要发出指令否则会让它误会,例子:帮我写个俄罗斯方块的代码,一定要有帮忙和请求的感觉 如果写的代…

ChatGPT中文使用手册

简要介绍: First:什么是ChatGPT? ChatGPT是由OpenAI训练的一款大型语言模型,最新版为GPT3.5(公开版)和GPT4.0(PLUS会员版本) 它能够生成类似于人类写作的文本。您只需要给出提示或提出问题&…

训练中文版chatgpt

文章目录 1. 斯坦福的模型——小而低廉:Alpaca: A Strong Open-Source Instruction-Following Model2. Meta 模型:LLaMA:open and efficient foundation language models3.ChatGLM4.斯坦福开源机器人小羊驼Vicuna,130亿参数匹敌90…

ChatGPT中文版重装上阵

ChatGPT中文版重装上阵 近日,AI模型市场联手OpenAI推出了新版ChatGPT,这是一款面向聊天机器人开发的自然语言处理(NLP)模型。ChatGPT是一款非常强大的NLP模型,可以帮助开发者构建会话式聊天机器人,它可以更…

ChatGPT有中文版吗?

2023年最热的技术话题是什么?毫无疑问是人工智能,特别是AIGC领域。其中又以ChatGPT为最热门产品。ChatGPT是一个革命性的人工智能产品,能对我们的生产生活产生巨大的影响。然而,有网友担心ChatGPT是西方开发的AI工具,能…

【ChatGPT中文版来了,这就是你想要的!】

ChatGPT中文版来了,这就是你想要的! 写在前面 最近在逛论坛时,发现一款不错的插件——Vscode ChatGPT。据介绍,这是ChatGPT的中文插件,首次安装插件之后,可以自动启用国内模式,不需要任何操作…

CHATGPT有中文在线版本

CHATGPT是一个在线的聊天机器人,它可以回答你的问题、提供信息和进行一些简单的对话。 下面是使用CHATGPT的步骤: 1. 打开网站 进入CHATGPT的中文版官方网站:https://chatgpt.com/zh-cn/ 2. 输入问题 在对话框中输入问题或话题&#xff…

chatgpt中文设置流程

对于ChatGPT来说,中文设置是非常重要的,因为只有正确设置了中文模型,它才能够理解和回答中文输入。下面我将介绍一些在ChatGPT中设置中文的方法。 选择中文预训练模型 首先,你需要选择适合中文场景的预训练模型。目前市面上已经…