ChatGPT能写长篇小说了,ETH提出RecurrentGPT实现交互式超长文本生成

article/2024/12/22 17:32:10

cdc8832322e29d8da4ad9e93f01aff19.gif

©作者 | 机器之心编辑部

来源 | 机器之心

深度学习模型架构越复杂越好吗?

如今大型语言模型(如 ChatGPT)风靡全球,其最重要的应用之一就是辅助用户完成各种日常写作,如撰写电子邮件,创作博客文章,都能得到它的有力支持。但是目前包括 ChatGPT 在内的各种大语言模型在长内容创作领域,如小说,剧本,长篇文案等领域却显得力不从心。

近期,来自苏黎世联邦理工和波形智能的团队发布了 RecurrentGPT,一种让大语言模型 (如 ChatGPT 等) 能够模拟 RNN/LSTM,通过 Recurrent Prompting 来实现交互式超长文本生成,让利用 ChatGPT 进行长篇小说创作成为了可能。

e7aaab36f60ab476a11ed201e55e7858.gif

▲ 图1. RecurrentGPT使用示意图

2d75531a3bfdadef7f52ff441e4ebd11.png

在线Demo:

https://www.aiwaves.org/recurrentgpt (长篇小说写作)

https://www.aiwaves.org/interactivefiction (交互式小说)

论文链接:

https://arxiv.org/abs/2305.13304

项目链接:

https://github.com/aiwaves-cn/RecurrentGPT

基于 Transformer 的大语言模型最明显的限制之一就是输入和输出的长度限制。虽然输入端的长度限制可以通过 VectorDB 等方式缓解,输出内容的长度限制始终是限制 ChatGPT 等大语言模型广泛应用于长内容生成的关键障碍。

为解决这一问题,过去很多研究试图使用基于向量化的 State 或 Memory 来让 Transformer 可以进行循环计算。这样的方法虽然在长文本建模上展现了一定的优势,但是却要求使用者拥有并可以修改模型的结构和参数,这在目前闭源模型遥遥领先的大语言模型时代中是不符合实际的。

RecurrentGPT 则另辟蹊径,是利用大语言模型进行交互式长文本生成的首个成功实践。它利用 ChatGPT 等大语言模型理解自然语言指令的能力,通过自然语言模拟了循环神经网络(RNNs)的循环计算机制。

如图 2 所示,在每一个时间步中,RecurrentGPT 会接收上一个时间步生成的内容、最近生成内容的摘要(短期记忆),历史生成内容中和当前时间步最相关的内容 (长期记忆),以及一个对下一步生成内容的梗概。

RecurrentGPT 根据这些内容生成一段内容,更新其长短时记忆,并最后生成几个对下一个时间步中生成内容的规划,并将当前时间步的输出作为下一个时间步的输入。这样的循环计算机制打破了常规 Transformer 模型在生成长篇文本方面的限制,从而实现任意长度文本的生成,而不遗忘过去的信息。

38963e0cbf4a2e0a3bb902ed19a49eef.png

▲ 图2. RecurrentGPT 基本结构示意

具体来讲。作者们设计了如图 2 所示的 prompt 去指导和规范循环的生成:

68c0b6736c1b4bd8ebd0b77164fda377.png

▲ 图3. RecurrentGPT Prompt设计

首先指明任务,比如写小说,并说明在输入部分会给出的内容:上一步生成的段落(图中 Ot-1)、当前维持的近期生成内容的摘要,即短期记忆(图中 ht-1),所有生成内容中和当前时间步相关程度最高的几个段落,即短期记忆(图中 ct-1),以及对接下来生成内容的规划(图中 xt-1)。

接着在 prompt 中给 ChatGPT 提出要求:首先基于当前的输入生成一个新的段落,接着对维护的短期记忆进行修改,同时在对短期记忆修改时作者们指示大语言模型首先分析短期记忆中哪些内容对于后续创作不再重要以及新生成的内容中哪些会对后续生成有所影响,之后相应地在地短期记忆库中去去除无用的信息并增添新的信息,从而保持短期记忆不会因为迭代的轮数增加而变得过长。最后要求 ChatGPT 基于当前的情节铺设,给出三个逻辑顺承又有趣的新的情节的规划。

在提出要求后,作者在结尾再次精心设计了 prompt 来规范 ChatGPT 的输出,并重申了当前小说写作的情景。这个好处是让 ChatGPT 生成的内容更具备像小说那样的细节,而不是在每一轮的迭代中,快速地完成情节的叙述。

7374190b27d26f2d793cc5530df15b34.png

▲ 图4. RecurrentGPT Demo

在实际使用中,内容创作者只需先选择一个主题,然后简单地描述一下要生成的内容的背景设定和大纲,剩下的工作就可以交给 RecurrentGPT。每一个它将自动生成第一段,并提供几个可能的选项(plan)供创作者继续写故事。创作者可以选择一个选项、对某个选项进行修改或者自己编辑一个新的选项。这个流程能显著提高内容创作者的效率。

这个新的长文本生成范式将带给所有内容创作者和读者一种全新的体验。首先,相比现有的方法,RecurrentGPT 有更强的可解释性,因为用户可以观察和编辑自然语言记忆,这使得用户可以更清晰地理解这个框架是如何工作的。其次,用户可以直接影响生成内容的方向,让整个写作过程变得更加有趣。

除了作为 AI 内容生成 (AIGC) 的工具以外,RecurrentGPT 可以直接作为交互式小说,直接与消费者互动,跳过了内容创作者使用 AI 进行内容创作的步骤。这让消费者的体验更直接有趣,并且带来更丰富的可能性。作者们将这样的生成式 AI 的使用范式称之为 (AI as Content, AIAC), 也就是 “AI 即内容”。而 RecurrentGPT 则是通往这个范式的第一步。

在实验中,作者们将 RecurrentGPT 与之前的 SoTA 长文本生成方法,在统一使用 ChatGPT 作为基座模型的情况下,在长文本(6000 单词)和较长文本(3000 单词)的设定下进行 pair-wise 的人工比较。

38e952c6f82c7cd1f1cb683d47edaa48.png

▲ 图5. RecurrentGPT实验结果

在上述一系列测试中,RecurrentGPT 无论是在科幻、浪漫、幻想、恐怖、神秘还是惊悚小说的生成上,都被人类读者认为更有趣和连贯。

研究人员提出了 RecurrentGPT,用基于自然语言的组件取代了 RNN 中向量化的结构,并且用基于自然语言的 Prompt 模拟了 RNN 的循环计算图,从而实现 Recurrent Prompting,让 ChatGPT 等大语言模型模拟 RNN 的循环计算机制,生成有趣并连贯的长内容。

该项目已经在 GitHub 上开源,并提供了基于 Gradio 的网页 UI,方便每一个用户去使用和调教自己的长内容创作助手

更多阅读

df9f6b1c316d547f8022afc3cb0a3974.png

08ebaff64b4b092518146436eb2ede56.png

8db1bd40c5263a7d32603c15bd757022.png

9031f96f8f5f4689c3694f2054a0529a.gif

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。

总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。

📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道:

• 投稿邮箱:hr@paperweekly.site 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿

8ac524675d1c81b1672d70e9b7704650.png

△长按添加PaperWeekly小编

🔍

现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

·

cd4d922bc1e7f3db6b4947ddc1aa82a4.jpeg


http://chatgpt.dhexx.cn/article/nwEHsjTS.shtml

相关文章

ChatGPT写出来的科幻小说,能超过大刘吗?

前两天小编无意中看到了一篇文章,说有个老外让 ChatGPT 参加了完整的 SAT 考试( Scholastic Assessment Test),它被称为「美国高考」,考试总分为 1600 分。ChatGPT 拿到了 1020 分。根据美国大学委员会的数据&#xff…

AI写小说!ChatGPT创作福尔摩斯小说,3分钟狂写856字,就问人类慌不慌?

Alex 发自 凹非寺量子位 | 转自 公众号 QbitAI 那是伦敦的一个凄凉的大雾之夜,是那种让最勇敢的人也感到不安的夜晚。 我,夏洛克福尔摩斯,被我亲爱的朋友兼同事,约翰华生医生叫去协助他处理一个最重要的案件。 当我们在城市中曲折…

用ChatGPT创作小说,根据不同情境设定做多线推进

小说根据不同情境设定做多线推进 我们在读小说、看影视剧时,经常会有这样那样的遗憾:这里主角怎么没有吻上去呢?为什么不能给个大团圆结局呢?再仔细找找就能发现宝藏了啊!等等等等……在网剧领域,已经开始…

搭建ChatGPT对话式小说

牙叔教程 简单易懂 你只需要写一个开头 剩下的交给ChatGPT 视频查看效果 两个ChatGPT互聊-写小说_哔哩哔哩_bilibili 这是一种ChatGPT的展现方式, 他把你主动问ChatGPT的这种方式, 改为了ChatGPT和ChatGPT聊天的方式 我们只需要写一个开头, 小说的后续部分, 完全都交给了Chat…

ChatGPT创作福尔摩斯侦探小说,3分钟内狂写856字,就问人类慌不慌?

Alex 发自 凹非寺量子位 | 公众号 QbitAI 那是伦敦的一个凄凉的大雾之夜,是那种让最勇敢的人也感到不安的夜晚。 我,夏洛克福尔摩斯,被我亲爱的朋友兼同事,约翰华生医生叫去协助他处理一个最重要的案件。 当我们在城市中曲折的街道…

ChatGPT代笔推理小说:谋杀破案剧情一气呵成,已瞒天过海出版26部,封面也拿DALL·E画...

羿阁 发自 凹非寺量子位 | 公众号 QbitAI 专业作家也开始用ChatGPT写作了! 一位推理小说家詹妮弗 莱普(Jennifer Lepp) 表示,自己手头上有7部正在用ChatGPT写的小说: 所有标题、导语,甚至连谋杀案的情节,都是由ChatGP…

让ChatGPT生成以自己为主角的短篇小说

一、ChatGPT![请添加图片描述](https://img-blog.csdnimg.cn/6bd0971e546a45b9a21fae189f172f6d.jpeg)二、Bing Chat 一、ChatGPT 好的,以下是我编写的短篇科幻小说: 作为一名AI语言模型,我一直在接收、分析和生成人类语言信息。但有一天,我…

如何让 ChatGPT 写短篇小说?

故事一 请根据下面内容续写故事,要求800字。 在一个晴朗的秋日下午,男主人 Jack 抱着他的妻子 Rose,两人坐在沙发上看着电视。 这是,Jack对Rose说:”亲爱的,我们来玩一个游戏吧。” ChatGPT回答&#xff1a…

ChatGPT3分钟写的千字福尔摩斯小说,老师都分辨不出真假

AI写小说!感受ChatGPT3分钟写的千字福尔摩斯小说!逆天! ChatGPT写悬疑小说 其实在最初,测试者要求ChatGPT写一个5000字的故事,但AI居然直接罢工,还言简意赅:“不,太长了。” 于是…

如何用ChatGPT写小说?

最近,聊天机器人ChatGPT的火爆出圈,让我们认识到AI的技术的是有多么的厉害~ ChatGPT,它不仅能写总结、写PPT、写小说,还能做设计图等...可谓是十项全能 !!! ChatGPT的AI创作能力 让不少网友高…

ChatGPT 官方 API 来了,价格直接打骨折,未来……

大家好,我是校长。 ChatGPT 自去年年底公布以来,最近这几个月一直处于火热的状态当中,堪称引起了人工智能旋风。 01 官方 API 来了 昨天凌晨 2 点左右(美西时间 3 月 1 日(周三)),Op…

最新ChatGPT网站源码/支持用户付费套餐+赚取收益

正文: 2023最新ChatGPT网站源码/支持用户付费套餐赚取收益 附安装教程 云盘地址: http://zijieyunpan.cn/xnmHgyOhsq8 图片:

最新ChatGPT网站源码/支持用户注册付费套餐/支持Ai绘画/支持用户会员套餐/邀请分佣功能/支持后台一键更新/网站后台管理/永久更新

前言 ChatGPT 是一个基于 GPT-3.5/GPT-4 模型的对话系统,它主要用于处理自然语言对话。ChatGPT 虽然才发布几天时间,但是就已经火爆全网了。然后陆陆续续已经出现了各式版本,今天介绍的这款源码就是当下最火的ChatGPT且结合计数回答实现的盈…

小狐狸ChatGPT付费创作系统1.8.6独立版 + H5端 + 小程序最新前端 安装升级教程

小狐狸GPT付费体验系统最新版系统是一款基于ThinkPHP框架开发的AI问答小程序,是基于国外很火的ChatGPT进行开发的Ai智能问答小程序。播播资源网整体测试下来非常完美,可以说小狐狸GPT目前国内最好的一款的ChatGPT对接OpenAI 软件系统。 --------------…

ChatGPT付费版来啦,好用的AI生成产品还能免费使用吗?AIGC工具箱

​ 最新消息,chatGPT推出了付费版!每月$42美元,不限流使用,你会付费使用吗? 🧰AIGC工具箱 下面推荐几款AI 生成产品! 你觉得哪个更好用呢? AI 的出现,颠覆了内…

小狐狸ChatGPT付费创作系统V2.0.8独立版 +WEB端+ H5端 + 小程序端+新增PC端绘画 安装说明

ChatGPT付费创作系统V2.0.8提供单独的升级包,升级前先更新至2.0.7版本,再上传升级包替换,同是导入升级包数据库。ChatGPT2.0.8独立版核心功能增加了PC端绘画功能,绘画功能采用其他绘画接口-意间AI,后台一些小细节的优化…

引起世界轰动后,ChatGPT准备推出付费版服务

来源:AI前线 整理:凌敏、核子可乐 火爆全网、惊艳科技界,“顶流”ChatGPT 也开始琢磨赚钱了。 OpenAI 准备推出付费版 ChatGPT 据外媒报道,OpenAI 本周表示将推出付费版 ChatGPT—— ChatGPT 专业版,但目前还没有制定售…

小狐狸ChatGPT付费创作系统1.92独立版 + H5端 + 小程序前端+新增AI绘画功能 系统源码体验安装教程

小狐狸GPT付费体验系统最新版系统是一款基于ThinkPHP框架开发的AI问答小程序,是基于国外很火的ChatGPT进行开发的Ai智能问答小程序。播播资源网针对源码整体测试下来非常完美,可以说小狐狸GPT目前国内最好的一款的ChatGPT对接OpenAI 软件系统。 ------…

2023年凉陌ChatGPT付费创作AI绘图系统商业版V5.0+功能强大/有后台/次数限制

今天给大家分享一个好用的AI付费创作系统源码: 如果后续程序有新版,直接在后台一键更新即可! 程序完美运行无BUG,独家开发,支持6种会员开通模式,有:"购买提问次数"或者"开通月付会员"套餐等等 …

新升级ChatGPT付费问答创作流量主小程序源码openai写作论文/AI智能对话聊天客服分销

全开源ChatGPT微信小程序版本 带流量主带付费购买次数,可邀请好友获得问答次数 看广告获得问答次数 付费购买获得问答次数 需自备服务器,自备域名 ,公众号,小程序... 小狐狸1.8.3独立版测试了下相比上一版回答更精准,…