终于,乔姆斯基出手了:追捧ChatGPT是浪费资源

article/2024/11/13 9:37:56

编辑:蛋酱、泽南

Colorless green ideas sleep furiously. 人类语言语法的基础不可能是基于统计意义的。

ChatGPT 掀起了科技领域最新的一轮军备竞赛,但留给 AI 领域的议题还有很多:ChatGPT 是一种真正的创新吗?是否意味着初步的通用人工智能?很多学者持有不同看法,这种讨论随着新技术的热度而愈发热烈。

那么语言学领域的大佬们如何看待 ChatGPT 的进步呢?特别是乔老爷子 —— 语言学巨头乔姆斯基。

69ca09689f847bf4422e6bd93b7de14b.png

近日,美国哲学家、语言学家、认知科学家诺姆・乔姆斯基、剑桥大学语言学教授 Ian Roberts 以及科技公司 Oceanit 人工智能总监 、哲学家 Jeffrey Watumull 在《纽约时报》撰文,对大语言模型的缺陷进行了批判。

e7c45380c0617756ceefb98f1d63f087.png

为了追赶 ChatGPT 的步伐,谷歌发布了 Bard,微软也推出了 Sydney。乔姆斯基承认,OpenAI 的 ChatGPT、谷歌的 Bard 和微软的 Sydney 都是机器学习的奇迹。

笼统地说,它们获取大量数据,在其中搜索规律,并越来越熟练地生成统计上可能的输出 —— 比如看似人性化的语言和思想。

这些程序被誉为通用人工智能地平线上的第一缕曙光 —— 那是一个长期预言的时刻,届时机械思维不仅会在处理速度和内存大小方面超越人类大脑,而且还会在洞察力、艺术创造力,以及所有其他独特的人类能力方面上超越人类。

但乔姆斯基更多的观点在于批判,特别是对于 ChatGPT 的能力缺陷和道德水准:「今天,我们在人工智能方面所谓的革命性进步确实令人既担忧又乐观。乐观,是因为智慧是我们解决问题的手段,担忧是因为我们担心最流行和最时髦的人工智能 —— 机器学习,将通过将有根本缺陷的语言和知识概念纳入我们的技术,而降低我们的科学水平并拉低我们的道德规范。」

客观上,那一天可能终究会到来,但曙光还没有出现,这与夸张的新闻标题和不明智的投资所预料的情况正好相反。

现在,让我们看看乔姆斯基的文章还说了什么。

ChatGPT 缺乏任何智能的关键能力

阿根廷作家豪尔赫・路易斯・博尔赫斯(Jorge Luis Borges)曾写道,生活在一个既充满危险又充满希望的时代,既是悲剧又是喜剧,在理解我们自己和这个世界时「启示迫在眉睫」。

「如果像 ChatGPT 这样的机器学习程序继续主导人工智能领域,博尔赫斯式的理解启示没有且未来也不会发生。」

不管这些程序在某些狭窄的领域中多么有用(例如,它们可以在计算机编程中有所帮助,或者在为诗词押韵建议方面很有帮助),我们从语言学和知识哲学中知道它们与人类推理和实用语言的方式有很大的不同。这些差异极大地限制了这些程序的功能,使它们带有无法根除的缺陷。

正如博尔赫斯可能指出的那样,如此多的金钱和注意力被集中在这么小的一件事上,这既是喜剧又是悲剧 —— 与人类的思想相比,这是微不足道的,用德国哲学家威廉・冯・洪堡的话来说,人类的思想是通过语言,可以「无限地使用有限的手段」,创造出具有普遍影响力的思想和理论。

人脑不像 ChatGPT 及其同类产品那样,是一个笨拙的模式匹配统计引擎,吞噬数百 TB 的数据并推断出最可能的对话响应或最可能的科学问题答案。相反,人的大脑是一个非常高效甚至优雅的系统,只需要少量信息即可运作;它不寻求推断数据点之间的直接相关性,而是寻求解释。

比如一个正在学习一门语言的小孩正在无意识地、自动地、快速地从极小的数据中发展出一种语法,一种由逻辑原则和参数组成的极其复杂的系统。这种语法可以理解为先天的、遗传安装的「操作系统」的表达,它赋予人类产生复杂句子和长串思路的能力。 

当语言学家试图发展一种理论来解释为什么给定的语言会这样工作时(为什么这些 —— 而不是那些句子被认为是合乎语法的?),他们正在有意识地、费力地构建孩子本能构建的语法的明确版本,同时在这个过程中尽可能少地接触信息。孩子的操作系统与机器学习程序的操作系统完全不同。

实际上,ChatGPT 这样的程序停留在认知进化前的人类或非人类阶段。它们最深的缺陷是缺乏任何智能的关键能力:不仅可以说出情况是什么、已经发生了什么以及将要发生什么 —— 这是描述和预测 —— 而且还可以说出这种情况不是什么,以及可能发生什么,不应发生什么。这些是解释的成分,是真正智慧的标志。

这里有一个例子:假设你手里拿着一个苹果,现在让苹果掉下来,你观察结果并说:「苹果掉下来了。」这就是一种描述。预测的说法则是「如果我张开手,苹果就会掉下来」。两者都是有价值的,而且都可能是正确的。

但解释意味着更多的东西。它不仅包括描述和预测,还包括反事实的猜想,如 「任何这样的物体都会掉下来」,再加上附加条款「因为引力」或「因为时空的曲率」或其他,这就是一个因果解释。「如果不是因为引力,苹果就不会掉下来」,这就是思维。

机器学习的核心是描述和预测;它没有提出任何因果机制或物理规律。当然,任何人类式的解释都不一定正确;我们是易变的。但这也是思考的部分含义:要想正确,必须有可能出错。智能不仅包括创造性的猜想,也包括创造性的批评。人类式的思考是基于可能的解释和纠错,这个过程逐渐限制了可以理性地考虑的可能性。

正如夏洛克・福尔摩斯对华生所说:「当你排除了不可能,剩下的任何东西,无论多么不可能,都肯定是真理。」

但是从设计上来说,ChatGPT 和类似的程序在它们能够「学习」(也就是记忆)的内容方面是没有限制的;它们没有能力区分「可能」和「不可能」。例如,人类被赋予了一种通用的语法,将我们能够学习的语言限制在某种近乎数学的优雅上,而这些程序则以同样的方式学习人类可能的和不可能的语言。人类在我们可以合理猜测的解释种类方面受到限制,而机器学习系统可以学习地球是平的和地球是圆的。它们只是在随时间变化的概率中进行交易。

由于这个原因,机器学习系统的预测将永远是肤浅和可疑的。例如,由于这些程序无法解释英语语法规则,它们很可能错误地预测「约翰太固执了,不愿意和他说话」,其意味着约翰太固执了,他不会和某人或其他人说话(而不是说他太固执了,不愿意被说教)。为什么机器学习程序会预测出如此奇怪的事情?因为它可能会把它从「约翰吃了一个苹果」和「约翰吃了」这样的句子中推断出来的模式进行类比,后者确实是指约翰吃了什么或其他东西。该程序很可能预测,因为「约翰太固执了,不愿意和比尔说话」与「约翰吃了一个苹果」相似,所以「约翰太固执了,不愿意和他说话」应该与「约翰吃了」相似。对语言的正确解释是复杂的,并不是仅仅通过在大数据中浸泡就能学会。

反常的是,一些机器学习爱好者似乎很自豪,他们的作品可以产生正确的「科学」预测(例如关于物理体的运动),而不使用解释(例如牛顿的运动定律和普遍引力)。但这种预测即使成功了也是伪科学。虽然科学家们肯定会寻求有高度经验佐证的理论,但正如哲学家卡尔 - 波普尔所指出的:「我们寻求的不是高度可能的理论而是解释,也就是强大而高度不可能的理论。」

苹果落到地球上是因为那是它们的「自然位置」(亚里士多德的观点)的理论是可能的,但它只会导致进一步的问题:为什么地球是它们的自然位置?

苹果落到地上是因为质量使时空弯曲的理论(爱因斯坦的观点)是非常不可能的,但它实际上告诉了你为什么它们会掉下来。

真正的智能表现在思考和表达事物的能力,而不是仅有洞察力。

真正的智能也是能够进行道德思考的。这意味着要用一套道德原则来约束我们头脑中本来无限的创造力,确定什么是应该的、什么是不应该的(当然也要让这些原则本身受到创造性的批评)。为了有用,ChatGPT 必须被授权产生新颖的输出;为了被大多数用户接受,它必须避免道德上令人反感的内容。但 ChatGPT 和其他 ML 奇迹的程序员一直在努力并将继续努力实现这种平衡。

例如,2016 年,微软的 Tay 聊天机器人(ChatGPT 的前身)在互联网上充斥着厌恶女性和种族主义的内容,因为它被网络上的「恶魔」污染了,这些恶魔用攻击性的训练数据填充它。未来如何解决这个问题?由于缺乏从道德原则出发的推理能力,ChatGPT 被其程序员粗暴地限制了对有争议的讨论做出任何新的贡献,但这也是重要的 ——ChatGPT 为一种非道德性牺牲了创造力。

看一下我们中的一个人(Watumull 博士)最近与 ChatGPT 的交流:关于改造火星使其能够支持人类生命是否符合道德。

639afb03fa6aa7cb5bb220d2aef3f44f.png

32470c9b4050a7b97eb67e249abcf058.png

2a11ccd260d01ea1fd4e70f07525ee39.png

0e6748edd198a248a8c420314b2a03f0.png

8b66f85767fa26252d41133e9296f9be.png

请注意,所有看似复杂的思想和语言,都是由不够智能而产生的道德层面的冷漠。在这里,ChatGPT 表现出类似于「邪恶」的平庸:剽窃、冷漠和顺从。它以一种超级自动完成的方式总结了文献中的标准论点,拒绝在任何事情上采取立场,不仅辩称无知,而且辩称缺乏智慧,最终提供了一个「只是服从命令」的借口,将责任推卸给它的创造者。

简而言之,ChatGPT 和它的竞品们在结构上无法平衡创造力和约束。他们要么过度地生成(既产生真理也产生谬误,认可道德的和不道德的决定),要么生成不足(表现出对任何决定的不承诺和对后果的漠不关心)。鉴于这些系统的非道德性、假科学性和语言无能,我们对它的火热只能哭笑不得。

ChatGPT 真的不值得被歌颂吗?

乔姆斯基对 ChatGPT 的评论,引起了业内的讨论,斯坦福大学教授、NLP 领域著名学者克里斯托弗・曼宁表示,他不是在针对 ChatGPT 的某种算法错误,而是针对了所有机器学习算法,且说法有些夸张了:「这确实是一篇主观的文章。甚至连粗略的尝试都没有,以检查容易被驳斥的主张。」

814bf44b638c58bdeeb845e48a85f98a.png

他甚至觉得有点难过:乔姆斯基试图阻止这些新方法。这里他也推荐语言学家 Adele Goldberg 对这篇文章的看法。

7eeddc0fb965a1acaa4b8d33c976e039.png

DeepMind 研究总监及深度学习负责人 Oriol Vinyals 则选择站在「实践者」的一方:「批评很容易,而且会在这些天得到很多关注。而且我们都知道,注意力是(某些人)所需要的。对那些建设者来说:你们很了不起!」

63b5822e1c6bef4b0e7f9fe6a99a0abe.png

你怎么看呢?

参考内容:

https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

https://twitter.com/chrmanning/status/1633873657939513345


http://chatgpt.dhexx.cn/article/HBri8v5S.shtml

相关文章

语言学巨头乔姆斯基评ChatGPT:缺乏任何智能的关键能力,追捧就是浪费资源

编|蛋酱、泽南源|机器之心 Colorless green ideas sleep furiously. 人类语言语法的基础不可能是基于统计意义的。 ChatGPT 掀起了科技领域最新的一轮军备竞赛,但留给 AI 领域的议题还有很多:ChatGPT 是一种真正的创新吗&#xff…

最新ChatGPT GPT-4 相似匹配Embedding技术详解(附ipynb与python源码及视频讲解)——开源DataWhale发布入门ChatGPT技术新手从0到1必备使用指南手册(一)

目录 前言最新ChatGPT GPT-4 相似匹配Embedding技术详解1. 何为Embedding2. 相关API2.1 LMAS Embedding API2.2 ChatGPT Style 3. Embedding应用3.1 QA3.2 聚类3.3 推荐 相关文献 参考资料其它资料下载 前言 如果您想提高ChatGPT中文本处理的效率和精度,那么Embedd…

ChatGPT的前世今生

作者🕵️‍♂️:让机器理解语言か 专栏🎇:NLP(自然语言处理) 描述🎨:让机器理解语言,让世界更加美好! 寄语💓:🐾没有白走的…

苹果公司限制员工使用AI工具ChatGPT和GitHub Copilot

​关注文章下方公众号,即可免费获取AIGC最新学习资料 导读:苹果公司最近发布了一份内部备忘录,禁止员工使用生成式AI平台(包括ChatGPT和GitHub的Copilot等)用于工作任务。 本文字数:600,阅读时…

通俗易懂的ChatGPT的原理简介

简介: 本文介绍了ChatGPT的原理及应用。ChatGPT是基于GPT模型的自然语言处理技术,可以进行语言理解、文本生成、对话生成等多种应用。其基本原理是通过训练大规模语料库中的数据,生成模型,从而实现自然语言处理的任务。本文着重介…

接入ChatGPT应用被苹果阻止更新,要求改成17限

萧箫 发自 凹非寺量子位 | 公众号 QbitAI ChatGPT开放API消息才出来,就有应用安排上了。 然而,苹果却把这次更新阻止了! 理由是人工智能可能会产生不适合所有受众的内容: 要么增加内容过滤功能,要么把APP适用人群改到1…

ChatGPT 发展历程、原理、技术架构详解和产业未来

👇快来关注我 作者:陈巍博士 原文链接: https://zhuanlan.zhihu.com/p/590655677 本文转自公众号 Python开发者 去年12月1日,OpenAI推出人工智能聊天原型ChatGPT,再次赚足眼球,为AI界引发了类似AIGC让艺术…

ChatGPT开源系列

目录 进化树 从GPT-4 可以看出未来 LLM 的哪些趋势?未来的研发方向和优化策略是什么? 模型 Stanford Alpaca 可以借鉴的点 llama.cpp 验证阶段已完成 nebullvm-chatllama(待定) 可以借鉴的点 OpenChatKit 可以借鉴的点&a…

ChatGPT发展历程、原理、技术架构详解和产业未来

‍‍ 作者简介: 陈巍 博士,存算一体/GPU架构和AI专家,高级职称。中关村云计算产业联盟,中国光学工程学会专家,国际计算机学会(ACM)会员,中国计算机学会(CCF&…

IDE装上ChatGPT,这款编辑器真的做到可以自动写代码了!

介绍 Cursor 是集成了 GPT-4 的 IDE 工具,目前免费并且无需 API Key,支持 Win、Mac、Linux 平台,可以按要求生成代码,或者让 AI 帮助优化代码,分析代码。Cursor目前已经集成了openai的GPT-4,它或将彻底改变…

IDE + ChatGPT,这款编辑器真的做到可以自动写代码了

介绍 Cursor 是集成了 GPT-4 的 IDE 工具,目前免费并且无需 API Key,支持 Win、Mac、Linux 平台,可以按要求生成代码,或者让 AI 帮助优化代码,分析代码。Cursor目前已经集成了openai的GPT-4,它或将彻底改变…

全球最大ChatGPT开源平替来了!支持35种语言,写代码、讲笑话全拿捏

【导读】刚刚,LAION发布了世界最大ChatGPT开源平替——OpenAssistant。网友上手实测后,纷纷表示这是开源的胜利。 世界最大的ChatGPT平替来了! OpenAssistant是一个开源的对话模型,基于Pythia和LLaMA微调而来,主要用…

ChatGPT插件系统正式开放,不用写代码,人人都是程序员

整理 | 褚杏娟、核子可乐、凌敏 当地时间 3 月 23 日,OpenAI 宣布正式上线了以安全为核心的 ChatGPT 插件系统。OpenAI 插件将 ChatGPT 连接到第三方应用程序,之后 ChatGPT 便能够与开发人员定义的 API 进行交互,从而增强 ChatGPT 的功能并允…

【ChatGPT】使用 Cursor !其中集成了免费的 GPT-4 帮我写代码,写文章,聊天(ChatGPT)

官网是 cursor.so,下载后安装即可使用,无需科学上网。 Github: https://github.com/getcursor/cursor 现在速度又快还免费,只希望收费晚点来。 使用过程中如果一次回复的字数太多了会戛然而止,这时候跟他说“上面的代码没写完,请写完”就可以了。 目录 一、GPT-4在代码…

不敲代码用ChatGPT开发一个App

先说下背景,有一天我在想 ChatGPT 对于成熟的开发者来说已经是一个非常靠谱的助手了,身边也确实有很多同事把它作为一个离不开的助理担当。 但是如果我只是略微懂一点前端知识的新人,了解 HTML、CSS、JS 相关的知识,想开发一个安…

无需VPN,使用chatGPT帮助你写代码

如果你想要编写高效而有效的代码,ChatGPT将成为你最好的工具!ChatGPT是一种强大的自然语言生成技术,它可以为你提供关于编程的灵感和建议。使用ChatGPT,你只需输入一些简单的自然语言,就可以获得代码的建议和修改。无论…

与ChatGPT进行高效对话,生成想要的代码

Prompt Engine:释放创造力的新工具 Prompt EnginePrompt Engine的背景和目的简介背景目的 如何让 Codex 生成您想要的代码什么是prompt-engine-py安装简介架构图下面是PromptEngine类中可以用到的函数以及继承的函数 使用PromptEngine生成prompt使用CodeEngine生成p…

从ChatGPT出发:大模型与自然语言模型

目录 引言基石故事的开始:Transformer异姓兄弟:GPT、Bert与GPT-2GPTBertGPT-2 大力出奇迹:GPT3模型的进化:InstructGPT ChatGPT代码库TransformerGPT-2GPT-3InstructGPT 未来的工作安全性&有效性算力与标注代价的平衡 参考文献…

NLP:《ChatGPT: Optimizing Language Models for Dialogue一种优化的对话语言模型》翻译与解读

NLP:《ChatGPT: Optimizing Language Models for Dialogue一种优化的对话语言模型》翻译与解读 目录 《ChatGPT: Optimizing Language Models for Dialogue》翻译与解读 Abstract Samples 回答修改代码 回答道德问题 回答数学问题 回答如何写信 Methods 三…

ChatGPT的初步学习和认识

文章目录 (一) 使用ChatGPT的体验(二) ChatGPT的优缺点ChatGPT的优势包括:ChatGPT的缺点: (三) ChatGPT的功能 (一) 使用ChatGPT的体验 1)使用chatGPT进行学习,知识点整理 2) 使用chatgpt进行编程 3)请教…