震惊!火爆全网的ChatGPT背后使用的数据库居然是……

article/2024/11/10 13:44:44
摘要:ChatGPT承认了自己背后使用的数据库是Cassandra。

OpenAI最近发布的AI驱动的智能聊天机器人ChatGPT在互联网上掀起了一阵风暴,热衷于尝试这一新AI成果的网民不在少数。ChatGPT针对网友广泛的问题提供了非常有针对性的回答,其不可思议的能力成为各大媒体平台的头条新闻,其应用内部的算法模型、应用领域、实现原理也被大家广泛谈论和探索,小编作为数据库从业者,自然也想探秘一番,让我们一起往下看吧。

狂野的发文

最初是领英上的一篇发文引起了大家的关注,北美数据库公司DataStax的开发者与Cassandra数据库开发者帕特里克在Linkedin上发文说到,这是一个非常狂野与充满想象力的消息,ChatGPT承认了自己背后使用的数据库是Cassandra!

简要来说,帕特里克问ChatGPT能否给出一些使用Cassandra进行AI模型训练的例子,这时ChatGPT竟直接回答OpenAI就是使用这一数据库来储存训练数据和模型节点的。为了实现这一目的,OpenAI对于AI开发流程很可能还打造了自己与Cassandra交互使用的一套工具链,命名为Cassio。对于上述信息,回答中还给出了工具链的源码与文档链接,最后还生成了一段代码示例。

这一回答让人感觉十分真实,不禁让人怀疑是否真的如ChatGPT所说,火爆全网的AI应用背后使用的数据库就是Cassandra呢?小编对于这个问题也是十分感兴趣,所以进行了一番求证,让我们往下看。

根据网上的资源,也有人尝试对AI领域使用Cassandra相关的问题询问ChatGPT,得到了如下的回复。

ChatGPT承认Cassandra作为分布式数据库,在实时AI储存中很有竞争力,在企业级应用中也占有大量份额,已被证实为一个实时AI应用的可靠选择。同时支持的多种数据类型,在AI应用中有广泛使用前景。但是,我们需要更加直接的证据来证明Cassandra和ChatGPT的联系!

灵魂的拷问

有资源的相关人士,通过正在内测的新必应,尝试问出OpenAI使用Cassandra的真相。新必应内置增强版的ChatGPT,其对于对话内容获取与问题解答的能力相较于公开版更为强大。在这里我们直接拷问新必应OpenAI是否使用了阿帕奇Cassandra数据库。

新必应的回答先是夸赞了Cassandra一番,随后也没有直接肯定OpenAI使用了Cassandra数据库,但是也提供了一些OpenAI历史上可能应用过这一数据库的证据。同时我们看到,回答中显示有油管视频展示了如何使用GPT-3来操作这一数据库,OpenAI的高级工程师David Greenbery也曾是阿帕奇基金会下Cassandra项目的代码提交者。当然,这一回答并不能满足我们对于OpenAI是否使用了Cassandra的疑问,所以我们更加直接地追问新必应,ChatGPT是否真的使用了Cassandra数据库。

这一次的回答提供了更多的新信息,但是还是没有直接承认ChatGPT使用Cassandra数据库。但是在夸赞Cassandra的同时,也提供了三个在AI领域具体应用的例子,例如帮助编写数据查询语句与生成相关数据图表等。这一深入的回答不禁让人想到,是否这样的应用已经存在于OpenAI内部,只是没有得到公开承认。

同时,目前必应的ChatGPT版本尚未是最终发布版本,后续回答是否会改变我们不得而知。在新必应最终发布时,会不会使用Cassandra做业务支撑,始终还是一个未知数。不过我们可以确定的是,在这个AI应用场景下,Cassandra数据库应是不二选择。

存在是否真实

DataStax的员工在更深入的探索与交互中,发现ChatGPT提供了更多不存在的链接。这一证据也可能表明相关应用证据和工具链曾经存在于网络上,只是已经被移除了。但是非常多的证据可能还散布在网络上。世界上最大的工业自动化公司之一Rockwell Automation也曾发文介绍AI在工业需求预测上的应用。这么多关于OpenAI把Cassandra应用于AI领域的消息,十分明确地指明了这一可能的应用方向与相关前景。至此,我们可以相信,即使OpenAI没有公开承认其使用的技术栈与数据库,Cassandra也有相当的概率已经被其应用于相关服务。

真实世界的解决方案

ChatGPT对于Apache Cassandra的介绍已经覆盖了其非常多的特性,对于应用场景也有了充分的描述,其分布式、高可用、低时延、高容灾的特点描述也十分准确。AI的大规模应用离不开海量的数据储存和处理,一个高效的数据库在AI模型的训练和部署阶段显得尤为重要,具备更快的读取速度、更优越的架构、更强的一致性,才能为人工智能模型的训练和应用保驾护航。

例如,有着1750亿参数的ChatGPT模型,在训练过程中需要海量数据。这些数据在分布式训练的环境下,要怎么解决诸如读取速度与一致性等问题呢? 同时,面对全球上亿用户,如何支持ChatGPT所有业务的并发呢?

我们的解决方案是,使用一款高效稳定、大容量的Cassandra数据库,比如GaussDB(for Cassandra)。

华为云GaussDB(for Cassandra)是一款基于华为自研的计算存储分离架构的分布式数据库,100%兼容Cassandra生态,相比较开源的Cassandra版本,具备高可靠、高性能、高安全、极致弹性、便捷管理、强一致性等系列优势,十分适用于海量并发、流量热点等场景。

GaussDB (for Cassandra)在AI领域的应用探究

分布式难题

GaussDB(for Cassandra)的分布式强一致性特点和华为云支持的计算节点扩容和秒级储存扩容,为AI模型训练提供强大支持。多节点同时存取数据时,相比开源Cassandra的最终一致性,GaussDB(for Cassandra)提供的强一致性特征保证每个训练节点实时获取数据的一致,为训练过程输入的数据提供可靠性保障。

数据结构

Cassandra的宽表结构,提供了灵活的数据定义。在储存原始数据输入时更具优势,也适用于多变的AI训练场景,适合AI模型的下游细粒度优化与fine-tuning任务。

长时间训练

对于长时间训练的大模型项目,数据库的高可用异常关键,数据库的波动将会极大地影响模型训练进度。对此,GaussDB(for Cassnadra) 采用了三副本形态,数据安全可靠,无丢失风险。同时支持大容量PB级数据存储,存储容量秒级扩容,对线上业务无干扰,无中断。

复杂查询

针对模型的下游针对性训练与鲁棒性检验,需要提取部分具有特殊属性的数据。GaussDB(for Cassandra)对大数据量查询性能进行了优化,引入视图增强特性,并对表结构进行优化设计,满足了信息流、内容搜索等业务的查询需求。同时,Lucene引擎全新解决方案已经上线测试,支持更多的文本复杂内容查询场景,完美弥补NoSQL数据库弱查询的短板。

超高并发

对于全球亿级用户访问ChatGPT的局面,GaussDB(for Cassandra)也能对大流量提供很好的支撑。使用的LSM tree储存引擎,对于高写入场景有很好的效果,既能高效储存用户数据,又支持快速离线导出分析,为超高并发业务提供支持,还支持数据变更捕获和实时分析。

综上所述,我们抽丝剥茧探秘了ChatGPT背后使用的数据库,也探索了GaussDB(for Cassandra)在AI领域的应用实践,相信大家对ChatGPT和GaussDB(for Cassandra)已经有了初步的了解,其实GaussDB(for Cassandra)早已拓展到了社会服务的各个方面,更多的应用场景等待着大家的探索。

所以,支持ChatGPT后台的数据库,为什么不能是GaussDB(for Cassandra)呢?

点击关注,第一时间了解华为云新鲜技术~


http://chatgpt.dhexx.cn/article/ysroZNyE.shtml

相关文章

不定期更新:我对 ChatGPT 进行多方位了解后的报告,超级全面,建议想了解的朋友看看

优质介绍视频: GPT4前端【AI编程新纪元】 【渐构】万字科普GPT4为何会颠覆现有工作流;为何你要关注微软Copilot、文心一言等大模型 此文章不定期更新(一周应该会更新一次) 最近一次更新:2023.5.17 23:00(…

ChatGPT将颠覆我们生活?

一款由OpenAI开发的消费级别的强人工智能应用ChatGPT横空出世! ChatGPT推出仅两个月,月活用户突破1亿,成为史上用户增长速度最快的消费级应用程序。 关于ChatGPT,马斯克在去年12月就曾公开表示称:ChatGPT好得吓人&am…

终于,乔姆斯基出手了:追捧ChatGPT是浪费资源

编辑:蛋酱、泽南 Colorless green ideas sleep furiously. 人类语言语法的基础不可能是基于统计意义的。 ChatGPT 掀起了科技领域最新的一轮军备竞赛,但留给 AI 领域的议题还有很多:ChatGPT 是一种真正的创新吗?是否意味着初步的通…

语言学巨头乔姆斯基评ChatGPT:缺乏任何智能的关键能力,追捧就是浪费资源

编|蛋酱、泽南源|机器之心 Colorless green ideas sleep furiously. 人类语言语法的基础不可能是基于统计意义的。 ChatGPT 掀起了科技领域最新的一轮军备竞赛,但留给 AI 领域的议题还有很多:ChatGPT 是一种真正的创新吗&#xff…

最新ChatGPT GPT-4 相似匹配Embedding技术详解(附ipynb与python源码及视频讲解)——开源DataWhale发布入门ChatGPT技术新手从0到1必备使用指南手册(一)

目录 前言最新ChatGPT GPT-4 相似匹配Embedding技术详解1. 何为Embedding2. 相关API2.1 LMAS Embedding API2.2 ChatGPT Style 3. Embedding应用3.1 QA3.2 聚类3.3 推荐 相关文献 参考资料其它资料下载 前言 如果您想提高ChatGPT中文本处理的效率和精度,那么Embedd…

ChatGPT的前世今生

作者🕵️‍♂️:让机器理解语言か 专栏🎇:NLP(自然语言处理) 描述🎨:让机器理解语言,让世界更加美好! 寄语💓:🐾没有白走的…

苹果公司限制员工使用AI工具ChatGPT和GitHub Copilot

​关注文章下方公众号,即可免费获取AIGC最新学习资料 导读:苹果公司最近发布了一份内部备忘录,禁止员工使用生成式AI平台(包括ChatGPT和GitHub的Copilot等)用于工作任务。 本文字数:600,阅读时…

通俗易懂的ChatGPT的原理简介

简介: 本文介绍了ChatGPT的原理及应用。ChatGPT是基于GPT模型的自然语言处理技术,可以进行语言理解、文本生成、对话生成等多种应用。其基本原理是通过训练大规模语料库中的数据,生成模型,从而实现自然语言处理的任务。本文着重介…

接入ChatGPT应用被苹果阻止更新,要求改成17限

萧箫 发自 凹非寺量子位 | 公众号 QbitAI ChatGPT开放API消息才出来,就有应用安排上了。 然而,苹果却把这次更新阻止了! 理由是人工智能可能会产生不适合所有受众的内容: 要么增加内容过滤功能,要么把APP适用人群改到1…

ChatGPT 发展历程、原理、技术架构详解和产业未来

👇快来关注我 作者:陈巍博士 原文链接: https://zhuanlan.zhihu.com/p/590655677 本文转自公众号 Python开发者 去年12月1日,OpenAI推出人工智能聊天原型ChatGPT,再次赚足眼球,为AI界引发了类似AIGC让艺术…

ChatGPT开源系列

目录 进化树 从GPT-4 可以看出未来 LLM 的哪些趋势?未来的研发方向和优化策略是什么? 模型 Stanford Alpaca 可以借鉴的点 llama.cpp 验证阶段已完成 nebullvm-chatllama(待定) 可以借鉴的点 OpenChatKit 可以借鉴的点&a…

ChatGPT发展历程、原理、技术架构详解和产业未来

‍‍ 作者简介: 陈巍 博士,存算一体/GPU架构和AI专家,高级职称。中关村云计算产业联盟,中国光学工程学会专家,国际计算机学会(ACM)会员,中国计算机学会(CCF&…

IDE装上ChatGPT,这款编辑器真的做到可以自动写代码了!

介绍 Cursor 是集成了 GPT-4 的 IDE 工具,目前免费并且无需 API Key,支持 Win、Mac、Linux 平台,可以按要求生成代码,或者让 AI 帮助优化代码,分析代码。Cursor目前已经集成了openai的GPT-4,它或将彻底改变…

IDE + ChatGPT,这款编辑器真的做到可以自动写代码了

介绍 Cursor 是集成了 GPT-4 的 IDE 工具,目前免费并且无需 API Key,支持 Win、Mac、Linux 平台,可以按要求生成代码,或者让 AI 帮助优化代码,分析代码。Cursor目前已经集成了openai的GPT-4,它或将彻底改变…

全球最大ChatGPT开源平替来了!支持35种语言,写代码、讲笑话全拿捏

【导读】刚刚,LAION发布了世界最大ChatGPT开源平替——OpenAssistant。网友上手实测后,纷纷表示这是开源的胜利。 世界最大的ChatGPT平替来了! OpenAssistant是一个开源的对话模型,基于Pythia和LLaMA微调而来,主要用…

ChatGPT插件系统正式开放,不用写代码,人人都是程序员

整理 | 褚杏娟、核子可乐、凌敏 当地时间 3 月 23 日,OpenAI 宣布正式上线了以安全为核心的 ChatGPT 插件系统。OpenAI 插件将 ChatGPT 连接到第三方应用程序,之后 ChatGPT 便能够与开发人员定义的 API 进行交互,从而增强 ChatGPT 的功能并允…

【ChatGPT】使用 Cursor !其中集成了免费的 GPT-4 帮我写代码,写文章,聊天(ChatGPT)

官网是 cursor.so,下载后安装即可使用,无需科学上网。 Github: https://github.com/getcursor/cursor 现在速度又快还免费,只希望收费晚点来。 使用过程中如果一次回复的字数太多了会戛然而止,这时候跟他说“上面的代码没写完,请写完”就可以了。 目录 一、GPT-4在代码…

不敲代码用ChatGPT开发一个App

先说下背景,有一天我在想 ChatGPT 对于成熟的开发者来说已经是一个非常靠谱的助手了,身边也确实有很多同事把它作为一个离不开的助理担当。 但是如果我只是略微懂一点前端知识的新人,了解 HTML、CSS、JS 相关的知识,想开发一个安…

无需VPN,使用chatGPT帮助你写代码

如果你想要编写高效而有效的代码,ChatGPT将成为你最好的工具!ChatGPT是一种强大的自然语言生成技术,它可以为你提供关于编程的灵感和建议。使用ChatGPT,你只需输入一些简单的自然语言,就可以获得代码的建议和修改。无论…

与ChatGPT进行高效对话,生成想要的代码

Prompt Engine:释放创造力的新工具 Prompt EnginePrompt Engine的背景和目的简介背景目的 如何让 Codex 生成您想要的代码什么是prompt-engine-py安装简介架构图下面是PromptEngine类中可以用到的函数以及继承的函数 使用PromptEngine生成prompt使用CodeEngine生成p…