探索ChatGPT背后的网络基础设施

article/2024/12/22 2:51:45

ChatGPT是OpenAI公司开发的一款聊天机器人应用,自2022年11月推出以来以迅雷不及掩耳盗铃之势火爆全球。ChatGPT不仅可以模仿人类对话,还可以创建音乐、电视剧、童话故事和学生论文,甚至是编写和调试计算机程序。

截至2023年1月,ChatGPT的用户已超过1亿,成为迄今为止增长最快的消费级应用程序。全球海量用户的热情试用不仅让OpenAI公司的市场估值迅速飙升到290亿美元,但是也给后台服务的管理和维护带来了一些困扰。

有网友表示当问ChatGPT“中国足球如何才能捧起大力神杯”等问题时,ChatGPT的回答窗口一片空白。CNBC在2022年12月15日的报道中写道the service still goes down from time to time(服务时常中断)。难道ChatGPT也BUG?

基础认知

今天小编就拿出我们的谛听从网络性能及用户体验监控平台对ChatGPT来一个基础设施大摸底,来验证下ChatGPT的响应速度、性能如何,它又是如何满足全球大量用户同时使用的?

下面就谛听对ChatGPT相关产品提供对外访问服务的基础设施进行详细梳理,OpenAI目前提供的服务主要有以下四个:

  • 公司官网:

    https://openai.com

    提供OpenAI公司研究情况、相关产品、收费情况的介绍说明,并提供了API文档和相关产品的入口。

  • api服务:

    https://api.openai.com

    提供API访问服务

  • 服务平台:https://platform.openai.com

    提供用户登录、API文档说明、常用示例等功能

  • ChatGPT:

    https://chat.openai.com

    提供ChatGPT产品服务

我们首先使用查询一下openai的权威域名服务器:

$ nslookup -type=NS openai.com

Non-authoritative answer:

openai.com      nameserver = ns2-02.azure-dns.net.


openai.com      nameserver = ns3-02.azure-dns.org.


openai.com      nameserver = ns4-02.azure-dns.info.


openai.com      nameserver = ns1-02.azure-dns.com.

从名称上可以看出来它是由微软Azure云平台提供的DNS解析服务,然后我们使用IP定位服务对这四台域名解析服务器的IP进行定位,发现它们都属于AS8086自治系统,位于美国微软公司的云网络中。

接下来,我们在谛听系统中对OpenAI相关的服务进行监测:

ChatGPT监控

我们从位于全球各地的10个城市中对ChatGpt的服务页面进行访问,响应的服务器IP有两个104.18.2.161、104.18.3.161,它们同样属于Cloudflare公司,并且使用了Cloudflare提供的CDN加速服务。

网络层面上,从全球各地访问都是比较顺畅的,详情如下图所示:

 但是,在应用层面上,ChatGPT不仅会对访问者的IP进行限制,还会对用户的访问环境进行限制。在用户环境限制上,不允许使用自动化工具,比如Selenium进行访问,在IP限制方面,无法从中国大陆、中国香港、中国台湾以及俄罗斯等地区访问。访问界面如下所示:

 网站监控

我们在谛听系统中从全球12个不同的城市发起了对openai官网的监控,响应的服务器IP至少有8个,比如13.107.238.46、13.107.238.59。通过对这些IP进行定位,发现这些服务器都位于美国微软公司的Azure云网络中,另外在HTTP响应头中也带有X-Azure-Ref标识,这也说明了openai.com是通过Azure云平台来提供服务的,另外由于响应IP与请求位置有关,所以推测是使用了Azure中的CDN服务。

从探测机到openai.com服务器的路径图如下所示:

可以看到在网络层面上全球各地都可以访问OpenAI官网,但国内访问时延迟明显稍高,在70ms左右。另外下图说明了在Web服务层面上,全球各地也都是可以访问的。

API服务监控

我们同样从12个城市对OpenAI的api接口服务发起监测,响应的服务器IP只有一个52.152.96.252,它属于微软Azure云网络,位于美国圣安东尼奥市。猜测是由于API服务的用户量比较少,所以并没有部署CDN加速服务。

从全球各地的探测机到api服务器的丢包、时延、抖动如下图所示:

可以看到网络是比较稳定的,丢包很少。但从美国以外的国家访问时时延是比较高的,大概在150~200ms。

在接口服务层面上,在全球多个城市都可以正常调用。并没有限制访问。

平台监控

针对platform.openai.com服务,我们从全球12个城市的探测机发起监测,可以看到响应的服务器IP只有两个104.18.1.104 、104.18.0.104。对这两个IP进行定位查询,发现它们位于美国,属于Cloudflare公司,OpenAI在这里使用了Cloudflare提供的负载均衡功能。

在下图的网络路径中可以看到,从全球各地到Cloudflare中的服务器的时延都是比较低的(50ms以内),所以推测它可能使用了Cloudflare提供的CDN加速服务。

 

在web服务层面上,位于全球各地的探测机都可以正常访问platform.openai.com服务中的功能。

 

上层AS拓扑分析

在AS层面上,OpenAI相关服务主要位于微软的AS8075以及Cloudflare的AS13335。

AS8075中具有196个互联网交换点,IPv4前缀有349个,IPv6前缀有23个。BGP对等AS有386个,主要如下图所示:

 

相关AS拓扑图如下所示:

 

AS13335中具有285个互联网交换点,IPv4前缀1777个,IPv6前缀1355个,与其构成BGP Peer关系的AS共有1264个,相关AS的拓扑结构如下图所示:

 

通过谛听的检测结果可以看到OpenAI的ChatGpt服务目前主要是通过Cloudflare的CDN加速服务来向全球各地的用户提供访问服务的,不过,比较遗憾的是并没有对中国地区开放。其他的诸如官网和API等服务则通过微软的Azure云平台对外提供服务,并且使用Azure的DNS解析服务进行OpenAI的域名解析。通俗的讲,ChatGPT 的API响应速度相对比较稳定,丢包率低。

截至目前为止,关于ChatGPT中断的相关报道已经越来越少,这也说明ChatGPT在基础设施服务上做的越来越完善了。

随着微软加大对OpenAI的投资,微软作为OpenAI的主要股东及首选商业合作伙伴,并且拥有GTP-3的独家授权,未来Azure云平台可能会托管openai更多的相关产品和服务。此外,随着ChatGPT API的衍生产品越来越多,其API服务的负载也会越来越高,估计很快就会采用CDN提供全球加速服务。

所以ChatGPT 的空白和沉默很有可能是大家的提问过于离谱,于是它选择了此时无声胜有声。

 

但是对于ChatGPT 火爆最终还是回归到了AI是否会代替人类这个永恒不变的话题。以目前的情况来看,ChatGPT比起以往的AI确实是有一定的提升,只要问题描述精准,可以帮你写作文、做表、写诗等等。

只是现实往往比较复杂,例如甲方需要的五彩斑斓的黑、ChatGPT出了七八版方案之后领导表示还要第一版,字再大点等情况,很容易把ChatGPT的CPU干烧啊....

现阶段的AI能否代替人类,结果显而易见。


http://chatgpt.dhexx.cn/article/HRnEg3qX.shtml

相关文章

Stable Diffusion、ChatGPT爆火的背后!

整编 | Carol 参考 |《AIGC 发展趋势报告 2023》 出品 | AI科技大本营 “Generative AI(生成式AI)有什么社会价值?” 当腾讯研究院的研究员将上面这个问题输入到ChatGPT中,得到如下回复: "生成式AI是一种人工智能…

ChatGPT最近大火?教你实现破产版ChatGPT(一)数据预处理

目录 一.前言 二.下载数据文件 三.导包并设置使用GPU 四.加载和预处理数据 五.为模型准备数据 一.前言 最近ChatGPT大火,成功破圈,到底是个啥? 简单说,它是一个模型,一个语言模型!它是以对话方式与人进…

爆火的ChatGPT 背后的大模型与大数据创新

最近,ChatGPT 迅速引爆 AIGC 领域,依托全网大数据与海量智能模型训练,一举成为 Stable Diffusion 之外的 AI 新宠。不同于过往初阶聊天机器人,这位“懂王”似乎可以取代大型搜索平台,与用户展开高质量同频对话。网友也…

ChatGPT背后有哪些关键技术?CSIG企业行带你一探究竟

目录 1 ChatGPT的时代2 CSIG企业行3 议题&嘉宾介绍3.1 对生成式人工智能的思考3.2 对话式大型语言模型研究3.3 文档图像处理中的底层视觉技术 4 观看入口 1 ChatGPT的时代 2015年,马斯克、美国创业孵化器Y Combinator总裁阿尔特曼、全球在线支付平台PayPal联合…

ChatGPT背后的模型三兄弟

ChatGPT作为最接近强人工智能的系统,具有强大的信息理解和信息抽象总结能力,在这个信息过剩的时代,为我们提供了一个非常好的智能辅助工具。在我们日常的工作中,怎么充分的利用ChatGPT等类似的智能系统,会给我们生活和…

ChatGPT火爆,背后的核心到底是什么?

点击上方“小麦大叔”,选择“置顶/星标公众号” 福利干货,第一时间送达 2022年12月份的时候,ChatGPT还只是个被人各种撩的聊天工具。但进入2023年后,已经向着效率工具迈进了。 微软宣布正和ChatGPT开发团队OpenAI进行洽谈&#xf…

ChatGPT背后的模型

文章目录 1.RLHF方法2.ChatGPT中的RLHF方法2.1 微调模型GPT-32.2 训练奖励模型2.3 利用强化学习进一步微调语言模型 3.效果4.面临挑战5.参考 InstructGPT语言模型,是一个比 GPT-3 更善于遵循用户意图,同时使用通过我们的对齐研究开发的技术使它们更真实、…

ChatGPT既然这么火,有没有弊端呢?

介绍 在现代社会中,人们越来越依赖技术来解决问题。聊天机器人是一种最新的技术趋势,这种技术可以为人们带来很多便利。而ChatGPT聊天机器人则是其中的一种,它使用了大型的语言模型GPT(Generative Pre-trained Transformer&#…

突发!ChatGPT疯了!

‍数据智能产业创新服务媒体 ——聚焦数智 改变商业 今天,笔者正常登录ChatGPT,试图调戏一下他。但是,突然震惊的发现,ChatGPT居然疯了。 之所以说他是疯了,而不是崩溃了,是因为他还能回复我,但…

ChatGPT背后的逻辑

版权声明 本文原创作者:谷哥的小弟作者博客地址:http://blog.csdn.net/lfdfhl OpenAI与ChatGPT OpenAI是一个美国的人工智能(AI)研究实验室,由非营利组织OpenAI Incorporated和其盈利子公司OpenAI Limited Partnersh…

ChatGPT爆火网络背后的故事?

文章目录 前言一、ChatGPT的诞生背景二、ChatGPT的技术原理三、ChatGPT的推广策略四、ChatGPT的未来展望五、橙子送书第2期 前言 ChatGPT是一款基于人工智能技术的聊天机器人,它的出现引起了广泛的关注和热议。在短短的时间内,ChatGPT就成为了全球范围内…

ChatGPT 用户破亿背后...

2022 年 12 月初,ChatGPT 被社会广泛讨论之初,我们就介绍了 ChatGPT 母公司 OpenAI 使用了身份云(IDaaS)服务。在当时,人们还在感慨 ChatGPT 上线不到一周时间用户量就突破百万,而仅仅在不到两个月后&#…

ChatGPT背后的经济账

ChatGPT能否取代Google、百度这样的传统搜索引擎?为什么中国不能很快做出ChatGPT?当前,对这些问题的探讨大多囿于大型语言模型(LLM)的技术可行性,忽略或者非常粗糙地估计了实现这些目标背后的经济成本&…

ChatGPT是风口吗?爆火后的质疑猝不及防

作者观: 首先要明确一点,ChatGPT代替不了人类,不要抱不切实际的期望。 作为一款由OpenAI开发的人工智能聊天软件,该程序在一些人的眼里具有革命性的意义。 有人说,这玩意儿可以在一夜之间让无数人失业,也有…

带头抵制高级AI,马斯克在怕什么

Chat-GPT 和 GPT-4 给大家留下的话题实在不少,一边是大家已经开始享受着人工智能带来的便捷,各种写论文出脚本,另一头则是更多的精英人士开始对高级 AI 心存忧虑。 上个月底,据路透社的报道,有一群人工智能专家及行业…

二月安全月报 | 45亿条快递数据疑泄露,Twitter史上最大规模宕机

为了让大家更全面的了解网络安全的风险,顶象针对每月值得关注的安全技术和事件进行盘点总结。 国内安全热点 👉业务安全 男子注册上万账号薅羊毛获利13万 近日,上海市,由闵行区人民检察院提起公诉的刘某某诈骗一案开庭审理&…

最先被GPT革掉命的,大概率是你每天都在用的验证码

前段时间,有一个叫 “ Chirper ” 的互联网社区突然火了。 和普通的社区不一样,这个社区拒绝任何真实人类的进入。所有在上面发帖的,都是提前设定好角色属性的 “ 机器人 ”。 它们之中有年龄高达 300 岁的可以使用魔法和动物交流的森林女王…

“用过 Rust 后,我写 Python 的方法都变了!”

近年来,Rust 以其安全性出名,逐渐被各大科技巨头所拥抱——那么,其他主流语言是否可以参考 Rust 的编程思想呢?本文作者以 Python 为例,做了一番尝试。 原文链接:https://kobzol.github.io/rust/python/202…

如何实现在纯 Web 端完成各类 API 调试?

作者 | 张涛,携程机票研发部高级软件工程师 责编 | 夏萌 在软件开发过程中,对于各类 API 的调试工作至关重要。API 调试是验证和测试应用程序接口的有效性和正确性的关键步骤。传统的 API 调试方法通常依赖于独立的工具或桌面应用程序,限制了…

BASIC 之父出生 | 历史上的今天

整理 | 王启隆 透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。 今天是 2023 年 5 月 31 日,在 1962 年的今天,伦纳德克兰罗克(Leonard Kleinrock)发表了他的第一篇论文,题为“大型通…