阿里云飞天系统的技术架构(转)

article/2025/8/31 23:31:52

阿里云有以下五大优势:中国万网,提供虚拟主机托管的服务,而且还提供域名等服务,其客户群非常庞大。淘宝、阿里巴巴(内部称:B2B)、支付宝等其他子公司:有大量的数据分析业务,需要消耗大量的服务器资源,电力,机房设施。阿里巴巴集团:已经购买了多条大带宽的专线,并且形成多网互联和加速的能力,并且有能力自己建设机房等方面的能力。阿里系公司技术积累:吸收雅虎的技术,尤其经过将近4-5年的努力,吸收了行业内一大批技术实力和经验都非常丰富的人才。阿里巴巴拥有的现金非常充裕。

飞天系统的技术架构图:

在众神尚未存在之前,神界是被黑暗笼罩的无边无际的一片混沌。主神的灵力运行其中,施造化之功,令众神齐备……

(一)  第一日:主神说要有光,于是便有了夸父
夸父

a)         网络通信模块
b)        连接千万台主机,主宰众神之间的沟通

夸父的目标
a)         可靠,高效,实用,简单

辛巴的力量
a)        共享连接降低系统资源消耗
b)        共享智慧诠释团队无边力量

夸父技术架构图:

(二)  第二日:主神说神要有名字,造女娲为众神命名
女娲

a)         终极的可靠中心
b)        提供名字服务,识别众神

女娲的目标
a)         可靠性
b)        还是可靠,不可靠众神会乱套

女娲技术架构图:

(三)  第三日:主神说神要懂文化,要说仓颉语
仓颉

a)         统一的消息格式,序列化/反序列化时使用
b)        众神之间沟通的语言

仓颉的目标
a)        兼容
b)        高效
c)        易用

(四)  第四日:主神造伏羲以规范神界
伏羲

a)         管理计算资源,调度Service和Job
b)        提供编程接口

伏羲的目标
a)        易用性:编写分布式程序很简单
b)        可扩展:完善的容错机制
c)         可共享:支持多Service和Job,支持Quota和Billing

伏羲技术架构图:


(五) 第五日:主神说盘古很靠谱,可以管地皮
盘古

a)         管理存储资源,支持无结构数据存储
b)        保证数据的正确、可靠

设计目标
a)         可靠性:硬盘或机器坏时数据仍正确可用
b)        可扩展:增加机器即可增加存储空间和系统吞吐量
c)         多用户共享:提供访问控制、配额管理和资源统计

非设计目标
a)        盘古不为大量的小文件存储做优化
b)        盘古不直接支持结构化数据的存储和访问
c)         盘古不支持擦写操作

盘古系统技术架构图:

盘古技术架构图:

(六) 第六日:主神说有巢很前卫,弄弄房地产
有巢的一些特性:

a)         有巢是伏羲的Service
b)        有巢基于盘古
c)         有巢为结构化数据优化,支持小文件,支持擦写
d)        有巢支持自动的数据片分裂

有巢的典型应用:
a)         KV Engine   —- 图片存储
b)        SQL Engine  —- 网站数据库、BI分析
c)         SI Engine    —- 文本搜索

有巢技术架构图:
(七) 第七日:主神说有个大病小灾的要找神农
神农

a)        素问:收集众神信息,异常情况报警
b)        灵枢:异常情况预警,自动故障预防/处理

神农的目标
a)        低系统影响
b)        易扩展
c)         高智能

功曹、公明、钟馗、愚公技术架构图:

穿越而来的后羿
后羿:

a)        通过虚拟技术共享计算资源
b)        单机应用在云平台运行

后羿系统技术架构图:

后羿技术架构图:


  • (本文出自计算科学思想家,转载时请注明出处)

http://chatgpt.dhexx.cn/article/Hh99QXL7.shtml

相关文章

阿里云飞天技术总架构师唐洪:飞天技术与应用

一年一度的阿里技术论坛(Alibaba Technology Forum)已走进第7个年头,4月15日,阿里众多技术领军人走进清华校园。通过特设的三大技术论坛,参会人员近距离接触了阿里巴巴在云计算、大数据、金融、电商等方面的技术创新。…

从飞天到倚天 阿里云底层自研技术大爆发

10月20日,2021云栖大会上,阿里云发布了倚天、磐久、神龙4.0、龙蜥、灵杰等多款重磅产品,阿里云“做深基础”成果浮出水面,底层自研技术迎来大爆发。 阿里云智能总裁张建锋表示,过去十二年,阿里云打造出中国…

阿里飞天大数据飞天AI平台“双生”系统正式发布,9大全新数据产品集中亮相

作者 | 夕颜 责编 | 唐小引 出品 | AI科技大本营(ID:rgznai100) 如今,大数据和 AI 已经成为两个分不开的词汇,没有大数据,AI 就失去了根基;没有 AI,数据不会呈现爆发式的增长。如何将 AI 与大…

独家揭秘阿里自研飞天操作系统洛神平台如何支撑起 2684 亿全球大促!| 问底中国 IT 技术演进...

作者 | 宗志刚 阿里云资深技术专家 责编 | 屠敏 出品 | CSDN(ID:CSDNnews) 2019年双11当天总成交额2684亿,交易峰值54.4万笔/秒,成交量背后是单日970PB的数据处理量。阿里巴巴核心系统100%上云,意味着公共云…

阿里云的“飞天“是什么?

转:阿里云的“飞天“是什么? 一、飞天是什么? 飞天(Apsara)是由阿里云自主研发、服务全球的超大规模通用计算操作系统。它可以将遍布全球的百万级服务器连成一台超级计算机,以在线公共服务的方式为社会提…

阿里云飞天平台

目录 0 参考列表 1 概念 2 系统架构 2.1 系统架构图 2.2 飞天内核 2.3 飞天开放服务 0 参考列表 CSDN:BigData入门(四):Fuxi(伏羲)https://blog.csdn.net/MOU_IT/article/details/95896744 1 概念 阿里云飞天平…

阿里云飞天系统

阿里云飞天系统 有幸在阿里云飞天部门工作几年,下面给出基础架构一览:

【阿里—云计算】从飞天系统到飞天2.0(核心组成:飞天洛神)

声明:资料来源 本文为此学期云计算课程的一个拓展性任务,用于了解飞天系统与其2.0版本中的飞天洛神,因存为word易丢失,于是整理成博文放置CSDN,便于今后按需查看,因为本文除排版外全为引用内容,…

【云计算与大数据计算】大数据物理、集成、安全架构及阿里云飞天系统架构讲解(超详细)

一、物理架构 物理架构 - 企业大数据系统的各层次系统最终要部署到主机节点中,这些节点通过网络连接成 为一个整体,为企业的大数据应用提供物理支撑 ,企业大数据系统由多个逻辑层组成,多个逻辑层可以映射到一个物理节点上,也可以映射到多个物…

阿里云飞天系统的技术架构

阿里云飞天系统的技术架构 阿里云有以下五大优势: 中国万网,提供虚拟主机托管的服务,而且还提供域名等服务,其客户群非常庞大; 淘宝、阿里巴巴(内部称:B2B)、支付宝等其他子公司有大…

阿里飞天云平台架构简介

一. 简介 飞天是由阿里云开发的一个大规模分布式计算系统,其中包括飞天内核和飞天开放服务。 飞天内核负责管理数据中心Linux集群的物理资源,控制分布式程序运行, 隐藏下层故障恢复和数据冗余等细节,有效提供弹性计算和负载均衡…

程序人生 - 猫咪冷知识!猫咪“呼噜呼噜”声究竟代表什么?

猫咪,包括所有的猫科动物,它们的习性都非常相似。猫咪有一个习惯,就是总是会时不时地就发出“呼噜呼噜”的声音。这种声音的频率和音调其实蛮有催眠效果的,反正八酱听到猫咪在身边发出这样的声音的时候,就很容易安眠了…

[鼠标指针][仅需1步]宝藏的猫咪Cat老师[win10/11][点击看更多免费]......

win10/11好看的免费鼠标指针样式... 1.鼠标指针样式介绍****** 推荐猫咪老师 ******* 2.安装使用3.来源 1.鼠标指针样式介绍 ****** 推荐猫咪老师 ******* Janguru CursorsJanguru Cursors X2Win 11 Cursors LightWin 11 Cursors DarkOverwatch PointerOS X El Capitan v4 MIN…

【python】采集可爱猫咪数据并作可视化

前言 嗨喽~大家好呀,这里是魔王呐 ! 环境介绍: python 3.6 pycharm 爬虫部分使用模块: csv requests >>> pip install requests parsel 如何安装python第三方模块: win R 输入 cmd 点击确定, 输入安装命令 pip install 模…

猫咪单独为某个网站添加Proxy

猫咪将overleaf网站添加到猫咪名单中,猫咪单独为某个网站添加猫咪 坑。暂时没有找到解决方案。 我想实现的效果是,打开一个网站,如果网站比较卡,就把这个网站添加到直联列表中。停止对它的猫咪。 方案1: 1、修改猫…

最近非常火的猫咪回收站操作总结来了~

具体步骤: ①下载喵咪图标,百度网盘: 链接:https://pan.baidu.com/s/1noZvCVeyj3Zs4G9XaK69BQ?pwdu1g5 提取码:u1g5 ②开始-打开电脑设置-个性化-主题-桌面图标设置-更改回收站图标-结束 注意事项:改图标…

Java新特性(2):Java 10以后

您好,我是湘王,这是我的CSDN博客,欢迎您来,欢迎您再来~ 虽然到目前为止Java的版本更新还没有什么惊天动地的改变,但总是会冒出一些有趣的小玩意。前面列举了Java9和Java10的一些特色,现在接着来…

【JavaSE】Java9Java10Java11新特性(687~717)

687.复习:动态代理 688.复习:Lambda表达式 689.复习:函数式接口 690.复习:方法引用与构造器引用 691.复习:Stream API 692.复习:Optional类的使用 693.jdk版本更新说明 JDK 9 的发布 经过4次跳票&#x…

Java-13

学习来源:日撸 Java 三百行(41-50天,查找与排序)_闵帆的博客-CSDN博客 42 哈希表 42.1 使用 (最简单的) 除数取余法获得数据存放地址 (下标)。 42.2 使用 (最简单的) 顺移位置法解决冲突。 代码: /***************…

Win10下安装Java JDK12

前言:这是在csdn上写的第一篇博客,本以为第一篇会是超厉害的技术博客,没想到在重装系统,重新配置java环境的时候踩了这么大一坑,而且更重要的是,搜了那么多篇博客内容都跟假的一样,要么是抄的&a…