阿里飞天大数据飞天AI平台“双生”系统正式发布,9大全新数据产品集中亮相

article/2025/8/31 15:57:24

 

作者 | 夕颜

责编 | 唐小引

出品 | AI科技大本营(ID:rgznai100)

 

如今,大数据和 AI 已经成为两个分不开的词汇,没有大数据,AI 就失去了根基;没有 AI,数据不会呈现爆发式的增长。如何将 AI 与大数据有机结合,成为很多企业的目标和方向。

 

阿里巴巴也在进行着这样的尝试。幸运的是,现在,他们已经实现了这个目标。

9 月 26 日,在杭州云栖小镇举行的云栖大会大数据&AI 峰会上,阿里云智能计算平台事业部资深产品专家李京梅正式发布向公众发布了飞天大数据平台和飞天 AI 平台。

 

飞天大数据与飞天AI平台“双生”系统

 

李京梅把这两者比喻为一对孪生兄弟,同出同进,相互使能,形成密不可分的有机结合关系。在大数据与AI形成的双生系统中,大数据平台为 AI 提供数据和算力,AI 反过来优化大数据系统,让大数据可以“自动驾驶”,做到智能优化,AI 加持的大数据计算能力大大提升。

 

 

作为飞天 AI 平台的核心,机器学习平台 PAI 在这张图中处于中间的位置。李京梅说道,人工智能发展有三要素,包括数据、算法和算力,同样的算法,放到十年前,由于没有大数据上的天时地利,这些算法可能不会产生和今天同等的价值。所以,大数据平台和AI 平台之间互相使能在于大数据为机器学习的平台创造了海量的数据,让 AI 产生更多能力,而当 AI 落地后,行业系统和业务系统又产生更多、更丰富的数据,产生一个数据生产的闭环,大数据和 AI 并行,会创造更多的价值。 

 

她介绍道,阿里巴巴飞天大数据平台具备数据综合治理、数据构建、数据交换等能力,赋能机器学习 PAI 平台,完成统一的调度和编排。它还可以对接各种大数据计算引擎,进行统计交互式分析和云计算技术业务。

 

在此之前,阿里云智能计算平台事业部研究员关涛和阿里云智能计算平台事业部资深技术专家徐晟还介绍了飞天大数据平台和飞天AI平台的发展历程,并揭秘了一部分飞天大数据平台技术。

 

关涛表示,从 2009 年开始研发开始,飞天大数据平台经历了两个阶段的发展。

  • 第一阶段:2009 年-2015 年,这一时期,团队更多关注的是平台的稳定性、易用性和可用性,到 2009 年发布“登月”项目,阿里的所有数据都集中到这一平台,阿里的中台也建设起来;

  • 第二阶段:2015 年之后,随着大数据爆炸时代的到来和深度学习的发展,数据处理能力成为制约 AI 发展的瓶颈,数百 PB 级的数据处理问题、激增的数据处理复杂度成为摆在 CIO/CTO 面前的现实问题。

 

面对体量问题,阿里通过高效的算子层与存储层的优化,寻找“最优”的执行计划(算子组合),动态查询计划,灵活的算子组合,动态调整与自学习调优,从引擎优化带自学习调优,基于历史信息恶自学习回归优化,全面自适应优化几个方面持续升级了自己的计算力,并使得性能提升前提下存储成本降低 30%,计算新规格上线后成本降低 70%。

 

 

徐晟表示,大数据平台升级为飞天大数据平台,很大部分来自于广大企业用户在业务快速发展时期产生的数据治理需求,众所周知,数据是企业的生产力,创新的企业在快速发展过程中,会选择更加灵活、适配自身业务的数据存储与计算,当企业的业务已经铺遍全国,一定会存在存储跟着数据走、数据跟着业务走的局面(即数据分布在各个区域的数据平台上),传统的大数据解决方案,是帮助企业汇聚统一的大数据平台,所有数据存储在一起,计算在一起,而飞天大数据平台可以让客户实现跨存储数据计算、跨地区数据分析、跨云数据使用,让客户的数据技术紧跟业务的发展,让客户实现个性化搭建大数据平台。

 

 

多个大数据新品发布

 

紧接着,李京梅进行了几项全新产品发布,以下为新品盘点和亮点提炼:

  • DataWorks V3.0 

     

 

DataWorks V3.0 的定位是一个云原生企业级智能大数据平台,为用户提供技术工具和平台,新特性包括全面支持开源大数据生态,实现管理、任务调度和质量监控等;混合调度能力升级,实现跨引擎、跨区域、跨云调度;多引擎开发平台,可对接多个引擎,并支持自定义引擎;AI 算法能力,结合 AI 和大数据能力;全新升级的数据综合治理能力。

 

  • 机器学习平台 PAI

 

 

PAI 是飞天 AI 平台下最核心的产品。它的核心功能是让训练更容易,不懂算法背景也可以通过拖拉拽动作对图片进行分类;在 AI 市场中,让算法模型交易更容易;支持算法自定义上传,与开源生态对接更容易。

 

  • MaxCompute V3.0 大数据智能云数仓

 

 

今天,我们进行入了一个智能化数仓时代,MaxCompute 也经历了十年左右的发展,它一方面使得数据量和成本的线性关系得到优化,并为用户带来两点好处,一是可以直接享受计算存储,成本降低 70%,第二是降低上云的成本,缩减上游周期。

 

  • E-MapREduce V4.0

 

 

E-MapReduce 是阿里的云原生开源大数据平台,V4.0 为轻量级敏捷版,小微服务缩减到 9 台服务器,适配 ECS,可为企业节省成本。

 

  • 实时计算云原生版本

 

 

实时计算云原生版本由 Ververica 提供支持,支持开源 Flink 1.6 至 1.9 版本,具有开箱即用的特点,提供多个可插拔增值服务,且产品基础版本可免费使用。

 

  • 新一代实时交互时分析

 

 

可实现 MaxCompute 加速,快速构建实时仓库、联邦查询功能。

 

  • Elasticsearch V2.0

 

  • 图计算引擎+开发套件

 

 

性能领先业界 1-3 个数量级,索引构建可实现秒级弹性扩缩容,支持 50 多种场景,最高支持百亿节点、1000亿边、30 TB规模的图计算,建模与查询简单直观,并包含一套针对图计算的开发套件。

 

  • 开放搜索 OpenSearch V2.0

 

适用用户精准画像,提升搜索带来的业务价值,包括查询语义理解,机器学习排序算法、专业搜索效果迭代工具。

 

把飞天大数据平台和飞天 AI 平台“打包”,放在一起在阿里最重要的会议之一上一起亮相,阿里自有深意。随着 9 大全新数据产品的发布,阿里对自身的数据能力做了一次集中展示。这波操作你觉得稳不稳?欢迎留言讨论。AI 科技大本营将继续在云栖大会前线带来最新报道,敬请关注~

(*本文为 AI科技大本营原创文章,转载请微信联系作者 1092722531)


 


http://chatgpt.dhexx.cn/article/qvO0Ze8r.shtml

相关文章

独家揭秘阿里自研飞天操作系统洛神平台如何支撑起 2684 亿全球大促!| 问底中国 IT 技术演进...

作者 | 宗志刚 阿里云资深技术专家 责编 | 屠敏 出品 | CSDN(ID:CSDNnews) 2019年双11当天总成交额2684亿,交易峰值54.4万笔/秒,成交量背后是单日970PB的数据处理量。阿里巴巴核心系统100%上云,意味着公共云…

阿里云的“飞天“是什么?

转:阿里云的“飞天“是什么? 一、飞天是什么? 飞天(Apsara)是由阿里云自主研发、服务全球的超大规模通用计算操作系统。它可以将遍布全球的百万级服务器连成一台超级计算机,以在线公共服务的方式为社会提…

阿里云飞天平台

目录 0 参考列表 1 概念 2 系统架构 2.1 系统架构图 2.2 飞天内核 2.3 飞天开放服务 0 参考列表 CSDN:BigData入门(四):Fuxi(伏羲)https://blog.csdn.net/MOU_IT/article/details/95896744 1 概念 阿里云飞天平…

阿里云飞天系统

阿里云飞天系统 有幸在阿里云飞天部门工作几年,下面给出基础架构一览:

【阿里—云计算】从飞天系统到飞天2.0(核心组成:飞天洛神)

声明:资料来源 本文为此学期云计算课程的一个拓展性任务,用于了解飞天系统与其2.0版本中的飞天洛神,因存为word易丢失,于是整理成博文放置CSDN,便于今后按需查看,因为本文除排版外全为引用内容,…

【云计算与大数据计算】大数据物理、集成、安全架构及阿里云飞天系统架构讲解(超详细)

一、物理架构 物理架构 - 企业大数据系统的各层次系统最终要部署到主机节点中,这些节点通过网络连接成 为一个整体,为企业的大数据应用提供物理支撑 ,企业大数据系统由多个逻辑层组成,多个逻辑层可以映射到一个物理节点上,也可以映射到多个物…

阿里云飞天系统的技术架构

阿里云飞天系统的技术架构 阿里云有以下五大优势: 中国万网,提供虚拟主机托管的服务,而且还提供域名等服务,其客户群非常庞大; 淘宝、阿里巴巴(内部称:B2B)、支付宝等其他子公司有大…

阿里飞天云平台架构简介

一. 简介 飞天是由阿里云开发的一个大规模分布式计算系统,其中包括飞天内核和飞天开放服务。 飞天内核负责管理数据中心Linux集群的物理资源,控制分布式程序运行, 隐藏下层故障恢复和数据冗余等细节,有效提供弹性计算和负载均衡…

程序人生 - 猫咪冷知识!猫咪“呼噜呼噜”声究竟代表什么?

猫咪,包括所有的猫科动物,它们的习性都非常相似。猫咪有一个习惯,就是总是会时不时地就发出“呼噜呼噜”的声音。这种声音的频率和音调其实蛮有催眠效果的,反正八酱听到猫咪在身边发出这样的声音的时候,就很容易安眠了…

[鼠标指针][仅需1步]宝藏的猫咪Cat老师[win10/11][点击看更多免费]......

win10/11好看的免费鼠标指针样式... 1.鼠标指针样式介绍****** 推荐猫咪老师 ******* 2.安装使用3.来源 1.鼠标指针样式介绍 ****** 推荐猫咪老师 ******* Janguru CursorsJanguru Cursors X2Win 11 Cursors LightWin 11 Cursors DarkOverwatch PointerOS X El Capitan v4 MIN…

【python】采集可爱猫咪数据并作可视化

前言 嗨喽~大家好呀,这里是魔王呐 ! 环境介绍: python 3.6 pycharm 爬虫部分使用模块: csv requests >>> pip install requests parsel 如何安装python第三方模块: win R 输入 cmd 点击确定, 输入安装命令 pip install 模…

猫咪单独为某个网站添加Proxy

猫咪将overleaf网站添加到猫咪名单中,猫咪单独为某个网站添加猫咪 坑。暂时没有找到解决方案。 我想实现的效果是,打开一个网站,如果网站比较卡,就把这个网站添加到直联列表中。停止对它的猫咪。 方案1: 1、修改猫…

最近非常火的猫咪回收站操作总结来了~

具体步骤: ①下载喵咪图标,百度网盘: 链接:https://pan.baidu.com/s/1noZvCVeyj3Zs4G9XaK69BQ?pwdu1g5 提取码:u1g5 ②开始-打开电脑设置-个性化-主题-桌面图标设置-更改回收站图标-结束 注意事项:改图标…

Java新特性(2):Java 10以后

您好,我是湘王,这是我的CSDN博客,欢迎您来,欢迎您再来~ 虽然到目前为止Java的版本更新还没有什么惊天动地的改变,但总是会冒出一些有趣的小玩意。前面列举了Java9和Java10的一些特色,现在接着来…

【JavaSE】Java9Java10Java11新特性(687~717)

687.复习:动态代理 688.复习:Lambda表达式 689.复习:函数式接口 690.复习:方法引用与构造器引用 691.复习:Stream API 692.复习:Optional类的使用 693.jdk版本更新说明 JDK 9 的发布 经过4次跳票&#x…

Java-13

学习来源:日撸 Java 三百行(41-50天,查找与排序)_闵帆的博客-CSDN博客 42 哈希表 42.1 使用 (最简单的) 除数取余法获得数据存放地址 (下标)。 42.2 使用 (最简单的) 顺移位置法解决冲突。 代码: /***************…

Win10下安装Java JDK12

前言:这是在csdn上写的第一篇博客,本以为第一篇会是超厉害的技术博客,没想到在重装系统,重新配置java环境的时候踩了这么大一坑,而且更重要的是,搜了那么多篇博客内容都跟假的一样,要么是抄的&a…

Java:Windows 10下载和配置JDK

文章目录 0. 介绍1. 下载2. 安装2.1. “.zip” 安装2.2. “.exe” 安装 3. 配置4. 测试4. 问答 0. 介绍 JDK,全称是 “Java Development Kit”,Java 开发工具包,是一个开发 Java 必不可少的程序或资源(目前可替换的有&#xff1a…

Java 10 正式发布了

3 月 20 日,Oracle 宣布 Java 10 正式发布。官方已提供下载:http://www.oracle.com/technetwork/java/javase/downloads/index.html 。 在 Java 9 之后,Java 采用了基于时间发布的策略,每 6 个月一个版本。这是采用新的发布策略之…

Java-1.10

题目描述: 假设一个人45分30秒跑了14千米,编写程序,显示他以每小时多少英里为单位的平均速度。 (1英里约等于1.6千米) 代码: public class Speed {public static void main(String[] args){double speed…