EDW2016|NOSQL异军突起 阿里首发中国企业好声音

article/2025/8/25 10:48:50

640?wx_fmt=jpeg

美国西部时间4月17日至4月22日,第20届企业数据世界EDW大会在加利福尼亚州圣迭戈(San Diego @ California)呈现了精彩纷呈的六天五晚议程。


EDW大会全称是Enterprise Data World(即:企业数据世界),也是DAMAInternational(国际数据管理协会)的年会,每年4月召开,今年是第20届。回顾一周的会议,有这样几个特点:议题丰富精彩纷呈、参会者更加国际化、形式保持传统又有所创新、生态环境有所变化。下面且听我们一一解读。


议题:NOSQL异军突起,三大分论坛深度聚焦

DAMA协会成立之初,讨论焦点源于数据建模、元数据,后来逐渐发展到数据架构、数据治理、数据质量等数据管理主题的方方面面,对于最上层、最为个性化的数据分析应用和最基础的数据技术实现这两个环节,讨论相对较少。今年是大数据火热的第6个年头、也是EDW的弱冠之年,一向以稳健和基础的数据管理为主题的EDW会议中,也出现了更多的大数据话题,也许这意味着前几年一直处于探索和快速发展的大数据技术,已然进入了稳健发展阶段、渗透率不断增强,这在会议议题的设置方面已有一定体现。


让我们来看议题分布图。在去年的议题分析中,“Governance& Stewardship数据治理和认责”以30个议题占各类议题之首,而今年,虽然其数量不变,但被NOSQL以42个议题抢占鳌头。

640?wx_fmt=jpeg

会议主办方将NOSQL主题组织成为一个分论坛“NOSQL NOW!”,仔细想一想也不意外,DAMA创建之始主要讨论的数据模型和元数据不也是紧紧依托于关系型数据库么?如今数据库家族中的小兄弟们长大了,自然要得到传统领域的广泛关注。而在NOSQL相关的主题又可以进一步分为:对各类数据库的综合对比,对某类数据库的深度探讨,对NOSQL进行数据建模等几类,以后有机会我们专题解读。对议题感兴趣的小伙伴,可以访问访问官网了解详细议程:http://edw2016.dataversity.net


NOSQL分论坛之外,会议还有两个分论坛,一是以首席数据官为主题的“CDOVision”,一是以金融行业业务本体为主题的“FIBO”:


  • CDOVision——“首席数据官愿景”,顾名思义,主要目的是讨论方向性问题,让数据工作更好为企业价值服务。今年是CDOVision第三次以独立分论坛的形式存在,本次议题安排包括:“连接数据与战略与使命”,“企业分析战略”,“技术创新和领导力”,“建立可持续的数据文化”,“改变思维、保持承诺”,“信息资产管理——资产负债表的两侧”。可见,数据战略、数据价值、数据文化、思维变革、技术支撑,是目前首席数据官们比较关心或应该关心的话题。虽然国内企业尚未广泛设立首席数据官,但数据工作的方向与职责,则是企业高管、CIO和数据从业者们应该关注的。CDOVision上的讨论内容,我们会以单独的报道为您呈现,还请稍候。

  • FIBO——“金融行业业务本体”,主要目的是讨论金融行业的知识本体的技术与应用,更好实现金融行业的业务术语、业务概念、业务知识及业务数据的标准化去年的会议也有FIBO分论坛,演讲者主要由FIBO的发起机构EDM Council承担,而今年,演讲者则来自应用方、厂商、高校,可见FIBO已经走出概念和理论阶段,进入技术实现和行业应用阶段。相比与国外有协会联合企业共同开发行业业务本体,国内有类似工作在开展,如银行、证券、保险行业都有行业性的数据标准和数据模型,然而其内容更偏IT,未以业务本体形式体现,其主要参与方也更多是行业信息化人员,业务人员参与有限。更好的数据治理、管理与应用,离不开业务人员的深度参与,我们倡议有更多业务人员关注行业业务概念和数据的标准化。


在以上三个分论坛之外,会议的其他议题主要以四类形式呈现:Workshop——3小时专题研讨;AdvancedSeminar——6小时深度课程;ConferenceSession——45分钟分享讨论;Panel——四位领域专家圆桌讨论。在此之外,还有兴趣小组、五分钟的启发演讲等,满足各类深度的讨论所需。当然,会议之中还有众多厂商的展台将最新技术产品带给大家。囿于篇幅,我们就不展开说明了。


开场与结局:无心插柳的设计,却意味深长

在整个会议217项议题之中,有必要单独把开场与结局两场演讲单独拿出来与大家分享,在御数坊来看,也许这是会议主办方的一次无心插柳的设计,却对数据工作、数据人有意味深长的启示。


本次会议开幕演讲由BB&T;的首席数据官James Tyo带来,主题是“Top 10 Signs YouNeed an Enterprise Data Office”(你需要建立企业数据办公室的十大迹象)。这是有关企业数据战略和数据组织的讨论,强调了企业数据组织的重要性和必要性并且提出了企业数据办公室成功的十大步骤。可见,开幕演讲从宏观和前瞻性角度进行战略引领。

640?wx_fmt=jpeg

而与之相对应的,会议的闭幕演讲则以访谈式进行,由业界知名的两位数据质量专家Danette McGilvray和人称“Data Doc”的Tom Redman带来,主题是“Solving the Big Issues”(解决大问题)。那么什么又是两位数据质量专家眼中的大问题呢?在一个小时的问答中,专家为数据领域引入了一个新词汇“Provocateur”,即:挑衅者。这个词的引入,更多是倡导在企业中一贯扎实、靠谱的数据人,更有勇气去当企业中的“刺儿头”,不满于数据现状、努力去推动变革和创新,坚定而有韧性。

640?wx_fmt=jpeg

DAMA中国副会长、御数坊CEO刘晨先生在会场上也向嘉宾分享了他的观点:与Provocateur对应的还有一词“Entrepreneur”即:创业者。在OLTP时代,数据人更多是在理解业务流程、创建数据模型,是一种相对被动的工作方式;而在OLAP和大数据时代,数据需求更加灵活甚至根本还不存在,需要数据人有更多的主动探索意识,更加勇敢的迈出一步去影响业务、去探寻数据价值、去推动变革的发生。而创业者,正是这样一个角色,无论是在公司内部工作,还是独立真正在创业。


参会者:中国军团参会人数摘探花,阿里首发中国企业好声音

从参会国家来看,本次会议当之无愧称为“数据世界“。按照官方公布的数据,本次会议共有来自全球38个国家、超过1000名数据从业者参加,参会国家数量和人员数量均创历史记录。美国本土人数最多,其次是近水楼台的加拿大共有33名参会人员。值得一提的是,本次会议有17位来自中国大陆的数据人士参会,继上届7人之后,再创新高。他们分别来自证券行业监管机构(5人)、工信部标准院(2人)、阿里(3人)、华为(6人)、御数坊(2人,也就是我们公司咯)。


下图为中国军团内部小聚后合影留念。会后大家讨论一致决议:EDW这样的交流机会太难得了,应该尽快把中国版开起来!

640?wx_fmt=jpeg

中国军团参会人数飙升,反映了国内大数据产业发展的热度,反映了与国际同行交流学习的渴望,更反映了中国数据人的信心——这信心在阿里数据治理团队的精彩演讲中被推向顶点。去年,DAMA China主席胡本立先生曾经带来中国数据好声音,而此次阿里的演讲则是中国企业第一次在EDW大会上正式发声。阿里数据治理团队三兄弟全部到场,演讲由图海和元甲二位带来,另一位数据安全专家天明则在台下助阵。他们的演讲主题是“Big Complex Data: A Forward Looking Case Study from China”,分别探讨了阿里数据平台的数据成本和数据质量的实践经验,无论是主题本身的前瞻性还是内容的落地程度,堪称本次会议最精彩的主题之一。当然,阿里擅于市场运营的特点也表现的淋漓尽致——技术专家元甲在现场为某宝海外版做了不少推广,引得观众纷纷下载APP。


下图为图海在介绍数据成本管理实践。

640?wx_fmt=jpeg

下图为元甲介绍阿里的大数据质量管理经验

640?wx_fmt=jpeg


组织形式:数据、美食、美酒与艺术,全方位的享受

虽然会议的主题是数据,但物质与精神方面的享受自然不能少。从每天早上的大陆早餐,到会议期间精致茶歇,从午餐的千人盛宴,到特殊时段的美食与美酒供应,会议主办方的贴心安排让参会者大快朵颐。


大帐篷中千人盛宴,一度让我们想起普吉岛Fantasea演出的4000人大餐厅!

640?wx_fmt=jpeg

霸气冲天的牛腿,有这样的美食供应,参会的小伙伴怎能不动力十足!

640?wx_fmt=jpeg

而在艺术方面,给大家留下印象最深的,是演讲内容的“图像同传”——随着台上专家演讲慷慨激昂,台下艺术家快速捕获演讲要点,图文并茂的绘制于白板之上。演讲完毕时,一副足以传世的艺术作品跃然眼前,数据的理性之中,渗透着艺术的美妙!会后,主办方也会将这些精品制作成为电子版发布。这种专业与艺术的融合的新形势好像已经出现在国内的会议上了,各位可以多多关注。

640?wx_fmt=jpeg
640?wx_fmt=jpeg


趋势:数据生态呈现新气象,理论与实践并肩前行

囿于篇幅所限,我们无法将会议内外、台前幕后发生的各种事实和各家观点一一呈现,只能根据我们的所见、所闻、所感提出自己的观察,供各位小伙伴参考。数据治理与管理生态圈中,国际上可称之为Thought leaders数量不多,之前多各扛一杆大旗呐喊,各领一只队伍拼杀,而此次,我们发现已经有思想领袖的公司开始整合,如John Ladley和Kelle O’Neal,两位数据治理专家将公司合并。虽然没有机会与他们探讨,但不难想象,其初衷一定是整合市场资源、服务能力,获得最大化的商业价值。从公司理论来说,公司规模将保持在内部交易成本与外部交易成本相当的那一点。看来,在美国以前单兵作战的方式也许需要改进,从而更好满足客户需求。而在国内,目前普遍还是巨型公司在参与此领域,像御数坊这样的小而美专注公司少之又少,可能还处于从巨头向外分化的过程吧。另一方面,此次会议也颇受软件巨头的青睐,IBM,SAP,Amazon AWS是会议的主要三家赞助商,此外,还有二十余家各类软件或服务商赞助,其演讲内容也逐渐脱离单纯的产品介绍,主动向客户数据管理需求和整体咨询方案靠拢。我们想,商业驱动固然是一方面原因,更重要的,可能是美国各行业经过了多年的数据治理与管理的理论构建和实践,目前客户需要有更多落地需求。而体系化的理论和方法实践,在国内几乎只有银行业具备多年实践,对于其他大部分行业来说,数据治理还是新鲜事物。我们也建议大家理性看待数据治理与管理的工具平台建设,先理清思路,再考虑平台。


结语:御数之旅,且行且珍惜

EDW会议的内容太过丰富,总是觉得有太多整体或细节的内容言之未尽,远远不是这数千字可以记录的。我们后续会选择一些精要内容,再以专题报道的形式体现。如果说抛开各种技术细节,需要从整体上对这次御数之旅做些总结的话,可能我们对于开局与结局的思考,最为合适,因为有了思维和内心的主动和求变,数据甚至任何事情,都有向好的可能:


当我们反思一首一尾两场论坛时,不禁又有更深一层体会:开幕演讲由CDO探讨宏观战略,而闭幕演讲的而主题词是Provocateur,由两位数据质量专家呈现。传统数据人在大数据时代,需要有新精神、新思维、新技能!以首席数据官开始,以数据质量结束,纵有顶天之能,也要有立地之本,追求质量与靠谱,任何时候都不会过时!这也是御数坊一直在追求的"御数有道,独具匠心"。


原文发布时间为:2016-05-05

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号



http://chatgpt.dhexx.cn/article/uS9QXgbG.shtml

相关文章

About EDW时间维度表的建立参考(DWD_CALENDAR)

0. 维度表 1. 创建表 -- Create table create table DWD_CALENDAR (site VARCHAR2(40),factory VARCHAR2(40),period_date DATE,period VARCHAR2(5),shift_start_timekey VARCHAR2(40),shift_end_timekey VARCHAR2(40),dat…

BW:EDW——一次小小的探讨

方其华|北京 2010/9/17 10:46:13 这个有点差别的。我们采用的是EDW的架构。所以到我这里的话。源显示的不是ODS。而是数据源。 郑平深圳 2010/9/17 10:47:04 郑岩|北京(332327496) 2010/9/17 10:50:06 EDW架构? 郑岩|北京(332327496) 2010/9/17 10:50:09 …

EDW DWM CONCEPT

非事实型事实表――factless fact table 在维度建模的数据仓库中,有一种事实表叫Factless Fact Table,中文一般翻译为“非事实型事实表”。在事实表中,通常会保存十个左右的维度外键和多个度量事实,度量事实是事实表的关键所在。…

EDW on Hadoop(Hadoop上的数据仓库)技术选型和实践思考

在这篇文章中, 将讨论EDW on Hadoop 有哪些备选方案, 以及我个人的倾向性, 最后是建构方法. 欢迎转载, 但必须注明原贴(刘忠武, http://www.cnblogs.com/harrychinese/p/edw_on_hadoop.html). 数据仓库发展已经有二十多年了, 我们先看看数据仓库发展的趋势: 在数据规模小的时…

(转载)浅析ODS与EDW 关系

浅析ODS与EDW 关系 刘智琼 (中国电信集团广州研究院广州510630) 摘要 本文重点介绍了企业运营数据仓储(ODS)和企业数据仓库(EDW )的概念,并对ODS与EDW 之间的关系,包括两者相同点与不同点进行了详尽的对比与阐述,文章还对业界公认的ODS和E…

ETL(一):(详细步骤)使用ETL将源数据抽取到EDW层

1、ETL中4大常用客户端 R客户端主要用于创建文件夹,不同的项目主题,应该放在不同的文件夹中; 2、ETL开发流程 ①~③在D客户端中完成;④和⑤在W客户端中完成;⑥在M客户端中完成; 3、需求 需求一&#xff…

浅析ODS与EDW关系(转载)

背景知识:在当今这样一个信息技术发展迅速的时代,数据量也在不断的增长,面临这样的压力,总是会有大神提出一些解决方案。比如高层管理人员希望能查看整个公司的发展业绩,数据仓库(Data Warehouse, DW)正是解决该问题的…

ODS和EDW

企业运营数据仓储(ODS)和企业数据仓库(EDW ) 企业数据架构 EDW主要为企业提供分析决策服务。ODS主要实现企业数据整合、共享和准实时运营监控等功能,ODS是EDW的一个有益的补充和扩展 其中.ADB为应用数据库;A、B、C表示不同类型的数据流动&am…

浅析ODS与EDW 关系(转载)

摘要 本文重点介绍了企业运营数据仓储(ODS)和企业数据仓库(EDW )的概念,并对ODS与EDW 之间的关系,包括两者相同点与不同点进行了详尽的对比与阐述,文章还对业界公认的ODS和EDW 两种不同建设方法也分别进行了说明,并给出了作者认为…

ODS与EDW的区别

项目github地址:bitcarmanlee easy-algorithm-interview-and-practice 欢迎大家star,留言,一起学习进步 根据自己的理解与实际项目经验,说说ODS与EDW的异同。如果有不对的地方,欢迎大家批评指正。 维基百科对于ODS的…

传统数据仓库 DW/EDW/BI/ODS/DM/ETL

DW 数据仓库 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智…

范式理解(0范式,1范式,2范式)

https://www.zhihu.com/question/20473040 可以从函数、几何与矩阵的角度去理解范数。 我们都知道,函数与几何图形往往是有对应关系的,这个很好想象,特别是在三维以下的空间内,函数是几何图像的数学概括,而几何图像是…

数据库(四):函数依赖和数据库异常,第一范式,第二范式,第三范式,第四范式

文章目录 前言一、函数依赖二、异常三、第一范式四、第二范式五、第三范式六、BC范式 前言 本文转载于:https://zhuanlan.zhihu.com/p/20028672 在阅读本文时,可以把“关系”理解为数据表。此外还有一个“关系模式”的概念。“关系”和“关系模式”的区…

数据库4范式

范式与公理系统 前言一、函数依赖1.部分函数依赖2.完全函数依赖3.传递函数依赖4.码 二、范式1.第一范式(1nf)2.第二范式(2nf)判断是否是第二范式 3.第三范式(3nf)4.BCNF范式6.第四范式多值依赖 总结 前言 …

数据库的第一范式,第二范式,第三范式,BCNF范式理解

第一范式 属性的原子性 所谓的第一范式就是数据库中的每一列都是不可分割的基本数据项,同一列中不能有多个值,即实体中的某个属性不能有多个值或者不能有重复的属性,如果出现重复的属性则需要重新构建实体,新的实体由重复的属性构…

第四范式冲刺IPO:4年亏13亿收入逐年翻番,研发工资人均2万

边策 梦晨 发自 凹非寺量子位 | 公众号 QbitAI 知名AI独角兽第四范式,内部详情今天有了完整公开。 中国首个ACM世界冠军戴文渊创办、腾讯红杉加持,股东和客户集齐五大国有银行,创办7年累计吸金66亿,主打的是技术包括“黑魔法”Aut…

数据库六大范式详解

候选码 某一属性组的值能唯一标识一个元组,而其子集不能,则称该属性组为候选码。若一个关系中有多个候选码,则选定其中一个为主码。 例如下图所示的学生表中,学号和姓名都可以唯一标识一个元组,故该表的候选码为学号和…

[数据库] 第一范式、第二范式、第三范式、BC范式

要搞清楚常见范式,需得先了解以下概念 数据描述术语对应表 关键码 1) 超键:在关系中能唯一标识元组的属性或属性集称为关键模式的超键。 2) 候选键:不含有多余属性的超键称为候选键。也就是在候选键中在删除属性就不是键了。 3) 主键…

第一范式,第二范式,第三范式,BCNF范式理解

第一范式、第二范式、第三范式 参考了https://www.zhihu.com/question/24696366 https://www.cnblogs.com/lca1826/p/6601395.html 基础知识 实体:现实世界中客观存在并可以被区别的事物。比如“一个学生”、“一本书”、“一门课”等等。值得强调的是这里所说的“…

数据库|第一范式、第二范式、第三范式、BC范式、第四范式简单理解

数据库|第一范式、第二范式、第三范式、BC范式、第四范式简单理解 在设计数据库的时候,虽说将我们要的数据正确完整导入数据库是很关键的,但是对于数据库的设计者来说,如何将大量数据合理有效正确地导入数据库中也是极其关键的,好…