大数据产业发展的国际经验

article/2025/8/24 12:58:57

中国发展大数据产业需要拓展国际视野,借鉴国际经验, 他山之石,可以攻玉。

3417eb9bbd591ad1661f12.jpg

2012 年被认为是大数据元年。在这一年,美国奥巴马政府推出了《大数据研究和发展计划》,启动了美国国家大数据战略;用户日志管理公司 Splunk 成功上市,成为大数据第一股。在随后的几 年中,大数据风潮席卷全球,技术、资本、人才趋 之若鹜,大数据产业出现了一波脉冲式的发展。从全球经验来看,企业是大数据应用创新的主要力量,政府为大数据产业发展提供了巨大支撑,开源社区则为大数据技术进步营造了广阔空间。但是,与此 同时,鼓励数据价值发现之“鱼”和保护个人隐私之“熊掌”两者不可兼得的法规矛盾变得越来越突出。

经济层面

创造价值是大数据应用创新的源动力

利用大数据资源和技术创造更多价值,成为企业 开展大数据应用创新的源动力。围绕既有的资源禀赋和竞争优势,企业进行着各种大数据产业创新,探索 出大数据背景下适合企业自身发展的路径。

一方面,传统IT硬件厂商积极向大数据基础设 施和大数据技术平台服务提供商转型。根据美国专 业分析机构Wikibon发布的报告,IBM公司2013年从大数据相关产品及服务中获得了13.68 亿美元收益。其具体产品包括服务器与存储硬件、数据库软件、 分析应用程序以及相关服务,还有 DB2、Informix、 InfoSphere 数据库平台,Cognos 与 SPSS 等大数据 分析应用类产品。惠普公司在2013年获得的大数据营业收入总值为8.69亿美元,它还提供与之相关 的硬件、软件以及服务,其中最为知名的方案当数 Vertica 分析平台。

另一方面,诸多新型互联网企业成为数据资源的集聚方,通过创新形成大量的数据产品服务于各类应 用场景。比如,eBay公司用数据驱动商业,其所有的 数据产品都是针对业务而生,数据部门需要对不断变 化的用户需求找到解决之法,也就是从客户的行为数据中寻找更多新价值。eBay公司针对卖家工具提供的 Seller Hub,可以对每一位卖家进行深入分析,使卖家了解哪些商品更畅销,产品如何标价才能具备竞争 优势等。再比如,Salesforce公司是一家专注于CRM

(用户关系管理)的公司,通过对用户数据分析挖掘 形成新的价值,是大数据在精准营销领域的典型应用。 Salesforce公司在2015年的营业收入超过50亿美元。

据大数据行业分析师估计,到2020年,Salesforce公司有望成为一家市值达 1000 亿美元的公司。

技术层面

开源社区是大数据技术进步的大生态

开源模式成为大数据技术创新的主要途径。从大数据技术的发展历程上可以看出,大数据核心技术如分布式存储、云端分布式及网格计算均依赖于开源模式,即通过开放式的平台,吸引全球开发者通过开源社区进行代码的开发、维护和完善,从而集全球智慧推动大数据技术的不断进步。当前,全球各大企业 加大了对开源社区的赞助和智力投入,开源社区在大 数据技术进步中占据核心地位。

一方面,由第三方打造的大数据技术开源平台 发挥了积极作用。Apache 软件基金会(ASF)是推动大数据技术发展的全球顶级开源社区。ASF 正式创建 于 1999 年,至今已经成功孵化了众多大数据相关的 开源项目。ASF 大数据开源社区的创建过程是全球 大数据技术公司的集体智慧。其中,Apache Hadoop 技术的发展就是非常典型的例子。谷歌公司在 2003 年发布的关于谷歌文件系统(Google GFS)的论文 和 2004 年发布的关于编程模型 MapReduce 的论文是 Hadoop 的技术雏形。2005 年, 雅虎公司启动了 Nutch 项目,提供了一个专门的团队和资源将 Hadoop 发展成一个可在网络上运行的系统。到 2008 年 1 月, Hadoop 已成为 Apache 的顶级项目,并成为大数据发展的技术标准。

另一方面,大数据领先企业也在围绕自身生态 打造技术开源社区。这些企业通过开源项目的方式推动技术创新,并将创新成果通过开源方式向全社会辐 射,引导和推动大数据技术的发展,在国际上逐渐形成了一套高效运转的研发产业化体系。开源提供了一 种高效生产软件的方法,降低了企业进入大数据应用服务市场的壁垒,催生更多技术和服务应用的创新。 比如,Facebook 公司于 2013 年 11 月开源了 Presto 技术,该技术是新型分布式 SQL 引擎,它能够对各 种大小(从 GB 级至 PB 级)的数据源进行交互式的 分析查询。2015 年,Presto 社区的代码提交数量提 高了 48%, 而 fork 的数量则提高了 99%。Airbnb、 Dropbox、Netflix 等各大公司都开始使用 Presto 作 为交互式查询引擎。

Presto 在全球范围内的接受度也在逐步提高,包括来自日本的社交媒体游戏开发公司 Gree,以及来自中国的电子商务公司京东都在使 用该技术。

政策层面

政府战略是推动大数据产业发展的重要保障

完善的政策是当前大数据先行国家推广大数据应用的重要保障。在政府大数据战略部署和政策推动下,发达国家的政府部门、企业、高校及研究机构都开始 积极探索大数据的应用。美国政府和欧盟成员国家都对大数据发展持积极态度,但具体策略有所不同。

美国的大数据战略重在“以点带面”,通过公布重要部门的大数据项目规划,扶持重要领域的大数据技术研发,带动其他部门和社会各界对大数据技术的研发投入和推广应用。2009 年,美国国家科学技术委员会(NSTC)发布了《开发数字数据的威力》报告, 初步提出了发展大数据的框架、建议和目标。2012 年 3 月,奥巴马政府宣布启动《大数据研究和发展计划》,投入 2 亿美元进行大数据相关技术的研发。2013 年 5 月,奥巴马政府发布行政命令,加大政府 数据开放力度,以便更加有效地利用宝贵的公共数据 资源。2014 年 5 月,白宫行政办公室与总统科技顾 问委员会(PGAST)联合发布报告《大数据:抓住机遇, 保护价值》,从政策角度分析了大数据技术的发展对社会带来的巨大影响。2016 年 5 月,白宫又发布了《联邦大数据研发战略计划》报告,在已有基础上提出美国下一步的大数据发展战略。通过一系列的政策措施,美国大数据战略形成了跨部门协同工作的机制。具体工作由 NSTC下设的“网络与信息技术研发计划”(NTTRD)分委员会负责,并专门设立跨部门高级别 协调工作组,参与部门多达 15 个,2016 年的工作预 算达到近 3 亿美元。

欧盟则强调政府“铺路打基础”的作用,突出政府在人才培养、基础设施建设、资金扶持、项目规划、合作环境搭建中的基础保障作用。2012年9月,欧盟进一步公布了《释放欧洲云计算服务潜力》战略方案,并向欧盟委员会和欧洲议会提交了《云计算发展战略及三大关键行动》建议。该战略计划通过两年时间,把欧盟打造成云计算服务的领先经济体,为 2014—2020年欧盟“云起飞”创造基础,让大数据技术革命渗透到经济社会的各个领域。到 2020 年,大数据技术为欧盟创造的GDP将达到9570 亿欧元, 增加就业人数 380 万。2015 年以来,欧盟力推的《数据价值链战略计划》旨在用大数据改造传统治理模式,大幅降低公共部门成本,并促进经济和就业增长。这一计划的重点是培育一个连贯的欧洲数据生态系统,促进围绕数据的研究和创新工作,采用数据服务 及产品,采取具体行动,改善数据价值提取的框架条件,包括基础能力、基础设备、标准以及有利的政策 和法规环境。目前,欧盟正在制定一系列重点行动计划,解决数据价值链中与价值创造相关的大量交叉 问题。数据价值链战略计划包括开放数据、云计算、高性能计算和科学知识开放获取四大战略。

法规层面

隐私保护是大数据产业发展的难掩之伤

当前,各国对大数据产业创新给予支持的同时, 未能形成明确的监管法律来确定个人隐私在大数据时代的法律边界,这造成了大数据行业发展的法律 监管“灰色地带”。一方面,以数据驱动的经济发展模式是各国所向往的新经济形态,鼓励数据开放是 “鱼”;另一方面,数据价值挖掘背后是对个人隐私权不同程度的侵犯,呼吁保护隐私是“熊掌”。但是, “鱼”和“熊掌”不可兼得。因此,我们经常看到,各国政府在制定和实施隐私保护法规的时候,往往会 出现时紧时松、左右摇摆的现象。

美国是非常尊重个人隐私的国家,最早提出隐 私权概念,同时也是世界上互联网络技术最为发达的国家,大力倡导网络信息自由。1966 年颁布的《信息自由法案》要求充分实现信息公开和开放,让公民 有足够的知情权;1986 年通过的处理网络隐私权保 护问题的重要法案《联邦电子通讯隐私权法案》强调对个人隐私的保护。多种法律法规对行为主体的适用性会出现不一致的情况,所以美国政府砸保护网络隐私方面更偏重于采用行业自律的模式。在“9 11”事件之后,尤其是“棱镜门”事件之后,美国政府加强了对网络信息的管控,直到大数据产业兴起,网络数据管控才有所放松。随着以数据驱动的新经济模式的发展,个人数据隐私被侵犯的问题变得越来越严重。奥巴马政府时期,联邦通信委员会(FCC)颁布了《网络用户个人隐私保护法案》,不允许网络服务提供商(ISP)在未经用户同意的情况下买卖用户的个人数据信息。但是,2017 年 3 月 28 日,美国众议院票决宣布废除《网络用户个人隐私保护法案》。这标志着美国互联网政策将发生急剧变化,政策摇摆现象展现得淋漓尽致。不过,也有人将此解读为商业巨头的博弈,因为此次联合决议授权 ISP 进入原来由谷歌公司 和 Facebook 公司占据主导地位的在线广告市场。

欧盟在隐私保护方面更为保守,倾向于制定和 执行较为严格的隐私保护法规。 欧盟 1995 年通过了《数据保护指令》,为欧盟成员国立法保护个人 数据设立了最低标准。其后,2002 年颁布的《隐私与电子通信指令》要求网站告知用户启用 Cookie 及如何删除或作废 Cookie。2009 年颁布 的《欧洲 Cookie 指令》则要求网站在用户初始使用时必须关闭 Cookie,直到用户明确同意启用 Cookie 时才能 开启此功能。2015 年 12 月,欧盟执委会(European Commission)通过了《一般数据保护条例》(GDPR),以欧盟法规的形式确定了对个人数据的保护原则和 监管方式。值得一提的是,《一般数据保护条例》还 提出了“被遗忘权”(Right to Be Forgotten), 即个人可以要求搜索引擎从包含“不相关”或者“过 期”个人信息的结果里移除链接。这种法律拘束性判决现在不仅是欧盟法律的一部分,还延伸到覆盖各种 类型的个人数据。比如,个人可以要求 Facebook 公司删除个人账户以及所有自己的活动相关的数据。

纵观全球大数据产业,当前尚处于初级阶段。 对于中国大数据产业来说,政府的战略支持和企业创新能力都已经具备,但还没有形成成熟的大数据技术 开源社区。此外,为了保障大数据产业的有序规范发展,相应的法律法规也是必不可少的。





本文出处:畅享网
本文来自云栖社区合作伙伴畅享网,了解相关信息可以关注vsharing.com网站。

http://chatgpt.dhexx.cn/article/QvcSkPcp.shtml

相关文章

“十四五”大数据产业发展锚定3万亿目标

来源:人民数据本文约1100字,建议阅读5分钟 大数据产业迎来更广阔发展空间。 工业和信息化部近日发布的《“十四五”大数据产业发展规划》(以下简称《规划》)提出,到2025年,我国大数据产业测算规模突破3万亿…

高层次人才需求旺盛!2022年中国大数据产业发展趋势

点击上方 "大数据肌肉猿"关注, 星标一起成长 点击下方链接,进入高质量学习交流群 今日更新| 950个转型案例分享-大数据交流群 1、大数据获重视,产业发展再升级 2015年以来,在国家和各级政府的大力推动下,大数据产业加速…

2021年大数据产业城市发展,前20强出炉!

点击上方 "大数据肌肉猿"关注, 星标一起成长 点击下方链接,进入高质量学习交流群 今日更新| 950个转型案例分享-大数据交流群 来源 | 北京大数据研究院大数据分析技术创新中心 “十三五”期间,我国大数据产业迅猛发展,政策环境日益…

政策推动大数据产业高速发展 2018年市场规模将达180亿

近年来,全球大数据产业不断成熟,各领域大数据应用全面展开,为大数据发展带来强劲动力。数据显示,2016年全球大数据市场规模达到453亿美元,同比增长25.8%。大数据逐渐成为全球IT支出新的增长点。 相对于发达国家而言&am…

你的旧船票能否搭上这艘巨轮?——解读近5年大数据产业发展规划

文|水手 本文出自:知乎专栏《帆软数据应用研究院》——数据干货&资讯集中地! 文章导读 一、大数据产业现状和挑战 二、2020年发展目标 三、实现目标的关键举措 四、《规划》对企业的启示 五、《规划》对个人的启示 自2015年党的十八届五中全会提出“…

敲黑板!《大数据产业发展规划(2016-2020年)》要点解读

近年来,随着互联网、云计算、大数据、物联网等新兴技术的飞速发展,全球数据总量出现爆炸式增长,数据正在成为政府和企业越来越重要的基础性战略资源,可谓21世纪的“钻石矿”。面对大数据时代的到来,我国高度重视大数据…

图解大数据产业发展规划(2016-2020)

文章讲的是 图解大数据产业发展规划(2016-2020), 近日,工信部公布了《大数据产业发展规划(2016-2020年)》。其中指出,到2020年,大数据相关产品和服务业务收入突破1万亿元,年均复合增长率保持30%…

观点 | 我国大数据产业发展态势如何?

我国高度重视大数据的战略意义和数据资源对社会经济发展的积极作用,国务院于2015年出台了《促进大数据发展行动纲要》,并将“实施国家大数据战略,推进数据资源开放共享”纳入“十三五”期间规划和建设的重要目标。目前国内大数据产业发展已初…

我国目前大数据产业发展现状

我国大数据产业发展现状 2.1政策与法律层面 (1)虽然我国大数据产业目前缺乏国家层面的政策,但是在相关的国家战略中已经涉及大数据技术与发展规划。例如《“十二五”国家战略性新兴产业发展规划》提出支持海量数据存储、处理技术…

《承德大数据产业发展规划》评审会召开

7月14日,《承德大数据产业发展规划》评审会议在我市召开。会议邀请了中科院软件研究所、北京大学软件学院等国内大数据领域知名专家对北方工业大学和工信部电信研究院承担的“承德大数据产业发展规划编制项目”进行了全面评审。 会上,有关市领导介绍了规…

一图读懂|《“十四五”大数据产业发展规划》

来源:工业和信息化部官方网站 本文多图,建议阅读5分钟 工业和信息化部发布了《“十四五”大数据产业发展规划》。 近日,工业和信息化部发布了《“十四五”大数据产业发展规划》(以下简称《规划》)。《规划》提出&#…

成都市发布大数据产业发展规划 2025年产值达到3000亿元

近日成都市发布《成都市大数据产业发展规划(2017—2025年)》(以下简称:规划),按照规划,到2025年,成都市大数据产业产值将达到3000亿元(人民币,下同)。 图为成都市大数据产业布局示意图 据了解,成都是中国八…

2022年湖北省大数据产业发展规划

点击上方 "大数据肌肉猿"关注, 星标一起成长 点击下方链接,进入高质量学习交流群 今日更新| 950个转型案例分享-大数据交流群 3月22日从省经信厅获悉,湖北省大数据产业“十四五”发展规划正式印发,该规划提出,到“十四五…

【图解】“十四五”大数据产业发展规划

点击上方 "大数据肌肉猿"关注, 星标一起成长 点击下方链接,进入高质量学习交流群 今日更新| 950个转型案例分享-大数据交流群 来源:工业和信息化部信息技术发展司 --end-- 扫描下方二维码添加好友,备注【交流】 可私聊交流&#xf…

解读《大数据产业发展规划(2016-2020年)》

2019独角兽企业重金招聘Python工程师标准>>> 推动大数据产业持续健康发展,是党中央、国务院作出的重大战略部署,是实施国家大数据战略、实现我国从数据大国向数据强国转变的重要举措。日前,工业和信息化部正式印发了《大数据产业发…

【图解+全文】工信部关于印发“十四五”大数据产业发展规划的通知

省时查报告-专业、及时、全面的行研报告库 省时查方案-专业、及时、全面的营销策划方案库 大家好,我是文文(微信号:sscbg2020),今天给大家分享微播易和中国美妆网 工业和信息化部近日发布的《“十四五”大数据产业发展…

盘古开源丨强化标准引领,助力大数据产业高质量发展

11月30日,工业和信息化部印发《“十四五”大数据产业发展规划》(简称《规划》)。当前,数据作为新时代重要的生产要素,已成为国家基础性战略资源。大数据产业作为以数据生成、采集、存储、加工、分析、服务为主的战略性新兴产业,是…

我国区域大数据产业规划布局研究

我国区域大数据产业规划布局研究 摘要 目前,我国大数据产业进入快速发展阶段。围绕国家大数据战略,省域层面及重点城市地方政府陆续出台了诸多大数据相关政策,特别是对大数据产业发展进行了规划,为推动产业快速成长提供了依据&…

重磅!“十四五”大数据产业发展规划发布!

工信部日前发布《“十四五”大数据产业发展规划》,提出到2025年,我国大数据产业测算规模突破3万亿元,年均复合增长率保持25%左右, 十四五一般指中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要。 近期…