实现跨越多个云的无缝云数据管理

article/2025/7/7 1:58:00

By Jeffrey - 资深IT经理人,IT运营和安全顾问,历任多家知名跨国企业包括麦肯锡大中华区、通用电气公司、壳牌石油、英美烟草等公司IT总经理

云已经不是一个新鲜话题,越来越多企业甚至个人已经将数据搬到了云上,享受云带来的便捷,高效和低成本。

数据和分析工作变得更加成熟,随着越来越多的数据被收集,分析,整合和输出,企业也越来越依赖这些数据。考虑到单一云存储带来的数据风险越来越大,数据灭失甚至被窃取的损失可能会瞬间将一个企业压垮,很多数据拥有者开始同时选择一个以上的云数据部署,采用多云作为数据保险。在IDC最近的一项调查中,近80%的受访企业将其一半以上的数据存储在多云中。

例如,某咨询公司已经采用了混合云和多云战略,以便在使用技术方面与客户一样灵活和开放。这将推动从创建新的商业和经济模式到个性化和数据分析。零售企业也在接受多云方法来贴近他们的客户并提供全渠道体验。

根据定义,多云部署涉及多个云供应商(两个或多个),以支持IT基础设施、应用程序和关键业务功能。企业可以使用多个云服务,包括私有云和具有多个公共云组件的混合云,而不是使用一个供应商来提供一切服务--云主机、存储和整个应用程序系统。

但是,随着云上的数据量急剧增长,多云也意味着你的数据管理会越来越复杂,你应该如何面对?本文讨论了成功进行多云部署的三个以数据为重点的考虑因素,并讨论在多云环境中共享数据的一些优势。

一、多云战略的优势:

在你的组织实施多云战略之前,你应该评估一下这种方式是否适合你的需求。以下是多云架构的潜在优势。

1. 可以在各种多云方案中选择最佳的解决方案

多云战略使你能够利用每个云供应商的各自优势。例如,一个组织内的业务单位往往有不同的云要求。多云战略不是强制要求各团队使用相同的云,而是使业务部门能够使用最符合其需求的云平台。

多云为企业提供了选择的灵活性和自由度,以利用每个云提供商的最佳能力,从而使他们能够利用不同云供应商的最佳能力来托管自己的业务。同时,数据用户可以在全球范围内的任何地方、任何设备和任何云上托管他们的应用程序和数据。例如,一个数据分析员可能想使用一种分析工具,而另一个可能有不同的需求。多云架构可以实现更大的灵活性和用户效率,而不是将用户限制在一个云上,并将所有东西都托管在这个云上。

2. 可以避免依赖单一云供应商

在生产环境中完全依赖一个云供应商,公司可能会面临把数据完全锁定在该提供商的专有系统和协议中的风险,这使得切换到另一个云供应商非常耗时、技术上非常挑战且成本高昂。

多云战略使您能够避免供应商依赖,同时可以利用主要云供应商的不同服务,特别是安全、分析和应用程序开发特点满足不同业务和部门的个性化需求。

3. 可以方便地在任何地方进行操作

每个公共云供应商都在不同的地理位置拥有数据中心。假如你需要服务特定的分支机构或用户,这或许是一个优点。而对于用户,你可能会发现在特定地区的某个或某几个云供应商的部署上运行系统是最理想的,因为可以减少网络延迟,或者最大限度地提高网络吞吐量,或者为了遵守当地的法律法规要求。

4. 可以方便地实现业务连续性和灾难恢复(BCP & DRP)

将所有的云资源放在一个单一的主机上可能是非常危险的。通过利用不同地域或不同云供应商,企业可以减少风险,并确保正常运行时间和达成业务要求的SLA,这里的方法是创建弹性架构,确保企业的应用程序在特定的数据中心或云供应商出现故障时仍能保持运行。多云战略降低了分布式拒绝服务攻击的可能性,提高了可靠性,并减少了灾难性故障的可能性。

二、多云战略的潜在风险

多云方法尽管有很多优点,但也带来了一些棘手的数据管理问题。事实上,在最近的一项调查中,73%的受访者认为,管理多云环境是一个挑战。

多云环境是具有挑战性的。随着数据量的爆炸性增长和新数据类型的出现,公司的数据被分散在企业内部系统以及公共和私有云中。这可能会创造更多的数据孤岛,使得实时连接、转换、管理和同步所有不同的数据变得困难。由于今天大多数企业与多个云服务供应商合作,他们面临着围绕可访问性、整合、可见性、安全性和数据治理的共同障碍。

1. 数据孤岛:

当你在你的既有数据环境中引入一个新的云供应商时,你也提高了为你的组织增加另一个数据孤岛的可能性。每个云供应商都有不同的产品和不同的API,这导致大量的数据在系统之间移动和复制。这也会使数据难以管理以及与团队、业务部门和外部合作伙伴共享。

2.整合:

一些云服务可能开箱就能无缝运行。但是,许多服务必然需要某种程度的整合,特别是当你将它们与你的IT环境中的其他资源(如网站或数据库)连接起来时。为了实现最佳操作,你必须解决每个云在API、容器化、特性、功能和安全协议等方面的差异。

今天,希望优化成本、提高生产力并在整个企业中共享数据的CIO在分析现代化的数据整合方面面临着三个共同的挑战。

  1. 成本超支:成本和预算超支在多云、混合云环境中很普遍,因为缺乏对哪些数据驻留在哪个云中以及这些信息是否敏感的可见性。将数据移入和移出各种云数据仓库会产生大量的费用。
  2. 资源不足:在最近的一项调查中,超过57%的受访者认为技术人员技能短缺是公司采用和运营多云战略的一个重大挑战,原因是各云环境的工作流程不一致,以及团队各自为政。这使得寻找和聘用精通多云环境的专业技术人员十分困难。
  3. 技术和操作的复杂性:随着云计算应用的加速,数据和IT经理会发现将云计算和多云计算与企业内部环境连接起来十分挑战。将这些不相干的产品拼接在一起,可能会导致需要不间断地进行整合,改变路线图,项目超支,以及不一致的数据治理和质量。

3. 数据可移植性和互操作性。

一旦你的应用组件被转移到云上,你也可能面临与你的内部应用的互操作性挑战。以某家零售企业为例,该企业将其传统的数据仓库移植到Snowflake,同时,他们的营销团队正在使用微软Azure Synapse Analytics来运行个性化的营销活动。而他们的数据科学团队正在使用谷歌BigQuery进行机器学习(ML)项目。

由于应用程序分布在多个云中,新的架构需要确保底层数据是可互操作的,并在云中无缝移动,无论它位于何处(企业内部、公共或私有云,或跨多云环境)。公司必须确保这些系统之间的互操作性,并在必要时,在故障发生时进行故障排除--同时不影响正在进行的业务活动。

4. 实现跨多云的无缝数据访问有难度

在多云环境中,企业往往难以快速而自信地在云间无缝移动或共享数据并监控工作负载。由于应用程序和数据分散在多个云中,新的数据架构必须确保底层数据在云中流畅和安全地移动,无论它位于何处(企业内部或私有云或公共云、云间或混合云)。

5. 延迟

在多云世界中,数据可能驻留在多个地理位置,这可能导致数据传输延迟问题,因为它与用户的地理距离很远,必须经过长距离传输等等。这可能会导致生产力下降,这对敏捷、灵活和高效的多云方法是不利的。

6.安全挑战

多云架构会因为有更多的攻击机会而增加安全风险。例如,云与云之间有更多的互连,有更多孤立的工具必须确保、维护、监控和执行新的云服务,以及需要一致的基于角色的政策、流程和控制。无论你使用哪个云供应商,你都必须考虑在多个云上加密数据的需要。

随着企业开始部署各种云,他们通常缺乏跨部门或跨地区的透明度,因此,对整个多云基础设施的实时可见性至关重要。此外,由于缺乏中央控制台或单一窗口,企业很难在多云环境中获得有关成本、配置、使用和性能的信息或知识。

7. 监管和合规

一个高度扩展、共享和自动化的IT平台,如云,可以隐藏数据的地理位置--对客户和服务供应商都是如此,从而存在潜在的不合规的风险。CIO需要建立全面的、端到端的数据治理,包括跨云的数据、访问策略、用户安全控制、元数据和数据质量标准的一致应用。

8. 多云数据管理平台如何弥合多云鸿沟

无论多云环境是由于数据归属问题、希望避免依赖单一供应商,抑或由于历史上兼并和收购而产生的,企业都希望能在不同的云生态系统中灵活运行其数据管理服务。

多云数据管理使运行在不同云生态系统上的服务能够无缝工作。例如,数据工程师可以通过在AWS上运行的数据目录和市场服务找到数据,而此服务正在使用在微软Azure上运行的数据集成服务来访问存储于Snowflake的数据,并将其移入谷歌云,以便在TensorFlow项目中使用。下面是一个多云数据管理的例子:

要想实现方便快捷和具有可扩展性的多云数据管理,你或许需要建立/寻找一个独立和中立的多云数据管理平台。

对数据的管理和创新决定了你是成为行业的颠覆者还是被甩在后面。一个独立于云服务商的中立数据管理平台可以帮助你有效地处理分散和零散数据的复杂挑战,以便在任何平台、任何云--多云和多混合云上利用其数据进行创新。

一个成熟的,独立的数据管理平台应该可以做到:

  1. 方便扩展:以满足不断增加的业务需求。
  2. 节省时间:利用人工智能化的数据,尤其是元数据分析能力,使得数据使用者在短时间内获得所需要的数据,并从中获得必要的数据分析结果。
  3. 便于访问:在任何云或平台上可以方便地访问和共享数据。企业能够连接、访问、消费和管理数据,无论数据在哪里流动--云、云到企业内部环境,或企业内部到企业内部环境。
  4. 低代码甚至无代码化:图形化,自动化,模块化的云数据管理。通过低代码或无代码体验最大限度地提高灵活性和协作,使企业能够实时响应动态业务需求和变化,而没有开发和维护代码的开销。
  5. 安全地保护和消费数据:执行符合最高的行业数据安全标准和治理,以定义和执行监管和隐私政策,确保适当的团队能够快速访问和理解数据和其他工件,如AI模型和管道。
  6. 在任何时候选择任何云服务:可以根据企业的需求变化,随时从任何来源增减任何服务所需的容量。

随着数据移动到云,云数据管理也必须如此。多云方法有很多好处,但也涉及风险和复杂性。多云环境应提供一种无缝收集、共享和协作数据的方法。独立、中立、AI驱动的多云数据管理平台可以为组织提供跨任何云、任何地点和任何规模的可靠数据和实时分析的自助访问。


http://chatgpt.dhexx.cn/article/4wePLTA3.shtml

相关文章

腾讯云运维工程师认证TCA--真题(最新2022.11)

腾讯云运维工程师认证TCA题库,覆盖95%题目。 1、TSF控制台的配置中心,目前支持以下哪一种格式的配置文件? JSON格式XML格式YAML格式Properties配置格式 正确答案:C 解答:无 2、传统应用开发采用瀑布开发模型,瀑布开…

基于OpenPCDet框架的基线模型下载及性能评估

基于OpenPCDet框架的基线模型下载及性能评估 W.P. Xiao, Vision group,SHUSV 版本更新时间更新内容作者1V 1.02021.12更新基线模型W.P. Xiao, Y.Q. Wu2 目录 文章目录 基于OpenPCDet框架的基线模型下载及性能评估基线模型权重下载基线模型性能PointPillarSECONDSECO…

GPT2中文模型本地搭建(二)

GPT2中文模型本地搭建(二) 1、简单介绍1.1 bert4keras是什么,与Keras有什么关系?1.2 常用的预训练模型加载框架有几种?1.3 预训练模型常见版本 2、GPT2-ML 开源中文模型本地搭建2.1 开发环境准备2.2 下载代码2.3 下载模…

阿里云ECS服务器部署

阿里云ECS体验JavaWeb 基础步骤其他操作 第一章 基础步骤 第01节 登录阿里云服务器 在购买ECS服务器后,系统会创建一个ECS实例。每一个ECS实例对应一台已购买的云服务器。 您可以通过电脑上自带的终端工具访问云服务器,进行应用部署和环境搭建。 1. …

AI 框架部署方案之模型部署概述

0 概述 模型训练重点关注的是如何通过训练策略来得到一个性能更好的模型,其过程似乎包含着各种“玄学”,被戏称为“炼丹”。整个流程包含从训练样本的获取(包括数据采集与标注),模型结构的确定,损失函数和评…

调用百度云语音转文本

文章目录 一、创建应用二、调用方式一三、调用方式二四、音频转码工具五、ffmpeg安装六、ffmpeg 使用说明七、ffmpeg命令八、查看音频格式ffprobe使用九、pcm文件音频时长计算十、转换为m4a格式(AAC编码) 一、创建应用 https://console.bce.baidu.com/a…

阿里云代理商:阿里云跨分部抵销前营收267.6亿元,跨分部抵销后营收207.57亿元,抵销后营收环比增长达17.37%。

阿里云代理商聚搜云专业服务于阿里云ECS服务器采购、阿里云Ddos采购、阿里云waf采购、对象存储OSS、阿里云企业邮箱采购、阿里云国际站代理商、阿里云国际站充值、云安全中心(态势感知)、阿里云高可用云数据库RDS、web应用云waf防火墙、阿里云vpc企业网、…

云GIS架构的研究与实践

云GIS架构的研究与实践 摘要1.引言2.云计算(Cloud Computing)3.云GIS4. 云GIS在“多规合一”平台中的实践4.1. 实践思路4.2. 相关产品选择4.3. 私有云环境建设4.4. 云GIS环境建设4.4.1. 镜像库4.4.2. 配置规则4.4.3. 生产站点4.4.4. 部署要点 5.总结参考…

华为云Modelarts

目录 一、什么是ModelArts 二、ModelArts特点 三、ModelArts开发流程 1、进入控制台 2、创建桶 3、自动学习 总结 一、什么是ModelArts ModelArts 是面向开发者的一站式 AI 开发平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训…

云原生安全介绍

1 云原生介绍 不同组织对云原生有不同的解释: 云原生概念最早出现于2010年,Paul Fremantle的一篇博客中提及一种架构,其中包括:分布式、松散、自服务、持续部署与测试。 2015年Pivotal公司的Matt Stine在《迁移至云原生应用架构…

电子邮箱怎么填写格式,手机邮箱格式怎么填写?

电子邮箱作为主流的沟通工具之一,已经是人人必备的了,就像手机号码一样,每个人的邮箱地址都是不一样的,而且也存在着热门的“靓号”。一个好的邮箱地址不仅能吸引他人的眼球,让收信人更愿意阅读,还能便于自…

element自定义邮箱和手机号校验规则

<el-form:model"addUserForm"ref"addUserFormRef":rules"addUserFormRules"label-width"100px"><el-form-item label"邮箱" prop"email"><el-input v-model"addUserForm.email"><…

android qq 邮箱格式,QQ邮箱格式怎么写

QQ邮箱格式怎么写 QQ邮箱现在最多可以拥有四个不同的邮箱格式&#xff0c;但是别人不管给你哪个账号发邮件&#xff0c;你都可以在同一个邮箱收到邮件。所以可以在不同场合&#xff0c;可以给对方不同的邮箱账号。那么QQ邮箱格式怎么写呢&#xff1f;怎么在合适的场合给别人一个…

163邮箱怎么申请?手机号怎么申请注册邮箱?

如果你还没有邮箱&#xff0c;直接用手机号注册163邮箱&#xff0c;163.net是一款TOM的VIP邮箱&#xff0c;跟普通邮箱的区别是邮箱容量可以无限放大&#xff0c;来往的邮件信息能长期存储&#xff0c;国际邮件能快速收到和发出。 怎么申请邮箱&#xff1f;163邮箱申请的好处 …

手机号邮箱怎么注册?邮箱登陆163登录入口

公司一直都是用邮箱沟通交流的&#xff0c;新入职同事问我怎么注册邮箱&#xff0c;了解到他的岗位需要经常外出&#xff0c;就告诉他可以用手机邮箱&#xff0c;于是&#xff0c;告诉他注册TOMVIP邮箱就可以。同时简要整理了手机邮箱怎么注册&#xff1f;注册后的邮箱登陆流程…

Java实现利用正则表达式校验手机号码,邮箱,电话号码

需求&#xff1a; 校验手机号码&#xff0c;邮箱&#xff0c;电话号码 实现代码&#xff1a; package apilambda.d6_regex;import java.util.Scanner;public class RegexTest2 {public static void main(String[] args) {//需求&#xff1a;校验手机号码&#xff0c;邮箱&…

手机号电子邮箱怎么填写?

邮箱的格式是由账号名称域名组成&#xff0c;而账号名称可以是人名、公司名称以及手机号&#xff0c;这些都可以在注册邮箱时自行设定&#xff0c;TOM企业邮箱开通手机号邮箱仅需两分钟。 手机号电子邮箱 企邮开通好后会先拿到一个管理员账号&#xff0c;可以通过该账号进行开…

短视频解析去水印在线 伪原创视频如何搬运

短视频解析去水印在线 伪原创视频如何搬运 原创号1万的播放量是12元左右&#xff0c;具体的单价要根据账号权重所定。,您还可以使用更多视频网站进行分析。,相比之下&#xff0c;用户更喜欢空对地以接近群众。,2音频图片合并首先去网上选择一段合适的音乐素材&#x…

Vue中使用Video标签播放 <解析后的短视频>去水印视频无响应

&#x1f4e3;文章目录 问题&#xff1a;情景复现:链接在Video标签打不开链接浏览器正常打开出现的原理 解决方式前端解决全局添加标签Vue单页面添加标签完美解决: 问题&#xff1a; 发送Ajax请求,请求后端接口解析抖音无水印视频并且展示在页面中&#xff0c;后端已经可以把解…

短视频去水印微信小程序,免费去除视频水印

最近不知怎么的&#xff0c;偶然浏览到一个挺简单漂亮的视频解析小程序帖子&#xff0c;没过多久又偶然浏览到一个各类短视频去水印api的github项目&#xff0c;挺巧的&#xff0c;于是就花时间把两个项目结合了一下&#xff0c;然后自己发布了小程序&#xff08;这里顺便吐槽下…