SDS 2.0:能否让高端存储服“软”?

article/2025/9/22 9:49:19

1990年,EMC Symmetrix 4200问世,标志着高端存储时代正式开启。

斗转星移,高端存储已走过三十余载:从最初5.25英寸硬盘到如今闪存、SCM等新介质,从最初只有4MB集成缓存到如今上动辄TB级的缓存,从最初直连架构到如今支持横向扩展、混合云、机器学习的现代化架构,高端存储见证了企业级存储的技术变迁。

时至今日,高端存储一直坚持软硬件紧耦合的技术路线。这种路线固然有其突出的优势,也非常契合金融、电信等核心业务的需求,但在一个互联网技术盛行的年代里,云计算、分布式、容器等技术大行其道,高端存储软硬紧耦合的方式似乎又显得有些“格格不入”。

这驱使业界共同思考一个问题:即高端存储能否真正服“软”,实现软硬件的解耦,衍生出纯软的一种产品品类,给予用户更加灵活选择。

高端存储的新变化

多年以前,在SNW China技术峰会上,笔者与NetApp CTO聊到高端存储未来趋势时,他直言:高端存储未来发展取决于软件,在硬件更迭变化中如何更好、更加灵活地发挥软件价值,快速匹配用户需求。

实质上,NetApp CTO的观点预测了软件定义未来在高端存储的价值。作为传统数据中心时代下的巅峰之作,高端存储一直被誉为数据存储皇冠上的明珠。但近年来随着多云、大数据、AI、物联网等趋势出现,新应用场景、新数据存储需求以及数据存储新技术三股力量不断驱动下,高端存储也开始孕育出新变化,软件定义的价值加速显现。

首先,在机械硬盘时代,高端存储的硬件架构是骨骼、软件是灵魂,必须通过紧耦合的方式让高端存储的价值充分发挥;进入到闪存时代,硬件架构壁垒逐渐被打破,数据存储高性能的获取变得更加容易;而近年来,随着NVMe、RDMA、SCM等新协议、新介质的涌现,存储硬件再次飞跃,进一步降低了硬件门槛,为软件定义高端存储铺平了道路。

以华瑞指数云的WiDE存储软件为例,在Intel Optane、RDMA等硬件的加持下,实现单卷随机读写百万级IOPS、端到端100us以下的超低时延,各项性能指标完全可以与传统高端存储产品相媲美。

其次,云计算、边缘计算的兴起,使得用户场景愈发丰富,混合云、多云架构成为绝大部分用户的首选。高端存储要想适应场景的新变化,软件定义的方式无疑成为重要选择之一,通过软件定义的方式更好地匹配好不同场景的数据存储需求。

例如,过去两年如火如荼的金融行业分布式架构改造、运营商5G核心网云化,在底层存储无一例外的选择了分布式存储,软件定义存储在支撑多场景数据应用中扮演起关键角色。

第三,像AI、大数据等新应用的兴起,软件定义成为高端存储扩展应用边界最好的方式。一直以来,高端存储在各种核心交易等关键应用发挥着重要作用,而从物联网、自动驾驶甚至当前热门的元宇宙,这些新型关键应用同样对于数据安全、可靠性、性能同样有着极高要求,而软件定义的灵活性无疑是这些新型核心应用所倚重的。

华瑞指数云的技术专家也指出,软件定义有助于让高端存储更加灵活的去适配越来越复杂的环境,能够让高端存储诸多优秀和丰富的软件功能更好地与数据存储需求相匹配。

SDS 1.0:弊端凸显

众所周知,软件定义存储的概念并不新鲜,早在机械硬盘时代,软件定义存储就风靡一时。

在业界看来,以Ceph为代表的开源分布式存储是软件定义存储 1.0时代的典型代表,离高端存储的要求尚存差距。例如,在很多非结构化和半结构化数据场景中,如视频监控、网盘、备份、HDFS代替类型应用等,SDS 1.0的相关产品已经获得成功;甚至在OpenStack、K8S块、VMware等一般结构化数据场景中也取得成功。

但多年以来,软件定义存储一直都在非核心应用上发挥价值,鲜有在关键业务领域取得突破。通常,一款高端存储产品,千万级IOPS、百微秒级时延、全闪化、高可靠性、丰富的软件功能是标配,一般意义上的软件定义存储产品的确很难胜任。

“SDS 1.0在高性能场景,如私有云TP数据库业务、高性能虚拟化场景等依然难以胜任,更别提对性能有极高要求的HPDA和AI/ML等新兴数据密集型业务场景。”华瑞指数云技术专家表示道,“归根结底,SDS 1.0的软件堆栈还是基于十多年前的设计思想,多层线程池、多层流水线,像线程切换、锁开销等,都会带来大量损耗,很难达到高端存储的各项需求。”

这标志着软件定义存储的堆栈需要彻底重塑,以适应未来十年的数据存储新需求。“软件定义存储将加速进入到2.0时代,”华瑞指数云技术专家介绍道,“全新的软件堆栈将赋予软件定义存储新的动力。”

SDS 2.0:让高端存储服“软”

过去,高端存储之所以为高端存储,关键原因在于人们通过硬件配置来区分。显然,这种按照硬件配置来区分和提供数据存储服务的方式并不适合未来趋势。

在数据要素化成为大势所趋的今天,数据已经成为组织机构最重要的生产资料,数据服务、数据决策将贯穿于组织机构的各个流程之中,数据需要流动、传输、共享、分析和应用。与之匹配的是,数据存储服务需要按照需求和等级来区分。

因此,软件定义存储 2.0带来最大的变化就是,在极速可靠、按需定制和安全可信的基础上,快速、灵活匹配用户日趋复杂的场景环境、愈发丰富的数据存储服务需求。

无疑,SDS 2.0已经成为当前数据存储一个最为重要的创新方向。“面向未来,无论是极速的数据存储服务,还是通用数据存储服务和泛数据存储服务,SDS 2.0都能利用全场景数据存储接口来满足,”华瑞指数云技术专家表示道,“底层通过通用硬件来构建混合多云的一体化数据池,实现多池多云的智能数据流动。”

以华瑞指数云WiDE无量数据引擎为例,作为SDS 2.0产品的核心引擎,首先采用了全局元数据管理,让数据自由在边缘/混合云中流动,实现了数据存储服务与数据存储需求的匹配。

其次,WiDE数据引擎在业界首创多维度存储可组合式架构,具有容量与性能模型可组合、跨介质池可组合、云上云下资源可组合、存储SLA可组合、数据IO模型可组合,这意味着可以无障碍定义多维度的数据存储服务边界,不仅可以针对核心高性能场景,还可以根据数据存储需求来灵活定制,实现资源、成本和效率的最优化。

最后,WiDE作为云原生时代的产品,对于云原生完美支持,实现混合多云部署,无缝一致体验,并且实现对HPDA/AI/ML、高性能云主机、高性能数据库底座、混合多云数据平台等新型关键应用场景的全面覆盖。

多年以前,随着闪存逐步得到普及,有人预测高端存储将会逐步消失。但事实却狠狠地打脸。IDC市场数据显示,高端存储近年来逆势增长,这充分说明用户们对于高性能、安全可靠的数据存储服务有着强烈需求;而随着SDS 2.0的兴起,高端存储有望迎来更灵活、更多变的产品组合形式,为更多新型应用带来灵活、按需定制、安全可靠的数据存储服务。

“SDS 2.0将开启高端存储新十年。”华瑞指数云技术专家最后表示道。


http://chatgpt.dhexx.cn/article/rkL2ZBcY.shtml

相关文章

HDS 高端存储TC原理和配置总结

一. TC配置要求 1)P和S位于不同的存储 2)P和S要以block为单位大小相等 3)P和S都要求被Mapping 4)创建从P到S的路径 5)确认从S到P的路径并保留端口TC link的需求 A:存储映射到主机使用的端口(端口类型为:Target) B:TC配置需要的端口,根据2个存储的卷在TC中不同定位,端口…

重新定义高端存储架构,华为Dorado V6树立全闪存新标杆

企业级存储正在迎来它真正的全闪存时代。 由于闪存介质在成本上的不断下降,闪存容量的不断攀升,以及软件功能的不断完善,全闪存存储逐渐成为市场的主流。根据IDC的统计数据,全闪存存储的营收规模已经与传统基于机械硬盘和混合介质…

【观察】PowerMax:高端存储,中国制造

我们知道,随着存储市场的快速发展,高端存储在人们心中已不再是那么高高在上,遥不可及。但是,是否拥有强大的技术实力、市场和品牌的长期积累、能否经受得住各行各业不同应用的关键业务场景长时间考验和大量企业级客户的反复实践验…

高端存储发展趋势

1. 高端存储的技术发展趋势 松耦合 高端存储刚出现的时候,采用的是紧耦合的多控体系架构。紧耦合架构的特点就是所有的资源都是物理集中在一起的,这些资源通常包括前端接口,后端接口和Cache,一般都插在一个大机箱里。随着技术的发…

高端存储发展简史

任何一个时代,都必然会有英雄。 阿明|全球存储观察 数据存储发展了多年,特别是高端存储历经四十多年的发展,从大型机诞生与之成为标配,到当前进入云与智能时代下的创新演进。 作为数据存储领域当仁不让的“英雄”&am…

高端存储技术与应用趋势

高端存储技术与应用趋势 西瓜哥 发表于:14年06月17日 18:22 [来稿] 存储在线 西瓜哥 高端存储 分享: [ 导读]我们一般把广义高端存储里面支持SAN的存储系统叫狭义的高端存储,或者叫高端SAN。因为企业最关键的数据资产一般是结构化数据&…

高端存储架构的前世今生

双控存储架构图 中低端存储系统采用的是双控共享访问后端的全部磁盘扩展柜,形成如下图所示的架构: 该架构是传统存储系统的关键点之一,正式利用后端共享存储的方式,才使得两个控制器之间才能够在任何一方出现故障,或者…

中端存储和高端存储的区别

中端存储和高端存储的区别 一般存储分为直连存储(DAS的)、IP SAN、光纤存储,前2个都属于低端存储,到了光纤存储才能叫中高端存储。在高端存储里面又根据对各种接口的支持、磁盘扩展的能力、产品的性能、以及各种高级数据保护的功…

TRUNCATE TABLE原理解析

众所周知,TRUNCATE TABLE是一种快速清空表内数据的一种方式,与delete方式不同,truncate只产生非常少的redo和undo,就实现了清空表数据并降低表HWM的功能。本文主要围绕TRUNCATE TABLE的实现原理和TRUNCATE TABLE的恢复来展开。 首…

HDFS Truncate文件截断

前言 在linux操作系统的使用中,有的时候我们可能想对某个现有的文件做尾部的截取(比如为了保留头部关键信息),但同时又不想重新写一个新的文件出来,这个时候我们其实可以采用系统提供的truncate命令。单词truncate的本…

oracle 数据库truncate,Oracle中的truncate用法

语法:TRUNCATE TABLE table; 在使用truncate语句(DDL语言)可以删除表中的所有记录。使用truncate语句删除数据时,通常要比使用delete语句快得多,这是因为使用truncate语句删除数据时,不会产生任何回退信息,因此执行t…

mysql truncate 条件_MySQL的TRUNCATE关键字

在MysqL中,还有一种方式可以删除表中的所有记录,需要使用TRUNCATE关键字。 TRUNCATE [TABLE] 表名 参数说明 表名,指定要执行删除操作的数据表 在数据库chapter03中创建一张表tab_truncate 图片描述" title""> 向数据表tab…

truncate命令简介

一、truncate命令简介 truncate命令通常用于将文件缩小或扩展到指定的大小。如果文件大于指定的大小,则会丢失额外的数据。如果文件较短,则会对其进行扩展,并且扩展部分的读数为零字节。 二、truncate命令安装 我们使用turncate命令之前需要…

Linux 命令(147) —— truncate 命令

文章目录 1.命令简介2.命令格式3.选项说明4.常用示例参考文献 1.命令简介 truncate 将文件的大小缩小或扩展到指定的大小。 如果指定的文件不存在将被创建。 如果文件大于指定的大小,则会丢失额外的数据。如果较短,它将被扩展,扩展的稀疏部…

Public Key Infrastructure——公钥基础设施

今天做一篇关于PKI的笔记,PKI是目前来说信息安全领域很流行的技术,它的应用已经很广泛了。 PKI是指公钥基础设施,它是通过公钥加密技术和数字签名服务保证传输数据的安全。它最重要的几个部分是公钥加密算法,数字证书,…

检查安装包(grid infrastructure和Oracle database所需补丁)

检查安装包 根据文档说明,安装 Grid Infrastructure 和 Oracle Database 所需的补丁包有: binutils-2.15.92.0.2 compat-libcap1-1.10 compat-libstdc-33-3.2.3 elfutils-libelf-0.97 elfutils-libelf-devel-0.97 expat-1.95.7 gcc-3.4.6 gcc-c…

DAIR-V2X: A Large-Scale Dataset for Vehicle-Infrastructure Cooperative 3D Object Detection

VICAD系统开发挑战 :缺乏来自真实场景的VICAD数据集。 3 DAIR-V2X 数据集 DAIR-V2X 采集来自真实场景的大规模、多模态、多视图数据集,带有 3D 标签注释,用于车辆-路边设施协同感知。 针对车辆和路边设施传感器之间的时间异步问题&#xff…

ins40401 oracle,安装orace grid infrastructure 提示[INS-40404]问题

grid infrastructure 提示“[INS-40404] The installer has detected a configured instance of oracle grid infrastructure software on the server! 今天是2013-12-03,描述一下出现这个错误的过程,我没按照正常的方式删掉 grid infrastructure,而是直接删掉了安装目录,但…

A/B-Test (Overlapping Experiment Infrastructure: More, Better, Faster Experimenta)

本文针对上周的工作进行了总结,上上周的工作将在接下来通过文章进行总结,主要内容为DEIN 模型。 为了解决推荐算法基于web实验的模型验证,我参考了Overlapping Experiment Infrastructure: More, Better, Faster Experimentation 2010 的goo…