关于时序数据库

article/2025/8/19 10:26:50

https://blog.csdn.net/ransom0512/article/details/78114167

看了一些时序数据库,没有太深入,有一些大概认识,记录下来。 

1.  核心

数据存储分为行存储或者列存储,由于列存储的高压缩比,现在使用列存储的比较多一些。

当前有很多时序数据库采用了在底层KV存储(Cadssandra, HBase, LevelDB, RocksDB)基础上做时序封装,这样能够更快出原型,而且底层还很容易替换。

 

时间序列数据可以分成两部分,序列和数据点。序列就是标识符,比如华东区机器001的CPU使用率。数据点是时间戳和数值构成的数组。序列一般由metric+时间+多个tag组合而成,可以认为是主键。

2.  优点

时间不变

时间有序

允许事件到来乱序

时间唯一

便于分区,比如按天,按月分区

可以按照时间自动删除过期数据

由于其场景比较简单,所以报表就能够做的比较直观,丰富。

3.  缺点

场景受限,只针对特定场景。

SQL能力受到场景限制,不能太过于复杂。

 

4.  场景

监控日志存储,比如CPU利用率,磁盘使用,网络使用,告警信息,TraceLog等日志信息.

尤其适合物联网场景。

5.  和一般KV数据库的区别

更多是在KV数据库上做的包装。

列数据库更合适一些,压缩比高,且Key有序。

6.  SQL解决方案

可以在数据存储格式上,特意为COUNT,SUM,AVG,MAX,MIN等常用聚合操作提前计算,保存在文件头,能够大大提升计算速度。

便于为统计数据做视图,反正查询条件都是按照时间查询的,物化视图方案是很容易的。

能够适用于单表简单查询,不适合做Join查询。

7.  当前时序数据库介绍

时序数据库又很多产品,这里只列举有限几个。

1.1.  OpenTSDB

OpenTSDB是基于HBase的分布式时序数据库。

数据存储一致性,毫秒级写入,数据持久化

底层基于HBase,每秒百万写入,支持线性扩容。

OpenTSDB主要有一个或者多个时间序列守护程序TSD(TimeSeries Daemon)组成。每个TSD都是独立的,之间没有任何状态共享。所每个TSD可以使用不同的HBase集群或者同一个HBase集群来存储和检索数据。

一个时序数据包含:

Metric Name:度量名称,数据的分类,比如CPU利用率,网络流量

Unix Timestamp:精确到秒或者毫秒的时间戳

Value:一个64位整数或者单精度浮点数,比如CPU90%,可以是90,也可以是0.90

Tag:标签,用一组JSON数据来描述数据的属性,比如属于哪个节点,哪个机架,哪个应用等等。

内部会创建四张表:tsdb,tsdb-meta,tsdb-tree,tsdb-uid

Tsdb表用来存储数据

Rowkey组成为:metric + timestamp + tagk1 + tagv1… + tagkN + tagvN

Rowkey中的时间戳按照小时进行聚合,保存每个小时的数据,小时中每秒或者毫秒数据,都放在同一行。

Metric和tag这些值,都通过tsdb-uid这个表来进行映射以减少需要的字段,默认3个字节,如果要扩大,需要修改源代码,但是之前的数据会失效,所以修改之前要先导出。

这里按照小时进行存储,能够有效降低数据量。而且也有利于压缩。

Tsdb-uid:存放metric,tagk,tagv之间的映射 关系。

Tsdb-meta:元数据表,用来存储时间序列和元数据的表,可选表。

Tsdb-tree:树形表,用树状关系来表示metric的结构,可选表。

1.2.  InfluxDB

单机版免费开源,集群版本收费。

支持类SQL语法

支持条件过滤以及正则表达式删除数据

可以设置在集群内的副本数

1.3.  Beringei

Beringei是Facebook开源的一款内存时序数据库,是Facebook发表的Gorilla论文的开源实现。

Beringei使用一种三级的内存数据结构,如下图所示,其中第一级为分片索引,第二级为时间序列索引,第三级为时序数据,通过该数据结构可以支持快速的数据读写;Beringei实现了一种高效的流式的压缩算法,从而使内存占用最小化;Beringei支持写入内存的同时写入硬盘,并在重启后恢复数据。然而Beringei也有一些限制,譬如只支持浮点型数值、时间精度只到秒、只能按时间戳顺序的写入数据。

 

8.  引用

https://zhuanlan.zhihu.com/p/29367404?utm_source=com.ideashower.readitlater.pro&utm_medium=social

http://opentsdb.net/overview.html

liubin.org/blog/2016/03/05/tsdb-opentsdb/

http://www.infoq.com/cn/articles/storage-in-sequential-databases?utm_source=infoq&utm_campaign=user_page&utm_medium=link

https://yq.aliyun.com/articles/69354


http://chatgpt.dhexx.cn/article/K1AS3Y2S.shtml

相关文章

时序数据库Machbase

Background 最近偶然接触到Machbase,发现相关信息很少,于是自己做了一些简单的了解,这里记录下,方便有兴趣的童靴参考哈。 1、官方介绍 Machbase是韩国的一家公司开发的一款类似InfluxDB、DolphinDB、TDengine等时序数据库产品&am…

用友:时序数据库要更懂业务场景

本文来自IT168 作者卢敏 时序数据库是针对时间戳或时间序列数据优化的数据库。比如工业企业为了管好工业设备,需要用传感器收集一些带有时间标签的数据,这些数据既要求“超大规模数据瞬时写入”,又要求实现乱序管理。 用友网络助理总裁何冠…

InfluxDB时序数据库

InfluxDB是一个由InfluxData开发的开源时序型数据。它由Go写成,着力于高性能地查询与存储时序型数据。InfluxDB被广泛应用于存储系统的监控数据,IoT行业的实时数据等场景。 InfluxDB有三大特性: Time Series (时间序列&#xff…

【技术选型】时序数据库选型

文章目录 1、前言2、概述2.1 时序数据库的定义2.2 时序数据库的概念2.3 时序数据库的趋势 3、时序数据库对比3.1 influxdb3.2 Prometheus3.3 TDengine3.4 DolphinDB 4、选型结论 1、前言 时序数据治理是数据治理领域核心、打通IT与OT域数据链路,是工业物联网基石、…

mysql时序性数据库_时序数据库入门

数据库的模型包含关系型、key-value 型、Document 型等很多种,那么为什么新型的时序数据库成为监控数据存储的新宠呢? 下面就会从 为什么需要时序数据库? 时序数据库的数据结构 两个方面来介绍一下时序数据库。 1. 为什么需要时序数据库 1.1 …

时序数据库详解和使用

1.基础 1.1 时序数据的定义 什么是时间序列数据(Time Series Data,TSD,以下简称时序)从定义上来说,就是一串按时间维度索引的数据。用描述性的语言来解释什么是时序数据,简单的说,就是这类数据描…

时序数据库 InfluxDB

目录 一、介绍 二、安装 三、inflxudb保留字 四、基本语法 1、客户端操作 1. 数据库操作 2. 数据表和数据操作 3. series 操作 4.Shard 5. 用户操作 2、API操作 状态码 3、Java操作 五、常用函数 六、存储策略 1.查看策略 2.创建策略 3、修改策略 4. 删除…

时序数据库介绍

目录 1 .什么是InfluxDB 2.那么时序数据有什么特点呢? 3.对于时序数据,我们总结了以下特点: 4.业务方常见需求 5.时序数据库为了解决什么问题? 6.InfluxDB的优势 1 .什么是InfluxDB InfluxDB是一个开源的、高性能的时序型数…

4款堪称神器的电脑黑科技软件,让人相见恨晚

Syncthing https://syncthing.net/ 一款免费的开源跨平台文件同步客户端、服务器工具。支持Linux、Windows、OSX、FreeBSD以及Solaris等系统,具有一个强大的响应式的网页管理界面,能够帮助用户简便地添加、删除和管理通过网络进行同步的文件夹。支持用…

4个超级实用的黑科技软件神器,让你爱不释手!

EyeLoveU 一款免费的眼睛保护工具,主要功能分为两种提醒模式:定时提醒、智慧提醒,用户可以设定不同的提醒时间,或者工作持续多久后进入休息模式。 Rolan 一款轻量级系统启动器管理工具。支持添加一些常用系统功能,如…

目前最值得推荐的几款黑科技APP,快来收藏吧!

说到黑科技APP,每个人都有自己喜欢的,但是都有一个共同特性,那就是装逼神器、时尚大气、实用性强等等。那么今天我就来给大家推荐几款瞬间提高逼格的黑科技APP我们来一起看看吧! 一、魔音音乐 音乐是缓解学习和工作压力的最有效…

学计算机必备软件,电脑必备6个黑科技软件,每个都是顶尖,学习、工作必不可少!...

原标题:电脑必备6个黑科技软件,每个都是顶尖,学习、工作必不可少! 现在基本上已经是信息的时代,我们生活中几乎很难离开两样东西:一个是电脑、一个手机。我们经常会在电脑和手机上边下载或者是安装好多个软…

5款用得最爽的黑科技软件神器,每一款都好用到你无以伦比

闲话少扯,直接切入正题,5款软件件,值得你高调的收藏的! 1、一粒云盘软件 一款专注于企业数据管理的操作软件,每一个精细的权限下都是一次小小的改革,主要用于大型企业的数据资产保护,一个规模…

盘点那些功能强大的黑科技软件:竟然可以如此简单?

随着移动互联网的全球话普及,越来越多黑科技软件渗透到我们的日常生活和工作中,方便着人们的衣食住行。 今天就给大家分享几款比较小众但是却很神器的黑科技软件,用了他们你才知道,原来生活可以如此便捷! 1、拍手寻手机clap 据研究表明,80%的手机用户每年至少有3次找不…

EasyRecovery15专业电脑数据恢复黑科技软件

EasyRecovery数据恢复专家是一款专业数据恢复软件,软件支持文件、照片、视频等600多种文件格式恢复。支持的设备类型包括:电脑/笔记本、回收站、U盘、硬盘、移动硬盘、内存卡、数码设备等各类。先预览再恢复、免费扫描、一键恢复。免费试用!重…

有趣的计算机黑科技,6个让你欲罢不能的电脑黑科技软件,我一定要分享出来!...

办公中最常用的设备就是电脑了,我们使用电脑办公讲究的是效率,那么在大家的电脑上,都有哪些不错的软件呢?我也知道很多不错的软件,今天就给来大家分享6个能让你欲罢不能的电脑黑科技软件,快来一起看一看&am…

无需root计算机隐藏应用,应用隐藏大师APP一款极为隐秘的黑科技软件,无需Root 支持双开...

添加之后在应用隐藏大师中会生成一款“复制的应用”,运行的时候会给你两个选择 隐藏:会卸载掉桌面上原有的应用 启动副本:会保留桌面的应用并启动副本(相当于双K) 建议:如果你单纯想隐藏应用请选择“隐藏”,这样的话只…

android手机黑科技软件,安卓党福利!10款黑科技APP,让你的手机更好用

分享10款实用、优秀的Android软件!黑科技浏览器、跳过开屏广告、清理手机垃圾、时间追踪、简洁版微博……总有一款是你需要的! 最重要的是,以下10款软件大部分都是安卓独享,苹果用户只能羡慕! 话不多说,一起…

推荐5款优质的黑科技软件,好不好用你来判断

作为一个黑科技软件爱好者,电脑里肯定是不会缺少这方面的东西,今天的5款优质软件闪亮登场了。 1.视频编辑——CyberLink 这是一款功能强大,高效易用的视频编辑器,光看名字又以为是国外软件,其实它是纯国产软件&#…

(程序员生存手册)RAPTOR:你一定会用到的黑科技软件获得方法。

目录 1.软件介绍 2.安装 (1)下载 (2)安装 3.使用 4.结语 1.软件介绍 Raptor:你是不是认为raptor只是一个画流程图的绘图软件呢,如果是的话,那就对它误解太深了。如果仅仅用来画流程图&am…