时不我待,TSDB崛起正当时

article/2025/9/2 20:47:26

近期有小伙伴问Jesse,为什么你们要在现在这个时点做TSDB,这是个好时点吗?我认为这是个挺好的问题,因为再强的个人也比不上一个团队,再牛的团队也需要顺势而为。我们其实一直在深度思考“Why Now”的问题,因此,本期我们就来就此聊一聊这个问题。 

本文仅代表个人观点,如有偏颇之处,还请海涵~

天时:数据大爆炸,实时数据处理需求猛增

在现今的社会,数据正在改变着我们的生活方式,各行各业的企业都在使用数据,让自己的业务变得更加敏捷和高效。如下图所示,我们可以发现全球数据量仍然保持迅猛的增长,从2018年的33ZB增长到2025年的175ZB。

图片来源于: IDC

而在这些大量新产生的数据中,我们发现实时数据占据了大部分。根据IDC预测,到2025年,全球将有超过1500亿台设备连接,其中大部分设备将持续不断的创造实时数据。比如,在工业生产中制造车间的设备需要依靠实时数据进行过程控制和改进。同时,世界上每个联网的人平均每天将进行超过4,900次数字数据交互 — 这大约是每18秒进行1次数字交互。我们可以说由IoT驱动的万物互联时代即将到来,实时数据从2017年占全球数据量的15%,2025年将增长占30%。

图片来源于: IDC

图片来源于: IDC

我们不禁在问自己,面对IoT设备以及C端交互的崛起,如此大量的实时数据我们需要如何保存呢?工业互联网也好,元宇宙也罢,传统的关系型数据库已经无法承载这种数据量下的并发写入,数据无法完整的写入保存,自然也就谈不上细颗粒度的运营分析。而面对这些带有时序特征的数据,选择TSDB来解决新场景下的数据存储问题,就越发必要了。

地利:全球最大 & 最复杂应用场景在中国

过去20年,我们看到了中国移动互联网的崛起,相信每个人都深有体会。在场景端我们有美团、微信、淘宝、京东等电商和生活服务巨头,在支付端我也有银联,有蚂蚁金服等。可以说在移动应用领域中国已经超越了美国排在了全球第一的位置。庞大的应用场景,也让中国市场具备了全球最大的数据流量规模。

这些大规模应用场景的数据产生,也让互联网大厂意识到了自己在基础设施领域的薄弱。近年来越来越多的科技公司,利用中国的应用场景来打磨自己的基础产品。让中国的基础软件也有了自己的用武之地。我们认为这是一种地利,也是中国在经济转型过程中的必然。

中国拥有最大的移动互联网应用场景

图片来源于: 头豹研究院

人和:中国开源人才供给提升

我们发现了越来越多的中国科技巨头,在开源生态建设方面投入力量。根据Open Source Contributor Index公布的2020全球开源厂商GitHub开源贡献,华为已经进入全球榜单前十,其比2019年上升了17位。2020年华为公司在GitHub上的贡献者数量为1683人,数量比去年增加了55.3%。除华为外,阿里和腾讯等互联网企业也在开源基础软件方面加大了投入力度。截至2021年09月,阿里巴巴对外开源项目数超2700个。其中2020年阿里巴巴新增开源项目就达到732个,开源项目数年增长率达到27.1%。

我们认为,越来越多的互联网大厂参与开源,为我们提供了更多的人才供给。中国并不是没有基础素质好的IT人才,只是之前的不重视,让大家更多的去选择了前端应用开发,而现如今这种状况在发生改变,GitHub也预计到2030年其大多数贡献者可能会来自中国。

GitHub预测2030年贡献者国家分布热度

图片来源于:GitHub

时代大趋势让我们下决心来做TSDB,Jesse相信CnosDB能乘风破浪,迎接万物互联时代的到来。最后,也请允许我做一次小广告,如果您怀揣梦想,拥有过硬技术,CnosDB大门永远向您敞开,欢迎大家加入我们。本期就到这里,我们下期再见。 

CnosDB简介

CnosDB是一款高性能、高易用性的开源分布式时序数据库,现已正式发布及全部开源。

欢迎关注我们的代码仓库,一键三连🙇🙇🙇:https://github.com/cnosdb/cnosdb


http://chatgpt.dhexx.cn/article/GBc079y8.shtml

相关文章

时间序列数据库TSDB排名

DB-Engines 中时序列数据库排名 我们先来看一下DB-Engines中关于时序列数据库的排名,这是当前(2016年2月的)排名情况: 下面,我们就按照这个排名的顺序,简单介绍一下这些时序列数据库中的一些。下面要介绍的…

TiDB Server

目录 TiDB Server架构 Online DDL GC 缓存管理 热点小表缓存 例题 TiDB Server架构 Protocol Layer:负责处理客户端的连接 Parse,Compile:负责SQL语句的解析与编译,并生成执行计划 Executor,DistSQL&#xff0…

Prometheus TSDB

TSDB 概述: Head: 数据库的内存部分 Block: 磁盘上持久块,是不变的 WAL: 预写日志系统 M-map: 磁盘及内存映射 粉红色框是传入的样品,样品先进入Head中存留一会,然后到磁盘、内存映射中(蓝色框)。然后当内…

TiDB体系结构之TiDB Server

TiDB体系结构之TiDB Server TiDB ServerTiDB Server主要组成模块SQL语句的解析和编译行数据与KV的转化SQL读写相关模块在线DDL相关模块TiDB的垃圾回收TiDB Server的缓存 TiDB Server TiDB Server的主要作用如下: 处理客户端连接SQL语句的解析和编译关系型数据与KV…

TSDB助力风电监控

各位小伙伴大家好,本期Jesse想再来跟大家聊聊TSDB的应用场景,在此也感谢尹晨所著的《时序数据库在风电监控系统中的应用》一文,其为我们探究TSDB在风电系统中的应用提供了重要的帮助。 本文仅代表个人观点,如有偏颇之处&#xff…

dbt-tidb 1.2.0 尝鲜

作者: shiyuhang0 原文来源: https://tidb.net/blog/1f56ab48 本文假设你对 dbt 有一定了解。如果是第一次接触 dbt,建议先阅读 官方文档 或 当 TiDB 遇见 dbt 本文中的示例基于官方维护的 jaffle_shop 项目。关于此项目的细节介绍&a…

为啥用 时序数据库 TSDB

前言 其实我之前是不太了解时序数据库以及它相关的机制的,只是大概知晓它的用途。但因为公司的业务需求,我意外参与并主导了公司内部开源时序数据库influxdb的引擎改造,所以我也就顺理成章的成为时序数据库“从业者”。 造飞机的人需要时刻…

Prometheus 学习之——本地存储 TSDB

Prometheus 学习之——本地存储 TSDB 文章目录 Prometheus 学习之——本地存储 TSDB前言一、TSDB 核心概念二、详细介绍1.block1)chunks2)index3)tombstone4)meta.json 2.WAL 总结 前言 Prometheus 是 CNCF 收录的第二个项目&…

阿里云IoT物模型上报数据流转到实例内TSDB

阿里云物联网平台上存储的数据最多为30天,为了能让数据永久保存下来,就需要把物联网平台的数据流转到其他的数据库,对于企业版实例,内部有一个实例内的时空数据库TSDB,正好可以利用。下边就介绍一下物联网平台的物模型…

使用TSDB自动检测时序数据的异常情况

本期Jesse就带大家来继续了解一下TSDB的应用问题,小伙伴们,让我们直接步入正题吧。 本文仅代表个人观点,如有偏颇之处,还请海涵~ 现今,每天都有数千亿个传感器产生大量时序数据。公司收集大量数据使得分析…

TSDB 存储引擎介绍

本文介绍 DolphinDB 在2.0版本中新推出的存储引擎 TSDB。 1. OLAP 与 TSDB 适用的场景 OLAP 是 DolphinDB 在2.0版本之前的唯一存储引擎。数据表中每个分区的每一列存为一个文件。数据在表中的存储顺序与数据写入的顺序一致,数据写入有非常高的效率。 OLAP 引擎的…

TSDB与Blockchain

各位小伙伴们我们又见面了,伴随着区块链技术的推广,很多企业也在思考是否将其应用。其实TSDB与区块链有很多共通之处,本期Jesse就来和大家聊聊TSDB与区块链。本文参考了Nicolas Hourcard的文章“You Don’t Need a Blockchain, You Need a Ti…

FlashDB嵌入式数据库之TSDB数据存储解析

一、驱动层:SFUD(Serial Flash Universal Driver) 是一款开源的串行 SPI Flash 通用驱动库 二、中间层:FAL(FLASH ABSTRACTION LAYER))FLASH 抽象层 三、应用层:FlashDB(FlashDB 是一…

时间序列数据库 (TSDB)

参考文档:时间序列数据库 TSDB_时间序列数据库 TSDB-阿里云帮助中心 什么是时序数据库 时序数据是随时间不断产生的一系列数据,简单来说,就是带时间戳的数据。数据可能来自服务器和应用程序的指标、物联网传感器的读数、网站或应用程序上的…

TSDB在高速公路大数据平台的应用

好久没有跟大家聊TSDB的应用场景了,Jesse也在国庆期间进行了补课,今天就跟大家聊聊TSDB在高速公路大数据平台的应用。本文借鉴了郝建明、袁逸涛发表在《上海船舶运输科学研究生学报》的《基于时序数据库的高速公路数据集成平台》一文,感谢二位…

时序数据库(TSDB)

时序数据库(TSDB)是一种特定类型的数据库,主要用来存储时序数据。随着5G技术的不断成熟,物联网技术将会使得万物互联。物联网时代之前只有手机、电脑可以联网,以后所有设备都会联网,这些设备每时每刻都会吐…

TSDB数据库

目录 为什么需要时序数据库: 时间序列数据库的特点: 常见的时间序列数据库: 时间序列数据库存储: 时间序列数据库问题: 参考资料: 内容是在我球的docs上直接复制过来的,懒得写两份&#x…

关于时许数据库的相关名词解释

1 时序数据库TSDB 英文全称为 Time Series Database,提供高效存取时序数据和统计分析功能的数据管理系统。 2 时序数据(Time Series Data) 基于稳定频率持续产生的一系列指标监测数据。例如,监测某城市的空气质量时&#xff0c…

物联网平台搭建的全过程介绍(六)——物联网TSDB之基本知识及读写代码介绍

目录 一、TSDB基本知识 二、物联网平台数据流通架构 三、TSDB数据结构 1、TSDB数据包的组成 2、TSDB的另外两个相关概念 四、阿里云物联网平台实例内TSDB功能介绍 1、数据写入 (1)需要添加的依赖 (2)写入数据代码 2、数据…

ES6—简介

目录 一、概述 二、扩展:Babel转码器 三、拓展:编译打包 一、概述 概念 ES6全称ECMAScript 6.0,是Javascript语言的下一代标准,2015年6月正式发布。 注意,ES6既是一个历史名词,也是一个泛指,…