数据中台Citus集群压测报告

article/2025/9/19 7:52:59

作者简介:
迪颉科技是专注于企业数字化转型数据价值及数据治理,并在大数据、数据中台(零售、制造行业)、dataops/数仓以及数据驱动的应用等,提供专业解决方案的团队。在以往外企的从业经验中,将原来的Teradata等数仓大数据的模型/脚本/数据迁移到hadoop/HTAP开放平台,提供工具链和专业的服务及相关的解决方案。

测试时间及人员:
测试时间:2022/9/12 ~ 2022/09/23 测试人员:迪颉科技 项目组
测试背景:
为PG单机版迁移到Citus集群,集群架构与单机 PostgreSQL 的性能特性对比,从读写的效能,以及 SQL 兼容性、业务使用等多个方面进行验证。
测试环境:
同一台机器,不同数据库,分别是集群_db 和 data_platform 单机(单机)数据库,服务器信息如下:
IP:10.0.4.189 Port:5432
OS:CentOS Linux release 7.8.2003 (Core) CPU:64 vcore Memory:512G,Disk 24T
数据库:PG14.5 à Citus 11.0.6
集群采用一个CN 服务、两个Work
请添加图片描述
结论:
1、 采用集群(目前 2 节点 worker)后,性能大幅度提升(从 2x~ 42x 不等)
2、 按照生产的 SQL 测试了各类用例,SQL 完全兼容,运行良好
3、 验证了架构的扩展性和各种功能,无异常
4、联络人: Thomas 微信号:a29163631

测试用例:
测试数据信息概况:
请添加图片描述
集群按照日期字段(Date_Id)进行数据分布,两者都是分区表,按照日期字段(Date_Id)按月分区。
结论:大表扫描(18 亿),单机 7~28 分钟,集群 26~59 秒
记录数据统计:
1、单机data_platform 单机,运行结果:

nF_AGG_STOCK
请添加图片描述
nF_V_MONTHLY_STOCK
请添加图片描述
2、集群_db,运行结果:

nF_AGG_STOCK
请添加图片描述
nF_V_MONTHLY_STOCK
请添加图片描述
数据关联查询:请添加图片描述

结论:2 个大表关联(18 亿 和 8 千 3 百万),单机:4 小时到 7 小时,集群:8 分钟到 11 分钟

单机data_platform 单机,运行结果:

nF_AGG_STOCK
请添加图片描述
nF_V_MONTHLY_STOCK
请添加图片描述
集群_db,运行结果:

nF_AGG_STOCK请添加图片描述nF_V_MONTHLY_STOCK请添加图片描述
数据关联查询:按照日期聚合请添加图片描述
结论:2 个大表(按日期)关联(18 亿 和 8 千 3 百万),单机:6 小时到 7 小时,集群:12 分钟到 17 分钟

单机data_platform 单机,运行结果:

nF_AGG_STOCK
请添加图片描述
nF_V_MONTHLY_STOCK
请添加图片描述集群_db,运行结果:
nF_AGG_STOCK请添加图片描述
nF_V_MONTHLY_STOCK
请添加图片描述
数据关联查询:按照经营渠道聚合请添加图片描述
结论:2 个大表(按经营渠道)关联(18 亿 和 8 千 3 百万),单机:5 小时到 5 小时,集群:12 分钟到 17 分钟
单机data_platform 单机,运行结果:
nF_AGG_STOCK请添加图片描述nF_V_MONTHLY_STOCK
请添加图片描述
集群_db,运行结果:
nF_AGG_STOCK请添加图片描述
nF_V_MONTHLY_STOCK
请添加图片描述数据更新处理:
请添加图片描述

结论:单个大表(18亿),更新2百7万,单机:平均1分23秒,集群52秒;更新2前7万,平均9分43秒,集群:2分41秒;更新5千9万,平均23分53秒,集群:4分27秒;
单机data_platform 单机,运行结果:
nF_AGG_STOCK:2022-08-31(更新)
请添加图片描述nF_AGG_STOCK:2022-08-31(修复)
请添加图片描述
nF_AGG_STOCK:9 月份(更新)
请添加图片描述
nF_AGG_STOCK: 9 月份(修复)
请添加图片描述
nF_AGG_STOCK: 8 月份(更新)
请添加图片描述
nF_AGG_STOCK: 8 月份(修复)
请添加图片描述
集群_db,运行结果:

nF_AGG_STOCK:2022-08-31(更新)
请添加图片描述
nF_AGG_STOCK:2022-08-31(修复)
请添加图片描述
nF_AGG_STOCK:9 月份(更新)
请添加图片描述
nF_AGG_STOCK: 9 月份(修复)
请添加图片描述nF_AGG_STOCK: 8 月份(更新![请添加图片描述](https://img-blog.csdnimg.cn/be5896a2af6642b6b52c1b003f2b3d5b.jpenF_AGG_STOCK: 8 月份(

请添加图片描述
数据写入处理:请添加图片描述

结论:源表(18 亿),加载 2 百 7 万,单机:平均 6 分 37 秒,集群:1 分 16 秒; 加载 6 千万左右,平均 14 分 30 秒,集群:2 分 8 秒;

单机data_platform 单机,运行结果:

nF_AGG_STOCK_VERIFY:2022 年 9 月份
请添加图片描述
nF_AGG_STOCK_VERIFY:2022 年 8 月份
请添加图片描述
nF_AGG_STOCK_VERIFY:2022 年 7 月份
请添加图片描述
nF_AGG_STOCK_VERIFY:2022 年 6 月份
请添加图片描述
nF_AGG_STOCK_VERIFY:2022 年 5 月份
请添加图片描述
/635aa53c9a5d46da922a6abe0a50dde7.jpeg
nF_AGG_STOCK_VERIFY:2022 年 4 月份请添加图片描述
集群_db 运行结果:

nF_AGG_STOCK_VERIFY:2022 年 9 月
请添加图片描述
nF_AGG_STOCK_VERIFY:2022 年 8 月份
请添加图片描述
nF_AGG_STOCK_VERIFY:2022 年 7 月份
请添加图片描述
nF_AGG_STOCK_VERIFY:2022 年 6 月份
请添加图片描述
nF_AGG_STOCK_VERIFY:2022 年 5 月份
请添加图片描述
/ba94d93572324ade80033c3591f24d7f.jpeg
nF_AGG_STOCK_VERIFY:2022 年 4 月份请添加图片描述
单机data_platform 单机,运行结果:

nF_AGG_STOCK_VERIFY:2022 年 3 月份
请添加图片描述
nF_AGG_STOCK_VERIFY:2022 年 2 月份请添加图片描述
nF_AGG_STOCK_VERIFY:2022 年 1 月份
请添加图片描述
集群_db 运行结果:

nF_AGG_STOCK_VERIFY:2022 年 3 月份
请添加图片描述
nF_AGG_STOCK_VERIFY:2022 年 2 月份
请添加图片描述
nF_AGG_STOCK_VERIFY:2022 年 1 月份
请添加图片描述
请添加图片描述


http://chatgpt.dhexx.cn/article/iRoY7uPm.shtml

相关文章

Citus高可用方案演进介绍

点击上方"数据和云" 关注我们,享更多干货! 1. Citus的复制功能 Citus支持两种数据复制方案: Citus的Shard Replication:通过将DML语句复制到多个Worker节点执行,实现对shard分片数据的复制,仅适用…

Python 基于sicpy求解定积分 ,不定积分以及多重积分

1.SciPy是什么 SciPy是python的一个著名的开源科学库,SciPy一般都是操纵NumPy数组来进行科学计算,统计分析,可以说是基于NumPy之上。SciPy提供了许多科学计算的库函数,如线性代数,微分方程,信号处理&#x…

多重积分积分区域奇偶对称性化简积分

说白了就是根据积分区域的对称性,去看被积函数满足的性质。

java二重积分_《University Calculus》-chaper13-多重积分-二重积分的计算

之前关于二重积分的笔记,介绍了二重积分概念的引入,但是对于它的计算方法(化为累次积分),介绍的较为模糊,它在《概率论基础教程》中一系列的推导中发挥着很重要的作用。 回想先前关于二重积分的几何含义,求解一个曲顶圆…

考研数学多重积分计算秒杀(对称性化简以及雅可比球坐标)

先利用镜面对称性化简交叉项,只需要计算平方项,在利用轮换对称性只算一个二次积分,然后在用雅可比和球坐标积分来算,其中球坐标积分会涉及到三角函数幂次积分,使用华莱士公式来速算。 先平移成标准球面,x^2…

哈密顿算子和拉普拉斯算子 格林公式高斯公式和斯托克斯公式 多重积分的分部积分公式

目录 哈密顿算子(Hamiltionian) ∇ \nabla ∇标量性质矢量性质 拉普拉斯算子(Laplace) Δ \Delta Δ标量性质矢量性质 格林公式高斯公式和斯托克斯公式多重积分的分部积分公式 哈密顿算子(Hamiltionian) …

java二重积分_《University Calculus》-chaper13-多重积分-二重积分的引入

这一章节我们开始对多重积分的研究。 在此之前,我们首先来回忆起积分的过程,在平面中,面临求解不规则图形的面积(常叫曲边梯形)的时候,我们可以采取建立直角坐标系,然后通过得到不规则图形边界的函数表达式f(x)&#x…

基于MATLAB的隐函数偏导与多重积分(附代码)

一. 隐函数的偏导数 给定隐函数: 隐函数的偏导可得: MATLAB格式: F-diff(f,xj)/diff(f,xi) 例题1 已知: 求: 解: MATLAB代码: clc;clear; syms x y; f(x^2-2*x)*exp(-x^2-y^2-x*y); prett…

关于在多重积分以及曲线曲面积分中对称性的应用

引言 在最近的期末复习中经常做到一类需要用对称性来简化计算的题目,而我翻书后却发现书上并没有对这种简化方法有多少介绍,老师倒是在课上讲过,但由于期中以后太摆了也没听,因此经过查找资料后对这种方法也是进行了学习和总结。 …

高斯勒让德(Gauss-legendre)求解多重积分(python,数值积分)

第四十四篇 高斯勒让德求解多重积分 多重积分 在工程分析中,经常需要在一个面积或体积上对函数进行积分。多重积分的解析方法在有限的情况下是可能的,但在这一篇中使用数值积分去求解。一维的函数积分详见重复牛顿-科特斯积分,重复高斯勒让…

数学基础:多重积分

简介 标准定义(参考同济版教材自己给出的定义): 设 f ( x , y , z . . . . ) f(x,y,z....) f(x,y,z....)是有界区域D上的有界函数,讲闭区间D任意分成n个小闭区域 σ n \sigma _n σn​ 在每个小闭区域中任取一点,把小…

多变量微积分(4)——多重积分之三重积分

文章目录 4. 多重积分之三重积分4.1 三种正交坐标系下的三重积分4.1.1 直角坐标系下三重积分4.1.2 柱坐标系下三重积分4.1.3 球坐标系下三重积分4.1.4 积分上下限的选择4.1.5 任意曲面的面积元方法一方法二 4.2 矢量场中的多重积分(重点)4.2.1 三维矢量场…

多重积分中的换元法

34.多重积分中的换元法 34.多重积分中的换元法34.1 二重积分中的换元法34.2 三重积分中的换元法34.2.1 柱面坐标系中的换元法34.2.2 球面坐标系中的换元法 34.多重积分中的换元法 坐标变换中通过换元求多重积分.这个方法用更容易计算的积分来代替复杂的积分。 换元法通过简化被…

matlab多重积分如何使用方法,MATLAB在《高等数学》中的应用_多重积分

论文导读::MATLAB是矩阵实验室的简称,在图形处理方面表现突出。《高等数学》是大学教育中重要的基础理论课之一,图形在《高等数学》的学习中占有重要的位置。在《高等数学》中使用MATLAB可以将复杂的问题变的直观、明了。 关键词:MATLAB,泰勒公式,多重积分 MATLAB是矩阵实…

latex多重积分

重积分 二重积分可以使用\iint表示 ∬ \iint ∬ 三重积分使用\iiint表示 ∭ \iiint ∭ 环路积分使用\oint表示 ∮ \oint ∮ 多重环路同理,但是需要在amsmath宏包后加上esint宏包 下标 一般直接使用\iint_D显示 ∬ D \iint_D ∬D​ 想要让D在正下方&#xff0…

高等数学(总结9-多重积分)

1)二重积分的性质&#xff1a; A&#xff09; &#xfeff;&#xfeff; B)可加性 C) D)如果f(x,y)<φ(x,y)E)M,m分别是f(x,y)的最大值和最小值: F)积分中值定理 2)二次积分公式&#xff1a;注意积分形状&#xff0c;x,y可以调换。 3&#xff09;极坐标也可以采用二次…

多重积分的理解以及转动惯量的求解

多重积分的理解以及转动惯量的求解 一、积分 学到这里应该对与积分的概念很熟悉这里就不过多赘述。 二、二重积分 二重积分的一般形式为     ∬ S f ( x , y ) d x d y \iint_S f(x,y)\,{\rm d}x\,{\rm d}y ∬S​f(x,y)dxdy 一般理解为一个物体的体积&#xff0c;这里…

Insyde uefi 隐藏设置_文件隐藏工具Wise Folder Hider Pro便携版分享

Wise Folder Hider Pro v4.3.4.193是一款非常实用的文件隐藏工具&#xff0c;使用它可以将你的一些文件隐藏起来&#xff0c;比如图片&#xff0c;文档、视频等。 每个人都有一些不想要别人看见的东西&#xff0c;放在电脑桌上容易被别人点开&#xff0c;好奇的原因点开看一下&…

Insyde uefi 隐藏设置_Hidden bar:Mac菜单栏图标隐藏利器

Hidden bar 有些软件可以设置不在菜单栏显示图标&#xff0c;也有不少软件没有提供这样的设置。随着安装的软件越来越多&#xff0c;不少人会为Mac菜单栏位置紧张烦恼。 Hidden Bar 是一款类似 Bartender 的 macOS 菜单栏应用图标隐藏软件&#xff0c;按住 ⌘ 同时拖动软件 ico…