HAWQ个人学习笔记(一)——HAWQ介绍

article/2025/9/18 19:09:41

一、什么是HAWQ?

HAWQ是Hadoop原生SQL查询引擎,针对分析性的应用。它具有大规模并行处理很多传统数据库以及其他数据库没有的特性及功能,结合了MMP数据库的关键技术优势和Hadoop的可扩展性和便利性。读写依赖于HDFS。

注:Hadoop是一种分布式文件系统,适用于大规模数据集的应用,具有高容错性。简称HDFS。

二、特性

  • 丰富且兼容的ANSI SQL标准并且支持SQL 92、99、2003 OLAP以及基于Hadoop的PostgreSQL
  • 用户自定义函数支持多种语言:Python、Java、C/C++,R
  • 支持多种压缩方法:snappy,gzip,quicklz,RLE等

注:特性太多,很多还不理解,详见别的文章。

三、架构

Hadoop有许多元素组成。

  1. NameNode
    它负责管理文件系统名称空间和控制外部客户机的访问。

    ①接收客户端的读写请求
    ②接收DataNode的心跳报告
    ③分配数据块的存储节点
    ④存储元数据信息

    注:系统表(元数据)存在 master本地,用户数据存在HDFS。系统入口,终端用户通过master与 HAWQ交互。负责接收客户端连接并处理 SQL命令

  2. DataNode
    它响应来自 HDFS 客户机的读写请求,还响应来自 NameNode 的创建、删除和复制块的命令。
    ①真正处理客户端的读写请求
    ②真正的数据存储
    ③向NameNode发送心跳、发送块报告
    在这里插入图片描述
    在这里插入图片描述

  3. 通讯协议
    默认使用UDP协议,提供对DUP的额外验证,增加了其可靠性,且传输速度和扩展性远大于TCP。
    注:若使用TCP协议,HAWQ限制1000个 segment互联,使用UDP则没有限制。

  4. 物理段和虚拟段
    HAWQ 支持两种存储格式,AO(Append-Only)和Parquet,两种都是
    可以拆分的。

注:
Parquet是面向分析型业务的列式存储
AO只能 insert,不能 update、delete的一种表。压缩表、列存储表,必须是 appendonly的表。


http://chatgpt.dhexx.cn/article/jq2FqgQy.shtml

相关文章

全面讲解光纤、光模块、光纤交换机、光模块组网设计与案例

光纤组网已是当今建筑智能化弱电行业里一种常见的组网方式,组建远距离无线、监控网络时,往往需要使用光纤进行连接通信,使用光纤收发器是经济适用型做法,尤其是在室外的使用。其实光纤收发器不仅可以成对使用,还可以配…

400G光模块的相关知识

现在的高速光模块市场慢慢从100G向400G转移,未来400G必定是主流的高速光模块,目前这个阶段占领主流的还是100G,之前100G的相关知识已经讲述过了,400G与100G的传输速率由各种因素导致,我们讲讲400G与100G的信号传输。 4…

QSFP28-100G-LR4光模块有什么特点及优势?

100G以太网的迅速发展给100G光模块带来了巨大的市场需求,在众多100G光模块中,QSFP28光模块以其较小的尺寸和低功耗的特点成为最受欢迎的光模块。下面易天光通信(ETU-LINK)将从定义,工作原理,应用场景和常见…

DWDM光模块和CWDM光模块的区别

DWDM光模块和CWDM光模块的区别 近年来波分复用(WDM)技术受到网络用户的热烈欢迎,这是一种在单根光纤上复用不同波长激光的多个光载波信号的技术。下文将由亿创飞宇光通信重点介绍CWDM SFP光模块和DWDM SFP光模块。 DWDM光模块是什么?DWDM光模块有哪些主要优势? DWDM光模…

SC接口光模块相关知识

什么是SC接口光模块? SC接口光模块即接口类型为SC的光模块,必须搭配SC接口的跳线才能正常使用。SC光模块的接口的紧固方式是采用插拔销闩式,不须旋转,使用很方便。 SC光模块的分类 SC光模块相比LC光模块和MPO光模块…

全面解析光模块的应用场景

光模块主要应用于数据通信领域,它的功能是实现光电信号的相互转化。因为大数据、区块链、云计算、物联网、人工智能、5G的兴起,使得数据流量迅猛增长,数据中心以及移动通信的光互连成为了光通信行业的研究热点。接下来,易天光通信…

单波100G光模块与4路100G光模块相比,优势有哪些?

目前市场上大多数的100G光模块都是采用4路25Gb/s并行或者波分复用进行传输的,比如100G SR4、100G PSM4、100G LR4、100G CWDM4光模块等,为了降低成本以及更好的传输效率,业界提出了100G single-lambda规范,这个规范是指使用PAM4光…

光模块-寿命分析

光模块结构分类基本指标光模块的使用寿命光模块的三种失效率预计方法基本概念失效率预计 可靠性分析可靠性试验加速寿命试验方法阿伦尼兹(Arrhenius)模型逆幂律模型单应力的艾林(Eyring)模型 光模块加速寿命试验分析方法研究 光模块 光模块是进行光电和电光转换的光电子器件。…

5G通信光模块是什么?5G通信光模块的发展方向如何?

随着移动通信行业的迅猛发展,目前5G已经成为全球关注的超级热门话题,与2G、3G、4G相比,未来光纤通信行业5G地位不容小觑,在5G网络时代,不管什么样的5G承载方案都离不开5G通信光模块,那么5G通信光模块是什么…

100G多模光模块介绍及应用

随着光通信市场对数据传输速率的要求越来越高,更高速率的光模块也随之诞生。与10G、40G的波分传输系统相比,100G光传输实现了偏振复用相位调制技术、数字相干接收技术第三代超强纠错编码技术等一系列重大改革,满足了用户与时俱进的需求。本期…

linux 光功率 模块_【光电通信】10G 光模块消光比补偿方法

今日光电 有人说,20世纪是电的世纪,21世纪是光的世纪;知光解电,再小的个体都可以被赋能。欢迎来到今日光电! ----与智者为伍 为创新赋能---- 0. 引言 随着光纤到户、4G 业务的高速发展,光通信行业对高速光模块的需求也越来越大,这也对光模块厂商产能提出了新的挑…

精品文章!精讲光模块的方方面面,收藏!

光纤: 光纤作为光通信的传播媒介,分为多模光纤和单模光纤。 多模光纤(橘红色)的纤芯直径为 50um~62.5um,包层外直径 125um,适用于短距离传输( 2KM-5KM);单模光纤(黄色&…

XFP与SFP+光模块的区别是什么?能相互连接吗?

在光纤网络中,10G光模块凭借着较低的成本和功耗被广泛应用于学校、公司等应用环境中。XFP和SFP是10G光模块常见的两种封装类型,下面易天光通信(ETU-LINK)就为大家介绍下XFP与SFP光模块的区别是什么?以及它们两者能相互…

400G光模块知识大全

400G光模块是目前高速传输领域中的一种先进产品,被广泛应用于高性能数据中心、通信网络、大规模计算、云计算等领域。本文将从400G光模块的定义、技术、产品型号、应用场景以及未来发展方向进行详细介绍。 一、什么是400G光模块? 400G光模块是指传输速率…

光模块:定义与组成

光模块是光纤通信系统中的核心器件,是实现光信号传输过程中光电转换和电光转换功能的光电子器件。按照分层划分的话,它属于OSI模型的物理层。 那么光模块主要应用在哪里呢?基本上所有的网络传输环节都会与光模块打交道,其应用场景…

光模块选购注意事项大全

光模块是光纤通信的核心配件,现今光模块市场品种繁多,我们在选购光模块的时候需要考虑哪些因素呢?如何才能采购到合适的光模块呢?选购光模块的时候需要考虑的因素: 1、封装速率 光模块的封装有 SFP:用于155M、1.25G、…

光模块基础知识【快速入门】02

目录 第一节 光模块简介 第二节 光模块分类 1、按网络分类 2、按封装分类 3、按应用分类 4、按使用方式分类 5、按激光器分类 6、按波长分类 第三节 PON光模块 1、PON光模块分类 (1)SFF/SFP/SFP和XFP光模块 (2)OLT光模…

400G光模块的发展及现状|封装类型|易天光通信|ETU-LINK

本篇文章易天光通信(ETU-LINK)将带大家聊一聊400G光模块,根据知名光通信市场调研机构预测,2018-2020年全球400G光模块市场规模将分别达到0.56亿美元,2.8亿美元和7.2亿美元,随着网络流量呈现爆发式增长&…

16G BIDI SFP+光模块知识大全

BIDI,即Bidirectional单纤双向。BIDI光模块是一款适用WDM(波分复用)双向传输技术的光模块,可以实现在一根光纤上同时进行光通道内的双向传输。本期文章易天光通信(ETU-LINK)就带大家了解16G BIDI SFP光模块…

光模块外形类型QSFP56你知道多少?

过去几年,随着新技术和高速互连的发展,出现了各种光模块外形类型,其中 QSFP56 作为 QSFP 家族的一员,是针对 200G 应用的解决方案。 QSFP56 与其他 QSFP 系列外形尺寸有什么区别? QSFP56 和 QSFP56-DD 一样吗&#xff…