HIVE-TEZ引擎配置安装

article/2025/11/1 2:26:13

HIVE-TEZ引擎配置安装

  • 基础环境准备
  • 参考安装流程
    • 1. TEZ环境准备
      • 1. 编译工具
      • 2. HADOOP
      • 3. PROTOBUF
        • 安装流程
      • 4. LZO
        • 安装流程
      • 5. TEZ
        • 安装流程
    • 2. TEZ配置
      • 1. HADOOP
        • tez-site.xml
        • tez.sh
      • 2. HIVE
        • hive-site.xml
        • hive-env.sh
        • 日志JAR包冲突
  • END!

基础环境准备

由于该文章主要关注TEZ引擎的安装，相关组件均只说明版本信息，配置TEZ过程中的部分组件还是会解释清楚的哈

组件版本下边有没？备注
JDK1.8.0_322无基础环境，无需多言
MAVEN3.8.6无编译TEZ等使用
GIT2.33.0无编译TEZ等使用
HADOOP3.1.0无HIVE安装的基础，无需多言
HIVE3.1.2无弄TEZ干啥，还不是为了他
PROTOBUF2.5.0有protobuf-2.5.0下载
LZO2.10有LZO-2.10下载&LZO-源码下载
TEZ0.10.1有TEZ-源码下载

参考安装流程

还是一样！感谢各位大神在互联网上的种种分享！

  1. 官方文档
  2. 非常详细有用的安装过程-1！
  3. 非常详细有用的安装过程-2！

1. TEZ环境准备

注：本想重新再装一次，后来发现时间不够了，就用了昨天安装好的，所以例图色调不太一样，另外，我把大致的路径都放出来了，之前看到的一些文章路径描述不清，导致安装软件过程中总是在想我是谁！？！我在哪？！？我在做什么？！？

1. 编译工具

为避免在安装过程中因为编译工具报错，如在编译安装protobuf时下二图，我们预先安装一些编译工具

### 安装编译工具yum -y install autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel zlib-devel gcc gcc-c++

错误1
错误2

2. HADOOP

在这里插入图片描述

根据官网所属，我们如果安装TEZ版本0.8.3和更高版本，TEZ需要使用的Apache Hadoop版本为2.6.0或更高版本。对于Tez版本0.9.0和更高版本，Tez需要的Apache Hadoop版本为2.7.0或更高版本。
我这里使用的是HADOOP3.1.0，可以根据上述查看自己的版本是否匹配哈

3. PROTOBUF

ProtoBuf（protocol buffers）是一种灵活、高效、自动化机制、语言无关、平台无关、可扩展的序列化结构数据的方法－可类比 XML，但是比 XML 更小、更快、更为简单。可用于（数据）通信协议、数据存储等。
在TEZ编译过程中如果使用的不是2.5.0版本的protobuf则会报错停止MVN编译，为了避免在本就冗长的MVN编译过程中停止重来，预先安装哈
链接:
protobuf-2.5.0下载路径

安装流程

wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gztar -zxvf protobuf-2.5.0.tar.gzcd protobuf-2.5.0ll
# 目录结构如下
# -rw-r--r--  1 109965 5000  36976 Feb 27  2013 aclocal.m4
# -rwxr-xr--  1 109965 5000   1519 Feb 27  2013 autogen.sh
# -rw-r--r--  1 109965 5000  25312 Feb 27  2013 CHANGES.txt
# -rwxr-xr--  1 109965 5000  44826 Feb 27  2013 config.guess
# -rw-r--r--  1 109965 5000   3709 Feb 27  2013 config.h.in
# -rwxr-xr--  1 109965 5000  35454 Feb 27  2013 config.sub
# -rwxr-xr--  1 109965 5000 599150 Feb 27  2013 configure
# -rw-r--r--  1 109965 5000   4829 Feb 27  2013 configure.ac
# -rw-r--r--  1 109965 5000   3527 Feb 27  2013 CONTRIBUTORS.txt
# -rw-r--r--  1 109965 5000   1732 Feb 27  2013 COPYING.txt
# -rwxr-xr--  1 109965 5000  20334 Feb 27  2013 depcomp
# drwxr-xr-x  2 109965 5000   4096 Feb 27  2013 editors
# drwxr-xr-x  2 109965 5000   4096 Feb 27  2013 examples
# -rwxr-xr--  1 109965 5000   1105 Feb 27  2013 generate_descriptor_proto.sh
# drwxr-xr-x 15 109965 5000   4096 Feb 27  2013 gtest
# -rwxr-xr--  1 109965 5000  13998 Feb 27  2013 install-sh
# -rw-r--r--  1 109965 5000   9537 Feb 27  2013 INSTALL.txt
# drwxr-xr-x  3 109965 5000   4096 Feb 27  2013 java
# -rw-r--r--  1 109965 5000 283680 Feb 27  2013 ltmain.sh
# drwxr-xr-x  2 109965 5000   4096 Feb 27  2013 m4
# -rw-r--r--  1 109965 5000  15189 Feb 27  2013 Makefile.am
# -rw-r--r--  1 109965 5000  41742 Feb 27  2013 Makefile.in
# -rwxr-xr--  1 109965 5000  10346 Feb 27  2013 missing
# -rw-r--r--  1 109965 5000    408 Feb 27  2013 protobuf-lite.pc.in
# -rw-r--r--  1 109965 5000    429 Feb 27  2013 protobuf.pc.in
# drwxr-xr-x  3 109965 5000   4096 Feb 27  2013 python
# -rw-r--r--  1 109965 5000   5312 Feb 27  2013 README.txt
# drwxr-xr-x  4 109965 5000   4096 Feb 27  2013 src
# drwxr-xr-x  2 109965 5000   4096 Feb 27  2013 vsprojects./autogen.sh
# 结果如下图一./configuremake installprotoc --version
#libprotoc 2.5.0

图一 autogen结果

4. LZO

由于在LZO的安装包中依赖HADOOP的对应版本，故直接下载LZO编译好的安装包可能会有不适配的问题导致报错，所以下载LZO源码包我们自己编译
链接:
LZO-2.10下载路径
LZO-源码下载路径

安装流程

#LZO插件部分wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gztar -zxvf lzo-2.10.tar.gzcd lzo-2.10/./configure -prefix=/usr/local/lzo/makemake install#LZO源码部分（我没wget下来，sftp传到服务器上的）unzip hadoop-lzo-master.zipcd hadoop-lzo-mastervim pom.xml
#变更hadoop.current.version为自己的HADOOP版本号#创建临时环境变量
export C_INCLUDE_PATH=/usr/local/lzo/include
export LIBRARY_PATH=/usr/local/lzo/libmvn package -Dmaven.test.skip=truecd target#将target中打好包的snapshot放在hadoop的对应位置下
cp /opt/software/install_packages/hadoop-lzo-master/target/hadoop-lzo-0.4.21-SNAPSHOT.jar /opt/software/hadoop3.1.0/share/hadoop/common/

在这里插入图片描述

5. TEZ

TEZ相关项目如上所述，最好针对不同版本的HADOOP重新进行编译，避免TEZ配置后HADOOP或HIVE无法正常启动等问题
链接:
TEZ-源码下载路径

安装流程

wget https://mirrors.bfsu.edu.cn/apache/tez/0.10.1/apache-tez-0.10.1-src.tar.gztar -zxvf apache-tez-0.10.1-src.tar.gzcd apache-tez-0.10.1-src/vim pom.xml
#变更hadoop.current.version为自己的HADOOP版本号
#可以选择在编译的module中把tez-ui去掉，我这个模块编译失败了。。。#正式开始编译
#接下来就是极长时间的编译过程
#过程中如有问题可以遇问题杀问题，我在这一整套下来编译时就没啥问题了
mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true#编译完成！
cd tez-dist/cd target/#需要用到这个路径上传和放置文件
pwd
#/opt/software/install_packages/apache-tez-0.10.1-src/tez-dist/target/tez-0.10.1-minimal.tar.gzcp /opt/software/install_packages/apache-tez-0.10.1-src/tez-dist/target/tez-0.10.1-minimal.tar.gz /opt/software/tez0.10.1tar -zxvf tez-0.10.1-minimal.tar.gzhadoop fs -mkdir /tezhadoop fs -put /opt/software/install_packages/apache-tez-0.10.1-src/tez-dist/target/tez-0.10.1.tar.gz /tez#基本准备的差不多了，接下来就是各种环境配置了

在这里插入图片描述
在这里插入图片描述

2. TEZ配置

1. HADOOP

tez-site.xml

在HADOOP安装目录下的$HADOOP_HOME/etc/hadoop/中新建tez-site.xml文件，如果是集群，记得同步

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><!-- The location of the Tez libraries which will be localized for DAGs --><!-- 就是之前上传到HDFS的TEZ函数库 --><property><name>tez.lib.uris</name><value>${fs.defaultFS}/tez/tez-0.10.1.tar.gz</value></property><!-- Tez容器内最大Java堆内存占比（0~1或-1），设细d防止爆内存 --><property><name>tez.container.max.java.heap.fraction</name><value>0.5</value></property><property><name>tez.use.cluster.hadoop-libs</name><value>true</value></property><property><name>tez.history.logging.service.class</name><value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value></property><property><name>tez.am.resource.memory.mb</name><value>1024</value></property><property><name>tez.am.resource.cpu.vcores</name><value>1</value></property><property><name>tez.task.resource.memory.mb</name><value>1024</value></property><property><name>tez.task.resource.cpu.vcores</name><value>1</value></property>
</configuration>

tez.sh

在$HADOOP_HOME/etc/hadoop/shellprofile.d中存在配置文件example.sh，可以直接使用该配置文件，也可以重新创建tez.sh的配置文件

<!-- 省略上述原始内容 -->
hadoop_add_profile tez
function _tez_hadoop_classpath
{hadoop_add_classpath "$HADOOP_HOME/etc/hadoop" afterhadoop_add_classpath "/opt/software/tez0.10.1/*" afterhadoop_add_classpath "/opt/software/tez0.10.1/lib/*" after
}

2. HIVE

hive-site.xml

<!-- 省略上述原始内容 --><property><name>hive.execution.engine</name><value>tez</value></property>

hive-env.sh

<!-- 省略上述原始内容 -->
export TEZ_HOME=/opt/software/tez0.10.1    #是你的tez的解压目录
export TEZ_JARS=""
#读取到tez下的jar包
for jar in `ls $TEZ_HOME |grep jar`; doexport TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; doexport TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done
# 配置支持lzo压缩
#export HIVE_AUX_JARS_PATH=/opt/module/hadoop/share/hadoop/common/hadoop-lzo-0.4.20.jar$TEZ_JARS
export HIVE_AUX_JARS_PATH=/opt/software/hadoop3.1.0/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar$TEZ_JARS

日志JAR包冲突

mv /opt/software/tez0.10.1/lib/slf4j-log4j12-1.7.30.jar /opt/software/tez0.10.1/lib/slf4j-log4j12-1.7.30.jar.back

END!


http://chatgpt.dhexx.cn/article/7SlgSWqo.shtml

相关文章

Tez安装与使用（与hive配合使用）及lzo.jar报错错误解决

Tez安装与使用（与hive配合使用）及lzo.jar报错错误解决

1 tez介绍 tez是一个apache的开源项目&#xff0c;意在构建一个应用框架&#xff0c;能通过复杂任务的DAG来处理数据。它是基于当前的hadoop yarn之上&#xff0c;换句话就是yarn为其提供资源。 tez主要的两个设计目标: 增强终端用户使用: 灵活的数据流定义API 灵活的输入…
阅读更多...
Tez安装配置

Tez安装配置

介绍&#xff1a;hive默认计算引擎为MR&#xff0c;而MR的特性决定了它的运算速度并不是太让人满意。在此将其运算引擎修改为Tez&#xff08;当然在此需要先安装Tez&#xff09;&#xff0c;Tez基于内存的计算使得hive可以有更高的运算效率 对于 Tez 0.8.3 及更高版本&#xf…
阅读更多...
计算引擎Tez安装

计算引擎Tez安装

1.解压压缩包 tar -zxvf apache-tez-0.9.2-bin.tar.gz2.将tez路径下的压缩包放到hdfs上 /opt/lagou/servers/tez/share/tez.tar.gzhdfs dfs -mkdir /user/tez hdfs dfs -put tez.tar.gz /user/tez/3.配置hadoop让其他地方知道该路径 该路径下新建配置文件tez-site.xml /opt/…
阅读更多...
tez得文件生成个数与什么有关？

tez得文件生成个数与什么有关？

之前研究过hive on spark&#xff0c;最后的文件生成个数hive-mapJoin和skewJoin-CSDN博客 现在在cdp了 使用的是hive on tez。也在学习下这个文件的生成个数与什么有关&#xff1f; 以该表为例 有11个文件 每个差不多60M左右 总共620M左右。 我们先想下 哪些参数和生成的文件…
阅读更多...
hive-tez

hive-tez

1 参考&#xff1a; https://www.freesion.com/article/9435149734/ https://blog.csdn.net/Shea1992/article/details/101041244 https://www.jianshu.com/p/9fb9f32e1f0f https://www.jianshu.com/p/45c95a51a8c2 https://blog.csdn.net/weixin_43941899/article/details/105…
阅读更多...
CDH6.3.2搭建HIVE ON TEZ步骤

CDH6.3.2搭建HIVE ON TEZ步骤

|引言 参考&#xff1a;CDH6.3.2 hive on tez搭建过程_我不是橙子的博客-CSDN博客 CDH6.3.2版本搭建Tez执行引擎过程 - 虎啸千峰 - 博客园 hive on tez集成完整采坑指南(含tez-ui及安全环境)_匆匆z2的博客-CSDN博客_hive on tez 下载过程中若是感觉慢的话可以参考这个操作步…
阅读更多...
tez-ui docker镜像打包配置并部署K8S

tez-ui docker镜像打包配置并部署K8S

一、下载tez ui安装包并修改配置文件 1.1 选择版本下载&#xff0c; tez-ui下载官方地址 mkdir tez-ui && cd tez-ui wget https://repository.apache.org/content/repositories/releases/org/apache/tez/tez-ui/0.9.1/tez-ui-0.9.1.war1.2 解压war包&#xff0c;修改…
阅读更多...
Apache Tez 了解

Apache Tez 了解

转发自这位大佬博客&#xff1a;https://www.cnblogs.com/rongfengliang/p/6991020.html 你可能听说过Apache Tez&#xff0c;它是一个针对Hadoop数据处理应用程序的新分布式执行框架。但是它到底是什么呢&#xff1f;它的工作原理是什么&#xff1f;哪些人应该使用它&#xf…
阅读更多...
Tez - 安装

Tez - 安装

一、Tez 安装 1 下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.9.0/ 2 二进制包安装 2.1 解压并重命名 [roothadoop01 ~]# tar -zxvf /home/apache-tez-0.9.0-bin.tar.gz -C /usr/local/ [roothadoop01 ~]# mv /usr/local/apache-tez-0.9.0-bin/ /usr/local/t…
阅读更多...
tez详解

tez详解

1 tez的概览 1.1 tez介绍 1.1.1 介绍 tez是一个apache的开源项目&#xff0c;意在构建一个应用框架&#xff0c;能通过复杂任务的DAG来处理数据。它是基于当前的hadoop yarn之上&#xff0c;换句话就是yarn为其提供资源。 tez主要的两个设计目标: 增强终端用户使用: 灵活…
阅读更多...
TEZ深入理解

TEZ深入理解

简介 Tez是Apache开源的支持DAG作业的计算框架&#xff0c;是支持HADOOP2.x的重要引擎。它源于MapReduce框架&#xff0c;核心思想是将Map和Reduce两个操作进一步拆分&#xff0c;分解后的元操作可以任意灵活组合&#xff0c;产生新的操作&#xff0c;这些操作经过一些控制程序…
阅读更多...
Tez 简介

Tez 简介

目录 一、Tez简介 二、Tez UI界面 三、Tez 日志 一、Tez简介 1.1 Tez 是支持 DAG 作业的开源计算框架&#xff0c;它可以将多个有依赖的作业转换为一个作业从而大幅提升 DAG 作业的性能。 从本质上讲&#xff0c;Tez 组成非常简单&#xff1a; 数据处理管道引擎&#xff…
阅读更多...
TEZ介绍及使用

TEZ介绍及使用

TEZ介绍及使用 TEZ是什么&#xff1f; Tez是支持DAG作业的开源计算框架&#xff0c;它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG 作业的性能。 Tez源于MapReduce框架&#xff0c;核心思想是将Map和Reduce两个操作进一步拆分&#xff0c;即Map被拆分成Input、Proc…
阅读更多...
BACnet安全连接(BACnet/SC) 介绍

BACnet安全连接(BACnet/SC) 介绍

BACnet安全连接(BACnet/SC)是ASHRAE BACnet委员会最近发布的BACnet协议的增编。是在增编135-2016bj中介绍的。它基于一个安全的、加密的数据链路层。 专门设计以满足不同IP基础结构。对BACnet通信使用标准化的、通常已经存在的IP网络基础设施的需求正在增加&#xff0c;BACnet/…
阅读更多...
BACnet学习笔记

BACnet学习笔记

BACnet是一种用于自动化建筑和控制网络的数据通信协议。(Building Automation and Control Networks) 自控网络通信协议基本体系: CAN -- 只定义了通信标准 BACnet BAC Model and Message Network Layer LANs The protocol can be viewed as a matrix of layers. Propertie…
阅读更多...
BACnet协议简要说明及组网简介

BACnet协议简要说明及组网简介

主题概要BACnet协议BACnet协议简要说明&#xff0c;组网简介编辑时间新建20160217序号参考资料1BACnet协议正文1995版2http://www.bacnet.org/Tutorial/BACnetIP/ 1 协议说明 BACnet协议(A Data Communication Protocol for Building Automation and Control Networks)&#…
阅读更多...
BACnet协议详解——应用层说明一

BACnet协议详解——应用层说明一

文章目录 写在前面1. 应用层模型1.1 需确认的应用层服务1.2 无需确认的应用层服务2 BACnet报文的分段2.1 报文分段规则2.1.1 APDU数据流的分段规则2.1.2 APDU最大长度的确定2.1.3 可接受的最大分段数2.2 分段协议控制信息（PCI）写在前面 年关将至，事情有点多，耽误了原本定好…
阅读更多...
BACnet协议读取与发送

BACnet协议读取与发送

BACnet协议读取与发送 注意我的提问&#xff1a;更新开发环境BACnet相关基础知识BACnet格式BACnet代码BACnet设备查找BACnet设备读取BACnet写入操作AND其他...**BACpypes库中没有提供非标准数据类型接口&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;** 结束 因…
阅读更多...
Bacnet协议报文格式详解（一）

Bacnet协议报文格式详解（一）

系统实现基于BACnet/IP&#xff08;又称B/IP&#xff09;网络进行通讯。BACnet虚拟链路层&#xff08;BVLL&#xff09;提供了BACnet网络层和某指定的通讯子系统的接口&#xff0c;本文指定了BACnet虚拟链路控制&#xff08;BVLC&#xff09;要求支持的定向和广播信息。本实现关…
阅读更多...
bacnet (收集)

bacnet (收集)

嵌入式系统中BACnet-MS/TP协议栈的实现 一个BACnet设备由一个网络号码和一个MAC地址唯一确定 bacnet MS/TP 走的是485网络 https://www.eefocus.com/mcu-dsp/226727 1 引言 20世纪90年代&#xff0c;Internet经历了爆炸性发展&#xff0c;成为垄断全球的计算机网络。以Cisc…
阅读更多...
推荐文章

Copyright @ 2022~2023