Tez安装配置

article/2025/11/1 2:38:34

介绍：hive默认计算引擎为MR，而MR的特性决定了它的运算速度并不是太让人满意。在此将其运算引擎修改为Tez（当然在此需要先安装Tez），Tez基于内存的计算使得hive可以有更高的运算效率

对于 Tez 0.8.3 及更高版本，Tez 需要 Apache Hadoop 为 2.6.0 或更高版本。对于 Tez 0.9.0 及更高版本，Tez 需要 Apache Hadoop 为 2.7.0 或更高版本。

一、下载tez的依赖包：http://tez.apache.org 然后解压apache-tez-0.9.1-bin.tar.gz

二、配置

1.在hive中配置Tez

在hive安装目录conf/hive-env.sh文件中确保有如下配置

HADOOP_HOME=/data/hadoop-2.9.2
export HIVE_CONF_DIR=/data/hive-2.3.4/conf#一般只用追加下面的就行，上面的配置在安装hive时已经配置好
#自己的tez的解压目录
export TEZ_HOME=/data/tez-0.9.1
export TEZ_JARS=""
for jar in `ls $TEZ_HOME |grep jar`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done
export TEZ_JARS=${TEZ_JARS:1}
export HIVE_AUX_JARS_PATH=$TEZ_JARS

2.在hive-site.xml文件中添加如下配置以更改hive计算引擎为tez（默认为MR）

(也可在查询时通过参数set hive.execution.engine=tez指定)

<property><name>hive.execution.engine</name><value>tez</value>
</property>

3.配置Tez 在Hive的conf目录下创建tez-site.xml文件并添加如下内容

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><!--指定要读取的tez的jar包地址 --><name>tez.lib.uris</name><value>${fs.defaultFS}/tez/apache-tez-0.9.1-bin.tar.gz</value></property><property><!-- tez可使用集群的jar包 --><name>tez.use.cluster.hadoop-libs</name><value>true</value></property><property><name>tez.history.logging.service.class</name><value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value></property>
</configuration>

4.上传Tez压缩包到集群

hdfs dfs -mkdir /tez
hdfs dfs -put /data/apache-tez-0.9.1-bin.tar.gz /tez

5.内存设置

因为Tez需要基于内存计算，在启动任务前会进行内存检查（检查依据为map与reduce任务所需内存总和），若内存不够时会杀死执行进程。在内存资源预算有限时可以关闭虚拟机内存检查；修改yarn-site.xml如下：

<!--关闭虚拟内存检查-->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>下面配置可以不用加<property><name>yarn.scheduler.minimum-allocation-mb</name><value>2048</value><description>default value is 1024</description>
</property>
<property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>2.1</value><description>default value is 2.1</description>
</property>

6.校验

启动hive