部署Hive引擎

规划集群环境

本章节规划的环境有七台服务器组成，分别是任务提交节点（1台）、计算节点（3台）、存储节点（3台）。其中Hive Client作为大数据集群的任务提交节点，计算节点分别是大数据集群的agent1、agent2和agent3。存储节点分别是大数据集群的ceph1、ceph2、ceph3。如图1所示。

集群所使用的硬件环境如表1 集群环境硬件配置所示。

使用到的相关软件版本如表2 集群环境软件配置所示。

安装Hive引擎

安装过程选择“/opt/hive/boostkit”作为软件安装的目录，将Hive依赖的JAR都放在该目录下，如表3 组件安装目录所示。

1. 创建“/opt/hive/boostkit”目录。

   1	mkdir -p /opt/hive/boostkit

2. 在任务提交节点（server1）上，将在软件获取中得到boostkit-omnidata-server-1.3.0-aarch64.jar（“BoostKit-omnidata_1.3.0.zip\BoostKit-omnidata_1.3.0.tar.gz\boostkit-omnidata-server-1.3.0-aarch64.tar.gz\omnidata\lib”中），上传到“/opt/hive/boostkit”目录。

   1	cp boostkit-omnidata-server-1.3.0-aarch64.jar /opt/hive/boostkit

3. 将在软件获取中得到的haf-jni-call-1.2.0.jar（“BoostKit-haf_1.2.0.zip\haf-1.2.0.tar.gz\haf-host-1.2.0.tar.gz\lib\jar”中），上传到“/opt/hive/boostkit”目录。

   1	cp haf-jni-call-1.2.0.jar /opt/hive/boostkit

4. 将在软件获取中得到的hdfs-ceph-3.2.0.jar和boostkit-omnidata-server-1.3.0-aarch64-lib.zip中的aws-java-sdk-bundle-1.11.375.jar、hadoop-aws-3.2.0.jar，上传到“/opt/hive/boostkit”目录（如果是HDFS存储系统，则跳过该步骤）。

   1 2 3

   cp aws-java-sdk-bundle-1.11.375.jar /opt/hive/boostkit cp hadoop-aws-3.2.0.jar /opt/hive/boostkit cp hdfs-ceph-3.2.0.jar /opt/hive/boostkit

5. 使用FTP工具将boostkit-omnidata-hive-exec-3.1.0-1.3.0.zip压缩包上传到安装环境并解压。

   1	unzip boostkit-omnidata-hive-exec-3.1.0-1.3.0.zip

6. 将boostkit-omnidata-hive-exec-3.1.0-1.3.0.zip压缩包内的JAR包拷贝到“/opt/hive/boostkit”目录。

   1 2	cd boostkit-omnidata-hive-exec-3.1.0-1.3.0 cp *.jar /opt/hive/boostkit

   

   

   如果用户需要手动编译boostkit-omnidata-hive-exec-3.1.0-1.3.0.jar，可以根据README.md编译。

7. 新建tez-ndp目录，从hdfs上获取tez.tar.gz（默认路径“/apps/tez/tez.tar.gz”），并解压。

   1 2 3 4 5

   cd /opt/hive/ mkdir tez-ndp cd tez-ndp hdfs dfs -get /apps/tez/tez.tar.gz . tar -zxvf tez.tar.gz

8. 将“/opt/hive/boostkit”目录中的boostkit整个目录拷贝到tez-ndp中，并压缩上传至hdfs上，需要删除原始的tez.tar.gz。

   1 2 3 4 5 6

   cd /opt/hive/tez-ndp cp -r /opt/hive/boostkit . rm -rf tez.tar.gz tar -zcvf tez.tar.gz * hdfs dfs -rmr /apps/tez/tez.tar.gz hdfs dfs -put tez.tar.gz /apps/tez/

9. 修改配置文件“/usr/local/hive/conf/hive-env.sh”，在文件末尾添加以下配置：

   1 2 3 4

   export BOOSTKIT_HOME=/opt/hive/boostkit for f in ${BOOSTKIT_HOME}/*.jar; do HIVE_CONF_DIR=${HIVE_CONF_DIR}:$f done

10. 修改配置文件“/usr/local/tez/conf/tez-site.xml”，在文件末尾添加以下配置：

    1 2 3 4 5 6 7 8 9 10 11 12

    <property> <name>tez.user.classpath.first</name> <value>true</value> </property> <property> <name>tez.cluster.additional.classpath.prefix</name> <value>$PWD/tezlib/boostkit/*</value> </property> <property> <name>tez.task.launch.env</name> <value>PATH=/home/omm/haf-host/bin:$PATH,LD_LIBRARY_PATH=/home/omm/haf-host/lib:$LD_LIBRARY_PATH,CLASS_PATH=/home/omm/haf-host/lib/jar/haf-jni-call-1.2.0.jar:$CLASS_PATH,HAF_CONFIG_PATH=/home/omm/haf-host/</value> </property>

11. 将HAF的安装目录“/home/omm/haf-install/haf-host/lib”下的so文件使用scp命令拷贝到安装hadoop的节点上，目录为“/usr/local/hadoop/lib/native”：
    

    1 2 3 4 5 6 7

    cd /home/omm/haf-install/haf-host/lib cp lib* /usr/local/hadoop/lib/native scp lib* {安装hadoop的节点}:/usr/local/hadoop/lib/native 例子： scp lib* agent1:/usr/local/hadoop/lib/native scp lib* agent2:/usr/local/hadoop/lib/native scp lib* agent3:/usr/local/hadoop/lib/native