配置特性
在启动OmniData算子下推前,必须完成Ceph/HDFS和OmniData算子下推Native化配置,而当集群中HDFS和ZooKeeper为安全模式时还需完成Kerberos配置。
场景一:访问Ceph/HDFS的配置(必须项)
OmniData算子下推服务启动时需要读取HDFS/Ceph的配置文件,用户需要上传配置文件hdfs-site.xml和core-site.xml(可在ceph1/hdfs1、ceph2/hdfs2、ceph3/hdfs3节点上进行搜索,在Hadoop安装目录下的“etc/hadoop/”中)到OmniData的“etc”目录下面。
如表1所示,可以添加文件传输的操作,以Ceph为例,把本地路径的hdfs-site.xml传输至选中服务器(ceph1、ceph2、ceph3节点)的“/home/omm/omnidata-install/omnidata/etc/”路径下。core-site.xml的上传方式相同。
参数 |
内容 |
---|---|
任务名称 |
传输配置文件 |
任务描述 |
选择所有卸载节点,传输配置文件 |
传输方向 |
从本地传至远端主机 |
本地路径 |
本地路径的hdfs-site.xml |
远端路径 |
/home/omm/omnidata-install/omnidata/etc/ |
若访问Ceph,卸载节点(ceph1~ceph3)则需要准备多个依赖包:
- hdfs-ceph-3.2.0.jar和librgw_jni.so已经通过SmartKit上传到服务器,且确保会被HAF程序加载。
- 将任意引擎节点(agent1~agent3)上的密钥文件keyring拷贝到ceph1~ceph3上对应的相同目录下(默认路径:“/var/lib/ceph/radosgw/ceph-admin/keyring”)。
- 在ceph1~ceph3上注意keyring的权限:chmod -R 755 /var/lib/ceph;chmod 644 keyring。
场景二:OmniData算子下推Native化的配置(OmniData算子下推Native化必须项)
在卸载节点上添加如下配置到“/home/omm/omnidata-install/omnidata/etc/config.properties”中。
- 进入config.properties配置文件目录,编辑config.properties配置文件。
1 2
cd /home/omm/omnidata-install/omnidata/etc vi config.properties
- 按“i”进入编辑模式,将以下内容添加到文件中。
1 2 3
operator.combine.enabled=true operator.lib.path=/opt/omni-operator/lib dynamic.lib.path=/usr/local/lib/HMPP
其中,operator.lib.path为OmniOperator算子加速 lib目录的绝对路径。dynamic.lib.path为OmniOperator算子加速默认的动态库安装地址。只有在日志等级为DEBUG级别时,才能看到Native化日志记录。如想查看Native化日志,修改“/home/omm/omnidata-install/omnidata/etc/logback.xml”日志级别为DEBUG。如:
1 2 3 4
<!-- L0G LEVEL --> <root level="DEBUG"> <appender-ref ref="FILE" /> </root>
- 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
场景三:Kerberos配置(当集群中HDFS和ZooKeeper为安全模式时)
在卸载节点上添加如下配置到“/home/omm/omnidata-install/omnidata/etc/config.properties”中。同时将相关配置文件(krb5.conf、hdfs.keytab、client_jass.conf等)拷贝到“etc”目录下。
- 配置KERBEROS,并拷贝相关配置文件到指定目录下。
- 进入config.properties配置文件目录,编辑config.properties配置文件。
1 2
cd /home/omm/omnidata-install/omnidata/etc vi config.properties
- 按“i”进入编辑模式,将以下内容添加到文件中。
hdfs.authentication.type=KERBEROS hdfs.krb5.conf.path=/home/omm/omnidata-install/omnidata/etc/krb5.conf hdfs.krb5.keytab.path=/home/omm/omnidata-install/omnidata/etc/hdfs.keytab hdfs.krb5.principal=hdfs/server1@EXAMPLE.COM
- 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
- 拷贝相关配置文件至指定目录。
cp xxx/krb5.conf /home/omm/omnidata-install/omnidata/etc/ cp xxx/hdfs.keytab /home/omm/omnidata-install/omnidata/etc/
- 进入config.properties配置文件目录,编辑config.properties配置文件。
- 配置安全的ZooKeeper连接。
zookeeper.krb5.enabled=true zookeeper.java.security.auth.login.config=/home/omm/omnidata-install/omnidata/etc/client_jaas.conf zookeeper.krb5.conf=/home/omm/omnidata-install/omnidata/etc/krb5.conf cp xxx/client_jaas.conf /home/omm/omnidata-install/omnidata/etc/ cp xxx/krb5.conf /home/omm/omnidata-install/omnidata/etc/
- 配置文件目录授权(omm为当前HAF安装用户,请根据实际情况修改)。
chown omm /home/omm/omnidata-install/omnidata/etc/*
- 上述配置中的斜体部分,需要根据用户集群环境上的实际路径进行修改。
- 需要根据用户不同版本的zookeeper-xxx.jar包,去替换“/home/omm/omnidata-install/omnidata/lib”目录下原来的zookeeper-xxx.jar包。