安装OmniMV物化视图软件(CentOS)
由于系统兼容性问题安装Anaconda遇到报错后,可参考下面步骤安装依赖。
- 挂载CentOS镜像,修改Yum源。
mount CentOS-7-aarch64-Everything-1810.iso /media/
- 新建Yum配置文件。
- 新建“/etc/yum.repos.d/CentOS-local.repo”文件。
vim /etc/yum.repos.d/CentOS-local.repo
- 按“i”进入编辑模式,在文件中添加如下内容。
[local] name=CentOS-7.6 local baseurl=file:///media/ enabled=1 gpgcheck=0
- 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
- 新建“/etc/yum.repos.d/CentOS-local.repo”文件。
- 使配置文件生效。
yum clean all yum makecache
- 安装Python 3.10.2。
- 安装依赖。
yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel
- 进入“/home”目录,下载Python 3.10.2源码包。
cd /home wget https://www.python.org/ftp/python/3.10.2/Python-3.10.2.tgz --no-check-certificate
- 解压Python源码包,并进入“/Python-3.10.2”目录。
tar zxvf Python-3.10.2.tgz cd Python-3.10.2
- 配置安装位置。
./configure prefix=/usr/local/python3
- 编译并安装。
make && make install
- 修改Python软连接。
ln -s /usr/local/python3/bin/python3.10 /usr/bin/python3 ln -s /usr/local/python3/bin/pip3.10 /usr/bin/pip3
- 安装依赖。
- 安装Python依赖包。
- Spark引擎依赖包
pip install Cython==0.29.24 pip install numpy==1.22.3 pip install pandas==1.3.5 pip install PyYAML==6.0 pip install mo-sql-parsing pip install sql-metadata==2.6.0 pip install scikit-learn==1.1.2 pip install xgboost==1.7.3 pip install pyspark==3.1.1 pip install pydoop==2.0.0
- ClickHouse引擎依赖包
pip install Cython==0.29.24 pip install numpy==1.22.3 pip install pandas==1.3.5 pip install PyYAML==6.0 pip install mo-sql-parsing pip install sql-metadata==2.6.0 pip install clickhouse-driver==0.2.4 pip install scikit-learn==1.1.2 pip install xgboost==1.7.3
- Spark引擎依赖包
- 下载OmniMV物化视图推荐算法软件包。
- Spark引擎下载OmniMV物化视图推荐算法软件包, 并将Spark SQL Plugin的JAR包、日志解析JAR包放到Spark集群的server节点,软件包获取路径请参见软件获取,软件包路径没有特殊要求。例如以“/opt/omnimv”为例。
mkdir -p /opt/omnimv mv boostkit-omnimv-spark-3.1.1-1.1.0-aarch64.jar /opt/omnimv mv boostkit-omnimv-logparser-spark-3.1.1-1.1.0-aarch64.jar /opt/omnimv mv BoostKit-omnimv_1.1.0.zip /opt/omnimv
- ClickHouse引擎。
mkdir -p /opt/omnimv mv BoostKit-omnimv_1.1.0.zip /opt/omnimv
- Spark引擎下载OmniMV物化视图推荐算法软件包, 并将Spark SQL Plugin的JAR包、日志解析JAR包放到Spark集群的server节点,软件包获取路径请参见软件获取,软件包路径没有特殊要求。例如以“/opt/omnimv”为例。
- 解压OmniMV物化视图组件包,并去除其他用户组的读取和可执行文件权限。
cd /opt/omnimv unzip BoostKit-omnimv_1.1.0.zip chmod -R o-r BoostKit-omnimv_1.1.0
建议使用非root用户进行解压,使得解压的目录获得尽可能小的权限,避免被替换文件。
父主题: OmniMV安装物化视图特性