产品介绍
- 您同意在使用鲲鹏BoostKit OmniData算子下推时,遵守国家法律法规、社会公共道德。您不得利用鲲鹏BoostKit OmniData算子下推从事任何违法、侵犯他人权益等扰乱社会秩序、破坏社会稳定的行为,亦不得利用鲲鹏BoostKit OmniData算子下推从事任何危害或试图危害计算机系统及网络安全的活动。
- 您同意华为不应对间接、附带、特殊或任何形式的惩罚性赔偿承担任何责任,也不应对任何利润、收入、数据、数据使用的损失承担任何责任。
- 您应知悉并同意,对于使用鲲鹏BoostKit OmniData算子下推软件包而依赖的开源及第三方软件,需要您自行下载集成,华为不对该部分的软件漏洞和安全问题承担任何责任。
大数据OmniData算子下推特性适用于大量计算节点读取远端节点数据的大数据存算分离场景或大规模融合场景。这类场景下,大量原始数据从存储节点通过网络传输到计算节点进行处理,有效数据占比低,极大浪费网络带宽。
大数据OmniData算子下推特性:
- 实现将计算侧的Filter、Aggregation、Limit算子下推到存储节点进行计算,将算子处理完后的结果通过网络传输到计算节点,降低网络传输数据量,提升Spark和openLooKeng计算性能。
- 实现对接同构加速框架(Homogeneous Acceleration Framework,HAF),替换原有GRPC通信下推框架的server/client接口,通过注解形式实现下推。
- 实现将算子下推到Ceph/HDFS存储节点上处理。
父主题: 简介