鲲鹏社区首页
中文
注册
鲲鹏BoostKit大数据OmniRuntime加速底座

鲲鹏BoostKit大数据OmniRuntime加速底座

大数据OmniRuntime通过插件化的形式,端到端提升数据获取、数据计算、数据交换和数据缓存的性能,从而提升大数据分析性能

SparkHiveClickHouseHBase
OmniRuntime
OmniAdvisor 参数调优
OmniData
算子下推
数据获取阶段
OmniShuffle
Shuffle加速
数据交换阶段
OmniOperator
算子加速
数据处理阶段
OmniMV
物化视图
数据缓存阶段
OmniHBaseGSI
全局二级索引
毕昇JDKopenEuler
鲲鹏服务器
鲲鹏BoostKit大数据使能套件OmniRuntime特性包含OmniData算子下推、OmniOperator算子加速、OmniShuffle Shuffle加速、OmniMV物化视图、OmniAdvisor参数调优、OmniHBaseGSI全局二级索引六大子特性,对数据获取、计算、交换、处理、缓存等阶段多维度优化,插件化解耦交付,提升不同场景大数据引擎性能

OmniRuntime特性价值

统一加速底座
多样化的计算引擎和开源组件中优化项存在重复应用,甚至冲突导致计算性能下降。OmniRuntime加速底座,以插件化形式,支撑不同引擎,减少重复优化,提升计算性能
全周期性能优化
OmniRuntime通过OmniData算子下推、OmniOperator算子加速、OmniShuffle Shuffle加速、OmniMV物化视图、OmniAdvisor参数调优、OmniHBaseGSI全局二级索引优化六大子特性,在数据获取、计算、交换、处理、缓存等阶段进行端到端的性能优化,可实现大数据场景性能提升超30%

OmniRuntime子特性

OmniData算子下推
随着数据爆发式增长,数据读取和等待更加冗长,越来越多的算力消耗在数据传输上。OmniData算子下推基于数据就近计算原理,将数据选择率低的算子下推到存储节点,实现在存储节点本地读取数据进行计算,有效结果数据返回计算节点,提升网络传输效率,优化大数据计算性能。
关键技术
存算协同、算子下推提升总体计算效率
应用场景
大数据存算分离场景、大规模融合场景
适用范围
Spark 3.1.1、Hive 3.1.0

获取开发支持与帮助