简介
针对分布式存储、大数据的Spark/HBase等解决方案中的存储IO密集型场景,访问IO存储器的性能对业务整体性能影响明显。同时,在这些场景里面,用户对存储器的单位容量成本也很敏感。在现在以及未来的很长一段时间里面,存储器容量大小与IO性能不可能兼具。同时,利用小容量的高速存储介质作为缓存盘,把预测可能被访问到的IO数据提前放入缓存盘中,下次直接从高速缓存中获取数据,可以显著的改善系统整体的存储IO性能。
分布式存储场景下的智能预取软件框架和大数据场景下智能预取软件框架分别如图1和图2所示。
- IO存储器,指硬盘、SSD。
- 性能即访问IO存储器的性能,指访问IO存储器的带宽、延迟、单位时间操作数。
- 小容量高速存储介质可以是基于RAM的Ramdisk,也可以是NVMe SSD。
智能预取加速功能,包含以下模块:
-
内核态 华为智能预取驱动bcache。 - 用户态华为智能预取引擎框架acache_client。
- 用户态华为智能预取引擎算法hcache。
- bcache配置工具bcache-tools。
版本说明
本特性随Kunpeng Computing DC Solution 20.0.3.SPC1版本发布。