HiBench工具介绍

考虑到为了方便客户生成大规模数据集以进行算法性能的测试。我们整理出基于数据集生成工具HiBench的数据生成方式。

HiBench是一个大数据基准套件，可帮助评估不同大数据框架的速度，吞吐量和系统资源利用率等各方面性能。它包含一组Hadoop、Spark和Storm工作负载，同时提供以下功能与算法：Sort、WordCount、TeraSort、Repartition、Sleep、SQL、PageRank、Nutch索引、Bayes、K-means、NWeight和增强的DFSIO等。同时，还包含一些多种流工作负载，Spark streaming、Flink、Storm和Gearpump。