介绍

产品介绍

HiBench是一个大数据基准套件，可以帮助您评测不同大数据平台的性能、吞吐量和系统资源利用率。它包含一组Hadoop、Spark和Streaming测试模式，包含Sort、WordCount、TeraSort、Sleep、SQL、PageRank、Nutch index、Bayes、Kmeans、NWeight和增强型的DFSIO等。本文档主要介绍如何使用HiBench对HDP集群的Spark进行基准测试。

相关概念

• Hadoop

  Hadoop是一个开源的分布式存储及计算框架，被广泛用于海量数据的存储与处理，可以以可靠、高效、可伸缩的方式进行数据处理。

• Spark

  Spark是用于大规模数据处理的统一分析引擎，具有可伸缩、基于内存计算等特点，已经成为轻量级大数据快速处理的统一平台，各种不同的应用，如实时流处理、机器学习、交互式查询等，都可以通过Spark建立在不同的存储和运行系统上。

应用场景

HiBench被使用于衡量Spark集群的性能。