调优工具介绍

HiBench测试工具将Storm组件与Kafka组件结合，用以体现Storm组件端到端执行的性能。其中Kafka作为数据源，Storm使用KafkaSpout类消费Kakfa组件生成的数据，并执行不同的拓扑任务，具体涉及wordcount、identity、fixwindow三项测试用例。

该组测试用例主要关注Storm组件端到端性能表现，涉及的配置文件包括hadoop.conf、hibench.conf和storm.conf，具体测试流程如图1所示。

首先在HDFS中生成seed数据，之后使用dataGen脚本向Kafka中提交对应的Topic，将数据写入Kafka中，同时提交Storm拓扑任务，开始消费Kafka中的数据，并最终将性能数据写回至Kafka中，通过metrics_read.sh脚本从对应的Topic中读出性能数据。