Flume效能測試報告

標籤：

1. 測試環境1.1 硬體

• CPU：Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz（8核）
• 記憶體：16G

1.2 軟體

• Flume：1.6.0
• Hadoop：2.6.0-cdh5.5.0
• Kfaka：2.11-0.9.0.1
• JDK：1.8.0_91-b14 64位

1.3 測試檔案

檔案大小：107M ，共490010條記錄

1.4 Flume配置

（1）Source配置
Flume Source採用spooldir的方式，直接讀取預先準備好的測試檔案。

agent.sources.source1.type = spooldiragent.sources.source1.spoolDir=/data/flume/dir

（2）MemoryChannel配置

agent.channels.memoryChannel.capacity = 1000000agent.channels.memoryChannel.transactionCapacity = 1000000agent.channels.memoryChannel.type=memory

（3）FileChannel配置

agent.channels.fileChannel.type = fileagent.channels.fileChannel.checkpointDir = /data/flume/checkpointagent.channels.fileChannel.dataDirs = /data/flume/data

（4）JVM配置

JAVA_OPTS="-Xms256m -Xmx256m -Xss256k -Xmn128m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

2. 寫入檔案效能

Flume Config	Time（s）	Throughput（events/s）
MemoryChannel+FileSink	51	9608
FileChannel+FileSink	250	1960

3. 寫入Kafka效能

Flume Config	Time（s）	Throughput（events/s）
KafkaSink+MemoryChannel	57	8597
KafkaChannel	50	9800
KafkaSink+FileChannel	830	590

4. 寫入HDFS效能

Flume Config	Time（s）	Throughput（events/s）
FileChannel+HdfsSink	148	3311

Flume效能測試報告