基准测试

ruststream-rdkafka 在每条消息上的开销：与裸 rdkafka 客户端对照的吞吐量，以及它自身代码的指令数和内存分配次数。

与裸客户端对照

第一张图在真实的 Kafka Broker 上把同一个场景用三种方式运行。裸客户端 直接驱动一个 librdkafka 消费者。Broker crate 用一个自己的循环驱动本 crate 的订阅，上面没有运行时。RustStream 是用户写的服务：应用里的一个 #[subscriber] 处理器。第一项差值是本 crate 比它所封装的客户端多付出的开销，第二项是运行时在其上增加的开销。

每个循环画成一条横条，从最佳一轮延伸到最慢的一轮，圆点标出最佳一轮，缺口标出中位一轮。坐标轴的零点是裸客户端的最佳一轮，圆点在零点右侧表示更慢。空心圆点表示该循环与裸客户端的差异小于各轮的波动范围。图表下方的表格列出最佳一轮，括号里是中位数。

两个场景的区别在于 ack 的含义。在自动提交下，librdkafka 在交出记录时就存储了偏移量，ack 只起建议作用。在 Commit::Tracked 下，每次 ack 都会存储一个偏移量，结算一页用图说明了这一点。

代码的开销

第二张图统计一条消息在服务线程上的开销：稳态下 callgrind 测得的指令数和 DHAT 测得的内存分配次数。每个场景都是一个基于 KafkaBroker、连接同一个 Broker 的服务。计数包括框架的分发、本 crate 的代码，以及在该线程上发起的 librdkafka 调用。拉取、组协议、生产和投递报告运行在 librdkafka 自己的线程上，不计入。冷启动 是启动服务、加入组并取得第一条记录一次性付出的开销。

结果

与裸客户端对照各循环比裸客户端最佳一轮低多少

• 裸客户端
• Broker crate
• RustStream
• 各轮，从最佳到最慢
• 最佳一轮
• 中位一轮
• 轮次的波动范围
• 无法区分

ruststream-rdkafka 0.7.0 on ruststream 0.7.2, AMD Ryzen 9 7900X 12-Core Processor, Linux 7.2.10-x64v3-xanmod1-1, apache/kafka:4.0.0 in Docker on localhost, 测量于 2026-10-17. 这些数字是怎样测得的

-40%-20%0%+20%+40%

consumer group, auto-commit, 512 B JSON

• 无法区分
• 无法区分

裸客户端

1,610,947 msg/s (1,492,199)

Broker crate

1,543,835 msg/s (1,459,819)

RustStream

1,411,671 msg/s (1,270,883)

consumer group, tracked commits, 512 B JSON, ack each

• +15.4%
• 无法区分

裸客户端

1,615,939 msg/s (1,603,120)

Broker crate

1,366,726 msg/s (1,317,848)

RustStream

1,429,085 msg/s (1,324,713)

以表格显示数字

场景	裸客户端	Broker crate	RustStream	额外开销
consumer group, auto-commit, 512 B JSON	1,610,947 msg/s (1,492,199)	1,543,835 msg/s (1,459,819) （比客户端 无法区分）	1,411,671 msg/s (1,270,883)	无法区分
consumer group, tracked commits, 512 B JSON, ack each	1,615,939 msg/s (1,603,120)	1,366,726 msg/s (1,317,848) （比客户端 +15.4%）	1,429,085 msg/s (1,324,713)	无法区分

代码的开销

AMD Ryzen 9 7900X 12-Core Processor, x86_64, 427-5912 MHz, 12 physical, 24 logical, 62.4 GiB, unknown, Linux 7.2.10-x64v3-xanmod1-1, 1.99.0, 3.25.1, bench, inheriting release (opt-level = 3, lto = fat, codegen-units = 16, debug = line-tables-only), ruststream-rdkafka default (json), ruststream macros,json. ruststream-rdkafka 0.7.0, ruststream 0.7.2, 测量于 2026-10-17.

指令数

050001万

内存分配

05

consumer group, JSON decode into a small struct, ack each

3,114.2

1

指令数

3,114.2

内存分配

1

冷启动

978,377 / 276

reply through this crate's publisher, delivery report awaited

7,823.8

5

指令数

7,823.8

内存分配

5

冷启动

1,310,777 / 372

consumer group in batches of 64, from what librdkafka fetched

3,176.4

1

指令数

3,176.4

内存分配

1

冷启动

977,306 / 277

以表格显示数字

场景	指令数	内存分配	冷启动
consumer group, JSON decode into a small struct, ack each	3,114.2	1	978,377 / 276
reply through this crate's publisher, delivery report awaited	7,823.8	5	1,310,777 / 372
consumer group in batches of 64, from what librdkafka fetched	3,176.4	1	977,306 / 277

机器

处理器	AMD Ryzen 9 7900X 12-Core Processor
架构	x86_64
频率	427-5912 MHz
核心数	12 physical, 24 logical
内存	62.4 GiB
内存速度	unknown
操作系统	Linux 7.2.10-x64v3-xanmod1-1
Broker	apache/kafka:4.0.0 in Docker on localhost
编译器	1.99.0
构建配置	bench, inheriting release (opt-level = 3, lto = fat, codegen-units = 16, debug = line-tables-only)
特性	ruststream-rdkafka default (json), ruststream macros,json
RUSTFLAGS	none (the recipe clears RUSTFLAGS, so the numbers are not tied to this CPU)
往返时间	78 µs (one metadata request and its answer)
Valgrind	3.25.1

数字来自本版本的 docs/benchmarks/results.json，由基准测试命令写入。方法论说明它们是怎样测得的，数字说明可以从中得出什么结论。