kettle批量写入tidb数据速度慢，但datax同步速度快
2025-08-18 15:43:56
小香毛猪
(Hacker Mnnkuff0)
2020 年12 月 28 日 13:17
1
为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。
【TiDB 版本】：4.0.6
【问题描述】：kettle批量写入tidb数据速度慢
使用kettle批量写入数据到tidb，速度很慢，100条/s, 且在流程启动之后速度逐渐下降，使用dataX数据同步时速度可以达到6000条/s，是什么原因？
yilong
(yi888long)
2020 年12 月 31 日 09:18
2
可以排查下 tidb 的监控，如果 tidb duration 没有很高，那么可以尝试增加并发数试试。
datax是不是并发执行的，kettle 的并发比较小？
Kongdom
(Kongdom)
2021 年1 月 14 日 00:54
3
kettle可以启用多线程插入，还可以设置提高每次提交数量，还可以设置增大启动内存，还有要设置数据库连接优化参数。
kettle插入真心不慢，慢的是kettle的插入/更新控件
小香毛猪
(Hacker Mnnkuff0)
2021 年1 月 15 日 02:10
4
感谢回复，确实增加了并发数之后速度有所提升。
小香毛猪
(Hacker Mnnkuff0)
2021 年1 月 15 日 02:11
5
嗯嗯。谢谢了，线程多开之后确实有提升，不过资源消耗也很大了，内存和cpu要求都很高
Kongdom
(Kongdom)
2021 年1 月 15 日 02:55
6
这个我们也是差不多，所以采用循环增量同步，几分钟同步一次。
system
(system)
关闭
2022 年10 月 31 日 19:14
7
此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。