taosdata/TDengine

数据订阅 拉取耗时太长

Open

#33,524 建立於 2025年11月10日

在 GitHub 查看
 (3 留言) (0 反應) (0 負責人)C (24,849 star) (5,002 fork)batch import
help wantedquestion

描述

网络也正常

社区版 3.3.8.1

目前的架构是 6台服务器，其中5台tdengine server，第6台服务器 从其他5台通过数据订阅拉取数据， 每台服务器拉取开了5个线程，一共25个线程， 参数： properties.setProperty(TMQConstants.CONNECT_TYPE, "ws"); properties.setProperty(TMQConstants.CONNECT_USER, "root"); properties.setProperty(TMQConstants.CONNECT_PASS, "taosdata"); properties.setProperty(TMQConstants.AUTO_OFFSET_RESET, "latest"); properties.setProperty(TMQConstants.MSG_WITH_TABLE_NAME, "true"); properties.setProperty(TMQConstants.ENABLE_AUTO_COMMIT, "true"); properties.setProperty(TMQConstants.AUTO_COMMIT_INTERVAL, "1000");

5台服务器的数据库创建语句 CREATE DATABASE tpih PRECISION 'ns' KEEP 150 VGROUPS 10 CACHEMODEL 'both' DURATION 24h BUFFER 16;

貢獻者指南

技術棧
cjavasql
領域
databaseperformance
議題類型
performance
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
3
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
1-3 hours
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
needs maintainer response
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
needs investigation
前置要求
Understanding of TDengine data subscription mechanismJava client configuration familiarity
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
20
研究方向
Investigate the data subscription pull performance issue reported in TDengine v3.3.8.1. The user experiences 17+ second delays when pulling data from 5 servers using 5 threads each (25 total). Relevant files may include the subscription client code (e.g., Java client using TMQConstants) and the server side subscription handling (likely in `source/libs/subscription` and `source/dnode/vnode`). Check if there are known bottlenecks in the WebSocket (ws) connection or serialization. Review comments #3 for potential follow up questions from maintainers. Do not provide a fix, only direction.