taosdata/TDengine

数据订阅 拉取耗时太长

Open

#33.524 aberto em 10 de nov. de 2025

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)C (24.849 stars) (5.002 forks)batch import
help wantedquestion

Description

网络也正常

社区版 3.3.8.1

目前的架构是 6台服务器，其中5台tdengine server，第6台服务器 从其他5台通过数据订阅拉取数据， 每台服务器拉取开了5个线程，一共25个线程， 参数： properties.setProperty(TMQConstants.CONNECT_TYPE, "ws"); properties.setProperty(TMQConstants.CONNECT_USER, "root"); properties.setProperty(TMQConstants.CONNECT_PASS, "taosdata"); properties.setProperty(TMQConstants.AUTO_OFFSET_RESET, "latest"); properties.setProperty(TMQConstants.MSG_WITH_TABLE_NAME, "true"); properties.setProperty(TMQConstants.ENABLE_AUTO_COMMIT, "true"); properties.setProperty(TMQConstants.AUTO_COMMIT_INTERVAL, "1000");

5台服务器的数据库创建语句 CREATE DATABASE tpih PRECISION 'ns' KEEP 150 VGROUPS 10 CACHEMODEL 'both' DURATION 24h BUFFER 16;

Guia do colaborador

Pilha de tecnologia
cjavasql
Domain
databaseperformance
Tipo Issue
performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 hours
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
needs maintainer response
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
needs investigation
Prerequisites
Understanding of TDengine data subscription mechanismJava client configuration familiarity
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
20
Direção de pesquisa
Investigate the data subscription pull performance issue reported in TDengine v3.3.8.1. The user experiences 17+ second delays when pulling data from 5 servers using 5 threads each (25 total). Relevant files may include the subscription client code (e.g., Java client using TMQConstants) and the server side subscription handling (likely in `source/libs/subscription` and `source/dnode/vnode`). Check if there are known bottlenecks in the WebSocket (ws) connection or serialization. Review comments #3 for potential follow up questions from maintainers. Do not provide a fix, only direction.