Disconnected Consumers Continue To Take Up Space in Heap
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- kafka, node.js, typescript
- Ambito
- backend, distributed-systems
Direzione di ricerca
Inizia riproducendo il ciclo di vita segnalato con i punti di ingresso Consumer.connect() e Consumer.disconnect(), acquisendo heap snapshots tra le creazioni dei Consumer come descritto. Traccia ciò che rimane trattenuto dopo la disconnessione; il lavoro è completato quando cicli ripetuti di connessione/disconnessione non trattengono più circa 1 MB per Consumer.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Environment Information
- OS: Windows 11
- Node Version: 22.7.0
- NPM Version: 10.8.2
- C++ Toolchain: Visual Studio Code
- confluent-kafka-javascript version: 1.4.1
Steps to Reproduce
- Take a snapshot of the heap usage
- Initialize a new Kafka Consumer
- Call the Consumer.connect() method
- Call the Consumer.disconnect() method
- Take a snapshot of the updated heap usage
for(let i = 0; i < 10; i++) {
const consumer = kafka.consumer({ kafkaJS: { groupId: `Group-${i}`, fromBeginning: false} });
await consumer.connect();
await consumer.disconnect();
}
Running the above snippet and taking heap snapshots between each consumer creation shows that around 1 MB of memory is retained for each disconnected consumer. This can add up over time if an application needs to spin up a large number of consumers.
Comparing the latest heap snapshot to the initial the largest size delta is in the Array constructor which added 7.2MB.
Comparing each snapshot to the previous one shows the same. The Array constructor has the largest size delta and increases at a consistent rate between snapshots.
- Lingua principale
- TypeScript
- Stelle
- 305
- Fork
- 46
- Merge medio
- 10h 46m
- PR unite (30g)
- 5
Preparare l'ambiente
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di confluentinc/confluent-kafka-javascript
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
confluentinc/confluent-kafka-javascript#511 ·
I maintainer di solito rispondono entro 1 giorno
-
Segfault (strlen on NULL) in admin.describeGroups() when brokers are unreachable — unguarded NewFromUtf8 in FromConsumerGroupDescriptionForse già presa @ojasvajain l’ha presa 14 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
confluentinc/confluent-kafka-javascript#531 · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
Admin API: support describeCluster()Forse già presa @Ankith-Confluent l’ha presa 21 giorni fa. Apertaenhancement status:planned
confluentinc/confluent-kafka-javascript#529 · 2 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
eachBatch: cache expiration discards already-fetched, undelivered records and skips the position rewind → silent message lossForse già presa @ojasvajain l’ha presa 14 giorni fa. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 65/100
confluentinc/confluent-kafka-javascript#528 · 1 commento · 1 reazione · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
status:under-review status:waiting-for-interest
Difficoltà 3/5 1-2 giorni Idoneità per principianti 76/100
confluentinc/confluent-kafka-javascript#517 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di confluentinc/confluent-kafka-javascript
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
openedx/frontend-app-authoring#3274 ·
I maintainer di solito rispondono entro 1 giorno
-
🎙️ task - fix(deployer): deploy --env prep runs deploy:dev where the repo declares deploy:prepAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
-
area/documentation status/need-triage
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 95/100
google-gemini/gemini-cli#29548 ·
I maintainer di solito rispondono entro 1 giorno
-
sdk-typescript vector-store
Difficoltà 2/5 Mezza giornata Idoneità per principianti 82/100
mem0ai/mem0#7495 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno