Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Enable Storm dynamic producer batching in the archetype configurations

Aperta
  • Qualcosa non va?
#2,131 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
3/5
Tempo stimato
1-2 giorni
Idoneità per principianti
70/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
java
Ambito
distributed-systems, documentation

Direzione di ricerca

Esamina prima i file crawler-conf.yaml generati dagli archetipi e la documentazione della configurazione, quindi verifica le impostazioni dei batch del producer Storm 3.0 e la loro relazione con topology.max.spout.pending. Il lavoro è completato quando gli archetipi utilizzano una configurazione dinamica e prudente dei batch e la documentazione copre le impostazioni di timeout dei messaggi, max spout pending, batching del producer e intervallo di flush.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

The crawler-conf.yaml generated by the archetypes leaves Storm's inter-executor batching at its default (topology.producer.batch.size: 1), so no batching happens between the spout, fetcher, parser, indexer and status updater executors.

Storm 3.0 adds topology.producer.batch.dynamic: when enabled together with a topology.producer.batch.size greater than 1, the effective batch size adapts at runtime between 1 and the configured size with AIMD, staying small under light load to keep latency low and growing under sustained load to preserve throughput. That removes the usual objection to batching in a crawl topology, where traffic is bursty and latency to the status updater matters.

Proposal: enable it in the archetype configurations with a conservative batch size below topology.max.spout.pending, and document the Storm topology settings that affect a crawl (topology.message.timeout.secs, topology.max.spout.pending, the producer batch settings and the flush interval), which are currently not covered in the configuration documentation.

Lingua principale
Java
Stelle
1k
Fork
295
Merge medio
1g 14h
PR unite (30g)
62

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di apache/stormcrawler

Tutte le issue di apache/stormcrawler

Issue simili

Altre issue su Java

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.