Best way to handle events that are too large for buffering
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
Direzione di ricerca
Inizia in RawSocketSender.send(), in particolare con il buffer pendings e il percorso BufferOverflowException mostrato nello stack trace; confronta questo comportamento con l’utilizzo di BufferedOutputStream. Determina e documenta la gestione prevista per gli eventi più grandi del buffer e per gli errori del sender, quindi verifica che il comportamento scelto sia coperto dai test.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
When looking through RawSocketSender to troubleshoot our other issue (see comment on #18), I noticed that RawSocketSender does not handle large events very well in send(). It assumes that flush() always makes enough capacity in the pendings buffer to save the new bytes. If the event was bigger than the buffer, you get a BufferOverflowException.
java.nio.BufferOverflowException
at java.nio.HeapByteBuffer.put(HeapByteBuffer.java:189)
at java.nio.ByteBuffer.put(ByteBuffer.java:859)
at org.fluentd.logger.sender.RawSocketSender.send(RawSocketSender.java:171)
Also, if every log message you send is larger than the buffer, then the RawSocketSender will attempt to flush to the socket on every message.
Is this the desired behavior? I could imagine adding a size check to the send() method that immediately returns false if the event is too large, to avoid the BufferOverflowException. Or perhaps the large event could skip the buffer and write directly out to the socket. Since we are already using a BufferedOutputStream, I also wonder why we need the internal pendings buffer at all?
What is the normal way of handling errors in RawSocketSender?
- Lingua principale
- Java
- Stelle
- 210
- Fork
- 86
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di fluent/fluent-logger-java
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
fluent/fluent-logger-java#100 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 15/100
fluent/fluent-logger-java#99 · 1 commento · 2 reazioni ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
fluent/fluent-logger-java#98 · 1 commento ·
-
Null Pointer Exception with slf4j-log4j12-1.7.30 (Fluent-logger incompatible with the new version) Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 42/100
fluent/fluent-logger-java#89 · 3 commenti ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100
fluent/fluent-logger-java#88 · 1 commento ·
Tutte le issue di fluent/fluent-logger-java
Issue simili
-
area-deployment area-integrations triage:bot-seen
Difficoltà 2/5 Mezza giornata Idoneità per principianti 86/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
apache/flink-agents#1156 ·
-
[source-shopify] FAILED bulk operation without partialDataUrl is silently treated as successful Apertaarea/connectors autoteam community connectors/source/shopify needs-triage team/use type/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100