Improvement: Optimize CompressingRequestBody memory usage by removing Okio and redundant buffering
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 48/100
- Tipo de issue
- Refactorización
- Claridad
- Bien especificado
- Estado de actividad
- Estancado
- Stack tecnológico
- java
- Área
- backend, performance
Línea de trabajo
Empieza localizando CompressingRequestBody.attemptWrite en el código de profiling-uploader e inspecciona la ruta actual de copia de Okio, el flujo de compresión y el almacenamiento en búfer. Verifica el comportamiento de copia de streams compatible con Java 8 y confirma que el cambio conserva la salida de compresión, la propiedad de los streams y la reducción de memoria prevista.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Library Name
dd-java-agent (profiling-uploader)
Library Version(s)
v1.54.0
Describe the feature you'd like
I propose optimizing CompressingRequestBody.attemptWrite to reduce memory allocation.
Currently, the implementation uses Okio for stream copying and wraps the compression stream with an extra BufferedOutputStream. This results in excessive object creation (Segments, Buffers) and double buffering overhead.
Suggested Implementation:
I suggest replacing Okio with a standard Java IO loop using a fixed-size byte[] buffer and removing the redundant outer BufferedOutputStream.
private void attemptWrite(@Nonnull InputStream inputStream, @Nonnull OutputStream outputStream)
throws IOException {
// Keep the inner buffer to aggregate compressed bytes before sending to the socket
OutputStream bufferedInnerStream = new BufferedOutputStream(outputStream) {
@Override
public void close() throws IOException {
flush(); // Prevent closing the underlying stream
}
};
// Remove the outer BufferedOutputStream.
// Direct writing to the compression stream is efficient enough with a 8KB copy buffer.
OutputStream processingStream = isCompressed(inputStream)
? bufferedInnerStream
: outputStreamMapper.apply(bufferedInnerStream);
try (OutputStream out = processingStream) {
byte[] buffer = new byte[8192];
int bytesRead;
while ((bytesRead = inputStream.read(buffer)) != -1) {
out.write(buffer, 0, bytesRead);
}
}
// implicit close() on processingStream finalizes compression and flushes the inner stream
}
Is your feature request related to a problem?
Yes. While profiling our application, we noticed that CompressingRequestBody.attemptWrite is a major contributor to heap usage.
In our specific profile, this method accounted for approximately 94% of the Heap Live Size. The heavy use of Okio intermediate objects for simple stream copying seems to be the primary cause.
Please see the attached Flame Graph for evidence:
Describe alternatives you've considered
Using InputStream.transferTo(OutputStream) is an option for Java 9+, but the proposed byte-array loop ensures compatibility with Java 8, which I believe the agent still supports.
Additional context
Note: I am not a native English speaker, so I used an AI assistant to help draft this issue to ensure clarity. Thank you for your understanding.
- Lenguaje dominante
- Java
- Estrellas
- 737
- Forks
- 361
- Merge medio
- 3 d 20 h
- PR fusionados (30 d)
- 173
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de DataDog/dd-trace-java
-
type: feature request
Dificultad 1/5 1-3 horas Aptitud para principiantes 70/100
DataDog/dd-trace-java#10245 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 62/100
DataDog/dd-trace-java#12608 ·
-
type: bug report
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
DataDog/dd-trace-java#12597 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
DataDog/dd-trace-java#12540 · 4 comentarios · 1 asignado ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 25/100
DataDog/dd-trace-java#12480 ·
Todos los issues de DataDog/dd-trace-java
Issues similares
-
certification
Dificultad 1/5 Menos de una hora Aptitud para principiantes 80/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
[BUG] ECR GetAuthorizationToken returns a proxyEndpoint for the default region, not the request's Abiertobug ecr
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
Needs: Triage Type: Feature request
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
AntennaPod/AntennaPod#8794 ·
-
agentic-workflows
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
github/copilot-sdk#2760 ·