Unable to distinguish valid stream end from broken stream
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Tranquilo
- Stack tecnológico
- java
- Área
- data-engineering
Línea de trabajo
Comience leyendo FileBlockHead.readHead y la interfaz Sink o los puntos de entrada involucrados en la importación de un flujo PBF grande. Determine en qué se diferencia el manejo legítimo del fin del flujo de los fallos durante el procesamiento posterior y, a continuación, defina una señal de finalización o fallo cuyo comportamiento pueda probarse en ambos casos.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi
I had recently run into an issue while importing large pbf file.
The problem was broken input stream and I ended up importing only half of the expected data that got unnoticed.
It's impossible to find out whether the import completed successfully and the EOFException is legit (basically that will be the case only while reading headersize in FileBlockHead.readHead) or whether the stream is broken in the middle of processing and it can not read the data to be expected down the line (any other place).
Either exception shall be thrown in such a case or another callback method in Sink introduced so Sink::complete() is called upon success and Sink:failure() upon error?
- Lenguaje dominante
- Java
- Estrellas
- 218
- Forks
- 79
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Issues similares
-
enhancement feature
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
rsp777/service-pulse-app#28 ·
-
human-required sync-failed
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Azure/osdu-spi-file#63 ·
Los mantenedores suelen responder en 1 día
-
area/ysql kind/enhancement priority/medium status/awaiting-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 73/100
yugabyte/yugabyte-db#35578 ·
Los mantenedores suelen responder en 1 día
-
frontend quick win
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
CodeForPhilly/benefit-decision-toolkit#571 ·
Los mantenedores suelen responder en 1 día
-
approved
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
checkstyle/checkstyle#22129 ·
Los mantenedores suelen responder en 1 día